大数据计算MaxCompute这个内存大小,我要如何把握,现在只是开发阶段,到生产环境,数据量会更大,分配多少内存合适?我怎么看我的公共资源有多大内存?http://logview.odps.aliyun.com/logview/?h=http://service.cn-shenzhen.maxcompute.aliyun-inc.com/api&p=ytam_dev&i=20240104033349402gnppmatc63k&token=cFNHMHNvbUpzWGxFRGFKb0Rmc29BajJIVTZNPSxPRFBTX09CTzpwNF8yMDg5MTA5OTgwNjM0Nzg4NTQsMTcwNjkzMTIyOSx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMveXRhbV9kZXYvaW5zdGFuY2VzLzIwMjQwMTA0MDMzMzQ5NDAyZ25wcG1hdGM2M2siXX1dLCJWZXJzaW9uIjoiMSJ9
主表有1850w条数据,跟下面这些字段关联,就取1000条;我刚才给他分配了3个G,set odps.stage.mem=3072;
以下为热心网友提供的参考意见
公共资源组没办法看有多大内存。 可以按照需求来调整配置,如果跑的慢可以加一些。你上面的SQLjoin有热点值,加skew join参数来节省一些时间。
https://help.aliyun.com/zh/maxcompute/use-cases/data-skew-tuning?spm=a2c4g.11186623.0.i14 此回答整理自钉群“MaxCompute开发者社区1群”
以下为热心网友提供的参考意见
在MaxCompute中,内存大小是由您在创建项目时指定的。在开发阶段,您可以根据需要分配较小的内存,以便更快地运行查询和处理数据。但是,当您将项目部署到生产环境时,您需要考虑数据量的增长以及并发查询的需求。
要查看您的公共资源可用的内存大小,您可以登录到阿里云控制台,然后导航到MaxCompute服务页面。在该页面上,您可以找到“项目管理”选项卡,并选择您的项目名称。接下来,点击“配置信息”选项卡,您将看到有关项目配置的详细信息,包括可用的内存大小。
请注意,MaxCompute中的内存分配是动态的,并且可以根据需要进行调整。如果您发现内存不足或性能不佳,您可以考虑增加内存大小或优化查询以减少内存使用量。
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/21452.html