大数据计算MaxCompute这个时间延迟是资源不够吗还是什么原因呀?我用的是按量付费模式?数据量不大呀,才5w左右,但是执行时间这么久
以下为热心网友提供的参考意见
DTS实例总是显示延迟,如何处理?
可能原因如下:
源端数据库实例使用不同账号创建了多个DTS任务,导致实例的负载过高,请使用同一个账号创建任务。
目标端数据库实例的内存不足,请做好业务安排后重启目标库实例。若无法解决问题,请升级目标端实例规格或进行主备切换。https://help.aliyun.com/zh/dts/support/faq?spm=a2c4g.11186623.0.i11
提供了监控报警功能,您可以通过控制台对重要的监控指标设置报警规则,让您及时了解运行状态。配置方法,请参见配置监控报警。https://help.aliyun.com/zh/dts/user-guide/configure-monitoring-and-alerting-1#task-2081551
以下为热心网友提供的参考意见
有两个原因1、join阶段数据膨胀,看日志merge join已经6000w行了。检查一下join是不是笛卡尔积了。https://help.aliyun.com/zh/maxcompute/use-cases/data-skew-tuning?spm=a2c4g.11186623.0.i14#p-b10-lf2-xu92、在online阶段多执行了10分钟,执行不成功回退到offline执行。![image.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_5775bd707e95474b93b5ec4a1e710364.png)
,此回答整理自钉群“MaxCompute开发者社区2群”
以下为热心网友提供的参考意见
MaxCompute执行时间的延迟可能有多种原因,不一定仅仅是因为资源不够。即使您使用的是按量付费模式,并且数据量不大,仍然可能存在其他影响因素。例如,数据处理逻辑复杂、网络传输速度慢或者任务并发量高等,都可能导致执行时间增长。
如果您发现执行时间过长,可以考虑优化作业逻辑以提高效率,或者针对网络瓶颈进行专门的优化。此外,为了避免单用户占用过多集群资源而导致其他用户无法发起作业的情况,MaxCompute限制了单用户、单地域可使用的按量付费闲时版计算资源。因此,您也可以根据自己的需求和预算,选择合适的资源规格和计费模式。
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/22041.html