大数据计算MaxCompute使用一个udf调接口，可以调整什么设置实现吗？-[阿里云_云淘科技]

匿名 • 2024年1月9日下午12:52 • 阿里云

大数据计算MaxCompute使用一个udf调接口，想用多个instance一起跑，可以调整什么设置实现吗？– SET odps.stage.num= 10;
— set odps.stage.reducer.num =30;
— set odps.sql.reducer.instances=30;
— set odps.sql.mapper.split.size=1;
— set odps.stage.mapper.split.size = 1;尝试了这些都不行http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=micro_dw_dev&i=20240102061303730g6tcw2dz8pk&token=Nkw5ckZvMy9EK3liempTZDhGVWJqYVA1azhRPSxPRFBTX09CTzpwNF8yMDc0NzQ3ODg1MTk3NDMwMTQsMTcwNjc2Nzk4NCx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvbWljcm9fZHdfZGV2L2luc3RhbmNlcy8yMDI0MDEwMjA2MTMwMzczMGc2dGN3MmR6OHBrIl19XSwiVmVyc2lvbiI6IjEifQ==

以下为热心网友提供的参考意见

在MaxCompute中，要使用多个instance一起运行UDF调接口，可以尝试调整以下设置：

增加odps.stage.num的值，以增加并行度。例如，将其设置为20或更高。
增加odps.stage.reducer.num的值，以增加Reducer的数量。例如，将其设置为60或更高。
增加odps.sql.reducer.instances的值，以增加SQL任务的Reducer实例数量。例如，将其设置为60或更高。
增加odps.sql.mapper.split.size和odps.stage.mapper.split.size的值，以增加Mapper和Stage的分割大小。例如，将其设置为2或更高。

请注意，这些设置可能需要根据实际情况进行调整，以达到最佳性能。同时，确保您的MaxCompute账户具有足够的配额来支持这些设置。

以下为热心网友提供的参考意见

看SQL，flag没有生效。
set odps.sql.mapper.split.size ，此回答整理自钉群“MaxCompute开发者社区2群”

本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：https://www.cnzhanzhang.com/22064.html