DataWorks如何判断自己需要多大的独享资源组?
以下为热心网友提供的参考意见
可以参考看下
https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-scheduling?spm=a2c4g.11186623.0.i11表权限审批策略自定义配置可以参考这里 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
以下为热心网友提供的参考意见
DataWorks在创建独享数据集成资源组时,会根据任务的计算需求和存储需求来自动分配资源。具体来说,DataWorks会考虑以下几个方面:
-
任务的计算需求:根据任务的数据处理逻辑、算法复杂度等因素,DataWorks会估算出任务所需的计算资源数量,包括CPU核数、内存大小等。
-
任务的存储需求:根据任务处理的数据量、数据类型等因素,DataWorks会估算出任务所需的存储资源数量,包括HDFS文件系统容量、数据库表空间等。
-
任务的并发度:如果任务需要同时处理多个数据源或进行并行计算,DataWorks会考虑任务的并发度,并根据并发度来分配更多的资源。
-
任务的资源使用情况:如果之前的任务已经使用了一部分资源,DataWorks会考虑这些资源的使用情况,并根据剩余资源来分配新的资源。
综上所述,DataWorks会根据任务的计算需求、存储需求、并发度和资源使用情况等因素来自动分配合适的独享数据集成资源组大小。如果您对资源分配有特殊的需求,可以通过调整任务的配置参数或者手动调整资源组的大小来实现。
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/20921.html