在Flink如果partition数是6,source并行度是2,那么每3个partition数据会发送到一个source的solt中吗?还是partition数据会hash写入source的solt?
以下为热心网友提供的参考意见
在Apache Flink中,当设置source的并行度为2,并且有6个partition时,数据分布的方式取决于所使用的数据源和相关的配置。
通常情况下,Flink会根据Partitioner策略来决定如何将数据分配到不同的并行实例。默认情况下,Flink使用的是RebalancePartitioner(重新平衡分区器),这种分区器会随机地将数据分配到下游的所有并行任务上,以便尽可能地均衡负载。这意味着,每3个partition的数据可能会被发送到任何一个source的slot中,而不是固定地将每个partition的数据分组到一起。
以下为热心网友提供的参考意见
一般是hash到下游。此回答整理自钉群“实时计算Flink产品交流群”
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/12377.html