在Flink如果满足条件，那么每3个partition数据会发送到一个source的solt中吗？-[阿里云_云淘科技]

匿名 • 2023年12月13日下午6:14 • 阿里云

在Flink如果partition数是6，source并行度是2，那么每3个partition数据会发送到一个source的solt中吗？还是partition数据会hash写入source的solt？

以下为热心网友提供的参考意见

在Apache Flink中，当设置source的并行度为2，并且有6个partition时，数据分布的方式取决于所使用的数据源和相关的配置。

通常情况下，Flink会根据Partitioner策略来决定如何将数据分配到不同的并行实例。默认情况下，Flink使用的是RebalancePartitioner（重新平衡分区器），这种分区器会随机地将数据分配到下游的所有并行任务上，以便尽可能地均衡负载。这意味着，每3个partition的数据可能会被发送到任何一个source的slot中，而不是固定地将每个partition的数据分组到一起。

以下为热心网友提供的参考意见

一般是hash到下游。此回答整理自钉群“实时计算Flink产品交流群”

本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：https://www.cnzhanzhang.com/12377.html