Flink这个状态是全局的还是 每个并行度一份呀?-[阿里云_云淘科技]

Flink这个状态是全局的还是 每个并行度一份呀?Flink这个状态是全局的还是 每个并行度一份呀?-[阿里云_云淘科技]

以下为热心网友提供的参考意见

楼主你好,据我所知,在阿里云Flink中,存储在状态中的数据可以是全局的或者每个并行度一份,这取决于你在程序中如何定义和使用状态。

对于MapState,它是一种键值对的状态数据结构,可以存储大量的数据。在使用MapState存储几百万条数据进行维表关联时,可以考虑对数据进行预聚合或者压缩,以减少状态的大小,还有就是调整并行度和资源分配,确保每个TaskManager有足够的内存来存储MapState。

本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/18670.html

(0)
匿名
上一篇 2023年12月25日 上午8:03
下一篇 2023年12月25日 上午8:05

相关推荐

新手站长从“心”出发,感谢16年您始终不离不弃。