Flink这个状态是全局的还是 每个并行度一份呀?
以下为热心网友提供的参考意见
楼主你好,据我所知,在阿里云Flink中,存储在状态中的数据可以是全局的或者每个并行度一份,这取决于你在程序中如何定义和使用状态。
对于MapState,它是一种键值对的状态数据结构,可以存储大量的数据。在使用MapState存储几百万条数据进行维表关联时,可以考虑对数据进行预聚合或者压缩,以减少状态的大小,还有就是调整并行度和资源分配,确保每个TaskManager有足够的内存来存储MapState。
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/18670.html