Flink中间计算结果如果存到redis，合适吗， checkpoint 咋保证一致性呢？-[阿里云_云淘科技]

匿名 • 2024年1月9日下午12:23 • 阿里云

Flink中间计算结果如果存到redis，合适吗前辈们， checkpoint 咋保证一致性呢？

以下为热心网友提供的参考意见

将Flink的中间计算结果存储到Redis中是可行的，但需要确保数据的一致性和准确性。如果在Flink中的数据发生了变化，但是Redis中的数据没有及时更新，可能会导致计算结果不正确。在项目中使用Redis作为中间缓存时，非使用FlinkRedisSink而是引入了spring-data-redis，因为spring-data-redis已经封装了比较全面的操作。

关于Checkpoint如何保证一致性，Flink的状态与容错主要分为以下几个知识点：Checkpoint机制、Savepoint机制和State Backends机制。为了开启checkpoint，需要在代码里或配置文件中进行相应的配置。例如，可以打开checkpoint开关，并设置其执行间隔。同时，需要设置checkpoint模式为EXACTLY_ONCE或其他适合的模式。在有赞实时计算中，对于Flink任务的Checkpoint和Savepoint进行了两个方面的工作，其中之一是对于Flink Checkpoint失败的情况，如果Checkpoint失败过于频繁，平台会及时给用户报警提示。

本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：http://www.cnzhanzhang.com/22108.html