Flink这个错误是为什么发生？从kafka往Doris sink数据时候报错， 偏移量还是自动提交了，导致修复后启动消费，那条错误的数据丢失了，没有消费到。![Flink这个错误是为什么发生？ -[阿里云_云淘科技]](http://www.cnzhanzhang.com/wp-content/uploads/2023/12/20231223080537-658694d13f64f.png)
![Flink这个错误是为什么发生？ -[阿里云_云淘科技]](https://www.cnzhanzhang.com/wp-content/themes/justnews/themer/assets/images/lazy.png)
以下为热心网友提供的参考意见
Flink在从Kafka往Doris Sink数据传输时出现的错误，主要源于偏移量的自动提交失败。这种情况通常意味着Kafka消费者无法成功地将偏移量提交。当Flink Kafka源未启用检查点时，它会依赖于Kafka消费者内部的自动定期偏移提交逻辑，由Kafka消费者的属性配置enable.auto.commit并在其属性中配置auto.commit.interval.ms来控制偏移量的提交频率。
关于你提到的修复后启动消费，那条错误的数据丢失了，没有消费到的问题，可能的原因是在故障发生时，偏移量已经提交到了Kafka中，但是在修复后再次启动消费时，由于某些原因（如时间戳处理等），导致那条错误的数据没有被正确处理。
本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：https://www.cnzhanzhang.com/12325.html