Flink1.10 kafka0.10运行一段时间后,我把kafka停了,但是flink没有失败,一直在报broker可能不存在的警告,怎么解决呢?我没有配置重启策略,我希望任务在一段时间后失败
以下为热心网友提供的参考意见
要解决这个问题,您可以在Flink中配置Kafka消费者的错误处理和重启策略。具体来说,您可以通过以下步骤来实现:
- 打开您的Flink作业的配置文件(例如flink-conf.yaml)。
- 在配置文件中添加以下参数来设置Kafka消费者的错误处理和重启策略:
jobmanager.rpc.address: taskmanager.numberOfTaskSlots: parallelism.default: rest.port: state.backend: state.checkpoints.dir: log.dirs:
- 在配置文件中添加以下参数来设置Kafka消费者的重试次数和重试间隔:
consumer.retry.max: consumer.retry.backoff:
- 保存并关闭配置文件。
- 重新启动您的Flink作业。
通过配置这些参数,当Kafka broker停止时,Flink作业将尝试重新连接到Kafka broker,并在达到最大重试次数后失败。这样,您就可以实现在一段时间后让任务失败的需求。
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/21398.html