请教个问题,我在83服务器上部署了一个Flink1.17 ,然后我有两个mysql数据库,分别部署在63服务器和81服务上了,我在往83提交cdc作业时(链接的是81服务器上的数据库),前面几个任务能正常提交,后面再提交报超时(jdbc模式可以正常提交),为了验证cdc连接数,我把后面的任务链接的数据库服务器改为了63,可以正常提交,有人遇到过吗
以下为热心网友提供的参考意见
这个问题可能与Flink CDC作业在提交时遇到的连接超时问题有关。首先,您提到的前面几个任务能正常提交,但后续的任务提交报超时,这可能暗示了某些资源限制或配置问题。
-
连接超时时间:Flink CDC提供了一些配置参数来控制连接超时时间,如
connection.timeout.ms
用于设置与源数据库之间的连接超时时间。您可以考虑增加此超时时间以解决提交超时的问题。 -
网络稳定性:由于您提到后面再提交报超时,而将后面的任务链接的数据库服务器改为63可以正常提交,这可能暗示了81服务器上的某些网络问题或资源限制。您可以考虑检查Flink和MySQL之间的网络稳定性,并考虑调整checkpoint超时时间或增大Flink task管理器的并发数来优化性能。
-
重启策略:如果Flink CDC作业失败后不能彻底退出,可能会导致持续的重启和超时问题。您可以修改Flink的配置,指定具体的重启策略,例如最多尝试重启两次,且在下一次尝试启动前会等待10秒。
-
资源限制:请确保83服务器上有足够的资源来运行CDC作业,包括CPU、内存和网络资源。
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/19753.html