我使用Flink cdc整库同步mysql,之前设置多表同步101个表, 这种state是否合理?-[阿里云_云淘科技]

我使用Flink cdc整库同步mysql,之前设置多表同步101个表, 今天新增了1个表,然后重新部署,我还是沿用之前的状态(“有状态启动”),发现在holo这边会新建这个新增的表, 但是数据没写入, 这种state是否合理?还是说每次新增表都要使用“无状态启动”,才能写数据 我使用Flink cdc整库同步mysql,之前设置多表同步101个表,  这种state是否合理?-[阿里云_云淘科技]

以下为热心网友提供的参考意见

参考一下这个文档哦我使用Flink cdc整库同步mysql,之前设置多表同步101个表,  这种state是否合理?-[阿里云_云淘科技]
https://help.aliyun.com/zh/flink/developer-reference/create-database-as-statement?spm=a2c4g.11186623.0.i2 ,此回答整理自钉群“实时计算Flink产品交流群”

以下为热心网友提供的参考意见

在Flink CDC中,有状态启动和无状态启动是两种不同的启动方式。有状态启动会保留之前的状态信息,而无状态启动则会丢弃之前的状态信息。

在你的情况下,由于新增了一个表,并且使用了有状态启动,所以在holo这边会新建这个新增的表。但是数据没有写入,可能是因为新表的数据同步还没有完成。这种情况下,你可以尝试等待一段时间,让数据同步完成。如果长时间没有数据写入,可以考虑使用无状态启动重新部署Flink作业,以确保新表的数据能够正确写入。

本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/19552.html

(0)
匿名
上一篇 2024年1月4日
下一篇 2024年1月4日

相关推荐

新手站长从“心”出发,感谢16年您始终不离不弃。