官方文档说Append类型Sink无法接收上游update记录,那在大数据计算MaxCompute应该怎样建表才可以接受到记录呢?
用Flink 1.14.5的jdbc connector是可以正常写入maxcompute的,但是mysql-cdc connector 写maxcompute报错,报错原因就是这个
以下为热心网友提供的参考意见
在大数据计算MaxCompute中,如果需要接收update记录,应选择支持更新操作的表类型。例如,可以使用支持UPDATE操作的INSERT ONLY模式来创建表。在此模式下,当上游有新的记录产生时,这些记录将被接收并存储在表中。同时,如果表中已经存在相应的记录,那么这些记录的值将被更新为上游新产生的记录的值。
在创建新表时,需要确保列数据类型与待导入的数据文件的各列数据类型保持一致,否则可能会导致后续导入数据操作失败。此外,MaxCompute提供了完善的数据导入方案以及多种经典的分布式计算模型,可以快速解决用户的海量数据计算问题。
以下为热心网友提供的参考意见
用maxcompute的事物表才支持upsert语句 ,此回答整理自钉群“MaxCompute开发者社区2群”
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/13754.html