dataworks的离线同步任务中,报错是什么原因?-[阿里云_云淘科技]

dataworks的离线同步任务中,我想把dataworks的表数据同步到POLARDB,报错是什么原因?并且显示所有数据都是脏数据?ERROR JobContainer – 运行scheduler 模式[local]出错.
2023-12-18 03:41:42.855 [job-18286291] ERROR JobContainer – Exception when job run
com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[The dirty data transmitted by DataX exceeds user expectations. This error often occurs when a lot dirty data exists in the source data. Please carefully check the dirty data log information reported by DataX, or you can tune up the dirty data threshold value. ]. – Check for the number of dirty data entries has not passed. The limit is [0] entries, but [10] entries have been captured.
at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:34) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.core.util.ErrorRecordChecker.checkRecordLimit(ErrorRecordChecker.java:55) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.core.job.scheduler.AbstractScheduler.schedule(AbstractScheduler.java:111) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.core.job.JobContainer.schedule(JobContainer.java:747) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:219) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.core.Engine.start(Engine.java:118) [datax-core-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.core.Engine.entry(Engine.java:343) [datax-core-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.core.Engine.main(Engine.java:392) [datax-core-0.0.1-SNAPSHOT.jar:na]

以下为热心网友提供的参考意见

任务中产生了脏数据 并且任务设置了不能容忍脏数据 可以参考一下百问百答脏数据篇哈 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/19205.html

(0)
匿名
上一篇 2023年12月23日 下午5:53
下一篇 2023年12月23日

相关推荐

新手站长从“心”出发,感谢16年您始终不离不弃。