DataWorks拉取clickhouse4000w表报错, 显示超过限制时间, 为什么会这样?
Caused by: java.lang.Throwable: Code: 160. DB::Exception: Received from ck-uf6lnm05qfws13r5d-sbni-clickhouse-s-0-r-0.ck-uf6lnm05qfws13r5d-sbni-clickhouse-headless.ck-1520293563732723.svc.cluster.local:3003. DB::Exception: Estimated query execution time (178735.48039242995 seconds) is too long. Maximum: 172800. Estimated rows to process: 610605372: While executing MergeTreeThread. (TOO_SLOW) (version 22.8.5.29)
以下为热心网友提供的参考意见
查询超时 这个超时看着应该是服务端配置的 可以和ck的dba同学确认看下查询的超时时间设置的多长1)优化ck任务,加切分键 尽量使用业务主键 加并发,reader最终应该会拼接成查询语句 调整这些参数相当于优化查询sql2)ck数据源配置jdbc看是否可以加超时参数设置之类的3)ck服务端调整超时参数4)任务拆分执行 每次少同步写
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/13540.html