数据传输DTS的kafka怎么老是连不上呢？-[阿里云_云淘科技]

匿名 • 2023年12月5日下午9:11 • 阿里云

数据传输DTS的kafka怎么老是连不上呢？

以下为热心网友提供的参考意见

数据传输服务DTS的Kafka连接问题可能有以下几个原因：

带宽被占满：当DTS的Kafka数据源被多个连接使用时，如果带宽被占满，可能会导致连接被默认断开。
KAFKA server.bootstrap 未设置为VPC网络：如果使用的是ECS，需要将KAFKA server.bootstrap 改为VPC网络。
守护线程未启动：使用守护线程去启动DTS订阅demo，可以避免同系统下其他KAFKA起不来。
同步对象不支持非数据表对象：DTS在执行全量数据初始化时，可能会占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下，可能会加重数据库压力，甚至导致数据库服务不可用。
不支持自动调整同步对象：如果对同步对象中的数据表进行重命名操作，且重命名后的名称不在同步对象中，那么这部分数据将不再同步到目标Kafka集群中。如需将修改后的数据表继续数据同步至目标Kafka集群中，您需要进行修改同步对象操作。

总的来说，DTS的Kafka连接问题可能是由于网络、配置、性能等多方面原因导致的。在解决问题时，需要根据具体情况进行排查和调整。

以下为热心网友提供的参考意见

如果您在使用阿里云的数据传输服务DTS（Data Transmission Service）连接Kafka时遇到问题，可能的原因有多个。首先，由于DTS服务管控节点和目标端自建Kafka集群间存在网络隔离，您需要配置自建Kafka集群的访问路由规则。例如，假设目标端Kafka集群有三个broker，其公网IP分别为：106.0.0.1、106.0.0.2、106.0.0.3；其内部网络IP分别为：172.16.0.1、172.16.0.2、172.16.0.3。您需要在每个broker的配置文件 server.properties 中进行相应配置。

其次，请确保您的Kafka集群运行正常，并且DTS任务的配置正确。如果源实例为自建Oracle数据库，则为确保客户端成功消费订阅数据，并保证前后镜像完整性，您需要开启全列补偿日志。

本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：https://www.cnzhanzhang.com/14603.html