Hologres升级时DataWorks实时写入任务需要特殊处理一下吗？-[阿里云_云淘科技]

匿名 • 2023年12月10日下午5:52 • 阿里云

Hologres升级时DataWorks实时写入任务需要特殊处理一下吗？

以下为热心网友提供的参考意见

不需要的都会自己自动恢复，此回答整理自钉群“实时数仓Hologres交流群”

以下为热心网友提供的参考意见

在进行Hologres升级时，如果存在DataWorks实时写入任务，确实需要进行一些特殊处理来确保数据同步的稳定性和准确性。首先，建议您确认实时写入版本是否满足要求。例如，如果您正在使用的Blink版本低于3.7.9或Flink（VVR）版本低于3.0，那么在升级Hologres实例的过程中可能会造成数据丢失。在这种情况下，您需要将Blink版本升级到3.7.9及以上，并将Flink（VVR）版本升级到3.0及以上。

其次，您可以利用DataWorks的可视化方式进行任务工作流的配置、周期性调度执行及元数据管理，以保障数据生产和管理的高效稳定。此外，DataWorks也支持一键实时同步至Hologres，可以实现全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。

最后，需要注意的是，在Hologres中，Fixed Plan是独有的执行引擎优化方式，它能够实现SQL执行效率的显著提升，特别是在Flink实时写入数据至Hologres和DataWorks数据集成实时写入数据至Hologres的场景下。因此，为了充分利用这些优化方法，您可能需要在升级过程中对相关配置进行调整。

本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：https://www.cnzhanzhang.com/13609.html