Hologres的mc 离线数据和 Flink 的实时数据合并有好的方案吗？-[阿里云_云淘科技]

匿名 • 2023年12月10日下午6:06 • 阿里云

Hologres的mc 离线数据和 Flink 的实时数据合并有好的方案吗，还有 mc 同步 holo 有增量方案吗？

以下为热心网友提供的参考意见

Hologres与Flink可以深度集成，实现实时数据合并。首先，Flink将数据源写入Hologres，形成ODS层。然后，Flink订阅ODS层的Binlog进行加工，形成DWD层再次写入Hologres。接着，Flink订阅DWD层的Binlog，通过计算形成DWS层，再次写入Hologres。这种方式的优势在于它解决了传统实时数仓解决方案的中间层数据不易查、不易更新、不易修正的问题，并且每一层数据都可单独对外提供服务，数据的高效复用，真正实现了数仓分层复用的目标。此外，无论是实时数据还是离线数据接入Hologres之后，都能使用Hologres对数据进行分析。

对于Hologres mc的同步增量方案，你可以选择全量同步或增量同步。如果你需要进行一次性全量或周期性全量同步，你需要勾选全量同步。如果你需要进行一次性增量或周期性增量同步，你需要勾选增量同步。此外，还支持先进行全量数据迁移，然后再实时同步增量数据至目标端，以及单独进行实时增量数据同步。在同步过程中，需要注意MaxCompute的分区与Hologres无强映射关系，MaxCompute的分区字段映射至Hologres为普通字段。

本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：https://www.cnzhanzhang.com/13574.html