DataWorks中DI离线节点能看到每次运行同步是数据行数吗?或者在哪里会有统计吗？-[阿里云_云淘科技]

匿名 • 2023年12月10日下午7:39 • 阿里云

DataWorks中DI离线节点能看到每次运行同步是数据行数吗?或者在哪里会有统计吗？我想做个监控

以下为热心网友提供的参考意见

在DataWorks中，您可以在运维大屏的”离线同步”页面查看离线同步任务的运行状态分布、数据同步进度、同步数据量统计等信息。这些统计数据可以帮助您监控DI离线节点每次运行的数据行数。此外，如果需要查看更详细的同步任务执行详情，如任务是否产生公网等条件过滤目标任务，您也可以在此页面进行相关操作。通过这种方式，您可以有效地对DI离线节点的运行情况进行监控和管理。

以下为热心网友提供的参考意见

在 DataWorks DI（数据集成）离线节点中，您可以通过以下方式查看每次运行同步的数据行数和相关统计信息：

任务日志：在 DataWorks 控制台，找到对应的 DI 离线节点任务，并进入任务详情页面。在任务详情页面中，您可以查看该任务的运行日志。通常，任务日志会记录每个任务运行时的详细信息，包括数据行数、成功记录数、失败记录数等。
数据质量报告：DI 离线节点提供了数据质量评估功能，可以生成数据质量报告。在任务运行完成后，您可以查看数据质量报告，其中包含了数据行数、重复记录数、空值记录数等统计信息。您可以在任务详情页面的“报告”选项卡中找到数据质量报告。

注意：数据质量报告需要配置数据质量规则和指标才能生成，因此确保已经配置了相应的数据质量规则。

聚合函数和阶段性输出：在任务流程中，您可以使用聚合函数或将数据输出到中间表来进行阶段性统计。通过在任务流程中添加自定义统计逻辑，您可以实时获取数据行数或其他统计信息。

示例 SQL：

-- 统计总行数
SELECT COUNT(*) AS total_rows FROM your_table;

-- 统计成功记录数
SELECT COUNT(*) AS success_records FROM your_table WHERE status = 'SUCCESS';

-- 统计失败记录数
SELECT COUNT(*) AS failed_records FROM your_table WHERE status = 'FAILED';