DataWorks如何同步SLS日志到odps上？-[阿里云_云淘科技]

匿名 • 2023年12月10日下午7:53 • 阿里云

DataWorks如何同步SLS日志到odps上？

以下为热心网友提供的参考意见

使用数据集成离线同步任务可以 https://help.aliyun.com/zh/dataworks/user-guide/supported-data-source-types-and-read-and-write-operations ，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

以下为热心网友提供的参考意见

在DataWorks中，同步SLS日志到MaxCompute（原ODPS）的步骤如下：首先，在”日志存储 > 日志库”页面中，找到并点击目标Logstore左侧的选项；其次，选择”数据处理 > 导出> MaxCompute（原ODPS）”。之后，将鼠标悬浮在MaxCompute（原ODPS）上，然后单击”+”进行操作。

以下为热心网友提供的参考意见

在 DataWorks 中，可以通过配置数据集成任务来实现将 SLS（Log Service）日志同步到 ODPS（MaxCompute）上。以下是一种常见的做法：

创建 ODPS 表：首先，在 ODPS 中创建一个用于存储 SLS 日志的表。您可以使用 ODPS SQL 或者 DataWorks Studio 的建表向导来创建表，并定义适当的字段和分区。
创建数据集成任务：在 DataWorks 中，创建一个数据集成任务。选择 “数据集成” -> “同步任务”，填写任务名称和描述。
配置来源端：选择 “数据源类型” 为 “日志服务（SLS）”。然后，根据具体情况，填写 SLS 的相关配置信息，包括项目、日志库、日志主题等。
配置目标端：选择 “目标数据源类型” 为 “大数据计算（ODPS）”。填写 ODPS 的相关连接信息，包括项目、数据源和表等。
字段映射和数据转换：在数据集成任务中，需要进行字段映射和数据转换配置。根据 SLS 日志中的字段和 ODPS 表的字段进行映射关系的设置。如果需要对数据进行转换或清洗，可以使用 DataWorks Studio 提供的数据处理功能，例如 SQL 转换、ETL 脚本等。
调度配置：最后，根据需要设置数据集成任务的调度方式和频率。可以选择手动触发或定时调度任务。