在 DTS 同步或订阅任务中配置 ETL

数据库传输服务 DTS 提供流式数据 ETL（Extract Transform Load）数据处理功能。您可以在创建同步或订阅任务时，通过编辑 DSL 脚本语言定义数据处理逻辑，对源库数据进行抽取、转换、加工和装载。本文介绍如何在 DTS 的同步或订阅任务中配置 ETL。

注意事项

• ETL 功能目前处于邀测阶段，如需使用请提交工单联系技术支持。

• 当您在 ETL 脚本配置了新增列的操作时，您需要手动在目标数据库的表格中添加列。否则 ETL 脚本不生效。

• 当您在 ETL 脚本中转换了列的属性，例如将 bigint 转换为 vachar，您需要手动在目标数据库的表格中修改目标列的属性。否则 ETL 脚本不生效。

支持的数据库

ETL 支持的源库和目标库如下所示：

• 源库和支持的版本。

  源库	版本
  火山引擎 MySQL	MySQL 5.6 MySQL 5.7 MySQL 8.0
  火山引擎版 veDB MySQL	MySQL 8.0
  火山引擎 ECS 自建 MySQL	MySQL 5.5 MySQL 5.6 MySQL 5.7 MySQL 8.0
  公网自建 MySQL	MySQL 5.5 MySQL 5.6 MySQL 5.7 MySQL 8.0
  火山引擎专有网络 MySQL	MySQL 5.5 MySQL 5.6 MySQL 5.7 MySQL 8.0

• 目标库和支持的版本。

  实例类型	目标库	版本
  MySQL	火山引擎 MySQL	MySQL 5.6 MySQL 5.7 MySQL 8.0
  	火山引擎版 veDB MySQL	MySQL 8.0
  	火山引擎 ECS 自建 MySQL	MySQL 5.5 MySQL 5.6 MySQL 5.7 MySQL 8.0
  	公网自建 MySQL	MySQL 5.5 MySQL 5.6 MySQL 5.7 MySQL 8.0
  	火山引擎专有网络 MySQL	MySQL 5.5 MySQL 5.6 MySQL 5.7 MySQL 8.0
  ElasticSearch	火山引擎版 ElasticSearch	6.7.1 7.10.2
  	火山引擎 ECS 自建 ElasticSearch	6.7.1 7.10.2
  	公网自建 ElasticSearch	6.7.1 7.10.2

在创建数据同步或订阅任务时配置 ETL

本文以创建数据同步任务为例，介绍如何在创建任务时配置 ETL 规则。

操作步骤

1. 创建同步任务。详细信息，请参见创建并启动同步任务。

2. 在配置同步对象步骤的高级配置时，开启ETL配置选择是。

3. 在 Code goes here... 输入框中输入数据处理 ETL 规则即 DSL 脚本。关于数据处理语句的详细信息，请参见 DSL 语法。

4. 单击检验语法，验证数据处理语句是否正确。

   说明

   • 当有错误提示时，您需要根据错误提示修改数据处理语句。

   • 若要验证您配置的数据处理 ETL 规则是否能在目标表中达到预期效果，您可以单击调试进行验证。详细配置信息，请参见通过 ETL Playground 工具校验 ETL 规则。

在已有同步或订阅任务中修改 ETL 配置

本文以在同步任务中修改 ETL 配置为例，介绍如何修改任务中的 ETL 规则。

注意事项

• 当前仅支持修改已开启 ETL 功能的同步任务的 ETL 配置。

• 在修改已有的 ETL 规则时，您需要先将同步对象从已选择对象移至同步对象中，再重新添加至已选择对象后，再修改 ETL 规则。

• 已有同步任务上修改 ETL 配置暂不支持对目标端表的表结构进行变更，如果需要变更，您需要在启动同步任务前在目标端变更表结构。

• 修改 ETL 规则可能导致链路中断，需谨慎操作。

• ETL 规则的修改仅对启动同步任务后的增量数据生效，对修改 ETL 配置前的历史数据不生效。

• ETL 规则的 DSL 脚本配置的字段不能为过滤条件过滤的字段，否则会导致任务异常。

• ETL 规则的 DSL 脚本大小写敏感，库名、表名、字段名称需要和源库保持完全一致。

• ETL 规则的 DSL 脚本不支持多行表达式，您可以使用 e_compose 函数将多个表达式组合成一个表达式。

操作步骤

1. 登录 DTS 控制台。

2. 在顶部菜单栏的左上角，选择项目和地域。

3. 在左侧导航栏，单击数据同步。

4. 在数据同步列表页面，单击目标任务的名称。

5. 在任务详情页面，单击任务配置。

6. 在任务配置页签的高级配置区域，单击编辑。

7. 在 ETL 规则调试与更新控制面板，配置 ETL 规则。

   说明

   若要验证您配置的 ETL 规则是否能在目标表中达到预期效果，您可以单击调试进行验证。详细配置信息，请参见通过 ETL Playground 工具校验 ETL 规则。

8. 单击校验语法，验证 ETL 规则的准确性，当有错误提示时，您需要根据错误提示修改数据处理语句。

9. 单击更新 ETL。