You need to enable JavaScript to run this app.
导航

数据开发界面功能指引

最近更新时间2023.10.24 10:38:35

首次发布时间2023.02.01 13:39:20

本文为您介绍 DataLeap 数据开发的整体功能界面,方便您快速熟悉数据开发的功能布局,了解各功能按钮以及模块的使用。

1 界面总览

序号功能

1

全部产品入口,单击图标即可选择其他模块进入。

  • 数据研发

    • 数据开发:一体化集成批式、流式数据开发能力,提供一站式全链路研发体验。

    • 数据服务:面向表、指标等数据资产,提供API创建、发布、共享、管理和运维的全生命周期管理能力,统一数据服务出口,实现数据应用价值最大化

  • 数据资产

    • 数据地图:收集和展示全链路元数据,帮助数据消费者解决找、理解、应用数据难的痛点,提升数据价值。

    • 指标平台:集成指标管理,指标计算,指标应用,解决指标定义、生产、出口的一致性问题。

  • 数据治理

    • 成本优化:对成本丰富的分析与优化建议,通过资源优化助力节省存储与计算成本。

    • 治理门户:一站式的数据治理产品解决方案,覆盖规划-执行-反馈全生命周期的治理流程。

    • 数据安全:数据权限的控制、风险与审计、数据保护,全方位保障大数据资产安全。

    • 数据质量:提供数据探查、数据监控与数据对比能力,保障数据质量。

    • SLA治理:提供SLA在线化申报与签署,并通过多种治理保障措施,协同提高全链路数据质量。

2

数据开发模块快速入口:

  • 任务开发:可基于不同的引擎支持,创建不同的任务类型进行数据开发,支持在该模块下进行作业开发环境调试工作。

  • 发布中心:在发布中心界面下管理已提交的作业,您可通过创建发布包功能,将作业发布至生产环境中运行。

  • 运维中心:可从该入口,快速进入离线/流式任务运维,实现对已上线任务进行管理运维。

3

切换工作空间:
该部分为您展示了当前登录的数据开发项目空间名称和所处的区域,您可单击下拉图标,切换至其他项目空间。

4

项目控制台:
单击进入当前项目的项目控制台,进行项目的配置信息、成员信息、复查配置、数据源管理等项目信息查看与配置。详见项目管理

5搜索各引擎的数据表信息,您可通过输入表名称或关键字,跳转前往数据地图进行搜索。

6

左侧导航栏,可展示以下对应功能按钮:

  • 数据开发:可基于不同的引擎支持,创建不同的任务类型进行数据开发,支持在该模块下进行作业开发环境调试工作。

  • 临时查询:用于进行临时简单的数据查询工作。

  • 任务模板:提供便捷式创建任务,减少重复代码建设和常用代码的运维成本,提升开发效率。

  • 元数据:展现数据库表信息,对使用到的 Hive 表、LAS 表、StarRocks 表、Doris 表字段、分区信息及数据进行预览。

  • 资源库:支持上传本地资源,供复杂类型作业开发使用,您可在资源库中管理您上传的资源。

  • 函数库:提供引擎的公共函数;也可结合资源,自定义创建 UDF\UDTF\UDAF 函数。

  • 回收站:用户管理存放在数据开发中删除的节点任务。

7

数据开发模块,通过目录树的方式,对各个作业文件夹、任务节点类型进行管理,在此,您可以进行以下操作:

  • 创建子目录:根据不同业务场景,您可以为不同任务类型的节点创建属于自己的文件夹目录。

  • 新建任务:用于快速创建各种任务类型的节点。

  • 搜索任务:支持根据节点名称关键字、责任人等信息进行任务搜索。

  • 批量操作:用于快速对任务进行批量修改标签、复制、删除和移动任务等操作。

  • 移动:目录树中的任务,您可以直接通过鼠标按住拖拽任务名称的方式,自由的在文件夹之间移动。

8主题设置:数据开发 Studio 个性化设置,根据自身喜好,设置主界面风格和编辑器设置。

9

作业编辑区,代码编辑时支持多种高阶编辑操作,如:

  • 多光标编辑:您可按住 option(或者 Alt) + 鼠标单击,进行多光标同时编辑;

  • 多列编辑:按住 option(或者 Alt) + Shift + 鼠标框选,进行多列编辑修改;

  • 快速移动某一行:按住 option(或者 Alt) + 上下方向键,可将某一行代码快速上移或下移操作;

  • 快速复制某一行:按住 option(或者 Alt) + Shift + 上下方向键,可迅速将当前行进行复制操作;

  • ……

特殊字符、中文符号在编辑时的高阶提示,创建的临时表或视图在当前代码中的直接跳转(cmd + 鼠标点击)等等能力,均可在代码编辑时操作。
不同任务类型的详细配置操作,详见数据开发概述-任务类型分类

10

标签页操作:

  • 单击右侧“显示已打开的标签页”按钮,展现标签页搜索框,当打开任务较多时,您可在此处通过任务名称,快速进行任务的搜索。

  • 具体标签页右键支持复制名称、关闭、关闭其他、关闭右侧标签页、关闭已保存、全部关闭、固定、取消固定、切换最大化面板等操作。

2 任务目录树管理

数据开发模块以目录树的方式展现当前项目下的所有任务,方便对任务进行增删改查。
具体功能包括创建、查找和筛选任务,同时也支持您创建目录组织分类任务,以及目录、任务级别的删除、重命名、移动等操作。已创建的任务,均存储在左侧目录树中,便于统一管理。

在目录树中,您可执行以下操作:

  • 搜索任务:可分别按引擎类型、搜索范围、任务类型、任务分类、任务状态、任务标签、责任人进行搜索。

    • 引擎筛选:选择项目下已绑定的引擎信息,目录树中展现对应引擎下的任务。

    • 搜索范围:根据关键词,搜索匹配的文件目录或任务。

      • 任务ID/任务名称/责任人:将关键词与“任务ID/名称/责任人”进行模糊匹配,返回符合条件的文件目录或者任务。

      • 任务代码:将关键词与任务代码进行模糊匹配,返回符合条件的文件目录或任务。

      • 任务配置参数:将关键词与任务配置页面的配置参数进行模糊匹配,返回符合条件的文件目录或任务。

    • 其他搜索方式:通过选择不同的选项,进行筛选。

  • 快捷筛选:根据需要,选择我的按钮,筛选您本人创建的任务。

  • 创建子目录&创建任务:

    鼠标悬停在要创建子目录或任务的目录所在行,然后移到出现的更多图标处,在下拉列表中选择新建。可执行以下操作:

    • 在根目录任务开发下,可以创建子目录文件夹,子目录下还可以创建子目录。

    说明

    数据开发中默认存在的根目录,无法删除、重命名和移动。

    • 在根目录、子目录下均可创建任务。

    • 对子目录,还可进行以下操作:

      • 移动:将该目录进行移动至本项目下的其它目录中,若该目录中包含子目录或任务,则一起移动。您也可以直接通过鼠标按住拖拽任务名称的方式,自由的在文件夹之间移动。

      • 重命名:重命名目录名称。

      • 删除:删除该目录。

  • 编辑任务:用颜色表示任务的不同状态:

    序号图例说明
    1 绿色绿色表示上线任务,且最新草稿版本与线上版本一致。
    2 黄色黄色表示上线任务,但最新草稿版本与上线版本不一致。
    3 灰色灰色表示纯草稿任务,未上线。
    4 关闭线上任务为关闭的状态。
  • 单作业管理操作:

    操作说明
    开启/关闭对已经提交发布过的任务进行开启或关闭生产调度的操作。
    重命名对任务进行重命名,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,127个字符以内。

    标签管理

    您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。

    • 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。

    • 若没有可选的标签组,您可进行以下操作步骤:

      1. 进入 DataLeap 智能市场 > 任务标签管理,进入任务标签管理控制台,新建标签组。详见任务标签管理

      2. 新建标签组成功后,前往项目管理 > 具体项目的配置信息 > 标签管理来添加标签组。详见标签管理

    删除删除未上线、或线上已关闭的任务。
    复制复制该任务。
    移动将任务移动至本项目下的其它目录中。

    交换

    • 同项目下,两个上线且启用的任务可进行交换。

    • 任务交换,只交换任务 ID 和依赖设置,其它配置不变。

    说明

    流式任务、sensor任务类型,目前不支持交换操作。

    操作日志查看任务的操作日志。

3 批量操作

在日常开发及项目维护过程中,会不定期有任务需批量管理的场景,如批量修改标签、复制、移动等。为了更方便的支持您在不同场景下的批量操作需求,在任务目录树原有文件夹组织方式的基础上,新增了任务列表平铺式的呈现。您可以在任务列表模式下,可以完成不同批量操作。

3.1 前置说明

  1. 当前操作人需具备项目使用权限。

  2. 目前支持的批量操作类型:批量修改负责人、修改标签、复制、移动、删除。

3.2 操作入口

  1. 登录 DataLeap租户控制台

  2. 概览界面,显示加入的项目中,点击数据开发进入对应项目。

  3. 在左侧任务目录树上方,单击批量操作图标,进入批量操作界面。

3.3 批量操作类型

设置搜索条件,找到待批量操作的目标任务,您可以输入任务 ID/名称、责任人、存储目录、任务类型、标签、引擎类型等方式,进行任务的筛选过滤。
过滤出待操作的目标任务后,您可进行以下批量操作:

3.3.1 批量修改责任人

选定待批量操作的任务,单击上方批量操作类型---修改责任人,进入批量修改责任人入口:

  1. 目标责任人下拉框中,选择在当前项目下的成员,项目中添加成员操作详见管理成员信息

  2. 勾选下方“已知晓批量变更风险”选项。

  3. 单击确认按钮,完成责任人修改。

说明

  • 修改责任人,仅更新任务草稿版本配置,线上生效需要您重新提交发布任务。
  • 批量修改责任人操作后,目标责任人将自动获得任务编辑锁,需确保目标责任人拥有任务编辑权限后无风险。

3.3.2 批量修改标签

选定待批量操作的任务,单击上方批量操作类型---修改标签,进入批量修改标签入口:

  1. 单击删除全部标签或单任务后面的删除按钮,将原有标签去除。

  2. 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。

  3. 若没有可选的标签组,您可进行以下操作步骤:

    1. 进入 DataLeap 智能市场 > 任务标签管理,进入任务标签管理控制台,新建标签组。详见任务标签管理

    2. 新建标签组成功后,前往项目管理 > 具体项目的配置信息 > 标签管理来添加标签组。详见标签管理

选定新的标签组后,勾选“已知晓批量变更风险”,单击确认按钮,完成批量修改标签属性。

3.3.2 批量复制及移动

依据搜索条件,同理选定待批量操作任务,选择批量操作类型---复制、移动操作,在弹窗中指定复制、移动后的目标文件目录,单击确定按钮,完成操作。

注意

目前仅支持项目内移动,暂不支持跨项目移动。

3.3.4 批量删除

勾选待批量操作删除的任务后,单击上方批量操作类型---删除,进入批量删除入口。

在删除列表中,您可进行以下操作:

  • 单击右侧 alt 去除按钮,可将所选任务去除在批量删除列表中。

  • 需要删除的任务列表确认无误后,单击确认按钮,完成删除。

注意

  • 已上线或已开启的任务,将不会被删除。
  • 删除后的任务,将会进入回收站中,您可前往回收站进行后续操作。详见回收站

3.4 任务列表自定义展示

单击列表上方自定义展示列按钮,您可进入任务列表自定义展示列的配置:

  • 列表项:单击勾选全部,可以将所有列表参数展现在界面上,您也可以自定义进行勾选。

  • 冻结项:默认冻结任务名称列表项,默认需要展示。

  • 活动列:您可以以拖拽的方式,自定义排序已选中的列表项,或者删除该活动列。

4 操作日志

您在此操作的所有批量修改动作,均会记录在操作日志窗口中,您可在此追溯历史操作记录。
在任务列表上方,单击操作日志按钮,进入操作记录窗口。您可窗口中,查看历史的操作时间、任务名称、变更、批量操作类型及操作人信息。

5 界面布局管理

DataLeap 数据开发操作界面,可根据您的使用习惯,进行自定义布局管理,如 Tab 页分屏、导航栏移动、禅模式等操作。

  1. Tab 页分屏:

    当您在编辑代码,需要界面分屏操作时,您可手动按住一个任务标签页,可进行上下左右拖拽,实现分屏后可直接在不同任务中来回切换编辑,提升代码编辑效率。

  2. 导航栏移动:

    支持您将界面左侧导航栏中的模块,通过拖拽的方式移动到右侧,可实现左右区分模块。

  3. 禅模式:

    您可将编辑区界面最大化,开启禅模式,进行高效编辑。