跳到主要内容

数据采集

1. 添加数据源​

在左侧导航栏中选择 「数据采集 > 数据源管理」，然后点击右侧的 「添加数据源」 按钮。

alt text

2. 创建数据源导入任务​

系统支持以下四种数据导入方式：MySQL、MongoDB、文件数据、Hive。

  1. 填写连接配置
    输入对应数据源的连接信息，并点击 「测试连接」 验证是否可用。

    alt text

  2. 选择数据表与字段
    系统会自动查询数据库中的所有表。您可以灵活选择需要导入的表和字段。
    在下方配置 数据流向 与 数据流向分支。若分支不存在，系统会自动创建。配置完成后，点击 「保存并执行」。

    alt text

  3. 设置执行方式

    • 可选择立即执行。
    alt text
    • 或者设置定时任务，在指定时间执行。
    alt text
    • 也可以仅保存配置，稍后在任务列表中点击执行按钮运行。

  4. 任务添加成功
    完成上述步骤后，数据源任务即创建成功。在任务列表可以看到该任务。

    alt text

3. 查看任务信息​

  1. 任务详情
    点击任务条目，可查看具体配置信息。
alt text

  1. 执行结果与日志
    在任务详情页中，可查看任务的执行结果和运行日志。

    alt text

  2. 查看导入数据
    导入成功后，可在 个人数据集 中查看已同步到 CSGHUB 的数据。

    alt text