平台文档构建 Build3. 流水线 Pipeline

3. 流水线 Pipeline

流水线用 DAG 把输入、过滤、关联、聚合和输出串成一条可复现的数据链路。

流水线列表

1. 新建流水线

在左侧进入 [流水线],新建 Pipeline,进入画布编排。

2. 编排 DAG

拖入输入节点,按需添加过滤、连接、聚合、投影算子,最后连接输出节点。

流水线画布

3. 运行流水线

保存后点击 [运行],平台按依赖顺序执行,并把结果写入派生数据集。

4. 查看执行历史

在执行历史中查看状态、耗时和错误;失败可修复后重跑。

执行历史

每次成功运行会推进输出数据集版本。下游本体和应用读取最新版本,历史版本可用于回溯。