使用“流水线和连接”页面创建数据集成工作流

您可以使用 BigQuery 流水线和连接 页面，直接在 Cloud de Confiance 控制台中管理和简化数据集成任务。此页面为 BigQuery Data Transfer Service、Datastream 和 Pub/Sub 等服务提供了 BigQuery 专用的引导式配置工作流。

您可以使用流水线和连接 页面执行以下任务：

加载数据 。利用引导式体验，查找和加载来自受支持数据源的数据。
安排数据任务 。安排数据处理任务自动运行，包括计划查询、笔记本、数据准备和流水线。
转换数据 。创建流水线和数据准备，以执行清理、设计数据结构和准备数据等操作，以便进行分析和报告。
创建与数据源的连接 。连接到外部数据源、计算运行时和 AI 服务，以进行数据访问和远程执行。

设置流水线和连接 页面后，该页面会提供一个集中位置来管理和监控数据集成资产，方法是显示其状态并提供运营指标。

选择启用或停用

在预览期间，您可以选择启用或停用流水线和连接 页面。

选择启用

如需选择启用流水线和连接 页面，请按以下步骤操作：

前往 Cloud de Confiance 控制台。

前往控制台
在 Cloud de Confiance 控制台工具栏中，点击 导航菜单。
依次点击解决方案 > 所有产品。
在分析部分，点击 BigQuery 。

系统会打开 BigQuery Studio 页面。
如需展开导航菜单，请点击 切换 BigQuery 导航菜单。
在导航菜单中，点击以下选项之一：
- 数据传输
- 计划查询
- 时间安排
前往统一的流水线和连接横幅。
点击选择启用 。

选择启用后，现有的数据传输、时间安排和 计划查询页面会被流水线和连接 页面取代。

注意： Dataform 页面没有变化。

选择停用

如需选择停用统一的流水线和连接 页面，请按以下步骤操作：

在流水线和连接 页面上，点击统一的流水线和连接横幅中的选择停用 。
系统会打开一个反馈对话框。请提供反馈，说明您选择停用的原因，例如缺少功能或存在 bug。
依次点击发送和关闭。

提交表单后，导航菜单会恢复为使用单独的数据传输、时间安排和计划查询 页面。

创建数据集成资产

如需创建计划查询、数据传输和外部连接等资产，请执行以下操作：

前往流水线和连接 页面。

前往“流水线和连接”页面
点击创建。
对于要创建的资产，请点击卡片中的相应选项：
1. 如需使用引导式工作流从受支持的数据源之一添加数据，请在加载数据 卡片中点击添加数据 。
2. 如需安排查询、笔记本、数据准备或流水线，请在 安排数据任务卡片中点击安排，然后选择相应选项。
3. 如需创建转换流水线或数据准备，请在 转换数据 卡片中点击创建，然后选择相应选项。
4. 如需创建与外部数据源的连接，请在外部连接 卡片中点击创建连接 。

监控资产

创建资产后，您可以查看和监控这些资产。流水线和连接 页面中提供的运营指标包括 BigQuery Data Transfer Service 运行历史记录、Pub/Sub 订阅的吞吐量和延迟时间，以及 Datastream 流水线的数据新鲜度和事件计数。您还可以找到问题排查信息，例如 BigQuery Data Transfer Service 运行的日志和 Datastream 对象状态。

前往流水线和连接 页面。

前往“流水线和连接”页面
如需查看连接的详细信息，请点击连接标签页。
如需监控流水线，请点击流水线 标签页。您可以使用此页面查看流水线的状态、类型和运行历史记录等详细信息。
如需查看流水线的详细信息，请在显示名称 列中点击相应链接。