[パイプラインと接続] ページを使用してデータ統合ワークフローを作成する

BigQuery の [パイプラインと接続] ページを使用すると、 Cloud de Confiance コンソール内でデータ統合タスクを直接管理して効率化できます。このページでは、BigQuery Data Transfer Service、Datastream、Pub/Sub などのサービス向けに、BigQuery 固有の構成ワークフローがガイド付きで提供されます。

[パイプラインと接続] ページでは、次のタスクを実行できます。

  • データを読み込む 。ガイド付きのエクスペリエンスを使用して、サポートされているデータソースからデータを見つけて読み込みます。
  • データタスクのスケジュールを設定する 。スケジュールされたクエリ、ノートブック、データ準備、パイプラインなど、データプロセスを自動的に実行するようにスケジュールを設定します。
  • データを変換する 。分析やレポートでデータを利用できるようにするため、パイプラインとデータ準備を作成してデータのクリーニングや構造化を行います。
  • データソースへの接続を作成する 。外部データソース、コンピューティング ランタイム、AI サービスに接続すると、データ アクセスとリモート実行ができるようになります。

[パイプラインと接続] ページを設定すると、ステータスを表示して運用指標を提供することで、データ統合アセットを一元的に管理、モニタリングできます。

オプトインまたはオプトアウトする

プレビュー期間中は、[パイプラインと接続] ページの使用をオプトインまたはオプトアウトできます。

オプトインする

[パイプラインと接続] ページの使用をオプトインする手順は次のとおりです。

  1. コンソールに移動します。 Cloud de Confiance

    コンソールに移動

  2. コンソールのツールバーで、 [ナビゲーション メニュー]をクリックします。 Cloud de Confiance

  3. [ソリューション] > [すべてのプロダクト] をクリックします。

  4. [分析] で、[BigQuery] をクリックします。

    BigQuery の [Studio] ページが開きます。

  5. ナビゲーション メニューを開くには、 [BigQuery のナビゲーション メニューの切り替え] をクリックします。

    BigQuery のナビゲーション メニュー。

  6. ナビゲーション メニューで、次のいずれかのオプションをクリックします。

    • データ転送
    • スケジュールされたクエリ
    • スケジュール

  7. 統合されたパイプラインと接続のバナーに移動します。

    UI の [統合パイプラインと接続] バナー

  8. [オプトイン] をクリックします。

    オプトインすると、既存の [**データ転送**]、[**スケジュール**]、および [**スケジュールされたクエリ**] ページが [**パイプラインと接続**] ページに置き換えられます。

オプトアウトする

統合された [パイプラインと接続] ページの使用をオプトアウトする手順は次のとおりです。

  1. [パイプラインと接続] ページで、統合されたパイプラインと接続のバナーにある [オプトアウト] をクリックします。

  2. フィードバック ダイアログが開きます。機能の欠落やバグなど、オプトアウトする理由についてフィードバックを提供します。

  3. [送信]、[閉じる] の順にクリックします。

    フォームを送信すると、ナビゲーション メニューが元に戻り、 [**データ転送**]、[**スケジュール**]、[**スケジュールされたクエリ**] ページが個別に表示されるようになります。

データ統合アセットを作成する

スケジュールされたクエリ、データ転送、外部接続などのアセットを作成する手順は次のとおりです。

  1. [パイプラインと接続] ページに移動します。

    [パイプラインと接続] に移動

  2. [作成] をクリックします。

  3. 作成するアセットのカードで、次のオプションをクリックします。

    1. ガイド付きワークフローを使用して、サポートされているデータソースのいずれかからデータを追加するには、[データの読み込み] カードで [データを追加] をクリックします。

    2. クエリ、ノートブック、データ準備、パイプラインのスケジュールを設定するには、 [データタスクのスケジュール設定] カードで [スケジュール] をクリックし、 適切なオプションを選択します。

    3. 変換パイプラインまたはデータ準備を作成するには、 [データの変換] カードで [作成] をクリックし、 適切なオプションを選択します。

    4. 外部データソースへの接続を作成するには、[外部接続] カードで [接続を作成] をクリックします。

アセットをモニタリングする

アセットを作成したら、表示してモニタリングできます。[パイプラインと接続] ページで利用可能な運用指標には、BigQuery Data Transfer Service の実行履歴、Pub/Sub サブスクリプションのスループットとレイテンシ、Datastream パイプラインのデータの更新速度とイベント数などがあります。BigQuery Data Transfer Service の実行ログや Datastream オブジェクトのステータスなど、トラブルシューティング情報も確認できます。

  1. [パイプラインと接続] ページに移動します。

    [パイプラインと接続] に移動

  2. 接続の詳細を表示するには、[接続] タブをクリックします。

  3. パイプラインをモニタリングするには、[パイプライン] タブをクリックします。このページでは、パイプラインのステータス、タイプ、実行履歴などの詳細を確認できます。

  4. パイプラインの詳細を表示するには、[表示名] 列のリンクをクリックします。

次のステップ