Gemini Enterprise Agent Platform Pipelines によるリソースのラベル付け

コンポーネントやリソースの種類、さらに Cloud de Confiance by S3NS Pipeline Components SDK のバージョンによっては、Agent Platform Pipelines がパイプライン実行時に付けたラベルを Cloud de Confiance by S3NS Pipeline Components から生成されたリソースに自動的に引き継ぐ場合もあれば、生成されたリソースにユーザー自身がラベルを付ける必要がある場合もあります。ユーザー定義コンポーネントの場合は、ユーザーが環境変数からラベルを付けるコンポーネント コードを作成する必要があります。詳細については、ユーザー定義コンポーネントから生成されるリソースをご覧ください。

自動的にラベル付けされるリソース

Agent Platform Pipelines は、 Cloud de Confiance by S3NS Pipeline Components SDK のバージョンに関係なく、次のリソースに自動的にラベルを付加します。

CustomJob リソース

Agent Platform Pipelines は、パイプライン実行のラベルを CustomJob リソースに自動的に伝播します。これは、 Cloud de Confiance by S3NS Pipeline Components SDK のすべてのバージョンの次のコンポーネントでサポートされています。

Cloud de Confiance by S3NS Pipeline Components SDK v1.0.31 以降で自動的にラベル付けされるリソース

Pipeline Components SDK v1.0.31 以降を使用している場合、Agent Platform Pipelines は次のリソースに自動的にラベルを付加します。 Cloud de Confiance by S3NS

BatchPredictionJob リソース

Pipeline Components SDK v1.0.31 以降を使用している場合、Agent Platform Pipelines は、パイプライン実行のラベルを BatchPredictionJob リソースに自動的に伝播します。ModelBatchPredictOp Cloud de Confiance by S3NS

Gemini Enterprise endpoint リソース

Pipeline Components SDK v1.0.31 以降を使用している場合、Agent Platform Pipelines は、パイプライン実行のラベルを Gemini Enterprise API endpoint リソースに、EndpointCreateOp コンポーネントから自動的に伝播します。 Cloud de Confiance by S3NS

HyperparameterTuningJob リソース

Pipeline Components SDK v1.0.31 以降を使用している場合、Agent Platform Pipelines は、パイプライン実行のラベルを HyperparameterTuningJob リソースに自動的に伝播します。HyperparameterTuningJobRunOp Cloud de Confiance by S3NS

Gemini Enterprise API データセット リソース

Pipeline Components SDK v1.0.31 以降を使用している場合、Agent Platform Pipelines は、パイプライン実行のラベルを次の Gemini Enterprise API コンポーネントから生成された Gemini Enterprise API データセット リソースに自動的に伝播します。 Cloud de Confiance by S3NS

Cloud de Confiance by S3NS BigQuery ジョブのリソース

Pipeline Components SDK v1.0.31 以降を使用している場合、Agent Platform Pipelines は、 Cloud de Confiance by S3NS BigQuery ML コンポーネントのいずれかから生成された BigQuery ジョブリソースに、パイプライン実行のラベルを自動的に伝播します。 Cloud de Confiance by S3NS

Cloud de Confiance by S3NS Managed Service for Apache Spark ジョブのリソース

Pipeline Components SDK v1.0.31 以降を使用している場合、Agent Platform Pipelines は、Managed Service for Apache Spark コンポーネントのいずれかから生成された Cloud de Confiance by S3NS Managed Service for Apache Spark ジョブリソースに、パイプライン実行のラベルを自動的に伝播します。 Cloud de Confiance by S3NS

TrainingPipeline リソースと Model リソース

Pipeline Components SDK の v1.0.31 以降を使用している場合、Agent Platform Pipelines はパイプライン実行から TrainingPipeline リソースと Model リソース(次の AutoML コンポーネントから生成されたもの)に自動的にラベルを伝播します。 Cloud de Confiance by S3NS

Cloud de Confiance by S3NS BigQuery テーブル リソース

Pipeline Components SDK の v1.0.31 以降を使用している場合、Agent Platform Pipelines はパイプライン実行 Cloud de Confiance by S3NS BigQuery テーブル リソースから ForecastingPreprocessingOp コンポーネントによって生成されたリソースのラベルを自動的に伝播します。 Cloud de Confiance by S3NS

自動的にラベル付けされないリソース

Agent Platform Pipelines は、 Cloud de Confiance by S3NS Pipeline Components SDK のバージョンに関係なく、次のリソースに自動的にラベルを付加しません。

Cloud de Confiance by S3NS Dataflow リソース

Agent Platform Pipelines は、DataflowPythonJobOp コンポーネントによって生成された Dataflow リソースに自動的にラベルを付加しません。リソースにラベルを付加する手順をコードに配置できます。

次のコードサンプルを使用して、パイプライン実行から DataflowPythonJobOp コンポーネントを使用して生成された任意の Cloud de Confiance by S3NS Dataflow リソースに請求ラベルを伝播します。

  import argparse
  import apache_beam as beam
  ...
  def run(argv=None):
    parser = argparse.ArgumentParser()
    # Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options 
    parser.add_argument('--input', …)
    parser.add_argument('--output', …)
  ...
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:

ユーザー定義コンポーネントから生成されるリソース

Agent Platform Pipelines は、ユーザー定義コンポーネントから生成された Cloud de Confiance by S3NS リソースに自動的にラベルを付加しません。環境変数 VERTEX_AI_PIPELINES_RUN_LABELS からラベルを取得する手順をコードに配置し、実行時にコンポーネントを使用して生成された Cloud de Confiance by S3NS リソースにそれらのラベルを付けることができます。

環境変数 VERTEX_AI_PIPELINE_RUN_LABELS には、Key-Value ペアとして JSON 形式のラベルが含まれます。

例: { "label1_key": "label1_value", "label2_key": "label2_value", ...}

Agent Platform SDK for Python を使用している場合は、コンポーネント コードで次のコードサンプルを使用して、コンポーネントから生成された新しいリソースに環境変数からラベルを伝播します。

import os
import json
from google.cloud import aiplatform

aiplatform.init(
  project='PROJECT_ID',
  location='LOCATION'
)

aiplatform.RESOURCE.create(
  ...
  json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)

次のように置き換えます。

  • PROJECT_ID: パイプライン実行を含む Cloud de Confiance by S3NS プロジェクト。

  • LOCATION: パイプライン実行のロケーション。

  • RESOURCE: コンポーネントから生成された Cloud de Confiance by S3NS リソース(例: CustomJob、Model)。

Python を使用して環境変数を解析する場合は、gcp_labels_util.attach_system_labels ユーティリティを使用することもできます。このユーティリティは、 Cloud de Confiance by S3NS パイプライン コンポーネント ライブラリにアクセスでき、Python を使用している場合にのみ使用できます。詳細については、GitHub にあるユーティリティ関数のソースコードをご覧ください。

ラベル付けがサポートされていないリソース

Agent Platform Pipelines では、次のリソースへの請求ラベルの伝播はサポートされていません。

ML メタデータ リソース

ML メタデータ リソースに対してはストアレベルで課金されます。課金ラベルを使用してリソースレベルの費用を把握することはできません。

Cloud Storage リソース

Agent Platform Pipelines は、Cloud Storage バケットなどの Cloud Storage リソースに請求ラベルを伝播しません。

次のステップ