Ressourcenkennzeichnung durch Pipelines der Gemini Enterprise Agent Platform

Je nach Art der Komponente, Ressource und Cloud de Confiance by S3NS Pipeline Components SDK-Version leitet Agent Platform Pipelines die Labels aus Ihrer Pipeline-Ausführung entweder automatisch an die Ressourcen weiter, die aus Cloud de Confiance by S3NS Pipeline Components generiert werden, oder Sie müssen die generierten Ressourcen labeln. Bei benutzerdefinierten Komponenten müssen Sie Ihren Komponentencode so erstellen, dass die Labels aus einer Umgebungsvariablen angehängt werden. Weitere Informationen finden Sie unter Ressourcen, die aus benutzerdefinierten Komponenten generiert werden.

Ressourcen mit automatischer Kennzeichnung

Agent Platform Pipelines fügt den folgenden Ressourcen unabhängig von der Version des Cloud de Confiance by S3NS Pipeline Components SDK automatisch ein Label hinzu:

CustomJob Ressourcen

Agent Platform Pipelines leitet die Labels aus Ihrer Pipeline-Ausführung automatisch an CustomJob-Ressourcen weiter. Dies wird von den folgenden Komponenten in allen Versionen des Cloud de Confiance by S3NS Pipeline Components SDK unterstützt:

Ressourcen mit automatischer Labelerstellung in Cloud de Confiance by S3NS Pipeline Components SDK Version 1.0.31 oder höher

Agent Platform Pipelines fügt den folgenden Ressourcen automatisch ein Label hinzu, wenn Sie Cloud de Confiance by S3NS Pipeline Components SDK Version 1.0.31 oder höher verwenden:

BatchPredictionJob Ressourcen

Agent Platform Pipelines leitet automatisch Labels aus Ihrer Pipeline-Ausführung an BatchPredictionJob-Ressourcen weiter, die aus der Komponente ModelBatchPredictOp generiert werden, wenn Sie Version 1.0.31 oder höher des Cloud de Confiance by S3NS Pipeline Components SDK verwenden.

endpoint-Ressourcen für Gemini Enterprise

Agent Platform Pipelines leitet automatisch Labels aus Ihrer Pipeline-Ausführung an Gemini Enterprise API-endpoint-Ressourcen weiter, die aus der Komponente EndpointCreateOp generiert werden, wenn Sie Version 1.0.31 oder höher des Cloud de Confiance by S3NS Pipeline Components SDK verwenden.

HyperparameterTuningJob Ressourcen

Agent Platform Pipelines leitet automatisch Labels aus Ihrer Pipeline-Ausführung an HyperparameterTuningJob-Ressourcen weiter, die aus der Komponente HyperparameterTuningJobRunOp generiert werden, wenn Sie Version 1.0.31 oder höher des Cloud de Confiance by S3NS Pipeline Components SDK verwenden.

Gemini Enterprise API – Dataset-Ressourcen

Agent Platform Pipelines leitet Labels aus Ihrer Pipeline-Ausführung automatisch an Gemini Enterprise API-Dataset-Ressourcen weiter, die aus den folgenden Gemini Enterprise API-Komponenten generiert werden, wenn Sie Version 1.0.31 oder höher des Cloud de Confiance by S3NS Pipeline Components SDK verwenden:

Cloud de Confiance by S3NS BigQuery-Jobressourcen

Agent Platform Pipelines leitet automatisch Labels aus Ihrer Pipeline-Ausführung an Cloud de Confiance by S3NS BigQuery-Jobressourcen weiter, die aus einer der BigQuery ML-Komponenten generiert wurden, wenn Sie Version 1.0.31 oder höher des Cloud de Confiance by S3NS Pipeline Components SDK verwenden.

Cloud de Confiance by S3NS Managed Service for Apache Spark-Jobressourcen

Agent Platform Pipelines leitet automatisch Labels aus Ihrer Pipeline-Ausführung an Cloud de Confiance by S3NS Managed Service for Apache Spark-Jobressourcen weiter, die aus einer der Managed Service for Apache Spark-Komponenten erstellt wurden, wenn Sie Version 1.0.31 oder höher des Cloud de Confiance by S3NS Pipeline Components SDK verwenden.

TrainingPipeline- und Model-Ressourcen

Agent Platform Pipelines leitet Labels aus Ihrer Pipeline-Ausführung automatisch an TrainingPipeline- und Model-Ressourcen weiter, die aus den folgenden AutoML-Komponenten generiert werden, wenn Sie Version 1.0.31 oder höher des Cloud de Confiance by S3NS Pipeline Components SDK verwenden:

Cloud de Confiance by S3NS BigQuery-Tabellenressourcen

Agent Platform Pipelines leitet automatisch Labels aus Ihrer Pipeline weiter, indem Sie Cloud de Confiance by S3NS BigQuery-Tabellenressourcenressourcen ausführen, die aus der Komponente ForecastingPreprocessingOp generiert wurden, wenn Sie Version 1.0.31 oder höher des Cloud de Confiance by S3NS Pipeline Components SDK verwenden.

Ressourcen ohne automatische Labels

Agent Platform Pipelines fügt den folgenden Ressourcen unabhängig von der Version des Cloud de Confiance by S3NS Pipeline Components SDK nicht automatisch ein Label hinzu:

Cloud de Confiance by S3NS Dataflow-Ressourcen

Agent Platform Pipelines fügt Dataflow-Ressourcen, die von der DataflowPythonJobOp-Komponente generiert werden, nicht automatisch ein Label hinzu. Sie können in Ihren Code Anweisungen zum Labeln der Ressourcen einfügen.

Mit dem folgenden Codebeispiel können Sie Abrechnungslabels von Ihrem Pipeline-Lauf an alle Cloud de Confiance by S3NS Dataflow-Ressourcen weitergeben, die mit der Komponente DataflowPythonJobOp generiert wurden:

  import argparse
  import apache_beam as beam
  ...
  def run(argv=None):
    parser = argparse.ArgumentParser()
    # Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options 
    parser.add_argument('--input', …)
    parser.add_argument('--output', …)
  ...
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:

Ressourcen, die aus benutzerdefinierten Komponenten generiert wurden

Agent Platform Pipelines fügt Cloud de Confiance by S3NS Ressourcen, die aus benutzerdefinierten Komponenten generiert wurden, nicht automatisch ein Label hinzu. Sie können Anweisungen in Ihren Code einfügen, um die Labels aus der Umgebungsvariable VERTEX_AI_PIPELINES_RUN_LABELS abzurufen und diese Labels an die Cloud de Confiance by S3NS -Ressourcen anzuhängen, die zur Laufzeit mit der Komponente generiert werden.

Die Umgebungsvariable VERTEX_AI_PIPELINE_RUN_LABELS enthält die Labels im JSON-Format als Schlüssel/Wert-Paare.

Beispiel: { "label1_key": "label1_value", "label2_key": "label2_value", ...}

Wenn Sie das Agent Platform SDK für Python verwenden, verwenden Sie das folgende Codebeispiel in Ihrem Komponentencode, um Labels aus der Umgebungsvariable an eine neue Ressource weiterzugeben, die aus der Komponente generiert wird:

import os
import json
from google.cloud import aiplatform

aiplatform.init(
  project='PROJECT_ID',
  location='LOCATION'
)

aiplatform.RESOURCE.create(
  ...
  json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)

Ersetzen Sie Folgendes:

  • PROJECT_ID: Das Cloud de Confiance by S3NS Projekt, das den Pipelineausführung enthält.

  • LOCATION: Der Standort des Pipeline-Laufs.

  • RESOURCE: Cloud de Confiance by S3NS Ressource, die aus der Komponente generiert wird, z. B. CustomJob oder Model.

Sie können auch das gcp_labels_util.attach_system_labels-Dienstprogramm verwenden, wenn Sie die Umgebungsvariable mit Python parsen möchten. Sie können dieses Dienstprogramm nur verwenden, wenn Sie Zugriff auf die Cloud de Confiance by S3NS Pipeline Components-Bibliothek haben und Python verwenden. Weitere Informationen finden Sie im Quellcode der Dienstfunktion in GitHub.

Ressourcen ohne Unterstützung für Labels

Agent Platform Pipelines unterstützt die Weitergabe von Abrechnungslabels an die folgenden Ressourcen nicht:

ML-Metadaten-Ressourcen

ML Metadata-Ressourcen werden auf Speicherebene abgerechnet. Sie können die Kosten auf Ressourcenebene anhand der Abrechnungslabels nicht verstehen.

Cloud Storage-Ressourcen

Agent Platform Pipelines überträgt Abrechnungslabels nicht an Cloud Storage-Ressourcen wie Cloud Storage-Buckets.

Nächste Schritte