בהתאם לסוג הרכיב, המשאב והגרסה של Cloud de Confiance by S3NS Pipeline Components SDK, צינורות של Agent Platform מעבירים באופן אוטומטי את התוויות מהרצת צינורות אל המשאבים שנוצרו מ- Cloud de Confiance by S3NS Pipeline Components, או שמחייבים אתכם להוסיף תוויות למשאבים שנוצרו. במקרה של רכיבים שהוגדרו על ידי המשתמש, צריך לכתוב את קוד הרכיב כדי לצרף את התוויות ממשתנה סביבה. מידע נוסף זמין במאמר בנושא משאבים שנוצרו מרכיבים שהוגדרו על ידי המשתמש.
מקורות מידע עם תוויות אוטומטיות
Agent Platform Pipelines מתייג באופן אוטומטי את המשאבים הבאים, ללא קשר לגרסת Pipeline Components SDK: Cloud de Confiance by S3NS
CustomJob משאבים
התוויות מועברות באופן אוטומטי מריצת צינורות לעיבוד נתונים בפלטפורמת הסוכן למשאבי CustomJob. התמיכה הזו קיימת ברכיבים הבאים בכל הגרסאות של Cloud de Confiance by S3NS Pipeline Components SDK:
משאבים עם תיוג אוטומטי ב- Cloud de Confiance by S3NS Pipeline Components SDK v1.0.31 ואילך
אם משתמשים ב-Pipeline Components SDK בגרסה 1.0.31 ואילך, המערכת של Agent Platform Pipelines מתייגת באופן אוטומטי את המשאבים הבאים: Cloud de Confiance by S3NS
BatchPredictionJob משאבים
אם אתם משתמשים בגרסה 1.0.31 ואילך של Cloud de Confiance by S3NS Pipeline Components SDK, המערכת מעבירה באופן אוטומטי את התוויות מהרצת צינור העיבוד אל משאבי BatchPredictionJob שנוצרו מרכיב ModelBatchPredictOp.
משאבים של Gemini Enterprise endpoint
אם אתם משתמשים בגרסה 1.0.31 ואילך של Cloud de Confiance by S3NS Pipeline Components SDK, התוויות מועברות באופן אוטומטי מריצת הצינור של Agent Platform אל משאבי Gemini Enterprise API endpoint שנוצרו מרכיב EndpointCreateOp.
HyperparameterTuningJob משאבים
אם אתם משתמשים בגרסה 1.0.31 ואילך של Cloud de Confiance by S3NS Pipeline Components SDK, המערכת מעבירה באופן אוטומטי את התוויות מהרצת צינור העיבוד אל משאבי HyperparameterTuningJob שנוצרו מרכיב HyperparameterTuningJobRunOp.
משאבי מערכי נתונים ב-Gemini Enterprise API
אם אתם משתמשים בגרסה 1.0.31 ואילך של Cloud de Confiance by S3NS Pipeline Components SDK, מערכת Agent Platform Pipelines מעבירה באופן אוטומטי תוויות מהרצת צינור הנתונים למשאבי מערך הנתונים של Gemini Enterprise API שנוצרו מרכיבי Gemini Enterprise API הבאים:
Cloud de Confiance by S3NS משאבי משימות ב-BigQuery
אם משתמשים בגרסה 1.0.31 ואילך של Pipeline Components SDK, צינורות של Agent Platform מעבירים באופן אוטומטי תוויות מהרצת צינורות אל משאבי משימות BigQuery שנוצרו מכל אחד מרכיבי BigQuery ML. Cloud de Confiance by S3NS Cloud de Confiance by S3NS
Cloud de Confiance by S3NS משאבי משימות של Managed Service for Apache Spark
אם משתמשים בגרסה 1.0.31 ואילך של Cloud de Confiance by S3NS Pipeline Components SDK, התוויות מועברות אוטומטית מריצת צינור הנתונים של Agent Platform אל משאבי Cloud de Confiance by S3NS Managed Service for Apache Spark Job שנוצרו מכל אחד מרכיבי Managed Service for Apache Spark.
TrainingPipeline ומשאבים של Model
אם אתם משתמשים בגרסה 1.0.31 ואילך של Cloud de Confiance by S3NS Pipeline Components SDK, מערכת Agent Platform Pipelines מעבירה באופן אוטומטי תוויות מהרצת צינור העיבוד לTrainingPipeline ולמשאבי Model שנוצרו מהרכיבים הבאים של AutoML:
Cloud de Confiance by S3NS משאבי טבלה ב-BigQuery
אם אתם משתמשים בגרסה 1.0.31 ואילך של Cloud de Confiance by S3NS Pipeline Components SDK, Agent Platform Pipelines מעבירה באופן אוטומטי תוויות מהרצת צינורות הנתונים שלכם Cloud de Confiance by S3NS משאבי טבלאות BigQuery שנוצרו מהרכיב ForecastingPreprocessingOp.
משאבים ללא תוויות אוטומטיות
Agent Platform Pipelines לא מסווגת אוטומטית את המשאבים הבאים, ללא קשר לגרסת Cloud de Confiance by S3NS Pipeline Components SDK:
Cloud de Confiance by S3NS משאבי Dataflow
רכיב Agent Platform Pipelines לא מתייג באופן אוטומטי משאבי Dataflow שנוצרו על ידי הרכיב DataflowPythonJobOp. אפשר לכלול הוראות בקוד כדי לתת תווית למשאבים.
אפשר להשתמש בדוגמת הקוד הבאה כדי להפיץ תוויות לחיוב מהרצת צינור עיבוד הנתונים לכל משאב Cloud de Confiance by S3NS Dataflow שנוצר באמצעות הרכיב DataflowPythonJobOp:
import argparse
import apache_beam as beam
...
def run(argv=None):
parser = argparse.ArgumentParser()
# Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options
parser.add_argument('--input', …)
parser.add_argument('--output', …)
...
known_args, pipeline_args = parser.parse_known_args(argv)
pipeline_options = PipelineOptions(pipeline_args)
with beam.Pipeline(options=pipeline_options) as p:
משאבים שנוצרו מרכיבים שהוגדרו על ידי המשתמש
Agent Platform Pipelines לא מתייג באופן אוטומטי Cloud de Confiance by S3NS משאבים שנוצרו מרכיבים שהוגדרו על ידי המשתמש. אתם יכולים לכלול הוראות בקוד כדי לאחזר את התוויות ממשתנה הסביבה VERTEX_AI_PIPELINES_RUN_LABELS ולצרף את התוויות האלה Cloud de Confiance by S3NS למשאבים שנוצרו באמצעות הרכיב בזמן הריצה.
משתנה הסביבה VERTEX_AI_PIPELINE_RUN_LABELS מכיל את התוויות בפורמט JSON כצמדי מפתח/ערך.
לדוגמה: { "label1_key": "label1_value", "label2_key": "label2_value", ...}
אם אתם משתמשים ב-Agent Platform SDK ל-Python, אתם יכולים להשתמש בדוגמת הקוד הבאה בקוד הרכיב כדי להעביר תוויות ממשתנה הסביבה למשאב חדש שנוצר מהרכיב:
import os
import json
from google.cloud import aiplatform
aiplatform.init(
project='PROJECT_ID',
location='LOCATION'
)
aiplatform.RESOURCE.create(
...
json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)
מחליפים את מה שכתוב בשדות הבאים:
PROJECT_ID: Cloud de Confiance by S3NS הפרויקט שמכיל את ההרצה של צינור הנתונים.
LOCATION: המיקום של הפעלת צינור העיבוד.
RESOURCE: Cloud de Confiance by S3NS משאב שנוצר מהרכיב, לדוגמה,
CustomJobאוModel.
אפשר גם להשתמש בכלי gcp_labels_util.attach_system_labels אם רוצים להשתמש ב-Python כדי לנתח את משתנה הסביבה. אפשר להשתמש בכלי הזה רק אם יש לכם גישה לספריית רכיבי הצינור ואתם משתמשים ב-Python. Cloud de Confiance by S3NS מידע נוסף זמין במאגר GitHub של פונקציית השירות.
משאבים שלא תומכים בתוויות
הפלטפורמה Agent Platform Pipelines לא תומכת בהפצה של תוויות לחיוב למשאבים הבאים:
מקורות מידע על ML Metadata
החיוב על משאבי ML Metadata מתבצע ברמת המאגר. אי אפשר להשתמש בתוויות לחיוב כדי להבין את העלות ברמת המשאב.
משאבים של Cloud Storage
Agent Platform Pipelines לא מעביר תוויות לחיוב למשאבי Cloud Storage, כמו קטגוריות של Cloud Storage.