הסבר על העלויות של הרצת צינורות

אתם יכולים לבדוק את העלות של הרצות צינורות באמצעות ייצוא של החיוב ב-Cloud ל-BigQuery.

אפשר גם להשתמש במזהה הייחודי לחיוב של הפעלת צינור עיבוד הנתונים כדי לבדוק את העלויות של המשאבים שנוצרו על ידי הפעלת צינור עיבוד הנתונים, באופן הבא:

1. ‫Vertex AI Pipelines מצרף באופן אוטומטי את התווית vertex-ai-pipelines-run-billing-id להרצת צינור עיבוד הנתונים. הערך של התווית הזו הוא מזהה החיוב הייחודי של הרצת צינור הנתונים.

2. ‫Vertex AI Pipelines מעביר את התווית הזו ל Cloud de Confiance by S3NS משאבים שנוצרו על ידי רכיבי צינור במהלך ההרצה של צינור הנתונים. שימו לב: כדי להעביר את התוויות, צריך לשדרג את Cloud de Confiance by S3NS Pipeline Components SDK או לעדכן את קוד הרכיב עבור חלק מהרכיבים והמשאבים. למידע נוסף על תיוג Cloud de Confiance by S3NS משאבים, אפשר לעיין במאמר תיוג משאבים על ידי Vertex AI Pipelines.

3. התווית vertex-ai-pipelines-run-billing-id מקשרת את השימוש במשאבים שנוצרו על ידי הרצת צינור הנתונים בדוחות החיוב. באמצעות הערך של התווית הזו, אפשר לבדוק את עלות השימוש במשאבים בהרצת צינור הנתונים באמצעות ייצוא של החיוב ב-Cloud ל-BigQuery. Cloud de Confiance by S3NS

בדף הזה מוסבר איך:

• הצגת עשרת ההרצות הכי יקרות של צינורות עיבוד נתונים

• שימוש במזהה לחיוב של הפעלת צינור עיבוד נתונים כדי לאתר הפעלה של צינור עיבוד נתונים

• שאילתת עלויות של משאבי Cloud de Confiance by S3NS בהרצת צינור מ-חיוב ב-Cloud

לפני שמתחילים

לפני שמשתמשים בחיוב ב-Cloud כדי להבין את העלות של הרצת צינור, צריך להגדיר את Cloud de Confiance by S3NS הפרויקט ואת סביבת הפיתוח באמצעות ההוראות הבאות:

• הגדרת ייצוא של נתוני החיוב ב-Cloud אל BigQuery.

• התקנה של גרסה 1.0.31 ואילך של Cloud de Confiance by S3NS Pipeline Components SDK

למידע נוסף על הסכימה של נתוני העלות הסטנדרטיים של השימוש בחיוב ב-Cloud, אפשר לעיין במאמר בנושא סכימה של נתונים סטנדרטיים של עלויות השימוש.

הצגת עשרת ההרצות היקרות ביותר של צינורות

כדי לראות רשימה של עשרת ההרצות היקרות ביותר של צינורות העברת הנתונים במהלך תקופת זמן מסוימת, מריצים את השאילתה הבאה:

SQL סטנדרטי

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

מחליפים את מה שכתוב בשדות הבאים:

• ‫START_DATE: תאריך ההתחלה של התקופה.

• ‫END_DATE: תאריך הסיום של התקופה.

בתוצאות השאילתה אמורות להופיע העמודות הבאות:

• project_id

• region

• pipeline_run_billing_id

• total_cost

עכשיו אפשר להשתמש במזהה הייחודי של הפעילות של צינור עיבוד הנתונים לחיוב מהעמודה pipeline_run_billing_id בתוצאות השאילתה כדי לבצע את הפעולות הבאות:

• איתור או אחזור של הפעלת צינור עיבוד נתונים

• צפייה בעלויות של Cloud de Confiance by S3NS משאבים בהרצת צינור עיבוד נתונים

שימוש במספר הלקוח לחיוב כדי לאתר הפעלה של צינור עיבוד נתונים

אפשר להשתמש במזהה הייחודי של הפעילות של צינור עיבוד הנתונים לחיוב מתוצאות השאילתה שבקטע הצגת עשר הפעילויות היקרות ביותר של צינור עיבוד הנתונים כדי לאתר פעילות של צינור עיבוד נתונים.

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

צפייה בעלויות של Cloud de Confiance by S3NS משאבים בהרצת צינור

אפשר להשתמש במזהה הייחודי של החיוב על הפעלת צינור עיבוד הנתונים מתוצאות השאילתה שבקטע הצגת עשר הפעלות צינור עיבוד הנתונים היקרות ביותר כדי לראות את העלויות של משאבי Cloud de Confiance by S3NS שנוצרו על ידי הפעלת צינור עיבוד הנתונים.

מריצים את השאילתה הבאה כדי לראות את רשימת המשאבים שנוצרו בהרצת צינור, יחד עם העלות של כל משאב: Cloud de Confiance by S3NS

SQL סטנדרטי

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

מחליפים את מה שכתוב בשדות הבאים:

• ‫START_DATE: תאריך ההתחלה של התקופה.

• ‫END_DATE: תאריך הסיום של התקופה.

• ‫PIPELINE_RUN_BILLING_ID: מזהה ייחודי לחיוב של הפעלת צינור עיבוד נתונים מתוצאות השאילתה List your ten most expensive pipeline runs.

בתוצאות השאילתה אמורות להופיע העמודות הבאות:

• service.id

• service.description

• sku.id

• sku_description

• cost

העמודה cost מייצגת את העלות של משאב שמתאים ל-sku.id בהרצת צינור הנתונים.