Comprendre les coûts d'exécution des pipelines

Vous pouvez examiner le coût de vos exécutions de pipelines à l'aide de l'exportation Cloud Billing vers BigQuery.

Vous pouvez également utiliser l'ID de compte de facturation d'exécution de pipeline unique de votre exécution de pipeline pour examiner les coûts des ressources créées par l'exécution de pipeline, comme suit :

1. Vertex AI Pipelines associe automatiquement l'étiquette vertex-ai-pipelines-run-billing-id à votre exécution de pipeline. La valeur de cette étiquette correspond à votre ID de compte de facturation d'exécution de pipeline unique.

2. Vertex AI Pipelines propage cette étiquette aux Cloud de Confiance by S3NS ressources générées par les composants du pipeline pendant son exécution. Notez que pour certains composants et ressources, vous devez mettre à niveau le Cloud de Confiance by S3NS SDK des composants de pipeline ou mettre à jour votre code de composant pour propager les étiquettes. Pour en savoir plus sur l'étiquetage des Cloud de Confiance by S3NS ressources, consultez la section Étiquetage de ressources par Vertex AI Pipelines.

3. L'étiquette vertex-ai-pipelines-run-billing-id associe l'utilisation des Cloud de Confiance by S3NS ressources générées par l'exécution de pipeline dans les rapports de facturation. La valeur de cette étiquette vous permet de vérifier le coût d'utilisation des ressources dans l'exécution de pipeline avec l'exportation Cloud Billing vers BigQuery.

Cette page vous explique comment :

• Lister vos dix exécutions de pipeline les plus coûteuses

• Utiliser un ID de compte de facturation d'exécution de pipeline pour localiser une exécution de pipeline

• Interroger les coûts des Cloud de Confiance by S3NS ressources dans une exécution de pipeline à partir de Cloud Billing

Avant de commencer

Avant d'utiliser Cloud Billing pour comprendre le coût d'une exécution de pipeline, suivez les instructions ci-dessous afin de configurer votre Cloud de Confiance by S3NS projet et votre environnement de développement :

• Configurez l'exportation des données Cloud Billing vers BigQuery.

• Installez la version 1.0.31 ou une version ultérieure du Cloud de Confiance by S3NS SDK des composants de pipeline

Pour en savoir plus sur le schéma des données de coût d'utilisation standard de Cloud Billing, consultez la section Schéma des données de coût d'utilisation standard.

Lister vos dix exécutions de pipeline les plus coûteuses

Exécutez la requête suivante pour afficher la liste de vos dix exécutions de pipeline les plus coûteuses sur une période donnée :

SQL standard

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Remplacez les éléments suivants :

• START_DATE : date de début de la période.

• END_DATE : date de fin de la période.

Les colonnes suivantes devraient s'afficher dans les résultats de la requête :

• project_id

• region

• pipeline_run_billing_id

• total_cost

Vous pouvez maintenant utiliser l'ID de compte de facturation d'exécution de pipeline unique dans la colonne pipeline_run_billing_id des résultats de la requête pour effectuer les opérations suivantes :

• Localiser ou récupérer une exécution de pipeline

• Afficher les coûts des Cloud de Confiance by S3NS ressources dans une exécution de pipeline

Utiliser l'ID de compte de facturation pour localiser une exécution de pipeline

Vous pouvez utiliser l'ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses pour localiser une exécution de pipeline.

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Afficher les coûts des Cloud de Confiance by S3NS ressources dans une exécution de pipeline

Vous pouvez utiliser l'ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses pour afficher les coûts des Cloud de Confiance by S3NS ressources générées par l'exécution du pipeline.

Exécutez la requête suivante pour afficher la liste des Cloud de Confiance by S3NS ressources générées lors d'une exécution de pipeline, ainsi que le coût de chaque ressource :

SQL standard

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Remplacez les éléments suivants :

• START_DATE : date de début de la période.

• END_DATE : date de fin de la période.

• PIPELINE_RUN_BILLING_ID : ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses.

Les colonnes suivantes devraient s'afficher dans les résultats de la requête :

• service.id

• service.description

• sku.id

• sku_description

• cost

La colonne cost représente le coût d'une ressource correspondant au sku.id dans l'exécution du pipeline.