Entender os custos de execução do pipeline

É possível analisar o custo das execuções de pipeline usando a exportação do Cloud Billing para o BigQuery.

Também é possível usar o ID de faturamento exclusivo da execução do pipeline para analisar os custos dos recursos criados pela execução do pipeline, da seguinte maneira:

  1. O Vertex AI Pipelines anexa automaticamente o rótulo vertex-ai-pipelines-run-billing-id à execução do pipeline. O valor desse rótulo é seu ID de faturamento de execução do pipeline exclusivo.

  2. O Vertex AI Pipelines propaga esse rótulo para os Cloud de Confiance by S3NS recursos gerados pelos componentes do pipeline durante a execução do pipeline. Para alguns componentes e recursos, é preciso fazer upgrade do Cloud de Confiance by S3NS SDK de componentes do pipeline ou atualizar o código do componente para propagar os rótulos. Para mais informações sobre a rotulagem de Cloud de Confiance by S3NS recursos, consulte Rotulagem de recursos por pipelines da Vertex AI.

  3. O rótulo vertex-ai-pipelines-run-billing-id conecta o uso de Cloud de Confiance by S3NS recursos gerados pelo pipeline executado nos relatórios de faturamento. Com o valor desse rótulo, é possível analisar o custo do uso de recursos na execução do pipeline com a exportação do Cloud Billing para o BigQuery.

Nesta página, você aprende as seguintes ações com relação à verificação de tempo de atividade:

Antes de começar

Antes de usar o Cloud Billing para entender o custo de uma execução de pipeline, siga as instruções a seguir para configurar o Cloud de Confiance by S3NS projeto e o ambiente de desenvolvimento:

Para mais informações sobre o esquema dos dados de custo de uso padrão do Cloud Billing, consulte Esquema dos dados de custo de uso padrão.

Listar as 10 execuções de pipeline mais caras

Execute esta consulta para ver uma lista das 10 execuções de pipeline mais caras em um período especificado:

SQL padrão

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Substitua:

  • START_DATE: data de início do período.

  • END_DATE: data de término do período.

Você verá as seguintes colunas nos resultados da consulta:

  • project_id

  • region

  • pipeline_run_billing_id

  • total_cost

Agora é possível usar o ID de faturamento de execução do pipeline exclusivo da coluna pipeline_run_billing_id dos resultados da consulta para fazer o seguinte:

Usar o ID de faturamento para localizar uma execução de pipeline

É possível usar o ID de faturamento de execução de pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras para localizar uma execução de pipeline.

Console

Use as instruções a seguir para recuperar uma execução de pipeline no Cloud de Confiance console.

  1. Noconsole, na seção "Agent Platform", acesse a página Pipelines. Cloud de Confiance

    Acessar "Pipelines"

  2. Para localizar a execução do pipeline, filtre a lista usando um ID de faturamento de execução de pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras. Para isso, siga estas etapas:

    1. Clique em Filtrar e em Rótulos.

    2. Insira o ID de faturamento exclusivo da execução do pipeline no seguinte formato e pressione Enter:
      labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
      em que PIPELINE_RUN_BILLING_ID é a execução exclusiva do pipeline ID de faturamento.

SDK da Agent Platform para Python

Use o exemplo de código a seguir para recuperar a execução do pipeline:

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Substitua:

Ver os custos de Cloud de Confiance by S3NS recursos em uma execução de pipeline

É possível usar o ID de faturamento de execução de pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras para ver os custos de Cloud de Confiance by S3NS recursos gerados pela execução do pipeline.

Execute esta consulta para ver a lista de Cloud de Confiance by S3NS recursos gerados em uma execução de pipeline, além do custo de cada recurso:

SQL padrão

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Substitua:

  • START_DATE: data de início do período.

  • END_DATE: data de término do período.

  • PIPELINE_RUN_BILLING_ID: o ID de faturamento da execução do pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras.

Você verá as seguintes colunas nos resultados da consulta:

  • service.id

  • service.description

  • sku.id

  • sku_description

  • cost

A coluna cost representa o custo de um recurso correspondente a sku.id na execução do pipeline.