Atualizações no modelo de dados dos CUDs com base em gastos

Como parte da expansão do programa de descontos por compromisso de uso (CUDs), atualizamos o modelo de CUDs com base em gastos e oferecemos ferramentas para ajudar você a se preparar para as mudanças, que incluem:

• Exportação de dados de amostra do BigQuery: um conjunto de dados de amostra que demonstra como ativar muda a aparência das exportações de dados de CUD com base em gastos no BigQuery.
• Exemplos de consultas de KPI de CUD: consultas de exemplo para usar com a exportação de dados de amostra do BigQuery e calcular indicadores principais de desempenho (KPIs) importantes de CUD.
• Novos detalhes de CUD: descrições de novos campos de CUD e migração de dados, por exemplo, novos IDs de SKUs de taxa de CUD, nomes de ofertas e IDs de modelo de consumo.

Exportação de dados de amostra do BigQuery

É possível usar a exportação de dados de amostra do BigQuery para preparar seus sistemas internos para as mudanças que ocorrem nos dados de CUDs com base em gastos. O processo para usar a exportação de dados de exemplo tem estas etapas principais:

1. Confira os pré-requisitos.
2. Ative a exportação de dados de amostra.
3. Deixe os novos dados se acumularem.
4. Explore o novo modelo de dados e as consultas.
5. Atualize seus sistemas e fluxos de trabalho internos de acordo com as mudanças.

Pré-requisitos

Você precisa atender aos seguintes pré-requisitos para usar a exportação de dados de amostra:

• Você precisa ter uma exportação de dados de faturamento detalhada ou padrão configurada para sua conta do Cloud Billing. Para mais informações, consulte Configurar a exportação de dados do Cloud Billing para o BigQuery.

• Você precisa ter permissões no projeto que é proprietário da exportação e na conta do Cloud Billing em que você está ativando a exportação. Exemplo:

  • Permissão bigquery.datasets.create no projeto que contém o conjunto de dados.
  • Permissão billing.accounts.getUsageExportSpec na conta do Cloud Billing.

  Para encontrar papéis predefinidos do Cloud Billing que contêm essas permissões, como Leitor da conta de faturamento, Gerente de custos da conta de faturamento ou Administrador da conta de faturamento, consulte Controle de acesso e permissões do Cloud Billing. Para mais informações sobre permissões específicas do BigQuery, consulte Papéis e permissões do BigQuery IAM

• Quando você cria uma conta do Cloud Billing, a atribuição proporcional é ativada por padrão para compromissos baseados em gastos. Caso contrário, você precisa ter ativado essa opção para usar a exportação. Para isso, siga estas instruções.

  • Se o VPC-SC estiver ativado para recursos do BigQuery no seu projeto ou organização, crie regras de entrada e saída para ativar corretamente o seguinte:
  • Crie uma regra de entrada que dê ao indivíduo acesso para criar a exportação:

  - ingressFrom:
      identities:
      - PRINCIPAL_ID_FOR_PERSON_ENABLING_SUBSCRIPTION
      sources:
      - accessLevel: "*"
  ingressTo:
      roles:
      - roles/bigquery.dataOwner
      resources:
      - projects/YOUR_PROJECT_ID_TO_HOST_SAMPLE_DATA
  title: 'Sample Export Ingress'
  

• Crie uma regra de saída para permitir que o Google Cloud crie o conjunto de dados vinculado do BigQuery no VPC-SC:

  
  
  
  egressTo:
  roles:
  
  roles/bigquery.dataOwner
  resources:
  projects/710382390241
  egressFrom:
  identityType: ANY_IDENTITY
  sources:
  accessLevel: "*"
  sourceRestriction: RESTRICTION_STATUS
  title: 'Sample Export Egress'
  

Ativar a exportação de dados de amostra

Para ativar a exportação de dados de amostra, siga estas etapas:

1. Abra a seção "Exportação de faturamento" do console Trusted Cloud .

   Acessar a exportação de faturamento

2. Na caixa de diálogo Exportação de faturamento, selecione a conta do Cloud Billing em que você quer ativar a exportação de dados de amostra, conforme mostrado na tela a seguir.

3. O processo de exportação de dados começa e leva aproximadamente um dia para ser ativado. Você vai ver a seguinte nota até que ela esteja pronta: Depois de ativar a exportação de dados de amostra, ela começa a coletar dados do Faturamento do Cloud, com novos dados adicionados continuamente até janeiro de 2026. Aguarde tempo suficiente para que dados suficientes se acumulem na exportação antes de atualizar seus sistemas para se alinhar ao novo modelo de dados.

4. Quando a exportação estiver pronta, você vai ver a seguinte notificação na seção "Faturamento" do console do Trusted Cloud :

   A exportação de dados é criada como um conjunto de dados vinculado no mesmo projeto do BigQuery que contém a exportação de dados de faturamento detalhados ou padrão. Como é um conjunto de dados vinculado, não haverá cobranças extras pela exportação de amostra. Para mais informações, consulte Introdução ao compartilhamento do BigQuery.

5. Clique em Ver conjunto de dados de amostra para abrir o BigQuery no consoleTrusted Cloud , onde é possível executar consultas para entender seus KPIs importantes de CUD.

Limitações de exportação de amostras

A exportação de dados de amostra é uma ferramenta útil para se preparar para as mudanças no modelo de dados, mas difere das exportações de dados reais das seguintes maneiras importantes:

• Após a migração: não use as exportações de amostra depois de ativar o novo modelo de dados, porque elas não serão mais precisas.
• Tamanho da saída: devido a diferenças na agregação de dados, o tamanho da exportação de amostra pode variar em relação à exportação real que você vê depois de ativar essas mudanças.
• Métodos de arredondamento: devido a diferenças nos métodos de arredondamento, podem ocorrer pequenas discrepâncias em valores muito pequenos ou em moedas que não sejam o dólar americano.
• Taxas proporcionais: a exportação de amostra pode superestimar os custos da primeira e da última hora de uma compra de CUD porque não considera as taxas de compromisso de hora parcial da mesma forma. A compra de um CUD baseado em gastos calcula a taxa proporcionalmente para a primeira hora.

Exemplo de exportação de dados antes e depois do novo modelo de CUD

O novo modelo de CUD com base em gastos exige que você planeje e ajuste seus sistemas internos que podem consumir dados de faturamento do Cloud. Por isso, apresentamos os seguintes cenários para mostrar como o esquema de exportação de dados e os dados mudam antes e depois do novo modelo de CUD. Além disso, dividimos esses cenários em situações de uso excessivo e insuficiente dos CUDs para mostrar o efeito na exportação de dados.

Nos dois cenários, considere que você comprou uma VM E2-Standard-8 em US Central 1, que consiste em duas SKUs para RAM e Core. Essas SKUs usam os IDs fictícios RAM SKU e Core SKU, respectivamente.

Em seguida, você compra um 1 Year GCE Flex CUD por US $0,1/h para o cenário de uso excessivo e US $0,3/h para o cenário de uso insuficiente. Eles são representados nos dados como o ID fictício Fee SKU.

Cenário de CUD superutilizado

No cenário de uso excessivo, você fez as compras mencionadas anteriormente e usou demais os CUDs.

Dados anteriores

Antes do novo modelo de CUD, o esquema de exportação e os valores de dados do Cloud Billing eram semelhantes à tabela a seguir.

^{1. Essa coluna representa o valor do rótulo goog-originating-sku-id.}

Data após

Depois do novo modelo de CUD, o esquema de exportação e os valores de dados do Cloud Billing vão ficar parecidos com a tabela a seguir.

^{1. Essa coluna representa o valor do rótulo goog-originating-sku-id.}

Observe o seguinte neste novo modelo de CUD:

• Há duas linhas para cada CUD, em vez de uma para cada.
• Há uma nova coluna consumption_model.description que separa as entradas adicionais de CUD, em que:
  • O valor Compute Flexible CUDs 1 Year indica que você recebeu o desconto esperado do CUD.
  • O valor Default indica que você usou demais o CUD, e o custo voltou aos preços padrão para o valor excedente. Isso também é indicado pelo fato de subscription.instance_id não ter valor.
  • As linhas de taxa de CUD também têm o valor Default, porque os descontos não se aplicam a elas. Em vez disso, o campo credits indica que um valor negativo foi aplicado para anular a taxa.

Cenário de CUD subutilizado

Para esse cenário de subutilização, presumimos que você fez as compras mencionadas anteriormente e subutilizou os CUDs.

Dados anteriores

Antes do novo modelo de CUD, o esquema de exportação e os valores de dados do Cloud Billing eram semelhantes à tabela a seguir.

^{1. Essa coluna representa o valor do rótulo goog-originating-sku-id.}

Data após

Depois do novo modelo de CUD, o esquema de exportação e os valores de dados do Cloud Billing vão ficar parecidos com a tabela a seguir.

^{1. Essa coluna representa o valor do rótulo goog-originating-sku-id.}

Observe o seguinte neste novo modelo de CUD:

• Há duas linhas para cada CUD, em vez de uma para cada.
• Há uma nova coluna consumption_model.description que separa as entradas adicionais de CUD, em que:
  • O valor Compute Flexible CUDs 1 Year indica que você recebeu o desconto esperado do CUD.
  • O valor Default indica as linhas de taxas de CUD, porque os descontos não se aplicam a elas. Em vez disso, o campo credits indica que um deslocamento negativo foi aplicado para negar as taxas, que foram acumuladas na primeira linha.
• A primeira linha mostra uma soma das taxas de CUD.

Exemplos de consultas para KPIs principais de CUD

Use essas métricas importantes de KPI para validar se os sistemas estão funcionando bem com o novo modelo de dados:

1. Economia com compromisso (US$): descreve a economia resultante dos seus compromissos. A métrica usa a fórmula (Cost of resources at on-demand rates - cost of resources with commitment discounts).
2. Economia do compromisso (%): descreve a porcentagem de economia resultante dos seus compromissos. A métrica usa a fórmula (Commitment savings / costs of resources at on-demand rates)*100.
3. Utilização do compromisso (%): mede a eficácia com que você usa seus compromissos, expressa como uma porcentagem. A métrica usa a fórmula (Commitment applied to eligible spend / total commitment).

4. Taxa de economia efetiva (%): explica o retorno do investimento (ROI) para descontos por compromisso. A métrica usa a fórmula (Commitment Savings / On-Demand Equivalent Spend).

   Para ter uma visão melhor dos dados de custo, as seguintes consultas de amostra do BigQuery mostram como recuperar informações úteis para os KPIs a seguir.

Escolher o exemplo de consulta correto

Para ajudar você a atualizar suas consultas de acordo com as mudanças no modelo de dados, fornecemos duas versões das consultas de exemplo de KPI. Escolha uma destas opções:

• Exemplos de consultas de KPI usando o modelo de dados legados
• Exemplos de consultas de KPI usando o novo modelo de dados

Exemplos de consultas de KPI usando o modelo de dados legado

Use essas consultas de exemplo se você não estiver usando o novo modelo de dados.

Essas consultas são apenas para CUDs flexíveis do Compute. Para consultar outros produtos de CUD com base em gastos, mude os seguintes valores:

• cud_product
• sku.description
• credit.type

Custo do CUD mais economia do CUD

WITH
 cost_data AS (
   SELECT *
   FROM project.dataset.gcp_billing_export_resource_v1_NNNNNN_NNNNNN_NNNNNN
   WHERE invoice.month = 'month'
 ),
 cud_product_data AS (
   SELECT * FROM UNNEST(
     [
       STRUCT(
         'Compute Engine Flexible CUDs' AS cud_product,
         'Commitment - dollar based v1: GCE' AS cud_fee_regex,
         'GCE Commitments' AS cud_credit_regex)])
 ),
 cud_costs AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product_data.cud_product,
     IFNULL(
       (
         SELECT l.value
         FROM UNNEST(labels) l
         WHERE l.key = 'goog-originating-service-id'
       ),
       service.id) AS service,
     SUM(cost) AS cost
   FROM
     cost_data
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         sku.description, cud_fee_regex)
   GROUP BY 1, 2, 3
 ),
 cud_credits AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product,
     service.id AS service,
     SUM(credit.amount) AS spend_cud_credits
   FROM
     cost_data, UNNEST(credits) AS credit
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         credit.full_name, cud_credit_regex)
   WHERE
     credit.type = 'COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE'
   GROUP BY 1, 2, 3
 )
SELECT
 invoice_month,
 cud_product,
 cost As commitment_cost,
 -1 * (cost + IFNULL(spend_cud_credits, 0)) AS commitment_savings
FROM cud_costs
LEFT JOIN cud_credits
 USING (invoice_month, cud_product, service);

• month é o ano e o mês atuais no formato YYYYMM, por exemplo, "202504".

Utilização do compromisso

WITH
 cost_data AS (
   SELECT *
   FROM project.dataset.gcp_billing_export_resource_v1_NNNNNN_NNNNNN_NNNNNN
   WHERE invoice.month = 'month'
 ),
 cud_product_data AS (
   SELECT * FROM UNNEST(
     [
       STRUCT(
         'Compute Engine Flexible CUDs' AS cud_product,
         'Commitment - dollar based v1: GCE' AS cud_fee_regex,
         'GCE Commitments' AS cud_credit_regex)])
),
 cud_commitment_amount AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product_data.cud_product,
     SUM(usage.amount_in_pricing_units / 100) AS commitment_amount,
   FROM
     cost_data
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         sku.description, cud_fee_regex)
   GROUP BY 1, 2
 ),
 cud_utilized_commitment_amount AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product,
     ABS(SUM(credit.amount / currency_conversion_rate))
       AS utilized_commitment_amount
   FROM
     cost_data, UNNEST(credits) AS credit
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         credit.full_name, cud_credit_regex)
   WHERE
     credit.type = 'COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE'
   GROUP BY 1, 2
 )
SELECT
 invoice_month,
 cud_product,
 utilized_commitment_amount / commitment_amount *100 AS commitment_utilization
FROM cud_commitment_amount
LEFT JOIN cud_utilized_commitment_amount
 USING (invoice_month, cud_product);

• month é o ano e o mês atuais no formato YYYYMM, por exemplo, "202504".

Taxa de poupança efetiva

WITH
 cost_data AS (
   SELECT *
   FROM project.dataset.gcp_billing_export_resource_v1_NNNNNN_NNNNNN_NNNNNN
   WHERE invoice.month = 'month'
 ),
 cud_product_data AS (
   SELECT * FROM UNNEST(
     [
       STRUCT(
         'Compute Engine Flexible CUDs' AS cud_product,
         'Commitment - dollar based v1: GCE' AS cud_fee_regex,
         'GCE Commitments' AS cud_credit_regex)])
 ),
 eligible_cud_skus AS (
   SELECT sku_id
   FROM example_project.dataset.flex_cud_skus
 ),
 eligible_cud_spend AS (
   SELECT
     invoice.month AS invoice_month,
     SUM(cost) AS cost,
     SUM(
       IFNULL(
         (
           SELECT SUM(credit.amount)
           FROM UNNEST(credits) AS credit
           WHERE
             credit.type IN (
               'COMMITTED_USAGE_DISCOUNT',
               'COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE',
               'DISCOUNT',
               'FREE_TIER')
         ),
         0)) AS costs_ineligible_for_cud,
   FROM cost_data
   JOIN eligible_cud_skus
     ON sku.id = sku_id
   GROUP BY 1
 ),
 cud_costs AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product_data.cud_product,
     IFNULL(
       (
         SELECT l.value
         FROM UNNEST(labels) l
         WHERE l.key = 'goog-originating-service-id'
       ),
       service.id) AS service,
     SUM(cost) AS cost
   FROM
     cost_data
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         sku.description, cud_fee_regex)
   GROUP BY 1, 2, 3
 ),
 cud_credits AS (
   SELECT
     invoice.month AS invoice_month,
     SUM(credit.amount) AS spend_cud_credits
   FROM
     cost_data, UNNEST(credits) AS credit
   WHERE
     credit.type = 'COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE'
     AND REGEXP_CONTAINS(credit.full_name, 'GCE Commitments')
   GROUP BY 1
 ),
cud_savings AS (
  SELECT
   invoice_month,
   Cud_product,
   spend_cud_credits as spend_cud_credits,
   -1 * (cost + IFNULL(spend_cud_credits, 0)) AS commitment_savings
FROM cud_costs
LEFT JOIN cud_credits
 USING (invoice_month)
)
SELECT
 Invoice_month,
 commitment_savings * 100
   / (cost + costs_ineligible_for_cud - IFNULL(spend_cud_credits, 0))
   AS effective_savings_rate
FROM eligible_cud_spend
LEFT JOIN cud_savings
 USING (invoice_month);

• month é o ano e o mês atuais no formato YYYYMM, por exemplo, "202504".

Consultas de KPI de amostra usando o novo modelo de dados

Use esta consulta de exemplo se você adotou o novo modelo de dados.

Essas consultas são apenas para CUDs flexíveis do Compute. Para consultar outros produtos de CUD com base em gastos, mude os seguintes valores:

• cud_fee_skus
• consumption_model.id

SET bigquery_billing_project = billing-project-id;

WITH
  cost_data AS (
    SELECT *
    FROM
      project.dataset.gcp_billing_export_resource_v1_NNNNNN_NNNNNN_NNNNNN
    WHERE invoice.month = 'month'
  ),
  cud_fee_skus AS (
    SELECT * FROM UNNEST(
      [
        '5515-81A8-03A2',
        'B22F-51BE-D599'])
      fee_sku_id
  ),
  cud_costs AS (
    SELECT
      invoice.month AS invoice_month,
      subscription.instance_id AS subscription_instance_id,
      IFNULL(
        (
          SELECT l.value
          FROM UNNEST(labels) l
          WHERE l.key = 'goog-originating-service-id'
        ),
        service.id) AS service,
      SUM(cost) AS commitment_cost,
      SUM(
        (
          SELECT SUM(credit.amount)
          FROM UNNEST(credits) credit
          WHERE credit.type = 'FEE_UTILIZATION_OFFSET'
        )) AS fee_utilization_offset
    FROM
      cost_data
    JOIN cud_fee_skus
      ON fee_sku_id = sku.id
    GROUP BY 1, 2, 3
  ),
  cud_savings AS (
    SELECT
      invoice.month AS invoice_month,
      subscription.instance_id,
      service.id AS service,
      SUM(cost - cost_at_effective_price_default) AS cud_savings_amount,
      SUM(cost_at_effective_price_default) AS on_demand_costs
    FROM
      cost_data
    WHERE
      consumption_model.id IS NOT NULL
      AND consumption_model.id IN ('D97B-0795-975B','70D7-D1AB-12A4')
    GROUP BY 1, 2, 3
  )
SELECT
  invoice_month,
  subscription_instance_id,
  service,
  commitment_cost,
  commitment_cost + fee_utilization_offset + IFNULL(cud_savings_amount, 0)
    AS commitment_savings,
  ABS(fee_utilization_offset) / commitment_cost * 100 AS cud_utilization_percent,
  (commitment_cost + fee_utilization_offset + IFNULL(cud_savings_amount, 0))
    / IFNULL(on_demand_costs, 1) * 100 AS effective_savings_rate
FROM cud_costs
LEFT JOIN cud_savings
  USING (invoice_month, subscription_instance_id, service);

• month é o ano e o mês atuais no formato YYYYMM, por exemplo, "202504".

Exportação do Cloud Billing para o BigQuery

A exportação de dados padrão, detalhada e de refaturamento (somente revendedor) do Cloud Billing para o BigQuery tem os seguintes campos novos ou alterados:

Mudanças na exportação de preços

A exportação de preços do Cloud Billing para o BigQuery adiciona ou muda estes campos para informações de preços:

Novas informações sobre produtos de CUD

As novas SKUs de taxa de CUD substituem as atuais, e os novos IDs de oferta e de modelo de consumo se aplicam a todos os CUDs no escopo. Use os detalhes a seguir para ajustar suas consultas e painéis.

Migração de ofertas e ID do modelo de consumo

A tabela a seguir mostra os IDs de modelo de ofertas e consumo que serão migrados do modelo de dados antigo para o novo.

Migração do ID da SKU da taxa de CUD

As tabelas a seguir mostram os IDs de SKU da taxa de CUD que migram do modelo de dados antigo para o novo, por produto.

Cloud Run

Bigtable

Dataflow

Memorystore para Redis

Cloud Spanner

Kubernetes Engine

AlloyDB para PostgreSQL

Cloud SQL

Flexíveis do Compute

Serviço gerenciado para Apache Kafka

BigQuery

Cloud Firestore

Backup e DR para Oracle

Temas relacionados

• Saiba mais sobre as melhorias no programa de CUDs baseados em gastos.