Monitorar jobs

Como administrador do BigQuery, você pode monitorar jobs na sua organização usando um explorador de jobs administrativos no Cloud de Confiance console. O explorador de jobs oferece filtros e opções de classificação para identificar, comparar e solucionar problemas de jobs. Não é necessário criar consultas INFORMATION_SCHEMA para conferir detalhes do job, como proprietário, projeto, uso de slot, duração e muito mais.

Com o explorador de jobs, é possível fazer o seguinte:

O BigQuery fornece os detalhes e insights de jobs das seguintes visualizações INFORMATION_SCHEMA:

Antes de começar

Para usar o Gemini Code Assist para solucionar problemas de jobs no BigQuery (versão prévia), consulte Configurar o Gemini Code Assist para ativar a API e conceder os papéis necessários.

Funções exigidas

Para receber as permissões necessárias para usar o explorador de jobs e monitorar jobs, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar o explorador de jobs e monitorar jobs. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para usar o explorador de jobs e monitorar jobs:

  • Conferir jobs no nível do projeto: bigquery.jobs.listAll no projeto
  • Conferir jobs no nível da organização: bigquery.jobs.listAll na organização
  • Filtrar por reservas na sua organização: bigquery.reservations.list na organização

Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.

Para usar o Gemini Code Assist na solução de problemas de jobs, consulte os requisitos adicionais do IAM para usar o Gemini Code Assist.

Filtrar jobs

Para filtrar jobs para consultas contidas nas visualizações INFORMATION_SCHEMA.JOBS*, faça o seguinte:

  1. No Cloud de Confiance console, acesse a página BigQuery.

    Acessar o BigQuery

  2. No menu de navegação, clique em Explorador de jobs.

  3. Na lista Local, selecione o local onde você quer visualizar os jobs.

  4. Aplique Filtros opcionais conforme necessário:

    • Escopo do job: filtra jobs pelo nível de visibilidade, por exemplo, o projeto atual, a organização e seus jobs. É possível conferir jobs do projeto atual, de toda a organização ou apenas os jobs que você iniciou.
    • Status: filtra jobs pelo estado de execução atual, por exemplo, concluído, erro, ativo e enfileirado. Isso ajuda a identificar jobs ativos ou com falha.
    • Categoria do job: filtra jobs pelo tipo de operação realizada, como consultas SQL padrão ou consultas contínuas usadas para processamento de dados em tempo real.
    • Motivo da criação do job: filtra jobs com base no motivo pelo qual o BigQuery os criou, como quando uma consulta excede um tempo limite ou produz resultados muito grandes para uma única resposta.
    • Prioridade do job: filtra jobs pela prioridade de execução, como jobs interativos ou em lote.
    • ID do job: filtra um job específico pelo identificador alfanumérico exclusivo.
    • Proprietário: filtra jobs pelo endereço de e-mail do usuário ou da conta de serviço que iniciou o job.
    • ID do projeto: filtra jobs executados em um projeto específico. Esse filtro só está disponível quando o Escopo do job está definido como Organização.
    • ID da reserva: filtra jobs que usaram slots de uma reserva específica. Isso ajuda a monitorar como diferentes cargas de trabalho estão consumindo a capacidade reservada.
    • Tempo de slot maior que: filtra jobs que consumiram mais do que uma quantidade especificada de slot-milissegundos. Essa é uma métrica fundamental para identificar consultas com uso intenso de recursos.
    • Duração maior que: filtra jobs que levaram mais tempo do que um período especificado para serem concluídos. Use isso para encontrar consultas que estão sendo executadas mais lentamente do que o esperado.
    • Bytes processados acima de: filtra jobs que verificaram mais do que uma quantidade especificada de dados. Isso ajuda a identificar consultas que podem estar contribuindo para custos altos de processamento de dados.
    • Insights de consulta: filtra jobs que o BigQuery identificou como tendo problemas de performance específicos, como contenção de slot, capacidade de embaralhamento de memória excedida e mudança na escala de entrada de dados.
    • Hash de consulta: filtra jobs com um hash de consulta específico. Um hash de consulta identifica a lógica de uma consulta, ignorando diferenças em comentários, valores de parâmetros, UDFs e literais, o que ajuda a encontrar todas as execuções da mesma lógica de consulta. Esse campo aparece para consultas bem-sucedidas GoogleSQL que não são ocorrências em cache.
    • Rótulos: filtra jobs com base em rótulos de metadados personalizados que você ou sua organização anexaram a eles. Isso permite categorizar e acompanhar jobs por departamento ou aplicativo.

Resolver problemas de performance do job

Para diagnosticar e resolver problemas de consultas, é possível conferir as métricas de execução, o texto SQL e as variações históricas de performance na página Detalhes do job.

Ver detalhes do job

Para conferir os detalhes de um job e analisar a execução da consulta, faça o seguinte:

  1. Acesse a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Opcional: para restringir os jobs exibidos, filtre os jobs.

  3. Clique no ID do job que você quer investigar. Para consultas que não criam um job, o ID da consulta aparece e o link é desativado. Ao clicar em um ID de job válido, a página Detalhes do job é aberta com a guia Performance exibida por padrão.

Informações de consulta disponíveis

Para ajudar a diagnosticar a performance da consulta, a guia Performance nos detalhes do job compila as seguintes informações e métricas, quando aplicável:

  • Detalhes do job: informações sobre o job, incluindo o ID, o horário de criação , os bytes processados e o uso de slot. Para mais informações, consulte Ver detalhes do job.
  • Histórico de execução: uma lista de execuções históricas da consulta, agrupadas por hash de consulta. É possível selecionar um job dessa lista para comparar diretamente com o job atual. Para mais informações, consulte Comparar jobs.

  • Gráfico de execução: uma representação visual dos estágios de execução da consulta. Expanda a seção Gráfico de execução para inspecionar a contenção de slot, a capacidade de embaralhamento e a escala de entrada de dados. Para mais informações, acesse Receber insights de desempenho de consulta.

    O exemplo a seguir mostra um gráfico de execução com o mapeamento de texto SQL ativado:

    Gráfico de execução para jobs.

  • Carga do sistema durante a execução: um resumo dos recursos de computação e das configurações de reserva alocadas durante a execução do job.

Diagnosticar regressões de performance comparando jobs e sistemas

A ferramenta de comparação de performance permite analisar as diferenças de performance entre dois jobs de consulta ou em dois intervalos de sistema. A análise mostra detalhes da consulta, mudanças no uso de recursos e configurações de ambiente do sistema que diferem significativamente entre os ambientes de referência e de destino.

Entender a análise de comparação

A ferramenta de comparação avalia a performance em métricas no nível da consulta e fatores no nível do sistema. É possível ativar o botão Mostrar apenas diferenças significativas para limitar a visualização a métricas com uma variação maior que 20%.

As diferenças significativas são codificadas por cores para ajudar você a procurar problemas:

  • Verde: a métrica melhorou (por exemplo, uma duração de consulta mais curta na execução de destino ).
  • Amarelo: a métrica foi degradada em menos de 20%.
  • Vermelho: a métrica foi degradada em mais de 20%.

Comparar dois jobs

Para comparar um job de referência com uma execução de job de destino, faça o seguinte:

  1. Abra a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Opcional: para restringir os jobs exibidos, filtre os jobs.

  3. Clique no ID do job de referência para abrir a página Detalhes do job e selecione a guia Performance.

  4. No menu Ações, clique em Comparar job.

  5. No campo Job um (job de referência), clique em Procurar para abrir o painel Jobs comparáveis semelhantes.

  6. Selecione o job de destino que você quer comparar com a linha de base e clique em Comparar.

  7. Opcional: para se concentrar nas principais regressões de performance, ative a opção Mostrar apenas diferenças significativas. Isso limita a visualização a métricas com uma variação maior que 20%.

Para mudar os jobs que estão sendo comparados a qualquer momento, clique em Procurar nos campos de job de referência ou de destino e selecione um novo job na lista de jobs comparáveis.

Análise no nível da consulta

Depois de comparar dois jobs, é possível conferir a seção Análise no nível da consulta , que compara duas execuções de job em três guias:

  • Métricas: compara as principais métricas de consulta, como duração do job, tempo de slot, bytes processados e aceleradores não utilizados.
  • Texto SQL: mostra as instruções SQL para os dois jobs e destaca as diferenças de texto.
  • Gráfico de execução: compara os gráficos de execução dos dois jobs estágio por estágio para identificar onde ocorreram gargalos.

Comparar dois intervalos de sistema

Administradores e analistas podem analisar métricas de ambiente mais amplas executando uma comparação de performance do sistema. Essa ferramenta permite comparar intervalos históricos em reservas e projetos específicos para entender as mudanças de utilização e isolar se a degradação de performance se originou interna ou externamente à carga de trabalho.

É possível navegar até a visualização de comparação de performance do sistema de uma das seguintes maneiras:

  • Na página Detalhes do job, depois de comparar dois jobs, clique em Ver mais na seção Saídas no nível do sistema para conferir os detalhes da comparação do sistema.
  • Se você usar o Gemini Cloud Assist para fazer uma comparação do sistema, o Gemini Cloud Assist vai gerar um link que abre os resultados da comparação do sistema.

Para fazer uma comparação no nível do sistema em períodos separados, faça o seguinte:

  1. Na visualização Comparação de performance do sistema, clique em Sistema.
  2. Selecione o sistema em que você quer analisar a performance clicando em Procurar e selecionando um escopo de reserva ou projeto.
  3. Defina os períodos de comparação:
    • Intervalo de destino: selecione a janela de data e hora do período com problemas de performance e clique em Aplicar.
    • Intervalo de referência: selecione a janela de data e hora de referência para atuar como benchmark de performance e clique em Aplicar.

Análise no nível do sistema

Depois de comparar intervalos, a visualização mapeia mudanças de utilização, variações de simultaneidade e diferenças de configuração no ambiente selecionado em relação ao grupo pai. Isso ajuda a determinar se a contenção de slot ou as regressões de configuração estão afetando a carga de trabalho. Os dados são gerados em três blocos:

  • Projeto: compara a simultaneidade de jobs, a simultaneidade enfileirada e o uso total de slots no nível do projeto.
  • Reserva: compara a utilização da reserva, o compartilhamento de slots inativos e a simultaneidade do projeto em reservas.
  • Análise de configuração: compara as configurações de gerenciamento de carga de trabalho entre as duas execuções, como limites máximos de tamanho de reserva e regras de empréstimo de slots inativos.

Usar insights de solução de problemas de performance do agente

Para enviar feedback ou solicitar suporte sobre esse recurso, envie um e-mail para bq-performance-troubleshooting+feedback@google.com.

Ao monitorar tarefas de administração ou avaliar comparações de performance, o BigQuery integra diagnósticos de observabilidade subjacentes ao Gemini Cloud Assist para transformar o painel de chat em um assistente de solução de problemas ativo ao resolver anomalias no nível do job e do sistema.

Os insights são controlados por acesso. Sem permissões suficientes, os insights recebidos podem ser limitados. Para mais informações sobre permissões, consulte Controlar o acesso a recursos com o IAM.

Resolver problemas de performance no chat

Para inicializar a solução de problemas com reconhecimento de contexto e agir com base em insights de performance, faça o seguinte:

  1. Para abrir o painel de chat do Gemini Cloud Assist e carregar automaticamente o contexto relevante do job ou do sistema, faça uma das seguintes ações:
    • Nas páginas Explorador de jobs ou Histórico de jobs, passe o cursor sobre um job e clique em spark Gemini nessa linha da tabela.
    • Na página Gerenciamento de carga de trabalho, passe o cursor sobre uma reserva e clique em spark Gemini em essa linha da tabela.
    • No Studio, Monitoramento ou Explorador de jobs, clique em spark Gemini.
  2. Envie um comando em linguagem natural. Por exemplo, peça ao Gemini para explicar por que um job está sendo executado lentamente, analisar estatísticas específicas de jobs, analisar a performance de uma reserva específica, resolver problemas de performance do sistema ou comparar variações de performance entre dois jobs históricos semelhantes.
  3. Se um limite no nível da organização ou da reserva for violado, como o enfileiramento de slots grave devido a um aumento inesperado na simultaneidade de projetos ativos, revise o relatório Insights de performance gerado. Esse relatório detalha gargalos críticos, como os seguintes:
    • Aumento da simultaneidade enfileirada: picos nas demandas de consultas simultâneas que excedem os limites de simultaneidade flexíveis ou as alocações de slots de reserva.
    • Aumento da simultaneidade do projeto: rastreamento dos projetos de alta simultaneidade exatos ou das principais contas de usuário que impulsionam a carga do sistema em reservas compartilhadas ou cotas sob demanda.
  4. Observe a tabela Comparação de métricas principais para rastrear diferenças numéricas precisas, como mudanças na simultaneidade média do projeto, slots de fila ou limites máximos de slots de reserva.

  5. Execute soluções inline diretamente por links de transferência acionáveis gerados pelo Gemini Cloud Assist. Esses atalhos redirecionam você para ferramentas específicas no produto com contexto pré-preenchido para responder às suas perguntas e resolver problemas:

    • Editar reserva: abre o painel lateral de gerenciamento de carga de trabalho para ajustar tamanhos máximos de reserva ou ativar recursos de escalonamento avançados.
    • Conferir a performance do job no Explorador de jobs: abre a guia de detalhes de performance do job específico.
    • Comparar a performance do job no Explorador de jobs: compara a performance de dois jobs lado a lado.

Preços

O Jobs Explorer está disponível sem custo adicional. As consultas usadas para preencher esses gráficos não são faturadas e não usam slots em reservas do usuário. As consultas que processam muitos dados expiram.

A seguir