Monitorar jobs

Como administrador do BigQuery, você pode monitorar jobs em toda a sua organização usando uma análise de jobs administrativos no console Cloud de Confiance . O explorador de jobs oferece filtros e opções de classificação para identificar, comparar e solucionar problemas com jobs. Não é necessário escrever consultas de INFORMATION_SCHEMA para ver detalhes do job, como proprietário, projeto, uso de slot, duração e muito mais.

Com o Job Explorer, é possível fazer o seguinte:

  • Filtre e identifique jobs.Pesquise consultas específicas em toda a organização aplicando filtros com base em critérios como status, duração, proprietário ou uso de slots.
  • Solucione problemas de jobs.Selecione jobs individuais para conferir os gráficos de execução de consultas, o texto SQL e o histórico de execução na página Detalhes do job (prévia).
  • Compare a performance. Compare jobs (prévia) para destacar diferenças significativas nas métricas e resolver possíveis problemas de performance.
  • Receba assistência de IA.Use o Gemini Code Assist diretamente no explorador de jobs (prévia) para analisar estatísticas de jobs ou explicar consultas lentas.

O BigQuery fornece detalhes e insights de jobs pelas seguintes visualizações INFORMATION_SCHEMA:

Antes de começar

Para usar o Gemini Code Assist e resolver problemas de jobs no BigQuery (versão prévia), consulte Configurar o Gemini Code Assist para ativar a API e conceder as funções necessárias.

Funções exigidas

Para receber as permissões necessárias para usar o explorador de jobs e monitorar jobs, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar o explorador de jobs e monitorar jobs. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para usar o explorador de jobs e monitorar jobs:

  • Para ver os jobs no nível do projeto: bigquery.jobs.listAll no projeto
  • Ver jobs no nível da organização: bigquery.jobs.listAll na organização
  • Para filtrar por reservas na sua organização: bigquery.reservations.list na organização

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para usar o Gemini Code Assist na solução de problemas de jobs, consulte outros requisitos do IAM para usar o Gemini Code Assist.

Filtrar jobs

Para filtrar jobs para consultas contidas nas visualizações INFORMATION_SCHEMA.JOBS*, faça o seguinte:

  1. No console do Cloud de Confiance , acesse a página BigQuery.

    Acessar o BigQuery

  2. No menu de navegação, clique em Explorador de jobs.

  3. Na lista Local, selecione o local onde você quer visualizar os jobs.

  4. Aplique Filtros opcionais conforme necessário:

    • Escopo do job: filtra os jobs por nível de visibilidade, por exemplo, o projeto atual, a organização e seus jobs. Você pode escolher ver os jobs do projeto atual, de toda a organização ou apenas os que você iniciou.
    • Status: filtra os jobs pelo estado de execução atual, por exemplo, concluído, erro, ativo e enfileirado. Isso ajuda a identificar jobs ativos ou com falha.
    • Categoria do job: filtra os jobs pelo tipo de operação realizada, como consultas SQL padrão ou contínuas usadas para processamento de dados em tempo real.
    • Motivo da criação do job: filtra jobs com base no motivo da criação pelo BigQuery, como quando uma consulta excede um tempo limite ou produz resultados muito grandes para uma única resposta.
    • Prioridade do job: filtra jobs por prioridade de execução, como jobs interativos ou em lote.
    • código da tarefa: filtra uma tarefa específica pelo identificador alfanumérico exclusivo dela.
    • Proprietário: filtra jobs pelo endereço de e-mail do usuário ou da conta de serviço que iniciou o job.
    • ID do projeto: filtra jobs executados em um projeto específico. Esse filtro só está disponível quando o escopo do trabalho está definido como Organização.
    • ID da reserva: filtra jobs que usaram slots de uma reserva específica. Isso ajuda a monitorar como diferentes cargas de trabalho estão consumindo a capacidade reservada.
    • Tempo de slot maior que: filtra jobs que consumiram mais do que uma quantidade especificada de slot-milissegundos. Essa é uma métrica importante para identificar consultas que consomem muitos recursos.
    • Duração superior a: filtra jobs que levaram mais tempo do que um período especificado para serem concluídos. Use isso para encontrar consultas que estão sendo executadas mais lentamente do que o esperado.
    • Bytes processados mais de: filtra jobs que verificaram mais do que uma quantidade especificada de dados. Isso ajuda a identificar consultas que podem estar contribuindo para altos custos de processamento de dados.
    • Insights de consulta: filtra jobs que o BigQuery identificou como tendo problemas de desempenho específicos, como contenção de slot, capacidade de embaralhamento de memória excedida e mudança na escala de entrada de dados.
    • Hash de consulta: filtra vagas com um hash de consulta específico. Um hash de consulta identifica a lógica de uma consulta, ignorando diferenças em comentários, valores de parâmetros, UDFs e literais, o que ajuda você a encontrar todas as execuções da mesma lógica de consulta. Esse campo aparece para consultas bem-sucedidas do GoogleSQL que não são ocorrências em cache.
    • Rótulos: filtra jobs com base em rótulos de metadados personalizados que você ou sua organização anexaram a eles. Assim, é possível categorizar e acompanhar trabalhos por departamento ou aplicativo.

Resolver problemas de desempenho do job

Para diagnosticar e resolver problemas de consultas, é possível conferir métricas de execução, texto SQL e histórico de performance na página Detalhes do job.

Ver detalhes do job

Para conferir os detalhes de um job e analisar a execução da consulta dele, faça o seguinte:

  1. Acesse a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Opcional: para restringir os jobs mostrados, filtre os jobs.

  3. Clique no ID do job que você quer investigar. Para consultas que não criam um job, o ID da consulta aparece e o link fica desativado. Ao clicar em um ID de job válido, a página Detalhes do job é aberta com a guia Performance exibida por padrão.

Informações de consulta disponíveis

Para ajudar você a diagnosticar a performance da consulta, a guia Performance nos detalhes do job compila as seguintes informações e métricas, quando aplicável:

  • Detalhes do job: informações sobre o job, incluindo ID, hora de criação, bytes processados e uso de slots. Para mais informações, consulte Ver detalhes do job.
  • Histórico de execução: uma lista de execuções históricas da consulta, agrupadas por hash de consulta. Selecione um job nessa lista para comparar diretamente com o job atual. Para mais informações, consulte Comparar jobs.

  • Gráfico de execução: uma representação visual dos estágios de execução da consulta. Expanda a seção Gráfico de execução para inspecionar a disputa de slots, a capacidade de embaralhamento e a escala de entrada de dados. Para mais informações, consulte Receber insights de desempenho da consulta.

    O exemplo a seguir mostra um gráfico de execução com o mapeamento de texto SQL ativado:

    Gráfico de execução para jobs.

  • Carga do sistema durante a execução: um resumo dos recursos de computação e das configurações de reserva alocados durante a execução do job.

Diagnosticar regressões de desempenho comparando jobs e sistemas

Com a ferramenta de comparação de performance, é possível analisar as diferenças de performance entre dois jobs de consulta ou em dois intervalos do sistema. A análise mostra detalhes da consulta, mudanças na utilização de recursos e configurações de ambiente do sistema que diferem significativamente entre os ambientes de base e de destino.

Noções básicas sobre a análise de comparação

A ferramenta de comparação avalia a performance em métricas no nível da consulta e fatores no nível do sistema. Ative o botão Mostrar apenas diferenças significativas para limitar a visualização a métricas com uma variância maior que 20%.

As diferenças significativas são codificadas por cores para ajudar você a verificar problemas:

  • Verde: a métrica melhorou (por exemplo, uma duração de consulta menor na execução de destino).
  • Amarelo: a métrica diminuiu em menos de 20%.
  • Vermelho: a métrica diminuiu mais de 20%.

Comparar dois jobs

Para comparar um job de valor de referência com uma execução de job de destino, faça o seguinte:

  1. Abra a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Opcional: para restringir os jobs mostrados, filtre os jobs.

  3. Clique no ID do job de comparativo para abrir a página Detalhes do job e selecione a guia Performance.

  4. No menu Ações, clique em Comparar job.

  5. No campo Job 1 (job de base), clique em Procurar para abrir o painel Jobs comparáveis semelhantes.

  6. Selecione o job de destino que você quer comparar com o valor de referência e clique em Comparar.

  7. Opcional: para se concentrar nas principais regressões de performance, ative a opção Mostrar apenas diferenças significativas. Isso limita a visualização a métricas com uma variância maior que 20%.

Para mudar os jobs comparados a qualquer momento, clique em Procurar nos campos de job de base ou de destino e selecione um novo job na lista de jobs comparáveis.

Análise no nível da consulta

Depois de comparar dois jobs, você pode conferir a seção Análise no nível da consulta, que compara duas execuções de job em três guias:

  • Métricas: compara métricas principais de consulta, como duração do job, tempo de slot, bytes processados e aceleradores não utilizados.
  • Texto SQL: mostra as instruções SQL dos dois jobs e destaca as diferenças no texto.
  • Gráfico de execução: compara os gráficos de execução dos dois jobs etapa por etapa para identificar onde ocorreram gargalos.

Comparar dois intervalos de sistema

Administradores e analistas podem analisar métricas mais amplas do ambiente executando uma comparação de performance do sistema. Com essa ferramenta, é possível comparar intervalos históricos em reservas e projetos específicos para entender as mudanças de utilização e isolar se a degradação da performance surgiu interna ou externamente à sua carga de trabalho.

É possível acessar a visualização de comparação de desempenho do sistema de uma das seguintes maneiras:

  • Na página Detalhes do job, depois de comparar dois jobs, clique em Ver mais na seção Saídas no nível do sistema para conferir os detalhes da comparação do sistema.
  • Se você usar o Gemini Cloud Assist para fazer uma comparação de sistemas, ele vai gerar um link que abre os resultados.

Para fazer uma comparação no nível do sistema em períodos separados, faça o seguinte:

  1. Na visualização Comparação de desempenho do sistema, clique em Sistema.
  2. Selecione o sistema em que você quer analisar a performance clicando em Procurar e escolhendo uma reserva ou um escopo de projeto.
  3. Defina os períodos de comparação:
    • Intervalo desejado: selecione a data e o período em que ocorreram os problemas de performance e clique em Aplicar.
    • Intervalo de base: selecione a data e o período de referência para usar como comparativo de mercado de performance e clique em Aplicar.

Análise no nível do sistema

Depois de comparar os intervalos, a visualização mapeia as mudanças de utilização, as variações de simultaneidade e as diferenças de configuração no ambiente selecionado em relação ao grupo principal. Isso ajuda a determinar se a disputa de slots ou as regressões de configuração estão afetando sua carga de trabalho. Os dados são gerados em três blocos:

  • Projeto: compara a simultaneidade de jobs, a simultaneidade na fila e o uso total de slots no nível do projeto.
  • Reserva: compara a utilização da reserva, o compartilhamento de slots inativos e a simultaneidade de projetos em reservas compartilhadas.
  • Análise de configuração: compara as configurações de gerenciamento de carga de trabalho entre as duas execuções, como limites máximos de tamanho de reserva e regras de empréstimo de slots ociosos.

Usar insights de solução de problemas de performance do agente

Para enviar feedback ou solicitar suporte para esse recurso, envie um e-mail para bq-performance-troubleshooting+feedback@google.com.

Ao monitorar tarefas de administração ou avaliar comparações de desempenho, o BigQuery integra diagnósticos de observabilidade subjacentes com o Gemini Cloud Assist para transformar o painel de chat em um assistente de solução de problemas ativo enquanto você resolve anomalias no nível do trabalho e do sistema.

Os insights têm controle de acesso. Sem permissões suficientes, os insights recebidos podem ser limitados. Para mais informações sobre permissões, consulte Controlar o acesso a recursos com o IAM.

Resolver problemas de desempenho no chat

Para inicializar a solução de problemas com reconhecimento de contexto e agir com base nos insights de performance, faça o seguinte:

  1. Para abrir o painel de chat do Gemini Cloud Assist e carregar automaticamente o contexto relevante do job ou do sistema, faça o seguinte:
    • Nas páginas Explorador de jobs ou Histórico de jobs, passe o cursor sobre um job e clique em spark Gemini nessa linha da tabela.
    • Na página Gerenciamento de capacidade, passe o cursor sobre uma reserva e clique em spark Gemini na linha da tabela.
    • No Studio, no Monitoring ou no Explorador de jobs, clique em spark Gemini.
  2. Envie um comando em linguagem natural. Por exemplo, peça ao Gemini para explicar por que um job está sendo executado lentamente, analisar estatísticas específicas de jobs, analisar o desempenho de uma reserva específica, resolver problemas de desempenho do sistema ou comparar variações de desempenho entre dois jobs históricos semelhantes.
  3. Se um limite no nível da organização ou da reserva for violado, como uma fila de slots grave devido a um aumento inesperado na simultaneidade de projetos ativos, analise o relatório gerado do Performance Insights. Esse relatório detalha gargalos críticos, como os seguintes:
    • Aumento da simultaneidade enfileirada: picos nas demandas de consultas simultâneas que excedem os limites de simultaneidade flexíveis ou as alocações de slots de reserva.
    • Aumento da simultaneidade de projetos: rastreamento dos projetos exatos de alta simultaneidade ou das principais contas de usuário que impulsionam a carga do sistema em reservas compartilhadas ou cotas sob demanda.
  4. Observe a tabela Comparação de métricas principais para rastrear diferenças numéricas precisas, como mudanças na simultaneidade média de projetos, slots de fila ou limites máximos de slots de reserva.

  5. Execute soluções inline diretamente pelos links de transferência acionáveis gerados pelo Gemini Cloud Assist. Esses atalhos redirecionam você para ferramentas específicas no produto com contexto pré-preenchido para responder às suas perguntas e resolver problemas:

    • Editar reserva: abre o painel lateral de gerenciamento de carga de trabalho para ajustar tamanhos máximos de reserva ou ativar recursos avançados de escalonamento.
    • Ver a performance do job no Job Explorer: abre a guia de detalhes de performance do job específico.
    • Comparar a performance de jobs no Explorador de jobs: compare a performance de dois jobs lado a lado.

Preços

O Jobs Explorer está disponível sem custo adicional. As consultas usadas para preencher esses gráficos não são faturadas e não usam slots em reservas do usuário. As consultas que processam muitos dados expiram.

A seguir