Resolver problemas de roteamento e armazenamento de registros

Neste documento, explicamos problemas comuns de roteamento e armazenamento e como usar o consoleTrusted Cloud para ver e solucionar erros de configuração ou resultados inesperados.

Para informações gerais sobre como visualizar dados de registro, consulte Visualizar registros nos destinos do coletor.

Resolver problemas de roteamento de registros

Esta seção descreve como solucionar problemas comuns ao rotear suas entradas de registro.

O destino contém entradas de registro indesejadas

Você está visualizando as entradas de registro roteadas para um destino e determina que ele contém entradas indesejadas.

Para resolver essa condição, atualize os filtros de exclusão dos seus coletores que roteiam entradas de registro para o destino. Com os filtros de exclusão, é possível impedir que entradas de registro selecionadas sejam roteadas para um destino.

Por exemplo, suponha que você crie um coletor agregado para encaminhar entradas de registro em uma organização para um destino. Para impedir que as entradas de registro de um projeto específico sejam roteadas para o destino, adicione o seguinte filtro de exclusão ao coletor:

logName:projects/PROJECT_ID

Também é possível excluir entradas de registro de vários projetos usando o operador lógico OR para unir cláusulas logName.

Entradas de registro ausentes no destino

Talvez o problema mais comum relacionado ao coletor seja a ausência de entradas de registro no destino de um coletor.

Em alguns casos, um erro não é gerado, mas é possível que as entradas de registro estejam indisponíveis quando você tentar acessá-las no seu destino. Se você suspeitar que o coletor não está roteando entradas de registro corretamente, verifique as métricas com base em registros do sistema do coletor:

  • exports/byte_count: número de bytes em entradas de registro que foram roteadas.
  • exports/log_entry_count: número de entradas de registro que foram roteadas.
  • exports/error_count: número de entradas de registro que não foram roteadas.

As métricas têm rótulos que registram as contagens por nome do coletor e do destino e informam se o coletor está roteando entradas de registro com sucesso ou não.

Se as métricas do coletor indicarem que o coletor não está tendo o desempenho esperado, veja alguns possíveis motivos e o que fazer a respeito:

Latência

  • Nenhuma entrada de registro correspondente foi recebida desde que você criou ou atualizou seu coletor. Somente novas entradas de registro são roteadas.

    Tente aguardar uma hora e verifique o destino novamente.

  • As entradas de registro correspondentes estão atrasadas.

    Pode haver um atraso até que você possa ver suas entradas de registro no destino. Tente aguardar algumas horas e verifique o destino novamente.

O escopo/filtro de visualização está incorreto

  • O escopo que você está usando para visualizar entradas de registro armazenadas em um bucket de registro está incorreto.

    Defina o escopo da pesquisa para uma ou mais visualizações de registros da seguinte maneira:

    • Se você estiver usando o Explorador de registros, use o botão Refinar escopo.

    • Se você estiver usando a CLI gcloud, use o comando gcloud logging read e adicione uma flag --view=AllLogs.

  • O período que você está usando para selecionar e visualizar dados no destino do coletor é muito restrito.

    Tente ampliar o período que você está usando ao selecionar dados no destino do coletor.

Erro no filtro de gravador

  • O filtro do coletor está incorreto e não está capturando as entradas de registro que você esperava ver no seu destino.

    Edite o filtro do coletor usando o Roteador de registros no console Trusted Cloud . Para verificar se você inseriu o filtro correto, selecione Visualizar registros no painel Editar coletor. Isso abre o Explorador de registros em uma nova guia com o filtro pré-preenchido. Para instruções sobre como visualizar e gerenciar seus coletores, consulte Gerenciar coletores.

Ver erros

Para cada um dos destinos de coletor compatíveis, o Logging fornece mensagens de erro para coletores configurados incorretamente.

Há várias maneiras de ver esses erros relacionados ao coletor. Esses métodos são descritos nas seguintes seções:

  • Ver os registros de erros gerados para o coletor.
  • Receber notificações de erro de coletor por e-mail. O remetente deste e-mail é logging-noreply@google.com.

Registros de erro

O método recomendado para inspecionar detalhes relacionados ao coletor é visualizar as entradas de registro de erros geradas pelo coletor. Para detalhes sobre como visualizar entradas de registro, consulte Ver registros usando o Explorador de registros.

Use a consulta a seguir no painel do editor de consultas na Análise de registros para analisar os registros de erro do coletor. A mesma consulta funciona na API Logging e na CLI gcloud.

Antes de copiar a consulta, substitua a variável SINK_NAME pelo nome do coletor que tem o problema que você está tentando resolver. Encontre o nome do coletor na página Roteador de registros do console do Trusted Cloud .

logName:"logging.googleapis.com%2Fsink_error"
resource.type="logging_sink"
resource.labels.name="SINK_NAME"

Por exemplo, se o nome do coletor for my-sink-123, a entrada de registro poderá ser semelhante a esta:

{
   errorGroups: [
   0: {
   id: "COXu96aNws6BiQE"
   }]
   insertId: "170up6jan"
   labels: {
      activity_type_name: "LoggingSinkConfigErrorV2"
      destination: "pubsub.googleapis.com/projects/my-project/topics/my-topic"
      error_code: "topic_not_found"
      error_detail: ""
      sink_id: "my-sink-123"
   }
   logName: "projects/my-project/logs/logging.googleapis.com%2Fsink_error"
   receiveTimestamp: "2024-07-11T14:41:42.578823830Z"
   resource: {
   labels: {
      destination: "pubsub.googleapis.com/projects/my-project/topics/my-topic"
      name: "my-sink-123"
      project_id: "my-project"
   }
   type: "logging_sink"
   }
   severity: "ERROR"
   textPayload: "Cloud Logging sink configuration error in my-project, sink my-sink-123: topic_not_found ()"
   timestamp: "2024-07-11T14:41:41.296157014Z"
}

O campo LogEntry labels e as informações da chave-valor aninhada ajudam a segmentar a origem do erro do coletor. Ele contém o recurso afetado, o coletor afetado e o código de erro. O campo labels.error_code contém uma breve descrição do erro, informando qual componente do coletor precisa ser reconfigurado.

Para resolver essa falha, edite o gravador. Por exemplo, você pode editar o coletor usando a página Roteador de registros:

Acessar o roteador de registros

Notificações por e-mail

Os Contatos essenciais enviam notificações por e-mail sobre erros de configuração do coletor para os contatos atribuídos à categoria de notificação técnica de um projeto Trusted Cloud ou do recurso pai dele. Se o recurso não tiver um contato configurado para notificações técnicas, os usuários listados como proprietários do projeto do IAM roles/owner para o recurso vão receber a notificação por e-mail.

A mensagem de e-mail contém as seguintes informações:

  • ID do recurso: o nome do projeto do Trusted Cloud ou de outro recurso doTrusted Cloud em que o coletor foi configurado.
  • Nome do coletor: o nome do coletor que contém o erro de configuração.
  • Destino do coletor: o caminho completo do destino de roteamento do coletor. Por exemplo, pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID
  • Código do erro: é uma descrição abreviada da categoria de erro. Por exemplo, topic_not_found.
  • Detalhes do erro: informações detalhadas sobre o erro, incluindo recomendações para resolver o problema.

O remetente deste e-mail é logging-noreply@google.com.

Para visualizar e gerenciar seus coletores, use a página Roteador de registros:

Acessar o roteador de registros

Qualquer erro de configuração de coletor que se aplique ao recurso aparece na lista como um Cloud Logging sink configuration error. Cada erro contém um link para uma das entradas de registro geradas pelo coletor com defeito. Para examinar os erros subjacentes em detalhes, consulte a seção Registros de erros.

Tipos de erros de coletor

As seções a seguir descrevem categorias amplas de erros relacionados ao coletor e como resolvê-los.

Destino incorreto

Se você configurou um coletor, mas encontrou um erro de configuração dizendo que o destino não pôde ser encontrado quando o Logging tentou rotear entradas de registro, veja alguns possíveis motivos:

  • A configuração do coletor contém um erro de ortografia ou outro erro de formatação no destino especificado do coletor.

    Você precisa atualizar a configuração do coletor para especificar corretamente o destino atual.

  • O destino especificado pode ter sido excluído.

    Altere a configuração do coletor para usar um destino diferente ou recrie o destino com o mesmo nome.

Para resolver esses tipos de falha, edite o gravador. Por exemplo, é possível editar o coletor usando a página Roteador de registros:

Acessar o roteador de registros

O coletor começa a encaminhar entradas de registro quando o destino é encontrado e novas entradas de registro que correspondem ao filtro são recebidas pelo Logging.

Problemas ao gerenciar coletores

Se você desativou um gravador para interromper o armazenamento de entradas de registro em um bucket de registros, mas ainda vê entradas sendo encaminhadas, aguarde alguns minutos para que as mudanças no gravador sejam aplicadas.

Problemas de permissões.

Quando um coletor tenta encaminhar uma entrada de registro, mas não tem as permissões de IAM apropriadas para o destino do coletor, ele informa um erro, que pode ser visualizado, e ignora a entrada de registro.

Quando você cria um coletor, a conta de serviço dele precisa receber as permissões de destino apropriadas. Se você criar o coletor no console do Trusted Cloud no mesmo projeto doTrusted Cloud , o console do Trusted Cloud normalmente atribuirá essas permissões automaticamente. No entanto, se você criar o coletor em umTrusted Cloud projeto diferente ou usando a CLI gcloud ou a API Logging, será necessário configurar as permissões manualmente.

Se você estiver vendo erros relacionados à permissão do coletor, adicione as permissões necessárias ou atualize o coletor para usar um destino diferente. Para instruções sobre como atualizar essas permissões, consulte Permissões de destino.

Há um pequeno atraso entre a criação do coletor e o uso da nova conta de serviço do coletor para autorizar a gravação no destino da exportação. O coletor começa a rotear entradas de registro quando alguma permissão é corrigida e novas entradas que correspondem ao filtro são recebidas pelo Logging.

Problemas com a política da organização

Se você estiver tentando rotear uma entrada de registro, mas encontrar uma política da organização que restrinja o Logging de gravar no destino do coletor, o coletor não poderá rotear para o destino selecionado e informará um erro.

Se você estiver vendo erros relacionados às políticas da organização, faça o seguinte:

  • Atualize a política da organização para o destino remover as restrições que bloqueiam o coletor de rotear entradas de registro. Isso pressupõe que você tenha as permissões apropriadas para atualizar a política da organização.

    Você pode verificar se existe uma restrição de local de recursos (constraints/gcp.resourceLocations). Essa restrição determina os locais em que os dados podem ser armazenados. Além disso, alguns serviços aceitam restrições que podem afetar um gravador de registros. Por exemplo, há várias restrições que podem ser aplicadas quando um destino do Pub/Sub é selecionado. Para conferir uma lista de possíveis restrições, consulte Restrições da política da organização.

    Para instruções, consulte Como criar e editar políticas.

  • Se não for possível atualizar a política da organização, atualize o coletor na página Roteador de registros para usar um destino compatível.

    Acessar o roteador de registros

O coletor começa a encaminhar entradas de registro quando a política da organização não bloqueia mais a gravação do destino e as novas entradas de registro que correspondem ao filtro são recebidas pelo Logging.

Problemas com a chave de criptografia

Se você estiver usando chaves de criptografia gerenciadas com o Cloud Key Management Service ou por você para criptografar os dados no destino do coletor, poderá ver erros relacionados. Confira alguns possíveis problemas e maneiras de corrigi-los:

  • A chave do Cloud KMS não foi encontrada.

    • O Trusted Cloud projeto que contém a chave do Cloud KMS configurada para criptografar os dados não foi encontrado.

    • Use uma chave do Cloud KMS válida de um projeto do Trusted Cloud .

  • O local da chave do Cloud KMS não corresponde ao local do destino.

    • Se o projeto Trusted Cloud que contém a chave do Cloud KMS estiver localizado em uma região diferente da região de destino, a criptografia vai falhar e o coletor não poderá rotear dados para esse destino.

    • Use uma chave do Cloud KMS contida em um projeto Trusted Cloud com uma região que corresponda ao destino do coletor.

  • O acesso à chave de criptografia é negado para a conta de serviço do coletor.

    • Mesmo que o coletor tenha sido criado com as permissões corretas da conta de serviço, essa mensagem de erro será exibida se o destino do coletor usar uma chave de criptografia que não conceda à conta de serviço permissões suficientes para criptografar ou descriptografar os dados.

    • Conceda o papel Criptografador/Descriptografador do CryptoKey do Cloud KMS para a conta de serviço especificada no campo writerIdentity do coletor para a chave usada no destino. Verifique também se a API Cloud KMS está ativada.

Problemas de cotas

Quando os coletores gravam entradas de registro, as cotas específicas de destino se aplicam aos projetos doTrusted Cloud em que os coletores foram criados. Se as cotas se esgotarem, o coletor vai parar de rotear entradas de registro para o destino.

Por exemplo, o coletor pode estar roteando muitas entradas de registro muito rapidamente.

Para corrigir os problemas de esgotamento da cota, reduza o volume de dados de registro que está sendo roteado atualizando o filtro do coletor para corresponder a menos entradas de registro. É possível usar a função sample no filtro para selecionar uma fração do número total de entradas de registro.

Quando a cota está disponível, o coletor encaminha entradas de registro para o destino dele.

Para detalhes sobre os limites que podem ser aplicados ao rotear entradas de registro, revise as informações de cota do destino apropriado:

Além dos tipos de erro gerais de coletor, veja os tipos de erro específicos de destino mais comuns e como é possível corrigi-los.

Erros ao rotear para buckets do Cloud Logging

É possível encontrar uma situação em que é possível ver entradas de registro no Explorador de registros que você excluiu com o coletor. É possível ainda ver essas entradas de registro se qualquer uma das seguintes condições for verdadeira:

  • Você está executando a consulta no projeto Trusted Cloud que gerou as entradas de registro.

    Para corrigir isso, verifique se você está executando a consulta no projetoTrusted Cloud correto.

  • As entradas de registro excluídas foram enviadas a vários buckets. Você está vendo uma cópia do mesmo registro que pretende excluir.

    Para corrigir isso, verifique seus coletores na página Roteador de registros para garantir que você não esteja incluindo as entradas de registro nos filtros de outros coletores.

  • Você tem acesso a visualizações no bucket de registro para onde as entradas foram enviadas. Nesse caso, você poderá ver essas entradas de registro por padrão.

    Para evitar ver essas entradas de registro no Explorador de registros, é possível refinar o escopo da pesquisa para o bucket ou o projeto Trusted Cloud de origem.

Resolver problemas de armazenamento de registros

Por que não consigo excluir esse bucket?

Se você estiver tentando excluir um bucket, faça o seguinte:

  • Verifique se você tem as permissões corretas para excluir o bucket. Para ver a lista de permissões necessárias, consulte Controle de acesso com o IAM.

  • Determine se o bucket está bloqueado listando os atributos do bucket. Se o bucket estiver bloqueado, verifique o período de armazenamento do bucket. Não é possível excluir um bucket bloqueado até que todos os registros nele tenham cumprido o período de armazenamento.

Quais contas de serviço estão roteando registros para meu bucket?

Para determinar se alguma conta de serviço tem permissões de IAM para rotear registros para o bucket, faça o seguinte:

  1. No console Trusted Cloud , acesse a página IAM:

    Acesse o IAM

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo IAM e administrador.

  2. Na guia Permissões, visualize por Papéis. Você vai ver uma tabela com todos os papéis e principais do IAM associados ao seu projetoTrusted Cloud .

  3. No campoFiltro caixa de texto, digiteGravador de bucket de registros.

    Você verá todos os principais com o papel de Gravador de bucket de registros. Se um principal for uma conta de serviço, o ID conterá a string s3ns-system.iam.gserviceaccount.com.

  4. Opcional: se quiser remover uma conta de serviço para poder rotear registros para o projeto do Trusted Cloud , marque a caixa de seleção da conta de serviço e clique em Remover.

Por que vejo registros de um projeto do Trusted Cloud mesmo após excluí-los do meu coletor _Default?

É possível visualizar registros em um bucket de registros em um projeto Trusted Cloud centralizado, que agrega registros de toda a organização.

Se você estiver usando a Análise de registros para acessar esses registros e encontrar registros excluídos do coletor _Default, talvez sua visualização esteja definida como o nível do projetoTrusted Cloud .

Para corrigir esse problema, selecione Visualização de registros no menu Refinar escopo e escolha a visualização de registros associada ao bucket _Default no projetoTrusted Cloud . Você não verá mais os registros excluídos.