Resolver problemas nas configurações de transferência

Neste documento, ajudaremos você a resolver os problemas mais comuns encontrados ao configurar uma transferência do serviço de transferência de dados do BigQuery. O documento não engloba todas as mensagens de erro ou problemas possíveis.

Se você tiver problemas que não estejam abordados neste documento, será possível solicitar suporte.

Antes de entrar em contato com o Cloud Customer Care, capture os detalhes da configuração e da execução da transferência. Para informações sobre como acessar esses detalhes, consulte Acessar detalhes da transferência e Conferir detalhes da execução de transferência e mensagens de registro.

Examinar erros

Se a execução da transferência inicial falhar, examine os detalhes no histórico de execuções. Os erros listados no histórico de execução podem ajudá-lo a identificar uma resolução apropriada usando este documento.

Também é possível ver mensagens de erro de um job de transferência específico usando a Análise de registros. O filtro da Análise de registros a seguir retorna informações de um job específico de configuração de transferência, junto com quaisquer mensagens de erro:

resource.type="bigquery_dts_config"
labels.run_id="RUN_ID"
resource.labels.config_id="CONFIG_ID"

Substitua:

• RUN_ID: o número do ID de uma execução de job específica
• CONFIG_ID: o número de ID de um job de configuração de transferência

Antes de entrar em contato com o Atendimento ao cliente, colete todas as informações relevantes no histórico de execução ou na Análise de registros, incluindo quaisquer mensagens de erro.

Se você usa transferências baseadas em eventos, a configuração desse tipo de transferência pode não acionar uma execução. É possível conferir as mensagens de erro na parte de cima da página Histórico de execução ou Configuração.

Problemas gerais

Ao fazer o diagnóstico de problemas gerais na transferência, verifique os seguintes itens:

• Verifique se você concluiu todas as etapas na seção "Antes de começar" da página de documentação para o tipo de transferência.
• As propriedades de configuração da transferência estão corretas.
• A conta de usuário usada para criar a transferência tem acesso aos recursos subjacentes.

Se a configuração da transferência estiver correta e as permissões apropriadas forem concedidas, consulte os itens a seguir em busca de soluções para problemas comumente encontrados.

Erro: An unexpected issue was encountered. If this issue persists, please contact customer support.

Solução: esse erro normalmente indica uma interrupção temporária ou um problema no BigQuery. Aguarde aproximadamente duas horas até o problema ser resolvido. Se o problema persistir, solicite suporte.

Erro: Quota Exceeded.

Resolução: as transferências estão sujeitas a cotas em jobs de carga do BigQuery. Se você precisa aumentar a cota, entre em contato com o representante de vendas do Cloud de Confiance by S3NS . Para mais informações, consulte Cotas e limites.

Se você estiver carregando exportações do Cloud Billing para o BigQuery, o erro Quota Exceeded poderá ser encontrado. As tabelas de exportação do Cloud Billing e as tabelas de destino do BigQuery criadas pelo serviço de transferência de dados do BigQuery são particionadas. Escolher a opção substituir durante a configuração desses jobs do serviço de transferência de dados do BigQuery causa os erros de cota, dependendo da quantidade de dados exportados. Para informações sobre como solucionar problemas de cotas, consulte Resolver erros de cota e limite.

Se o erro for devido a jobs do serviço de transferência de dados do BigQuery para exportações do Cloud Billing, observe que, como as tabelas individuais de exportação do Cloud Billing são particionadas, a tabela de destino criada pelo serviço de transferência de dados do BigQuery também é. Portanto, escolher a opção substituir ao configurar esses jobs de transferência de dados vai resultar em erros de cota (DML), dependendo da idade das contas de faturamento. Para informações sobre como solucionar problemas de cotas, consulte Resolver erros de cota e limite.

Erro: The caller does not have permission.

Resolução:confirme se a conta conectada no console do Cloud de Confiance é a mesma selecionada para o serviço de transferência de dados do BigQuery ao criar a transferência.

• Conta conectada no console Cloud de Confiance :

  

• Escolha uma conta para acessar o serviço de transferência de dados do BigQuery:

  

Erro: Access Denied: ... Permission bigquery.tables.get denied on table ...

Resolução: confirme seagente de serviço do serviço de transferência de dados do BigQuery recebe o papel bigquery.dataEditor no conjunto de dados de destino. Essa concessão é aplicada automaticamente ao criar e atualizar a transferência, mas é possível que a política de acesso tenha sido modificada manualmente. Para revogar a permissão, consulte Conceder acesso a um conjunto de dados.

Erro: region violates constraint constraints/gcp.resourceLocations on the resource projects/project_id

Resolução: esse erro ocorre quando um usuário tenta criar uma configuração de transferência em um local restrito, conforme especificado na política da organização de restrição de local. Para resolver esse problema, altere a política da organização para permitir a região ou altere a configuração da transferência para um conjunto de dados de destino localizado em uma região não restrita pela política da organização.

Erro: Please look into the errors[] collection for more details.

Solução: esse erro pode ocorrer quando ocorre uma falha na transferência de dados. Para mais informações sobre por que a transferência de dados falhou, use o Cloud Logging para ver seus registros. É possível encontrar registros de uma execução específica pesquisando o run_id de transferência.

Erro: Network Attachment with connected endpoints cannot be deleted.

Resolução:esse erro pode ocorrer quando um usuário tenta excluir os anexos de rede logo depois de excluir a transferência. Isso acontece porque pode levar vários dias após a exclusão de uma transferência para que o serviço de transferência de dados do BigQuery remova completamente todos os recursos associados a ela, o que pode impedir a exclusão dos anexos de rede. Para resolver esse erro, aguarde alguns dias antes de tentar excluir os anexos de rede. Se quiser que os anexos de rede sejam excluídos antes, entre em contato com o suporte.

Problemas de autorização e permissão

Confira a seguir alguns erros de permissão comuns que você pode encontrar ao transferir dados de diferentes fontes:

Erro: BigQuery Data Transfer Service is not enabled for <project_id>

Erro: BigQuery Data Transfer Service has not been used in project <project_id> before or it is disabled ...

Resolução: verifique se o papel de agente de serviço foi concedido com as seguintes etapas:

1. No Cloud de Confiance console, acesse a página IAM e administrador.

   Acessar IAM e administrador

2. Marque a caixa de seleção Incluir concessões de papel fornecidas pelo S3NS.

3. Verifique se a conta de serviço com o nome service-<project_number>@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com aparece ou se recebeu o papel de agente do serviço de transferência de dados do BigQuery.

   

Se a conta de serviço não for mostrada ou não tiver o papel de agente de serviço do serviço de transferência de dados do BigQuery concedido, conceda o papel predefinido no console Cloud de Confiance ou execute o seguinte comando da CLI do Google Cloud:

gcloud projects add-iam-policy-binding PROJECT_NUMBER \
--member serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com \
--role roles/bigquerydatatransfer.serviceAgent

Substitua PROJECT_NUMBER pelo número do projeto associado a essa conta de serviço.

Erro: There was an error loading this table. Check that the table exists and that you have the correct permissions.

Resolução:

1. No console do Cloud de Confiance , acesse a página BigQuery.

   Acessar o BigQuery

2. Clique no conjunto de dados de destino usado na transferência.

3. Clique no menu Compartilhamento e em Permissões.

4. Expanda o papel Editor de dados do BigQuery.

5. Verifique se o agente de serviço do serviço de transferência de dados do BigQuery foi adicionado a esse papel. Caso contrário, conceda o papel Editor de dados do BigQuery (roles/bigquery.dataEditor) ao agente de serviço do serviço de transferência de dados do BigQuery.

Erro: A permission denied error was encountered: PERMISSION_DENIED. Please ensure that the user account setting up the transfer config has the necessary permissions, and that the configuration settings are correct

Resolução:

1. No Cloud de Confiance console, acesse a página Transferências de dados.

   Acesse Transferências de dados

2. Clique na transferência com falha e selecione a guia Configuração.

3. Verifique se o proprietário da transferência listado no campo Usuário tem todas as permissões necessárias para a fonte de dados.

Se o proprietário da transferência não tiver todas as permissões necessárias, atualize as credenciais dele para concedê-las. Também é possível alterar o proprietário da transferência para outro usuário com as permissões necessárias.

Erro: Authentication failure: User Id not found. Error code: INVALID_USERID

Resolução: o proprietário da transferência tem um ID do usuário inválido. Altere o proprietário da transferência para outro usuário atualizando as credenciais dele. Se você estiver usando uma conta de serviço, também verifique se as contas que executam a transferência de dados têm todas as permissões necessárias para usar uma conta de serviço.

Erro: The user does not have permission

Resolução: verifique se o proprietário da transferência é uma conta de serviço e se o serviço tem todas as permissões necessárias definidas. Outra possibilidade é que a conta de serviço usada tenha sido criada em um projeto diferente daquele usado para criar essa transferência. Para resolver problemas de permissão entre projetos, consulte os seguintes recursos:

• Ativar contas de serviço para serem anexadas a projetos
• Autorização de conta de serviço entre projetos (para conceder as permissões necessárias)

Erro: HttpError 403 when requesting returned "The caller does not have permission"

googleapiclient.errors.HttpError: <HttpError 403 when requesting returned "The caller does not have permission". Details: "The caller does not have permission">

Esse erro pode aparecer quando você tenta configurar uma consulta programada com uma conta de serviço.

Resolução: verifique se a conta de serviço tem todas as permissões necessárias para programar ou modificar uma consulta programada e se o usuário que configura a consulta programada tem acesso à conta de serviço.

Se todas as permissões corretas tiverem sido atribuídas, mas você ainda encontrar o erro, verifique se a política Desativar o uso da conta de serviço entre projetos é aplicada no projeto por padrão. Para verificar a política no console do Cloud de Confiance , acesse IAM e administrador > Políticas da organização e pesquise a política.

Se a política Desativar o uso da conta de serviço entre projetos for aplicada, você poderá desativá-la da seguinte forma:

1. Identifique as contas de serviço associadas ao projeto usando o console Cloud de Confiance em IAM e administrador > Contas de serviço. Essa visualização mostra todas as contas de serviço do projeto atual.
2. Desative a política no projeto em que as contas de serviço estão localizadas usando o comando a seguir. Para desativar essa política, o usuário precisa ser um administrador de políticas da organização. Somente o Administrador da organização pode conceder esse papel a um usuário.

gcloud resource-manager org-policies disable-enforce iam.disableCrossProjectServiceAccountUsage --project=[PROJECT-ID]

Problemas na configuração de transferências orientadas a eventos

Confira a seguir problemas comuns que você pode encontrar ao criar uma transferência orientada a eventos.

Erro: Data Transfer Service is not authorized to pull message from the provided Pub/Sub subscription.

Resolução:verifique se o agente de serviço do serviço de transferência de dados do BigQuery tem o papel pubsub.subscriber:

1. No console Cloud de Confiance , acesse a página Pub/Sub.

   Ir para o Pub/Sub

2. Selecione a assinatura do Pub/Sub usada na transferência orientada por eventos.

3. Se o painel de informações estiver oculto, clique em Mostrar painel de informações no canto superior direito.

4. Na guia Permissões, verifique se o agente de serviço do serviço de transferência de dados do BigQuery tem o papel pubsub.subscriber.

Se o agente de serviço não tiver o papel pubsub.subscriber concedido. Clique em person_add Adicionar principal para conceder a função pubsub.subscriber a service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com.

Erro: Cloud Pub/Sub API has not been used in project PROJECT_NUMBER before or it is disabled.

Resolução:verifique se a API Cloud Pub/Sub está ativada para seu projeto:

1. No console do Cloud de Confiance , acesse a página APIs e serviços.

   Acessar APIs e serviços

2. Clique em Ativar APIs e serviços.

3. Pesquise Cloud Pub/Sub API, selecione o primeiro resultado e clique em Ativar.

Erro: Data Transfer Service does not have required permission to use project quota of project PROJECT_NUMBER to access Pub/Sub.

Resolução:verifique se o agente de serviço do serviço de transferência de dados do BigQuery tem o papel serviceusage.serviceUsageConsumer:

1. No Cloud de Confiance console, acesse a página IAM e administrador.

   Acessar IAM e administrador

2. Marque a caixa de seleção Incluir concessões de papel fornecidas pelo S3NS.

3. Verifique se a conta de serviço com o nome service-<project_number>@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com aparece e se recebeu o papel de consumidor do uso do serviço.

   

Problema: quando você usa a transferência orientada a eventos do Cloud Storage, nenhuma execução de transferência é acionada após o upload ou a atualização de arquivos no bucket do Cloud Storage.

As execuções de transferência não são acionadas imediatamente após o recebimento de um evento. Pode levar vários minutos para acionar uma execução de transferência. Para verificar o status da próxima execução de transferência, confira o campo Data de destino para a próxima execução no histórico de execuções. Esse campo mostra o horário programado para a próxima execução ou aguardando eventos para programar a próxima execução se nenhum evento foi recebido. Se você fez upload ou atualizou arquivos no bucket do Cloud Storage, mas a Data de destino para a próxima execução não foi atualizada e nenhuma execução foi acionada por 10 a 20 minutos, consulte a resolução a seguir.

Resolução:verifique se a assinatura do Pub/Sub especificada na configuração de transferência pode receber mensagens publicadas de eventos do Cloud Storage:

1. No console Cloud de Confiance , acesse a página Pub/Sub.

   Ir para o Pub/Sub

2. Selecione a assinatura do Pub/Sub usada na transferência orientada por eventos.

3. Na guia Métricas, verifique o gráfico "Idade da mensagem não confirmada mais antiga" e confira se há mensagens.

Se nenhuma mensagem for publicada, verifique se a notificação do Pub/Sub está configurada corretamente para o Cloud Storage. Use o seguinte comando da CLI do Google Cloud para verificar as configurações de notificação associadas ao seu bucket:

gcloud storage buckets notifications list gs://BUCKET_NAME

Substitua BUCKET_NAME pelo nome do bucket que você usa para notificação. Para informações sobre como configurar uma notificação do Pub/Sub para o Cloud Storage, consulte Configurar notificação do Pub/Sub para o Cloud Storage.

Se houver mensagens, verifique se a mesma assinatura do Pub/Sub é usada em outras configurações de transferência orientadas a eventos. A mesma assinatura do Pub/Sub não pode ser reutilizada por várias configurações de transferência orientadas a eventos. Para mais informações sobre transferências baseadas em eventos, consulte Transferências baseadas em eventos.

Problemas de cotas

Erro: Quota exceeded: Your project exceeded quota for imports per project.

Solução: verifique se você não programou muitas transferências no projeto. Para informações sobre como calcular o número de jobs de carga iniciados por uma transferência, consulte Cotas e limites.