Soluciona problemas relacionados con la configuración de una transferencia

El objetivo de este documento es ayudarte a solucionar los problemas más habituales que surgen cuando se configura una transferencia del Servicio de transferencia de datos de BigQuery. Este documento no abarca todos los problemas o mensajes de error posibles.

Si tienes problemas que no se tratan en este documento, puedes solicitar asistencia.

Antes de comunicarte con el equipo de Atención al cliente de Cloud, capta la configuración de la transferencia y los detalles de la ejecución de la transferencia. Para obtener información sobre cómo obtener estos detalles, consulta Obtén detalles de la transferencia y Visualiza los detalles de la ejecución de la transferencia y los mensajes de registro.

Examina errores

Si tu ejecución de transferencia inicial falla, puedes examinar los detalles en el historial de ejecución. Los errores enumerados en el historial de ejecución pueden ayudarte a identificar una resolución apropiada con este documento.

También puedes ver los mensajes de error de un trabajo de transferencia específico a través del Explorador de registros. El siguiente filtro del Explorador de registros muestra información sobre un trabajo de configuración de transferencia específico, junto con cualquier mensaje de error:

resource.type="bigquery_dts_config"
labels.run_id="RUN_ID"
resource.labels.config_id="CONFIG_ID"

Reemplaza lo siguiente:

  • RUN_ID: Es el número de ID de una ejecución de trabajo específica
  • CONFIG_ID: Es el número de ID de un trabajo de configuración de transferencia.

Antes de comunicarte con el equipo de Atención al cliente, recopila cualquier información relevante del historial de ejecución o el Explorador de registros, incluidos los mensajes de error.

Si usas transferencias basadas en eventos, es posible que la configuración de la transferencia basada en eventos no active una ejecución de transferencia. Puedes ver los mensajes de error en la parte superior de la página del historial de ejecución o de la página de configuración.

Problemas generales

Cuando diagnosticas problemas generales de transferencia, debes verificar lo siguiente:

  • Deben completarse todos los pasos en la sección “Antes de comenzar” de la página de documentación para tu tipo de transferencia.
  • Las propiedades de configuración de transferencia deben ser correctas.
  • La cuenta de usuario usada para crear la transferencia debe tener acceso a los recursos subyacentes.

Si tu configuración de transferencia es correcta y se otorgan los permisos adecuados, consulta lo siguiente para encontrar soluciones a los problemas más comunes.

Error: An unexpected issue was encountered. If this issue persists, please contact customer support.
Resolución: Este error, por lo general, indica una interrupción temporal o un problema dentro de BigQuery. Espera alrededor de 2 horas para que se resuelva el problema. Si el problema persiste, solicita asistencia.
Error: Quota Exceeded.

Resolución: las transferencias están sujetas a las cuotas en trabajos de carga de BigQuery. Si necesitas aumentar tu cuota, comunícate con tu Cloud de Confiance by S3NS representante de ventas. Para obtener más información, consulta Cuotas y límites.

Si cargas exportaciones de la Facturación de Cloud a BigQuery, puedes encontrar el error Quota Exceeded. Las tablas de exportación de la Facturación de Cloud y las tablas de BigQuery de destino creadas por el servicio del Servicio de transferencia de datos de BigQuery están particionadas. Si eliges la opción reemplazar mientras configuras estos trabajos del Servicio de transferencia de datos de BigQuery, se generan errores de cuota según la cantidad de datos que se exporten. Si deseas obtener más información para solucionar problemas de cuota, consulta Soluciona problemas de cuota y limita errores.

Si el error se debe a trabajos del Servicio de transferencia de datos de BigQuery para las exportaciones de la Facturación de Cloud, ten en cuenta que, dado que las tablas individuales de exportación de la Facturación de Cloud están particionadas, también lo está la tabla de destino creada por el Servicio de transferencia de datos de BigQuery. Por lo tanto, si eliges la opción reemplazar mientras configuras estos trabajos de transferencia de datos, se generarán errores de cuota (DML) según la antigüedad de las cuentas de facturación. Si deseas obtener más información para solucionar problemas de cuota, consulta Soluciona problemas de cuota y limita errores.

Error: The caller does not have permission.

Resolución: Confirma que la cuenta con la que se accedió en la consola de Cloud de Confiance sea la misma que seleccionaste para el Servicio de transferencia de datos de BigQuery cuando creaste la transferencia.

  • Cuenta que accedió a la consola de Cloud de Confiance :

    Solución de problemas de permisos

  • Elige una cuenta para continuar con el Servicio de transferencia de datos de BigQuery:

    Solución de problemas de permisos

Error: Access Denied: ... Permission bigquery.tables.get denied on table ...

Resolución: Confirma que al agente de servicio del Servicio de transferencia de datos de BigQuery se le otorga el rol bigquery.dataEditor en el conjunto de datos de destino. Este otorgamiento se aplica de forma automática cuando se crea y actualiza la transferencia, pero es posible que la política de acceso se haya modificado de forma manual después. Para volver a otorgar el permiso, consulta Otorga acceso a un conjunto de datos.

Error: region violates constraint constraints/gcp.resourceLocations on the resource projects/project_id

Resolución: Este error se produce cuando un usuario intenta crear una configuración de transferencia en una ubicación restringida, como se especifica en la política de la organización de restricción de ubicación. Para resolver este problema, cambia la política de la organización para permitir la región o cambia la configuración de la transferencia a un conjunto de datos de destino ubicado en una región no restringida por la política de la organización.

Error: Please look into the errors[] collection for more details.

Resolución: Este error puede ocurrir cuando falla una transferencia de datos. Para obtener más información sobre por qué falló la transferencia de datos, puedes usar Cloud Logging para ver tus registros. Puedes buscar los registros de una ejecución específica con el run_id de la transferencia.

Error: Network Attachment with connected endpoints cannot be deleted.

Resolución: Este error puede ocurrir cuando un usuario intenta borrar sus adjuntos de red poco después de borrar su transferencia. Esto sucede porque pueden transcurrir varios días después de que se borra una transferencia antes de que el Servicio de transferencia de datos de BigQuery pueda quitar por completo todos los recursos asociados con la transferencia, lo que puede impedir que se borren las vinculaciones de red. Para resolver este error, espera varios días antes de intentar borrar las vinculaciones de red. Si quieres que se borren los adjuntos de red antes, puedes comunicarte con el equipo de asistencia.

Problemas de autorización y permisos

Los siguientes son algunos errores de permiso comunes que puedes encontrar cuando transfieres datos desde diferentes fuentes:

Error: BigQuery Data Transfer Service is not enabled for <project_id>
Error: BigQuery Data Transfer Service has not been used in project <project_id> before or it is disabled ...

Resolución: Verifica que el rol de agente de servicio se otorgue con los siguientes pasos:

  1. En la consola de Cloud de Confiance , ve a la página IAM y administración.

    Ir a IAM y administración

  2. Selecciona la casilla de verificación Incluir asignaciones de roles proporcionadas por S3NS.

  3. Verifica que se muestre la cuenta de servicio con el nombre service-<project_number>@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com o que se le haya otorgado el rol de agente de Servicio de transferencia de datos de BigQuery.

    Verifica si la cuenta de servicio tiene el rol de agente de servicio.

Si no se muestra la cuenta de servicio o no tiene el rol de agente de servicio de transferencia de datos de BigQuery otorgado, otorga el rol predefinido en la consola de Cloud de Confiance o ejecuta el siguiente comando de Google Cloud CLI:

gcloud projects add-iam-policy-binding PROJECT_NUMBER \
--member serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com \
--role roles/bigquerydatatransfer.serviceAgent

Reemplaza PROJECT_NUMBER por el número de proyecto asociado con esta cuenta de servicio.

Error: There was an error loading this table. Check that the table exists and that you have the correct permissions.

Resolución:

  1. En la consola de Cloud de Confiance , ve a la página BigQuery.

    Ir a BigQuery

  2. Haz clic en el conjunto de datos de destino usado en la transferencia.

  3. Haz clic en el menú Compartir y, luego, en Permisos.

  4. Expande el rol Editor de datos de BigQuery.

  5. Verifica que el agente de servicio del Servicio de transferencia de datos de BigQuery se agregue a este rol. De lo contrario, otorga el rol de editor de datos de BigQuery (roles/bigquery.dataEditor) al agente de servicio del Servicio de transferencia de datos de BigQuery.

Verifica que se haya agregado el rol de editor de datos de BigQuery.

Error: A permission denied error was encountered: PERMISSION_DENIED. Please ensure that the user account setting up the transfer config has the necessary permissions, and that the configuration settings are correct

Resolución:

  1. En la consola de Cloud de Confiance , ve a la página Transferencia de datos.

    Ir a Transferencias de datos

  2. Haz clic en la transferencia fallida y, luego, selecciona la pestaña Configuración.

  3. Verifica que el propietario de la transferencia que aparece en el campo Usuario tenga todos los permisos necesarios para la fuente de datos.

Si el propietario de la transferencia no tiene todos los permisos necesarios, actualiza sus credenciales para otorgarlos. También puedes cambiar el propietario de la transferencia a otro usuario que tenga los permisos necesarios.

Error: Authentication failure: User Id not found. Error code: INVALID_USERID

Resolución: El propietario de la transferencia tiene un ID de usuario no válido. Cambia el propietario de la transferencia a un usuario diferente actualizando de sus credenciales. Si usas una cuenta de servicio, también debes verificar que las cuentas que ejecutan la transferencia de datos tengan todos los permisos necesarios para usar una cuenta de servicio.

Error: The user does not have permission

Resolución: Verifica que el propietario de la transferencia sea una cuenta de servicio y que el servicio tenga todos los permisos necesarios establecidos. Otra posibilidad es que la cuenta de servicio que se usó se haya creado en un proyecto diferente al que se usó para crear esta transferencia. Para resolver problemas de permisos entre proyectos, consulta los siguientes recursos:

Error: HttpError 403 when requesting returned "The caller does not have permission"

googleapiclient.errors.HttpError: <HttpError 403 when requesting returned "The caller does not have permission". Details: "The caller does not have permission">

Este error puede aparecer cuando intentas configurar una consulta programada con una cuenta de servicio.

Resolución: Asegúrate de que la cuenta de servicio tenga todos los permisos necesarios para programar o modificar una consulta programada y asegúrate de que el usuario que configura la consulta programada tengaAcceso a la cuenta de servicio.

Si se asignaron todos los permisos correctos, pero aún encuentras un error, verifica si la política Inhabilitar el uso de cuentas de servicio entre proyectos se aplica en el proyecto de forma predeterminada. Para verificar la política en la consola de Cloud de Confiance , navega a IAM y administración > Políticas de la organización y busca la política.

Verifica si se aplica la política de uso de la cuenta de servicio entre proyectos a una cuenta de servicio.

Si se aplica la política Inhabilitar el uso de cuentas de servicio entre proyectos, puedes inhabilitarla siguiendo estos pasos:

  1. Para identificar las cuentas de servicio asociadas al proyecto con la consola de Cloud de Confiance , navega a IAM y administración > Cuentas de servicio. En esta vista, se muestran todas las cuentas de servicio del proyecto actual.
  2. Inhabilita la política en el proyecto en el que se encuentran las cuentas de servicio con el siguiente comando. Para inhabilitar esta política, el usuario debe ser un administrador de políticas de la organización. Solo el administrador de la organización puede otorgar a un usuario este rol.
gcloud resource-manager org-policies disable-enforce iam.disableCrossProjectServiceAccountUsage --project=[PROJECT-ID]

Problemas de configuración de transferencia controlada por eventos

Los siguientes son problemas habituales que puedes encontrar cuando creas una transferencia basada en eventos.

Error: Data Transfer Service is not authorized to pull message from the provided Pub/Sub subscription.

Resolución: Verifica que al agente de servicio del Servicio de transferencia de datos de BigQuery se le haya otorgado el rol pubsub.subscriber:

  1. En la consola de Cloud de Confiance , ve a la página Pub/Sub.

    Ir a Pub/Sub

  2. Selecciona la suscripción a Pub/Sub que usaste en la transferencia basada en eventos.

  3. Si el panel de información está oculto, haz clic en Mostrar panel de información en la esquina superior derecha.

  4. En la pestaña Permisos, verifica que el agente de servicio del Servicio de transferencia de datos de BigQuery tenga el rol pubsub.subscriber.

Verifica si el agente de servicio tiene pubsub.subscriber en la suscripción.

Si el agente de servicio no tiene el rol pubsub.subscriber otorgado. Haz clic en Agregar principal para otorgar el rol de pubsub.subscriber a service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com.

Error: Cloud Pub/Sub API has not been used in project PROJECT_NUMBER before or it is disabled.

Resolución: Verifica que la API de Cloud Pub/Sub esté habilitada para tu proyecto:

  1. En la consola de Cloud de Confiance , ve a la página APIs y servicios.

    Ir a API y servicios

  2. Haz clic en Habilitar las APIs y los servicios.

  3. Busca Cloud Pub/Sub API, selecciona el primer resultado y haz clic en Habilitar.

Error: Data Transfer Service does not have required permission to use project quota of project PROJECT_NUMBER to access Pub/Sub.

Resolución: Verifica que al agente de servicio del Servicio de transferencia de datos de BigQuery se le haya otorgado el rol serviceusage.serviceUsageConsumer:

  1. En la consola de Cloud de Confiance , ve a la página IAM y administración.

    Ir a IAM y administración

  2. Selecciona la casilla de verificación Incluir asignaciones de roles proporcionadas por S3NS.

  3. Verifica que se muestre la cuenta de servicio con el nombre service-<project_number>@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com y que se le haya otorgado el rol de consumidor de Service Usage.

    Verifica si la cuenta de servicio tiene el rol serviceusage.serviceUsageConsumer.

Problema: Cuando usas la transferencia basada en eventos de Cloud Storage, no se activa ninguna ejecución de transferencia después de subir o actualizar archivos en el bucket de Cloud Storage.

Las ejecuciones de transferencia no se activan inmediatamente después de que se recibe un evento. Es posible que la ejecución de la transferencia tarde varios minutos en activarse. Para verificar el estado de la próxima ejecución de transferencia, puedes consultar el campo Fecha de destino para la próxima ejecución en el historial de ejecución. En este campo, se muestra la hora programada para la próxima ejecución o Esperando eventos para programar la siguiente ejecución si no se recibieron eventos. Si subiste o actualizaste archivos en tu bucket de Cloud Storage, pero la fecha de destino para la próxima ejecución no se actualizó y no se activaron ejecuciones durante 10 a 20 minutos, consulta la siguiente resolución.

Resolución: Verifica que tu suscripción a Pub/Sub especificada en la configuración de transferencia pueda recibir mensajes publicados a partir de eventos de Cloud Storage:

  1. En la consola de Cloud de Confiance , ve a la página Pub/Sub.

    Ir a Pub/Sub

  2. Selecciona la suscripción a Pub/Sub que usaste en la transferencia basada en eventos.

  3. En la pestaña Métricas, verifica el gráfico "Antigüedad del mensaje sin confirmar más antiguo" y comprueba si hay mensajes.

Verifica si se envían mensajes

Si no se publican mensajes, verifica si la notificación de Pub/Sub está configurada correctamente para Cloud Storage. Puedes usar el siguiente comando de Google Cloud CLI para verificar la configuración de notificaciones asociada a tu bucket:

gcloud storage buckets notifications list gs://BUCKET_NAME

Reemplaza BUCKET_NAME por el nombre del bucket que usas para las notificaciones. Para obtener información sobre cómo configurar una notificación de Pub/Sub para Cloud Storage, consulta Configura una notificación de Pub/Sub para Cloud Storage.

Si hay mensajes, verifica si se usa la misma suscripción de Pub/Sub en otras configuraciones de transferencia controladas por eventos. La misma suscripción a Pub/Sub no se puede reutilizar en varios parámetros de configuración de transferencia basados en eventos. Para obtener más información sobre las transferencias centradas en eventos, consulta Transferencias centradas en eventos.

Problemas de cuotas

Error: Quota exceeded: Your project exceeded quota for imports per project.
Resolución: Verifica que no hayas programado demasiadas transferencias en tu proyecto. Para obtener información sobre cómo calcular la cantidad de trabajos de carga que inició una transferencia, consulta Cuotas y límites.