Solucionar problemas de configuración de transferencias

Este documento tiene como objetivo ayudarte a solucionar los problemas más habituales que se producen al configurar una transferencia de BigQuery Data Transfer Service. Este documento no abarca todos los mensajes de error ni todos los problemas posibles.

Si tienes problemas que no se explican en este documento, puedes solicitar asistencia.

Antes de ponerte en contacto con el equipo de Asistencia de Google Cloud, anota los detalles de la configuración y la ejecución de la transferencia. Para obtener información sobre cómo obtener estos detalles, consulta los artículos Obtener detalles de la transferencia y Ver los detalles de una ejecución de transferencia y los mensajes de registro.

Examinar errores

Si la transferencia inicial falla, puedes consultar los detalles en el historial de ejecuciones. Los errores que se muestran en el historial de ejecuciones pueden ayudarte a identificar una solución adecuada con este documento.

También puede ver los mensajes de error de un trabajo de transferencia específico mediante el Explorador de registros. El siguiente filtro del Explorador de registros devuelve información sobre un trabajo de configuración de transferencia específico, junto con los mensajes de error:

resource.type="bigquery_dts_config"
labels.run_id="RUN_ID"
resource.labels.config_id="CONFIG_ID"

Haz los cambios siguientes:

• RUN_ID: el número de ID de una ejecución de trabajo específica
• CONFIG_ID: el número de ID de un trabajo de configuración de transferencia

Antes de ponerte en contacto con el equipo de Asistencia, recopila toda la información pertinente del historial de ejecuciones o del Explorador de registros, incluidos los mensajes de error.

Si usa transferencias basadas en eventos, es posible que la configuración de la transferencia basada en eventos no active una ejecución de la transferencia. Puedes ver los mensajes de error en la parte superior de la página Historial de ejecuciones o en la página Configuración.

Incidencias generales

Cuando diagnostiques problemas generales de transferencia, comprueba lo siguiente:

• Comprueba que hayas completado todos los pasos de la sección "Antes de empezar" de la página de documentación del tipo de transferencia que vayas a realizar.
• Las propiedades de configuración de la transferencia son correctas.
• La cuenta de usuario utilizada para crear la transferencia tiene acceso a los recursos subyacentes.

Si la configuración de la transferencia es correcta y se han concedido los permisos adecuados, consulta las soluciones a los problemas habituales que se indican a continuación.

Error: An unexpected issue was encountered. If this issue persists, please contact customer support.

Resolución: Este error suele indicar una interrupción temporal o un problema en BigQuery. Espere aproximadamente 2 horas para que se resuelva el problema. Si el problema persiste, solicita asistencia.

Error: INTERNAL: An internal error occurred and the request could not be completed. This is usually caused by a transient issue...

Solución: Este error suele indicar un problema interno temporal. Si te encuentras con este error, puedes esperar a ver si se resuelve en la próxima ejecución programada o puedes activar manualmente un relleno para las fechas afectadas. Si el problema persiste, solicita asistencia.

Error: Quota Exceeded.

Resolución: Las transferencias están sujetas a las cuotas de tareas de carga de BigQuery. Si necesitas aumentar tu cuota, ponte en contacto con tu Cloud de Confiance by S3NS representante de ventas. Para obtener más información, consulta Cuotas y límites.

Si cargas exportaciones de Facturación de Cloud en BigQuery, es posible que se produzca el error Quota Exceeded. Tanto las tablas de exportación de facturación de Cloud como las tablas de BigQuery de destino creadas por el servicio BigQuery Data Transfer Service están particionadas. Si elige la opción Sobrescribir al configurar este tipo de tareas de BigQuery Data Transfer Service, se producirán errores de cuota en función de la cantidad de datos que se exporten. Para obtener información sobre cómo solucionar problemas con las cuotas, consulta el artículo Solucionar errores de cuotas y límites.

Si el error se debe a trabajos de BigQuery Data Transfer Service para exportaciones de Facturación de Cloud, ten en cuenta que, como las tablas de exportación de Facturación de Cloud están particionadas, también lo está la tabla de destino creada por BigQuery Data Transfer Service. Por lo tanto, si eliges la opción Sobrescribir al configurar estos trabajos de transferencia de datos, se producirán errores de cuota de DML en función de la antigüedad de las cuentas de facturación. Para obtener información sobre cómo solucionar problemas de cuotas, consulta el artículo Solucionar errores de cuotas y límites.

Error: The caller does not have permission.

Resolución: Confirma que la cuenta con la que has iniciado sesión en la Cloud de Confiance consola es la misma que seleccionas para BigQuery Data Transfer Service al crear la transferencia.

• Cuenta con la que has iniciado sesión en la consola Cloud de Confiance :

  

• Elige una cuenta para continuar con BigQuery Data Transfer Service:

  

Error: Access Denied: ... Permission bigquery.tables.get denied on table ...

Resolución: confirme que el agente de servicio de BigQuery Data Transfer Service tiene asignado el rol bigquery.dataEditor en el conjunto de datos de destino. Este permiso se aplica automáticamente al crear y actualizar la transferencia, pero es posible que la política de acceso se haya modificado manualmente después. Para volver a conceder el permiso, consulta Dar acceso a un conjunto de datos.

Error: region violates constraint constraints/gcp.resourceLocations on the resource projects/project_id

Resolución: Este error se produce cuando un usuario intenta crear una configuración de transferencia en una ubicación restringida, tal como se especifica en la política de la organización de restricción de la ubicación. Para resolver este problema, cambie la política de la organización para permitir la región o cambie la configuración de la transferencia a un conjunto de datos de destino ubicado en una región que no esté restringida por la política de la organización.

Error: Please look into the errors[] collection for more details.

Solución: este error puede producirse cuando falla una transferencia de datos. Para obtener más información sobre por qué ha fallado la transferencia de datos, puedes usar Cloud Logging para ver tus registros. Puedes buscar los registros de una ejecución específica buscando con la transferencia run_id.

Error: Network Attachment with connected endpoints cannot be deleted.

Solución: Este error puede producirse cuando un usuario intenta eliminar sus archivos adjuntos de red poco después de haber eliminado su transferencia. Esto ocurre porque pueden pasar varios días después de que se elimine una transferencia antes de que el servicio de transferencia de datos de BigQuery pueda eliminar por completo todos los recursos asociados a la transferencia, lo que puede impedir que se eliminen los adjuntos de red. Para resolver este error, espera varios días antes de intentar eliminar los archivos adjuntos de la red. Si quieres que los archivos adjuntos de la red se eliminen antes, puedes ponerte en contacto con el equipo de Asistencia.

Problemas de autorización y permisos

A continuación, se indican algunos errores de permisos habituales que pueden producirse al transferir datos de diferentes fuentes de datos:

Error: BigQuery Data Transfer Service is not enabled for <project_id>

Error: BigQuery Data Transfer Service has not been used in project <project_id> before or it is disabled ...

Resolución: Verifica que el rol de agente de servicio se ha concedido siguiendo estos pasos:

1. En la Cloud de Confiance consola, ve a la página IAM y administración.

   Ir a IAM y administración

2. Selecciona la casilla Incluir concesiones de roles proporcionadas por S3NS.

3. Comprueba que se muestra la cuenta de servicio con el nombre service-<project_number>@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com o que se le ha concedido el rol Agente de BigQuery Data Transfer Service.

   

Si la cuenta de servicio no aparece o no tiene asignado el rol de agente de servicio de BigQuery Data Transfer Service, asigna el rol predefinido en la Cloud de Confiance consola o ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud projects add-iam-policy-binding PROJECT_NUMBER \
--member serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com \
--role roles/bigquerydatatransfer.serviceAgent

Sustituye PROJECT_NUMBER por el número de proyecto asociado a esta cuenta de servicio.

Error: There was an error loading this table. Check that the table exists and that you have the correct permissions.

Resolución:

1. En la Cloud de Confiance consola, ve a la página BigQuery.

   Ir a BigQuery

2. Haga clic en el conjunto de datos de destino que se ha usado en la transferencia.

3. Haz clic en el menú Compartir y, a continuación, en Permisos.

4. Despliega el rol Editor de datos de BigQuery.

5. Verifica que el agente de servicio de BigQuery Data Transfer Service se haya añadido a este rol. Si no es así, asigna el rol Editor de datos de BigQuery (roles/bigquery.dataEditor) al agente de servicio de BigQuery Data Transfer Service.

Error: A permission denied error was encountered: PERMISSION_DENIED. Please ensure that the user account setting up the transfer config has the necessary permissions, and that the configuration settings are correct

Resolución:

1. En la Cloud de Confiance consola, ve a la página Transferencias de datos.

   Ir a Transferencias de datos

2. Haga clic en la transferencia fallida y, a continuación, seleccione la pestaña Configuración.

3. Comprueba que el propietario de la transferencia que aparece en el campo Usuario tenga todos los permisos necesarios para la fuente de datos.

Si el propietario de la transferencia no tiene todos los permisos necesarios, actualiza sus credenciales para concederlos. También puedes cambiar el propietario de la transferencia a otro usuario que tenga los permisos necesarios.

Error: Authentication failure: User Id not found. Error code: INVALID_USERID

Solución: El propietario de la transferencia tiene un ID de usuario no válido. Cambia el propietario de la transferencia a otro usuario actualizando sus credenciales. Si usas una cuenta de servicio, también debes verificar que las cuentas que ejecutan la transferencia de datos tengan todos los permisos necesarios para usar una cuenta de servicio.

Error: The user does not have permission

Solución: Comprueba que el propietario de la transferencia sea una cuenta de servicio y que el servicio tenga todos los permisos necesarios. Otra posibilidad es que la cuenta de servicio utilizada se haya creado en un proyecto diferente al que se usó para crear esta transferencia. Para resolver problemas de permisos entre proyectos, consulte los siguientes recursos:

• Habilitar la vinculación de cuentas de servicio entre proyectos
• Autorización de cuenta de servicio entre proyectos (para conceder los permisos necesarios)

Error: HttpError 403 when requesting returned "The caller does not have permission"

googleapiclient.errors.HttpError: <HttpError 403 when requesting returned "The caller does not have permission". Details: "The caller does not have permission">

Este error puede aparecer cuando intentes configurar una consulta programada con una cuenta de servicio.

Solución: Asegúrate de que la cuenta de servicio tenga todos los permisos necesarios para programar o modificar una consulta programada y de que el usuario que configura la consulta programada tenga acceso a la cuenta de servicio.

Si se han asignado todos los permisos correctos, pero sigues recibiendo el error, comprueba si la política Disable Cross-Project Service Account Usage (Inhabilitar el uso de cuentas de servicio entre proyectos) se aplica al proyecto de forma predeterminada. Para comprobar si la política está en la consola, vaya a IAM y administración > Políticas de la organización y busque la política. Cloud de Confiance

Si se aplica la política Inhabilitar el uso de cuentas de servicio entre proyectos, puedes inhabilitarla siguiendo estos pasos:

1. Identifica las cuentas de servicio asociadas al proyecto mediante la Cloud de Confiance consola . Para ello, ve a IAM y administración > Cuentas de servicio. En esta vista se muestran todas las cuentas de servicio del proyecto actual.
2. Inhabilita la política en el proyecto en el que se encuentran las cuentas de servicio con el siguiente comando. Para inhabilitar esta política, el usuario debe ser administrador de políticas de la organización. Solo el administrador de la organización puede asignar este rol a un usuario.

gcloud resource-manager org-policies disable-enforce iam.disableCrossProjectServiceAccountUsage --project=[PROJECT-ID]

Problemas de configuración de la transferencia basada en eventos

A continuación se indican problemas habituales que pueden surgir al crear una transferencia basada en eventos.

Error: Data Transfer Service is not authorized to pull message from the provided Pub/Sub subscription.

Resolución: compruebe que el agente de servicio de BigQuery Data Transfer Service tiene asignado el rol pubsub.subscriber:

1. En la Cloud de Confiance consola, ve a la página Pub/Sub.

   Ir a Pub/Sub

2. Selecciona la suscripción de Pub/Sub que has usado en la transferencia basada en eventos.

3. Si el panel de información está oculto, haz clic en Mostrar panel de información en la esquina superior derecha.

4. En la pestaña Permisos, comprueba que el agente de servicio de BigQuery Data Transfer Service tenga el rol pubsub.subscriber.

Si el agente de servicio no tiene asignado el rol pubsub.subscriber. Haz clic en person_add Añadir cuenta principal para conceder el pubsub.subscriber rol a service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com.

Error: Cloud Pub/Sub API has not been used in project PROJECT_NUMBER before or it is disabled.

Resolución: comprueba que la API Cloud Pub/Sub esté habilitada en tu proyecto:

1. En la Cloud de Confiance consola, ve a la página APIs & Services (APIs y servicios).

   Ir a APIs y servicios

2. Haz clic en Habilitar APIs y servicios.

3. Busca Cloud Pub/Sub API, selecciona el primer resultado y haz clic en Habilitar.

Error: Data Transfer Service does not have required permission to use project quota of project PROJECT_NUMBER to access Pub/Sub.

Resolución: compruebe que el agente de servicio de BigQuery Data Transfer Service tiene asignado el rol serviceusage.serviceUsageConsumer:

1. En la Cloud de Confiance consola, ve a la página IAM y administración.

   Ir a IAM y administración

2. Selecciona la casilla Incluir concesiones de roles proporcionadas por S3NS.

3. Comprueba que se muestra la cuenta de servicio con el nombre service-<project_number>@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com y que se le ha concedido el rol Consumidor de uso del servicio.

   

Problema: Cuando se usa la transferencia basada en eventos de Cloud Storage, no se activa ninguna transferencia después de subir o actualizar archivos en un segmento de Cloud Storage.

Las transferencias no se activan inmediatamente después de recibir un evento. Puede tardar varios minutos en activarse una transferencia. Para comprobar el estado de la próxima transferencia, consulta el campo Fecha de destino de la próxima ejecución en el historial de ejecuciones. En este campo se muestra la hora programada de la próxima ejecución o el mensaje Esperando eventos para programar la próxima ejecución si no se ha recibido ningún evento. Si ha subido o actualizado archivos en su contenedor de Cloud Storage, pero la fecha de destino de la próxima ejecución no se ha actualizado y no se ha activado ninguna ejecución en un plazo de entre 10 y 20 minutos, consulte la siguiente solución.

Solución: Comprueba que la suscripción a Pub/Sub especificada en la configuración de transferencia pueda recibir mensajes publicados a partir de eventos de Cloud Storage:

1. En la Cloud de Confiance consola, ve a la página Pub/Sub.

   Ir a Pub/Sub

2. Selecciona la suscripción de Pub/Sub que has usado en la transferencia basada en eventos.

3. En la pestaña Métricas, consulta el gráfico "Antigüedad del mensaje sin confirmar más antiguo" y comprueba si hay algún mensaje.

Si no se publican mensajes, comprueba si la notificación de Pub/Sub está configurada correctamente para Cloud Storage. Puedes usar el siguiente comando de la CLI de Google Cloud para comprobar las configuraciones de notificaciones asociadas a tu contenedor:

gcloud storage buckets notifications list gs://BUCKET_NAME

Sustituye BUCKET_NAME por el nombre del segmento que usas para las notificaciones. Para obtener información sobre cómo configurar una notificación de Pub/Sub para Cloud Storage, consulta Configurar notificaciones de Pub/Sub para Cloud Storage.

Si hay mensajes, comprueba si se usa la misma suscripción de Pub/Sub en otras configuraciones de transferencia basadas en eventos. Varias configuraciones de transferencia basadas en eventos no pueden reutilizar la misma suscripción de Pub/Sub. Para obtener más información sobre las transferencias basadas en eventos, consulta Transferencias basadas en eventos.

Problemas con las cuotas

Error: Quota exceeded: Your project exceeded quota for imports per project.

Resolución: comprueba que no hayas programado demasiadas transferencias en tu proyecto. Para obtener información sobre cómo calcular el número de tareas de carga iniciadas por una transferencia, consulta Cuotas y límites.