Programa las preparaciones de datos

En este documento, se describe cómo programar canalizaciones de preparación de datos y realizar ejecuciones manuales.

Las preparaciones de datos funcionan con Dataform. Cada programación de preparación de datos se ejecuta con tus credenciales de usuario de la Cuenta de Google o con una cuenta de servicio personalizada que seleccionas cuando configuras la programación o la ejecución de prueba.

Los cambios que realices en los pasos de preparación de datos no se guardan automáticamente. Debes guardar y, luego, implementar los cambios para que se puedan ejecutar con una programación. Las programaciones siempre ejecutan la versión implementada más reciente de la preparación de tus datos y excluyen cualquier cambio no implementado que puedas estar desarrollando.

Antes de comenzar

Antes de comenzar, crea una preparación de datos.

Roles obligatorios

Para autorizar una preparación de datos con una cuenta de servicio cuando ejecutas la preparación de datos de forma manual en el desarrollo o programas la preparación de datos, debes otorgar roles a la cuenta de servicio que planeas usar para ejecutar las ejecuciones de preparación de datos. Para obtener más información, consulta Otorga acceso a la cuenta de servicio de Dataform.

Para programar preparaciones de datos, haz lo siguiente:

• Pídele a tu administrador que te otorgue el rol de usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio personalizada.
• Otorga el rol de usuario de cuenta de servicio (roles/iam.serviceAccountUser) y el rol de creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) al agente de servicio predeterminado de Dataform en la cuenta de servicio personalizada.

Para mejorar la seguridad de la programación, consulta Implementa permisos de programación mejorados.

Desarrolla una preparación de datos

A medida que desarrollas una preparación de datos, puedes ejecutar los pasos de forma manual y, luego, inspeccionar el resultado antes de implementar los cambios en producción. Puedes probar la versión actual que estás desarrollando en tus datos, mientras que BigQuery continúa ejecutando la versión implementada más reciente, según una programación. Antes de poder realizar la ejecución, debes configurar el destino, y corregir los errores de validación.

Ejecuta manualmente una preparación de datos en el desarrollo

Para probar los pasos de preparación de datos y validar los resultados en tu tabla de destino, ejecuta la preparación de datos de forma manual desde el editor de preparación de datos:

1. En la Cloud de Confiance consola de, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en explore Explorador:

   

   Si no ves el panel izquierdo, haz clic en last_page Expandir panel izquierdo para abrirlo.

3. En el panel Explorador, expande tu proyecto y haz clic en Preparaciones de datos.

4. Haz clic en el nombre de la preparación de datos que deseas ejecutar.

5. En la barra de herramientas del editor de preparación de datos, haz clic en Más > Configurar la experiencia de ejecutar ahora.

6. En la sección Autenticación, autoriza la preparación de datos con tus credenciales de usuario de la Cuenta de Google o una cuenta de servicio.

   • Para usar tus credenciales de usuario de la Cuenta de Google (vista previa), selecciona Ejecutar con mis credenciales de usuario. Esta es la opción predeterminada.
   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio. Si la cuenta de servicio necesita permisos adicionales, otórgale los roles necesarios haciendo clic en Otorgar todo.

7. Haz clic en Guardar.

8. Corrige los errores de validación que aparezcan.

9. En la barra de herramientas del editor de preparación de datos, haz clic en Ejecutar.

10. En el diálogo Ejecutar ahora, haz clic en Confirmar para reconocer que esta ejecución manual escribe datos en una tabla de destino, que también podrías usar para ejecuciones programadas.

    Si seleccionaste Ejecutar con mis credenciales de usuario para tu método de autenticación, debes autorizar tu Cuenta de Google (vista previa).

    Luego, la ejecución ejecuta tus pasos y carga el resultado en el destino.

11. Opcional: Una vez que se complete la ejecución, puedes ver los detalles sobre la ejecución en el panel Ejecuciones.

Implementa una preparación de datos

Para programar ejecuciones para una versión de la preparación de datos, primero debes implementarla. Las programaciones ejecutan la versión implementada más recientemente.

Para implementar una preparación de datos, sigue estos pasos:

1. En la Cloud de Confiance consola de, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en explore Explorador:

   

3. En el panel Explorador, expande tu proyecto y haz clic en Preparaciones de datos.

4. Haz clic en el nombre de la preparación de datos elegida.

   Se abrirá el editor de preparación de datos.

5. En la barra de herramientas del editor de preparación de datos, haz clic en Implementar.

Crea una programación

Para crear una programación que ejecute los pasos de preparación de datos implementados y cargue los datos preparados en la tabla de destino, primero debes programar una ejecución de preparación de datos. Para programar la ejecución, debes configurar el destino, y corregir los errores de validación.

Para crear una programación de preparación de datos, sigue estos pasos:

Autoriza tu Cuenta de Google

Para autenticar el recurso con tus credenciales de usuario de la Cuenta de Google, debes otorgar permiso de forma manual para que las canalizaciones de BigQuery obtengan el token de acceso de tu Cuenta de Google y accedan a los datos de origen en tu nombre. Puedes otorgar la aprobación manual con la interfaz de diálogo de OAuth.

Solo debes otorgar permiso a las canalizaciones de BigQuery una vez.

Para revocar el permiso que otorgaste, sigue estos pasos:

1. Ve a la página de la Cuenta de Google.
2. Haz clic en Canalizaciones de BigQuery.
3. Haga clic en Quitar acceso.

Cambiar el propietario de la programación de preparación de datos mediante la actualización de las credenciales también requiere aprobación manual si el nuevo propietario de la Cuenta de Google nunca antes creó una programación.

Ejecuta manualmente una preparación de datos programada

Cuando ejecutas manualmente una preparación de datos en una programación seleccionada, BigQuery ejecuta la preparación de datos una vez, independientemente de la programación.

Para ejecutar manualmente una preparación de datos programada, sigue estos pasos:

1. En la Cloud de Confiance consola de, ve a la página Programación.

   Ir a Programación

2. Haz clic en el nombre de la programación de preparación de datos seleccionada.

3. En la página Detalles de la programación, haz clic en Ejecutar.

Ver agendas

Puedes ver las programaciones de preparación de datos desde el editor de preparación de datos o la página Programación.

Edita una planificación

Puedes editar una programación desde el editor de preparación de datos o la página Programación.

Borra un programa

Para borrar de forma permanente una programación para una preparación de datos seleccionada, sigue estos pasos:

1. En la Cloud de Confiance consola de, ve a la página Programación.

   Ir a Programación

2. En la fila que contiene la programación, haz clic en more_vert Acciones > Borrar.

¿Qué sigue?

• Obtén información para crear preparaciones de datos.
• Obtén más información para administrar las preparaciones de datos.