Crear canalizaciones
En este documento, se describe cómo crear canalizaciones en BigQuery. Las canalizaciones funcionan con Dataform.
Antes de comenzar
-
In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.
-
Verify that billing is enabled for your Trusted Cloud project.
-
Enable the BigQuery, Dataform, and Vertex AI APIs.
-
Para crear canalizaciones:
Creador de código (
roles/dataform.codeCreator) -
Para editar y ejecutar canalizaciones, usa el Editor de Dataform (
roles/dataform.editor). Ve a la página de BigQuery.
En el panel Explorador, busca el proyecto en el que habilitaste los elementos de código.
Haz clic en Ver acciones junto al proyecto y, luego, en Cambiar mi región de código predeterminada.
En Región, selecciona la región que deseas usar para los recursos de código.
Haz clic en Seleccionar.
Ve a la página de BigQuery.
En la barra de pestañas del panel del editor, haz clic en la flecha junto al signo + y, luego, haz clic en Canalización.
Opcional: Para cambiar el nombre de la canalización, haz clic en su nombre y, luego, escribe uno nuevo.
Haz clic en Comenzar y, luego, ve a la pestaña Configuración.
En la sección Autenticación, elige autorizar la canalización con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.
- Para usar las credenciales de usuario de tu Cuenta de Google (versión preliminar), selecciona Ejecutar con mis credenciales de usuario.
- Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, elige una cuenta de servicio.
En la sección Ubicación, selecciona una región de procesamiento para la canalización.
- Para seleccionar una región específica, elige Región y, luego, selecciona una región en el menú Región.
- Para seleccionar una multirregión, elige Multirregión y, luego, selecciona una multirregión en el menú Multirregión.
La región de procesamiento de la canalización no tiene que coincidir con la región de almacenamiento predeterminada para los recursos de código.
Si planeas agregar un notebook a tu canalización, haz lo siguiente en la sección Opciones de notebook:
En el campo de plantilla de entorno de ejecución, acepta el entorno de ejecución de notebook predeterminado o busca y selecciona un entorno de ejecución existente.
- Para ver las especificaciones del entorno de ejecución predeterminado, haz clic en la flecha adyacente.
- Para crear un entorno de ejecución nuevo, consulta Crea una plantilla de entorno de ejecución.
En el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage para almacenar el resultado de los notebooks en tu canalización.
Sigue las instrucciones deAgrega un principal a una política a nivel de bucket para agregar tu cuenta de servicio personalizada de Dataform como principal al bucket de Cloud Storage que planeas usar para almacenar el resultado de ejecuciones programadas de canalizaciones y otorgar el rol de administrador de almacenamiento a este principal (
roles/storage.admin)Se debe otorgar a la cuenta de servicio personalizada de Dataform seleccionada el rol de IAM de administrador de Storage en el bucket seleccionado.
En la consola de Trusted Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canalizaciones y, luego, selecciona una canalización.
Para agregar un recurso de código, como una consulta en SQL, un notebook o una preparación de datos, haz lo siguiente:
Consulta en SQL
Haz clic en Agregar tarea y, luego, selecciona Consulta. Puedes crear una consulta nueva o importar una existente.
Opcional: En el panel Detalles de la tarea de consulta, en el menú Ejecutar después de, selecciona una tarea que preceda a tu consulta.
Tu búsqueda dependerá de la tarea anterior.
Crea una consulta nueva
Haz clic en el menú de flecha junto a Editar consulta y selecciona En contexto o En una pestaña nueva.
Buscar una consulta existente
Selecciona un nombre de consulta y, luego, presiona Intro.
Haz clic en Guardar.
Opcional: Para cambiar el nombre de la consulta, haz clic en el nombre de la consulta en el panel de la canalización, luego en Editar consulta, haz clic en el nombre de la consulta existente en la parte superior de la pantalla y, luego, escribe un nombre nuevo.
Cómo importar una búsqueda existente
Haz clic en el menú de flecha junto a Editar consulta y, luego, en Importar una copia.
Busca una consulta existente para importar o selecciona una consulta existente en el panel de búsqueda. Cuando importas una consulta, la original no se modifica porque el archivo fuente de la consulta se copia en la canalización.
Haz clic en Editar para abrir la consulta importada.
Haz clic en Guardar.
Notebook
Haz clic en Agregar tarea y, luego, selecciona Notebook. Puedes crear un cuaderno nuevo o importar uno existente. Para cambiar la configuración de las plantillas de tiempo de ejecución de notebooks, consulta Opciones de notebook.
Opcional: En el panel Detalles de la tarea del notebook, en el menú Ejecutar después de, selecciona una tarea que preceda a tu notebook.
Tu notebook dependerá de la tarea anterior.
Crea un notebook nuevo
Haz clic en el menú de flecha junto a Edit Notebook y selecciona In context o In new tab.
Busca un notebook existente.
Selecciona un nombre de notebook y, luego, presiona Intro.
Haz clic en Guardar.
Opcional: Para cambiar el nombre del notebook, haz clic en su nombre en el panel de la canalización, luego en Editar notebook, haz clic en el nombre existente en la parte superior de la pantalla y, luego, escribe un nombre nuevo.
Cómo importar un notebook existente
Haz clic en el menú de flecha junto a Edit Notebook y, luego, en Import a copy.
Busca un notebook existente para importar o selecciona uno existente en el panel de búsqueda. Cuando importas un notebook, el original permanece sin cambios porque el archivo fuente del notebook se copia en la canalización.
Para abrir el notebook importado, haz clic en Editar.
Haz clic en Guardar.
Preparación de datos
Haz clic en Agregar tarea y, luego, selecciona Preparación de datos. Puedes crear una preparación de datos nueva o importar una existente.
Opcional: En el panel Detalles de la tarea de preparación de datos, en el menú Ejecutar después de, selecciona una tarea que preceda a la preparación de datos.
La preparación de tus datos dependerá de la tarea anterior.
Crea una nueva preparación de datos
Haz clic en el menú de flecha junto a Editar preparación de datos y selecciona En contexto o En una pestaña nueva.
Busca una preparación de datos existente.
Selecciona un nombre de preparación de datos y presiona Intro.
Haz clic en Guardar.
Opcional: Para cambiar el nombre de la preparación de datos, haz clic en el nombre de la preparación de datos en el panel de la canalización, haz clic en Editar preparación de datos, haz clic en el nombre en la parte superior de la pantalla y, luego, ingresa un nombre nuevo.
Cómo importar una preparación de datos existente
Haz clic en el menú desplegable de flecha junto a Editar preparación de datos y, luego, en Importar una copia.
Busca una preparación de datos existente para importar o selecciona una preparación de datos existente en el panel de búsqueda. Cuando importas una preparación de datos, el original permanece sin cambios porque el archivo fuente de la preparación de datos se copia en la canalización.
Para abrir la preparación de datos importada, haz clic en Editar.
Haz clic en Guardar.
En la consola de Trusted Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canalizaciones y, luego, selecciona una canalización.
Haz clic en la tarea seleccionada.
Para cambiar la tarea anterior, en el menú Ejecutar después de, selecciona una tarea que preceda a tu consulta o notebook.
Para editar el contenido de la tarea seleccionada, haz clic en Editar.
En la nueva pestaña que se abre, edita el contenido de la tarea y, luego, guarda los cambios.
En la consola de Trusted Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canalizaciones y, luego, selecciona una canalización.
Haz clic en la tarea seleccionada.
En el panel Detalles de la tarea, haz clic en el ícono BorrarBorrar.
En la consola de Trusted Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canalizaciones y, luego, selecciona una canalización.
Haz clic en Compartir y, luego, selecciona Administrar permisos.
Haz clic en Agregar usuario o grupo.
En el campo Principales nuevas, ingresa el nombre de al menos un usuario o grupo.
En Asignar roles, selecciona un rol.
Haz clic en Guardar.
En la consola de Trusted Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canalizaciones y, luego, selecciona una canalización.
Haz clic en Compartir y, luego, selecciona Compartir vínculo. La URL de tu canal se copiará en el portapapeles de tu computadora.
En la consola de Trusted Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canalizaciones y, luego, selecciona una canalización.
Haz clic en Ejecutar. Si seleccionaste Ejecutar con mis credenciales de usuario para tu autenticación, debes autorizar tu Cuenta de Google (vista previa).
Opcional: Para inspeccionar la ejecución, consulta las ejecuciones manuales anteriores.
- Ve a la página de tu Cuenta de Google.
- Haz clic en BigQuery Pipelines.
- Haga clic en Quitar acceso.
- Obtén más información sobre las canalizaciones de BigQuery.
- Obtén más información para administrar canalizaciones.
- Obtén más información para programar canalizaciones.
Roles requeridos para las canalizaciones
Para obtener los permisos que necesitas para crear canalizaciones, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Para obtener más información sobre la IAM de Dataform, consulta Controla el acceso con IAM.
Roles requeridos para las opciones de notebook
Para obtener los permisos que necesitas para seleccionar una plantilla de entorno de ejecución en las opciones del notebook, pídele a tu administrador que te otorgue el rol de IAM de Usuario del entorno de ejecución del notebook (roles/aiplatform.notebookRuntimeUser) en el proyecto.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Si no tienes este rol, puedes seleccionar la especificación predeterminada del tiempo de ejecución del notebook.
Configura la región predeterminada para los elementos de código
Si es la primera vez que creas un elemento de código, debes configurar la región predeterminada para los elementos de código. No puedes cambiar la región de un recurso de código después de crearlo.
Todos los recursos de código en BigQuery Studio usan la misma región predeterminada. Para establecer la región predeterminada de los recursos de código, sigue estos pasos:
Para obtener una lista de las regiones en las que está disponible, consulta Ubicaciones de BigQuery Studio.
Crea una canalización
Para crear una canalización, sigue estos pasos:
Opciones de notebook
Agrega una tarea de canalización
Para agregar una tarea a una canalización, sigue estos pasos:
Cómo editar una tarea de canalización
Para editar una tarea de la canalización, sigue estos pasos:
Borra una tarea de canalización
Para borrar una tarea de una canalización, sigue estos pasos:
Comparte una canalización
Para compartir una canalización, sigue estos pasos:
Cómo compartir un vínculo a una canalización
Ejecutar una canalización
Para ejecutar manualmente la versión actual de una canalización, sigue estos pasos:
Autoriza tu Cuenta de Google
Para autenticar el recurso con las credenciales de usuario de tu Cuenta de Google, debes otorgar permiso de forma manual a las canalizaciones de BigQuery para obtener el token de acceso de tu Cuenta de Google y acceder a los datos de origen en tu nombre. Puedes otorgar la aprobación manual con la interfaz del diálogo de OAuth.
Solo debes otorgar permiso a las canalizaciones de BigQuery una vez.
Para revocar el permiso que otorgaste, sigue estos pasos:
Si tu canalización contiene un notebook, también debes otorgar permiso de forma manual para que Colab Enterprise obtenga el token de acceso a tu Cuenta de Google y acceda a los datos de origen en tu nombre. Solo debes otorgar el permiso una vez. Puedes revocar este permiso en la página de la Cuenta de Google.