Introducción a las canalizaciones de BigQuery

Puedes usar canalizaciones de BigQuery para automatizar y optimizar tus procesos de datos de BigQuery. Con las canalizaciones, puedes programar y ejecutar recursos de código en secuencia para mejorar la eficiencia y reducir el esfuerzo manual.

Descripción general

Las canalizaciones funcionan con Dataform.

Una canalización consta de uno o más de los siguientes recursos de código:

Puedes usar canalizaciones para programar la ejecución de recursos de código. Por ejemplo, puedes programar una consulta en SQL para que se ejecute a diario y actualice una tabla con los datos de origen más recientes, que luego pueden alimentar un panel.

En una canalización con varios recursos de código, defines la secuencia de ejecución. Por ejemplo, para entrenar un modelo de aprendizaje automático, puedes crear un flujo de trabajo en el que una consulta en SQL prepare los datos y, luego, un notebook posterior entrene el modelo con esos datos.

Funciones

En una canalización, puedes hacer lo siguiente:

Limitaciones

Las canalizaciones están sujetas a las siguientes limitaciones:

  • Las canalizaciones solo están disponibles en la Trusted Cloud consola.
  • No puedes cambiar la región para almacenar una canalización después de crearla.
  • Puedes otorgar acceso a usuarios o grupos a una canalización seleccionada, pero no puedes otorgarles acceso a tareas individuales dentro de la canalización.

Configura la región predeterminada para los elementos de código

Si es la primera vez que creas un elemento de código, debes configurar la región predeterminada para los elementos de código. No puedes cambiar la región de un recurso de código después de crearlo.

Todos los recursos de código en BigQuery Studio usan la misma región predeterminada. Para establecer la región predeterminada de los recursos de código, sigue estos pasos:

  1. Ve a la página de BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, busca el proyecto en el que habilitaste los elementos de código.

  3. Haz clic en Ver acciones junto al proyecto y, luego, en Cambiar mi región de código predeterminada.

  4. En Región, selecciona la región que deseas usar para los recursos de código.

  5. Haz clic en Seleccionar.

Para obtener una lista de las regiones en las que está disponible, consulta Ubicaciones de BigQuery Studio.

Regiones admitidas

Todos los elementos de código se almacenan en tu región predeterminada para los elementos de código. La actualización de la región predeterminada cambia la región de todos los recursos de código creados después de ese punto.

En la siguiente tabla, se enumeran las regiones en las que están disponibles las canalizaciones:

Descripción de la región Nombre de la región Detalles
África
Johannesburgo africa-south1
América
Columbus us-east5
Dallas us-south1 ícono de hoja CO2 bajo
Iowa us-central1 ícono de hoja CO2 bajo
Los Ángeles us-west2
Las Vegas us-west4
Montreal northamerica-northeast1 ícono de hoja CO2 bajo
N. Virginia us-east4
Oregón us-west1 ícono de hoja CO2 bajo
São Paulo southamerica-east1 ícono de hoja CO2 bajo
Carolina del Sur us-east1
Asia-Pacífico
Hong Kong asia-east2
Yakarta asia-southeast2
Bombay asia-south1
Seúl asia-northeast3
Singapur asia-southeast1
Sídney australia-southeast1
Taiwán asia-east1
Tokio asia-northeast1
Europa
Bélgica europe-west1 ícono de hoja CO2 bajo
Fráncfort europe-west3
Londres europe-west2 ícono de hoja CO2 bajo
Madrid europe-southwest1 ícono de hoja CO2 bajo
Países Bajos europe-west4 ícono de hoja CO2 bajo
Turín europe-west12
Zúrich europe-west6 ícono de hoja CO2 bajo
Oriente Medio
Doha me-central1
Dammam me-central2

Cuotas y límites

Las canalizaciones de BigQuery están sujetas a las cuotas y límites de Dataform.

Precios

La ejecución de tareas de canalización de BigQuery genera cargos de procesamiento y almacenamiento en BigQuery. Si deseas obtener más información, consulta los Precios de BigQuery.

Las canalizaciones que contienen notebooks generan cargos de tiempo de ejecución de Colab Enterprise según el tipo de máquina predeterminado. Para obtener detalles sobre los precios, consulta Precios de Colab Enterprise.

Cada ejecución de canalización de BigQuery se registra con Cloud Logging. El registro se habilita automáticamente para las ejecuciones de canalizaciones de BigQuery, lo que puede generar cargos de facturación de Cloud Logging. Para obtener más información, consulta Precios de Cloud Logging.

¿Qué sigue?