Crea flujos de trabajo de integración de datos con la página Canalizaciones y conexiones

Puedes administrar y optimizar las tareas de integración de datos directamente en la consola deCloud de Confiance con la página Pipelines & Connections de BigQuery. En esta página, se proporcionan flujos de trabajo de configuración guiados y específicos de BigQuery para servicios como el Servicio de transferencia de datos de BigQuery, Datastream y Pub/Sub.

Puedes usar la página Pipelines & Connections para realizar las siguientes tareas:

  • Carga datos. Encuentra y carga datos de fuentes de datos compatibles con una experiencia guiada.
  • Programa tareas de datos. Programa tus procesos de datos para que se ejecuten automáticamente, incluidas las consultas, los notebooks, las preparaciones de datos y las canalizaciones programados.
  • Transformar datos Crea canalizaciones y preparaciones de datos que realicen operaciones como limpiar, estructurar y preparar tus datos para el análisis y la generación de informes.
  • Crea conexiones a fuentes de datos. Conéctate a fuentes de datos externas, entornos de ejecución de procesamiento y servicios de IA para acceder a datos y realizar ejecuciones remotas.

Después de configurar la página Canalizaciones y conexiones, esta ofrece una ubicación centralizada para administrar y supervisar tus recursos de integración de datos, ya que muestra su estado y proporciona métricas operativas.

Cómo habilitar o inhabilitar la función

Durante la versión preliminar, puedes habilitar o inhabilitar el uso de la página Canalizaciones y conexiones.

Habilitar

Para habilitar el uso de la página Pipelines & Connections, sigue estos pasos:

  1. Accede a la consola de Cloud de Confiance .

    Ir a la consola

  2. En la Cloud de Confiance barra de herramientas de la consola, haz clic en Menú de navegación.

  3. Haz clic en Soluciones > Todos los productos.

  4. En la sección Análisis, haz clic en BigQuery.

    Se abrirá la página Studio de BigQuery.

  5. Para controlar el menú de navegación de BigQuery, realiza una de las siguientes acciones:

    • Para expandir el menú de navegación, mantén el puntero sobre el ícono Ícono del menú de navegación de BigQuery. y, luego, haz clic en left_panel_open Activar o desactivar el menú de navegación de BigQuery.

    • Para contraer el menú de navegación, haz clic en left_panel_close Activar o desactivar el menú de navegación de BigQuery.

  6. En el menú de navegación, haz clic en una de las siguientes opciones:

    • Transferencias de datos
    • Consultas programadas
    • Programación

  7. Ve al banner de canalizaciones y conexiones unificadas.

    El banner de canalizaciones y conexiones unificadas en la IU

  8. Haz clic en Habilitar.

    Después de habilitar la función, las páginas existentes Transferencias de datos, Programación y Consultas programadas se reemplazarán por la página Canalizaciones y conexiones.

Inhabilitar

Para inhabilitar el uso de la página unificada Pipelines & Connections, sigue estos pasos:

  1. En la página Canalizaciones y conexiones, haz clic en Inhabilitar en el banner unificado de canalizaciones y conexiones.

  2. Se abrirá un diálogo de comentarios. Proporciona comentarios sobre los motivos por los que inhabilitas la función, como errores o funciones faltantes.

  3. Haz clic en Enviar y, luego, en Cerrar.

    Después de enviar el formulario, el menú de navegación volverá a usar las páginas separadas Transferencias de datos, Programación y Consultas programadas.

Crea un recurso de integración de datos

Para crear recursos, como consultas programadas, transferencias de datos y conexiones externas, haz lo siguiente:

  1. Ve a la página Canalizaciones y conexiones.

    Ir a Canalizaciones y conexiones

  2. Haz clic en Crear.

  3. Para el recurso que deseas crear, haz clic en la opción de la tarjeta:

    1. Para agregar datos de una de las fuentes de datos compatibles con un flujo de trabajo guiado, en la tarjeta Cargar datos, haz clic en Agregar datos.

    2. Para programar una consulta, un notebook, una preparación de datos o una canalización, en la tarjeta Programar tareas de datos, haz clic en Programar y, luego, elige la opción adecuada.

    3. Para crear una canalización de transformación o preparación de datos, en la tarjeta Transformar datos, haz clic en Crear y, luego, elige la opción adecuada.

    4. Para crear una conexión a una fuente de datos externa, en la tarjeta Conexiones externas, haz clic en Crear conexión.

Supervisa tus activos

Después de crear tus recursos, puedes verlos y supervisarlos. Las métricas operativas disponibles en la página Canalizaciones y conexiones incluyen historiales de ejecución del Servicio de transferencia de datos de BigQuery, la capacidad de procesamiento y la latencia de las suscripciones a Pub/Sub, y la actualidad de los datos y los recuentos de eventos de las canalizaciones de Datastream. También puedes encontrar información para solucionar problemas, como registros de las ejecuciones del Servicio de transferencia de datos de BigQuery y el estado de los objetos de Datastream.

  1. Ve a la página Canalizaciones y conexiones.

    Ir a Canalizaciones y conexiones

  2. Para ver los detalles de tus conexiones, haz clic en la pestaña Conexiones.

  3. Para supervisar tus canalizaciones, haz clic en la pestaña Canalizaciones. En esta página, puedes ver detalles como el estado, el tipo y el historial de ejecución de la canalización.

  4. Para ver los detalles de una canalización, haz clic en el vínculo de la columna Nombre visible.

¿Qué sigue?