Crea flujos de trabajo de integración de datos con la página Canalizaciones y conexiones

Puedes administrar y optimizar las tareas de integración de datos directamente en la Cloud de Confiance consola con la página Canalizaciones y conexiones de BigQuery. Esta página proporciona flujos de trabajo de configuración guiados y específicos de BigQuery para servicios como el Servicio de transferencia de datos de BigQuery, Datastream y Pub/Sub.

Puedes usar la página Canalizaciones y conexiones para realizar las siguientes tareas:

  • Cargar datos : Encuentra y carga datos desde fuentes de datos compatibles con una experiencia guiada.
  • Programar tareas de datos : Programa que tus procesos de datos se ejecuten automáticamente, incluidas las consultas programadas, los notebooks, las preparaciones de datos y las canalizaciones.
  • Transformar datos : Crea canalizaciones y preparaciones de datos que realicen operaciones como limpiar, estructurar y preparar tus datos para el análisis y la generación de informes.
  • Crear conexiones a fuentes de datos : Conéctate a fuentes de datos externas, entornos de ejecución de procesamiento y servicios de IA para acceder a datos y realizar ejecuciones remotas.

Después de configurar la página Canalizaciones y conexiones , esta ofrece una ubicación centralizada para administrar y supervisar tus recursos de integración de datos, ya que muestra su estado y proporciona métricas operativas.

Habilitar o inhabilitar

Durante la versión preliminar, puedes habilitar o inhabilitar el uso de la página Canalizaciones y conexiones.

Habilitar

Para habilitar el uso de la página Canalizaciones y conexiones, sigue estos pasos:

  1. Accede a la Cloud de Confiance consola de.

    Ir a la consola

  2. En la Cloud de Confiance barra de herramientas de la consola, haz clic en el Menú de navegación.

  3. Haz clic en Soluciones > Todos los productos.

  4. En la sección Análisis, haz clic en BigQuery.

    Se abrirá la página Studio de BigQuery.

  5. Para expandir el menú de navegación, haz clic en Alternar menú de navegación de BigQuery.

    El menú de navegación de BigQuery

  6. En el menú de navegación, haz clic en una de las siguientes opciones:

    • Transferencias de datos
    • Consultas programadas
    • Programación

  7. Ve al banner unificado de canalizaciones y conexiones.

    El banner de canalizaciones y conexiones unificadas en la IU

  8. Haz clic en Habilitar.

    Después de habilitar la función, las páginas existentes Transferencias de datos, Programación y Consultas programadas se reemplazarán por la página Canalizaciones y conexiones.

Inhabilitar

Para inhabilitar el uso de la página unificada Canalizaciones y conexiones, sigue estos pasos:

  1. En la página Canalizaciones y conexiones, haz clic en Inhabilitar en el banner unificado de canalizaciones y conexiones.

  2. Se abrirá un diálogo de comentarios. Proporciona comentarios sobre por qué inhabilitas la función, como la falta de funciones o errores.

  3. Haz clic en Enviar y, luego, en Cerrar.

    Después de enviar el formulario, el menú de navegación volverá a usar páginas separadas de Transferencias de datos, Programación y Consultas programadas.

Crea un recurso de integración de datos

Para crear recursos como consultas programadas, transferencias de datos y conexiones externas, haz lo siguiente:

  1. Ve a la página Canalizaciones y conexiones.

    Ir a Canalizaciones y conexiones

  2. Haz clic en Crear.

  3. Para el recurso que deseas crear, haz clic en la opción de la tarjeta:

    1. Para agregar datos de una de las fuentes de datos compatibles con un flujo de trabajo guiado, en la tarjeta Cargar datos, haz clic en Agregar datos.

    2. Para programar una consulta, un notebook, una preparación de datos o una canalización, en la tarjeta Programar tareas de datos, haz clic en Programar y, luego, elige la opción adecuada.

    3. Para crear una canalización de transformación o una preparación de datos, en la tarjeta Transformar datos, haz clic en Crear y, luego, elige la opción adecuada.

    4. Para crear una conexión a una fuente de datos externa, en la tarjeta Conexiones externas, haz clic en Crear conexión.

Controla tus recursos

Después de crear tus recursos, puedes verlos y controlarlos. Las métricas operativas disponibles en la página Canalizaciones y conexiones incluyen los historiales de ejecución del Servicio de transferencia de datos de BigQuery, la capacidad de procesamiento y la latencia de las suscripciones de Pub/Sub, y la actualidad de los datos y los recuentos de eventos para las canalizaciones de Datastream. También puedes encontrar información para solucionar problemas, como registros de ejecuciones del Servicio de transferencia de datos de BigQuery y el estado de los objetos de Datastream.

  1. Ve a la página Canalizaciones y conexiones.

    Ir a Canalizaciones y conexiones

  2. Para ver detalles sobre tus conexiones, haz clic en la pestaña Conexiones.

  3. Para controlar tus canalizaciones, haz clic en la pestaña Canalizaciones. Puedes usar esta página para ver detalles como el estado, el tipo y el historial de ejecución de la canalización.

  4. Para ver los detalles de una canalización, haz clic en el vínculo de la columna Nombre visible.

¿Qué sigue?