Creare flussi di lavoro di integrazione dei dati utilizzando la pagina Pipeline e connessioni
Puoi gestire e semplificare le attività di integrazione dei dati direttamente nella Cloud de Confiance console utilizzando la pagina Pipeline e connessioni di BigQuery. Questa pagina fornisce flussi di lavoro di configurazione guidati e specifici di BigQuery per servizi come BigQuery Data Transfer Service, Datastream e Pub/Sub.
Puoi utilizzare la pagina Pipeline e connessioni per eseguire le seguenti attività:
- Caricare i dati. Trova e carica i dati dalle origini dati supportate utilizzando un'esperienza guidata.
- Pianificare le attività di dati. Pianifica l'esecuzione automatica dei processi di dati, incluse query, notebook, preparazioni dei dati e pipeline pianificati.
- Trasformare i dati. Crea pipeline e preparazioni dei dati che eseguono operazioni come la pulizia, la strutturazione e la preparazione dei dati per l'analisi e il reporting.
- Creare connessioni alle origini dati. Connettiti a origini dati esterne, runtime di calcolo e servizi AI per l'accesso ai dati e l'esecuzione remota.
Dopo aver configurato la pagina Pipeline e connessioni, questa offre una posizione centralizzata per gestire e monitorare gli asset di integrazione dei dati visualizzandone lo stato e fornendo metriche operative.
Attivare o disattivare
Durante l'anteprima, puoi attivare o disattivare l'utilizzo della pagina Pipeline e connessioni.
Attivare
Per attivare l'utilizzo della pagina Pipeline e connessioni:
Vai alla Cloud de Confiance console.
Nella Cloud de Confiance barra degli strumenti della console, fai clic su Menu di navigazione.
Fai clic su Soluzioni > Tutti i prodotti.
Nella sezione Analisi, fai clic su BigQuery.
Si apre la pagina Studio di BigQuery.
Per espandere il menu di navigazione, fai clic su Attiva/disattiva il menu di navigazione di BigQuery.
Nel menu di navigazione, fai clic su una delle seguenti opzioni:
- Trasferimenti dati
- Query programmate
- La pianificazione
Vai al banner unificato di pipeline e connessioni.
Fai clic su Attiva.
Dopo l'attivazione, le pagine esistenti Trasferimenti dati, La pianificazione e Query programmate vengono sostituite dalla pagina Pipeline e connessioni.
Disattivare
Per disattivare l'utilizzo della pagina unificata Pipeline e connessioni:
Nella pagina Pipeline e connessioni, fai clic su Disattiva nel banner unificato di pipeline e connessioni.
Si apre una finestra di dialogo per il feedback. Fornisci un feedback sul motivo per cui stai disattivando, ad esempio funzionalità mancanti o bug.
Fai clic su Invia e poi su Chiudi.
Dopo aver inviato il modulo, il menu di navigazione torna a utilizzare pagine separate Trasferimenti dati, La pianificazione e Query programmate.
Creare un asset di integrazione dei dati
Per creare asset come query programmate, trasferimenti di dati e connessioni esterne:
Vai alla pagina Pipeline e connessioni.
Fai clic su Crea.
Per l'asset che vuoi creare, fai clic sull'opzione nella scheda:
Per aggiungere dati da una delle origini dati supportate utilizzando un flusso di lavoro guidato, fai clic su Aggiungi dati nella scheda Carica dati.
Per pianificare una query, un notebook, una preparazione dei dati o una pipeline, nella scheda Pianifica attività di dati, fai clic su Pianifica e poi scegli l' opzione appropriata.
Per creare una pipeline di trasformazione o una preparazione dei dati, nella scheda Trasforma dati, fai clic su Crea e poi scegli l' opzione appropriata.
Per creare una connessione a un'origine dati esterna, fai clic su Crea connessione nella scheda Connessioni esterne.
Monitorare gli asset
Dopo aver creato gli asset, puoi visualizzarli e monitorarli. Le metriche operative disponibili nella pagina Pipeline e connessioni includono le cronologie di esecuzione di BigQuery Data Transfer Service, il throughput e la latenza per gli abbonamenti Pub/Sub, nonché l'aggiornamento dei dati e i conteggi degli eventi per le pipeline Datastream. Puoi anche trovare informazioni sulla risoluzione dei problemi, come i log per le esecuzioni di BigQuery Data Transfer Service e lo stato degli oggetti Datastream.
Vai alla pagina Pipeline e connessioni.
Per visualizzare i dettagli delle connessioni, fai clic sulla scheda Connessioni.
Per monitorare le pipeline, fai clic sulla scheda Pipeline. Puoi utilizzare questa pagina per visualizzare dettagli come lo stato, il tipo e la cronologia di esecuzione della pipeline.
Per visualizzare i dettagli di una pipeline, fai clic sul link nella colonna Nome visualizzato.
Passaggi successivi
- Scopri come creare una pipeline Dataform in BigQuery.
- Scopri come pianificare una pipeline.
- Scopri come pianificare una query.
- Scopri di più sui trasferimenti di BigQuery Data Transfer Service.