Gestisci pipeline

Questo documento descrive come gestire le pipeline BigQuery, inclusi visualizzazione, pianificazione, deployment ed eliminazione.

Questo documento descrive anche come visualizzare e gestire i metadati della pipeline in Knowledge Catalog.

Le pipeline sono basate su Dataform. Puoi organizzare e gestire le pipeline archiviate in File e cartelle (cartelle utente e cartelle del team) o nei repository Git di BigQuery Studio (cartelle Git) (anteprima).

Prima di iniziare

  1. Crea una pipeline BigQuery.
  2. Per gestire i metadati della pipeline in Knowledge Catalog, assicurati che l'API Dataplex sia abilitata nel tuo progetto Cloud de Confiance .

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire le pipeline, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più su Dataform IAM, consulta Controllare l'accesso con IAM. Per saperne di più sui ruoli per le cartelle, consulta Creare e gestire cartelle. Per ulteriori informazioni sui ruoli per i repository Git, consulta Gestire il codice con i repository Git di BigQuery Studio.

Se utilizzi un account di servizio personalizzato per eseguire le pipeline, devi concedere a questo account di servizio i seguenti ruoli:

Visualizza pipeline

Puoi visualizzare ed esaminare le pipeline archiviate in cartelle o cartelle Git nel riquadro File. Puoi visualizzare le pipeline autonome e quelle memorizzate nelle cartelle nel riquadro Explorer. Le pipeline archiviate nelle cartelle Git non vengono visualizzate nel riquadro Explorer.

Visualizzare le pipeline nel riquadro File

Le pipeline archiviate in cartelle o in cartelle Git vengono visualizzate direttamente nel riquadro File.

Per visualizzare una pipeline archiviata in una cartella o in una cartella Git:

  1. Nella console Cloud de Confiance , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro a sinistra, fai clic su File per aprire il browser di file.

    Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro sinistro per aprirlo.

  3. Espandi la cartella Utente, una cartella del team o una cartella del repository Git connesso.

    Le pipeline vengono visualizzate con un'icona Pipeline anziché con un'icona di cartella standard.

  4. Fai clic su una cartella della pipeline per aprire il Visualizzatore pipeline.

    Il visualizzatore pipeline mostra il grafo diretto aciclico (DAG) compilato delle attività della pipeline, lo stato di esecuzione e le schede di configurazione.

  5. Espandi la directory della pipeline nel browser dei file per sfogliare le directory nidificate (ad esempio definitions/) e i singoli file delle attività.

Visualizzare le pipeline nel riquadro Explorer

Per visualizzare un elenco di pipeline autonome e pipeline archiviate nelle cartelle:

  1. Nella console Cloud de Confiance , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

    Pulsante evidenziato per il riquadro Spazio di esplorazione.

    Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro sinistro per aprirlo.

  3. Nel riquadro Explorer, espandi il progetto e fai clic su Pipeline.

  4. Seleziona una pipeline per aprirla nel visualizzatore delle pipeline.

Visualizzare le esecuzioni manuali precedenti

Per visualizzare le esecuzioni manuali precedenti di una pipeline selezionata:

  1. Nella console Cloud de Confiance , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

    Pulsante evidenziato per il riquadro Spazio di esplorazione.

  3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e poi seleziona una pipeline.

  4. Fai clic su Esecuzioni.

  5. (Facoltativo) Per aggiornare l'elenco delle esecuzioni precedenti, fai clic su Aggiorna.

Configura gli avvisi per le esecuzioni delle pipeline non riuscite

Ogni pipeline ha un ID repository Dataform corrispondente. Ogni esecuzione della pipeline BigQuery viene registrata in Cloud Logging utilizzando l'ID repository Dataform corrispondente. Puoi utilizzare Cloud Monitoring per osservare le tendenze nei log di Cloud Logging per le esecuzioni della pipeline BigQuery e per inviarti una notifica quando si verificano le condizioni che descrivi.

Per ricevere avvisi quando l'esecuzione di una pipeline BigQuery non va a buon fine, puoi creare una criterio di avviso basata sui log per l'ID repository Dataform corrispondente. Per istruzioni, consulta Configura avvisi per le chiamate di workflow non riuscite.

Per trovare l'ID repository Dataform della pipeline:

  1. Nella console Cloud de Confiance , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

    Pulsante evidenziato per il riquadro Spazio di esplorazione.

  3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e poi seleziona una pipeline.

  4. Fai clic su Impostazioni.

    L'ID repository Dataform della pipeline viene visualizzato in fondo alla scheda Impostazioni.

Eliminare una pipeline

Per eliminare definitivamente una pipeline:

  1. Nella console Cloud de Confiance , vai alla pagina BigQuery. Vai a BigQuery

  • Per eliminare una pipeline archiviata in una cartella o in una cartella Git:

    1. Nel riquadro a sinistra, fai clic su File.

    2. Nell'albero dei file, trova la cartella della pipeline che vuoi eliminare.

    3. Fai clic su Visualizza azioni accanto alla cartella della pipeline, quindi fai clic su Elimina.

    4. Nella finestra di dialogo di conferma, fai clic su Elimina.

      La cartella della pipeline e tutte le attività e i file contenuti al suo interno vengono eliminati dal tuo spazio di lavoro.

  • Per eliminare una pipeline elencata nel riquadro Explorer:

    1. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

      Pulsante evidenziato per il riquadro Spazio di esplorazione.

    2. Nel riquadro Explorer, espandi il progetto e fai clic su Pipeline.

    3. Trova la pipeline che vuoi eliminare.

    4. Fai clic su Visualizza azioni accanto alla pipeline, quindi fai clic su Elimina.

    5. Fai clic su Elimina.

Gestire i metadati in Knowledge Catalog

Knowledge Catalog consente di archiviare e gestire i metadati per le pipeline. Le pipeline sono disponibili in Knowledge Catalog per impostazione predefinita, senza configurazione aggiuntiva.

Puoi utilizzare Knowledge Catalog per gestire le pipeline in tutte le posizioni delle pipeline. La gestione delle pipeline in Knowledge Catalog è soggetta a quote e limiti di Knowledge Catalog e ai prezzi di Knowledge Catalog.

Knowledge Catalog recupera automaticamente i seguenti metadati dalle pipeline:

  • Nome dell'asset di dati
  • Asset di dati padre
  • Posizione dell'asset di dati
  • Tipo di asset di dati
  • Progetto Cloud de Confiance corrispondente

Knowledge Catalog registra le pipeline come voci con i seguenti valori delle voci:

Gruppo di voci di sistema
Il gruppo di voci di sistema per le pipeline è @dataform. Per visualizzare i dettagli delle voci della pipeline in Knowledge Catalog, devi visualizzare il gruppo di voci di sistema dataform. Per istruzioni su come visualizzare un elenco di tutte le voci in un gruppo di voci, consulta Visualizzare i dettagli di un gruppo di voci nella documentazione di Knowledge Catalog.
Tipo di voce di sistema
Il tipo di voce di sistema per le pipeline è dataform-code-asset. Per visualizzare i dettagli delle pipeline, devi visualizzare il tipo di voce di sistema dataform-code-asset, filtrare i risultati con un filtro basato sugli aspetti e impostare il campo type all'interno dell'aspetto dataform-code-asset su WORKFLOW. Poi, seleziona una voce della pipeline selezionata. Per istruzioni su come visualizzare i dettagli di un tipo di voce selezionato, consulta Visualizzare i dettagli di un tipo di voce nella documentazione di Knowledge Catalog. Per istruzioni su come visualizzare i dettagli di una voce selezionata, consulta Visualizzare i dettagli di una voce nella documentazione di Knowledge Catalog.
Tipo di aspetto del sistema
Il tipo di aspetto di sistema per le pipeline è dataform-code-asset. Per fornire un contesto aggiuntivo alle pipeline in Knowledge Catalog annotando le voci della pipeline di dati con aspetti, visualizza il tipo di aspetto dataform-code-asset, filtra i risultati con un filtro basato sugli aspetti, e imposta il campo type all'interno dell'aspetto dataform-code-asset su WORKFLOW. Per istruzioni su come annotare le voci con gli aspetti, consulta Gestire gli aspetti e arricchire i metadati nella documentazione di Knowledge Catalog.
Tipo
Il tipo per i canvas di dati è WORKFLOW. Questo tipo ti consente di filtrare le pipeline nel tipo di voce di sistema dataform-code-asset e nel tipo di aspetto dataform-code-asset utilizzando la query aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW in un filtro basato sugli aspetti.

Per istruzioni su come cercare asset in Knowledge Catalog, consulta Cercare asset di dati in Knowledge Catalog nella documentazione di Knowledge Catalog.

Integrazione dell'arricchimento dei metadati e della scheda di valutazione della qualità dei dati

Dataform può pubblicare i seguenti metadati in Knowledge Catalog:

  • Tipo di aspetto della panoramica
  • Tipo di aspetto generico
  • Tipo di aspetto della scheda di valutazione della qualità dei dati

Le asserzioni Dataform vengono integrate automaticamente con la scheda di valutazione della qualità dei dati di Knowledge Catalog. Durante l'esecuzione della pipeline, i risultati di qualsiasi asserzione Dataform vengono pubblicati automaticamente in Knowledge Catalog. Questi risultati compilano il prospetto della qualità dei dati di Knowledge Catalog con uno stato di superamento o non superamento.

Per controllare lo stato di un aggiornamento dei metadati, segui le istruzioni riportate in Visualizzare le esecuzioni manuali passate.

Una volta sincronizzati i metadati, puoi cercare e visualizzare la voce in Knowledge Catalog. Per saperne di più, consulta Cercare risorse.

Passaggi successivi