Esplorare i risultati delle query nei notebook

Puoi esplorare i risultati delle query utilizzando le celle SQL o le celle di codice nei notebook di BigQuery Colab Enterprise.

In questo tutorial, eseguirai query sui dati di un set di dati pubblico BigQuery ed esplorerai i risultati delle query in un notebook.

Obiettivi

  • Crea ed esegui una query in BigQuery.
  • Esplora i risultati delle query in un notebook utilizzando celle SQL e celle di codice.

Costi

Questo tutorial utilizza un set di dati disponibile tramite il programma per i set di dati pubblici diCloud de Confiance by S3NS . Google paga per l'archiviazione di questi set di dati e fornisce l'accesso pubblico ai dati. Ti vengono addebitati i costi per le query che esegui sui dati. Per ulteriori informazioni, consulta i prezzi di BigQuery.

Prima di iniziare

  1. Nella console Cloud de Confiance , nella pagina di selezione del progetto, seleziona o crea un progetto Cloud de Confiance .

    Ruoli richiesti per selezionare o creare un progetto

    • Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per cui ti è stato concesso un ruolo.
    • Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.

    Vai al selettore di progetti

  2. Verifica che la fatturazione sia attivata per il tuo progetto Cloud de Confiance .

  3. Abilita l'API BigQuery, se non è già abilitata.

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente disponi già di questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

    Abilitare l'API

    Per i nuovi progetti, BigQuery viene abilitato automaticamente.

Imposta la regione predefinita per gli asset di codice

Tutti i nuovi asset di codice nel tuo progetto Cloud de Confiance utilizzano una regione predefinita. Dopo la creazione dell'asset, non puoi modificarne la regione.

Per impostare la regione predefinita per i nuovi asset di codice, segui questi passaggi:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro a sinistra, fai clic su File per aprire il browser di file:

    Fai clic su **File** per aprire il browser di file.

  3. Accanto al nome del progetto, fai clic su Visualizza azioni del riquadro dei file > Cambia regione del codice.

  4. Seleziona la regione del codice che vuoi utilizzare come predefinita.

  5. Fai clic su Salva.

Per un elenco delle regioni supportate, consulta Località di BigQuery Studio.

Autorizzazioni obbligatorie

Per creare ed eseguire i blocchi note, devi disporre dei seguenti ruoli IAM (Identity and Access Management):

Apri i risultati della query in un notebook

Puoi eseguire una query SQL e poi utilizzare un notebook per esplorare i dati. Questo approccio è utile se vuoi modificare i dati in BigQuery prima di utilizzarli o se hai bisogno solo di un sottoinsieme dei campi della tabella.

  1. Nella console Cloud de Confiance , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro a sinistra, fai clic su Explorer.

  3. Vai al progetto bigquery-public-data, fai clic su Attiva/disattiva nodo per espanderlo, quindi fai clic su Set di dati. Nel riquadro dei dettagli si apre una nuova scheda che mostra un elenco di tutti i set di dati del progetto.

  4. Nella casella Filtro, scegli ID set di dati e inserisci ml_datasets.

    Il campo Filtro nella pagina Set di dati

  5. Nella pagina Set di dati, fai clic su ml_datasets > penguins.

  6. Fai clic su Query.

  7. Aggiungi un asterisco (*) per la selezione dei campi alla query generata, in modo che assomigli al seguente esempio:

    SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

  8. Fai clic su Esegui.

  9. Nella sezione Risultati delle query, fai clic su Apri in e poi su Notebook.

Prepara il notebook per l'uso

Prepara il notebook per l'utilizzo connettendoti a un runtime e impostando i valori predefiniti dell'applicazione.

  1. Nell'intestazione del notebook, fai clic su Connetti per connetterti al runtime predefinito.

  2. Nel blocco di codice Setup, fai clic su Esegui cella.

esplora i dati

  1. Fai clic su Opzioni di inserimento cella di codice > Aggiungi cella SQL.

    L'opzione Aggiungi cella SQL nel menu Inserisci cella di codice

  2. Inserisci la seguente query nella cella SQL:

    SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

  3. Fai clic su Esegui cella.

    I risultati della query vengono visualizzati in un DataFrame BigQuery.

  4. In alternativa, per caricare i risultati della query in un DataFrame BigQuery utilizzando il job di query eseguito in precedenza nell'editor di query, segui questi passaggi:

    1. Vai alla sezione Result set loaded from BigQuery job as a DataFrame.

    2. Nel blocco di codice, fai clic su Esegui cella.

      I risultati della query vengono visualizzati in un DataFrame BigQuery.

  5. Per ottenere metriche descrittive per i dati, segui questi passaggi:

    1. Vai alla sezione Mostra le statistiche descrittive utilizzando describe().

    2. Nel blocco di codice, fai clic su Esegui cella.

      I risultati vengono visualizzati in un DataFrame BigQuery.

  6. (Facoltativo) Utilizza altre funzioni o pacchetti Python per esplorare e analizzare i dati.

L'esempio seguente utilizza bigframes.pandas per analizzare i dati e bigframes.ml per creare un modello di regressione lineare dai dati penguins in un BigQuery DataFrame. Questo esempio calcola il punteggio R2 del modello e lo restituisce come tabella di metriche statistiche. Non genera un grafico.

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

# Create the Linear Regression model
from bigframes.ml.linear_model import LinearRegression

# Filter down to the data we want to analyze
adelie_data = bq_df[bq_df.species == "Adelie Penguin (Pygoscelis adeliae)"]

# Drop the columns we don't care about
adelie_data = adelie_data.drop(columns=["species"])

# Drop rows with nulls to get our training data
training_data = adelie_data.dropna()

# Pick feature columns and label column
X = training_data[
    [
        "island",
        "culmen_length_mm",
        "culmen_depth_mm",
        "flipper_length_mm",
        "sex",
    ]
]
y = training_data[["body_mass_g"]]

model = LinearRegression(fit_intercept=False)
model.fit(X, y)
model.score(X, y)

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Il modo più semplice per eliminare la fatturazione è eliminare il progetto Cloud de Confiance che hai creato per questo tutorial.

  1. Nella console Cloud de Confiance , vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
  3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

Passaggi successivi