Abfrageergebnisse in Notebooks auswerten

Sie können BigQuery-Abfrageergebnisse mit Colab Enterprise-Notebooks in BigQuery auswerten.

In dieser Anleitung fragen Sie Daten aus einem öffentlichen BigQuery-Dataset ab und untersuchen die Abfrageergebnisse in einem Notebook.

Lernziele

  • Erstellen Sie eine Abfrage in BigQuery und führen Sie sie aus.
  • Abfrageergebnisse in einem Notebook ansehen.

Kosten

In dieser Anleitung wird ein Dataset aus dem Trusted Cloud by S3NS Public Datasets-Programm verwendet. Google bezahlt die Speicherung dieser Datasets und bietet öffentlichen Zugriff auf die Daten. Für die Abfragen, die Sie für die Daten ausführen, fallen Kosten an. Weitere Informationen finden Sie unter BigQuery-Preise.

Hinweise

  1. In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.

    Go to project selector

  2. Verify that billing is enabled for your Trusted Cloud project.

  3. Enable the BigQuery API.

    Enable the API

    Bei neuen Projekten ist BigQuery automatisch aktiviert.

Standardregion für Code-Assets festlegen

Wenn Sie zum ersten Mal ein Code-Asset erstellen, sollten Sie die Standardregion für Code-Assets festlegen. Sie können die Region für ein Code-Asset nicht mehr ändern, nachdem es erstellt wurde.

Für alle Code-Assets in BigQuery Studio wird dieselbe Standardregion verwendet. So legen Sie die Standardregion für Code-Assets fest:

  1. Rufen Sie die Seite BigQuery auf.

    BigQuery aufrufen

  2. Suchen Sie im Bereich Explorer nach dem Projekt, in dem Sie Code-Assets aktiviert haben.

  3. Klicken Sie neben dem Projekt auf Aktionen ansehen und dann auf Meine Standardregion für Code ändern.

  4. Wählen Sie unter Region die Region aus, die Sie für Code-Assets verwenden möchten.

  5. Klicken Sie auf Auswählen.

Eine Liste der Regionen, in denen BigQuery Studio verfügbar ist, finden Sie unter BigQuery Studio-Standorte.

Erforderliche Berechtigungen

Zum Erstellen und Ausführen von Notebooks benötigen Sie die folgenden IAM-Rollen (Identity and Access Management):

Abfrageergebnisse in einem Notebook öffnen

Sie können eine SQL-Abfrage ausführen und dann ein Notebook verwenden, um die Daten auszuwerten. Diese Vorgehensweise ist nützlich, wenn Sie die Daten in BigQuery ändern möchten, bevor Sie mit ihnen arbeiten, oder wenn Sie nur eine Teilmenge der Tabellenfelder benötigen.

  1. Rufen Sie in der Trusted Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Geben Sie in das Feld Suchbegriff eingeben bigquery-public-data ein.

    Wenn das Projekt nicht angezeigt wird, geben Sie bigquery in das Suchfeld ein und klicken Sie dann auf In allen Projekten suchen, um den Suchstring mit den vorhandenen Projekten abzugleichen.

  3. Wählen Sie bigquery-public-data > ml_datasets > penguins aus.

  4. Klicken Sie für die Tabelle penguins auf Aktionen anzeigen und dann auf Abfrage.

  5. Fügen Sie der generierten Abfrage ein Sternchen (*) für die Feldauswahl hinzu, sodass sie wie im folgenden Beispiel aussieht:

    SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

  6. Klicken Sie auf Ausführen.

  7. Klicken Sie im Bereich Abfrageergebnisse auf Daten auswerten und dann auf Mit Python-Notebook auswerten.

Notebook für die Verwendung vorbereiten

Bereiten Sie das Notebook für die Verwendung vor, indem Sie eine Verbindung zu einer Laufzeit herstellen und Standardwerte für die Anwendung festlegen.

  1. Klicken Sie in der Notebook-Kopfzeile auf Verbinden, um eine Verbindung zur Standardlaufzeit herzustellen.
  2. Klicken Sie im Codeblock Einrichtung auf Zelle ausführen.

Öffentliche Daten durchsuchen

  1. Um die penguins-Daten in einen BigQuery DataFrame zu laden und die Ergebnisse anzuzeigen, klicken Sie auf Zelle ausführen im Codeblock im Abschnitt Ergebnismenge, die aus dem BigQuery-Job als DataFrame geladen wurde an.
  2. Klicken Sie im Codeblock im Abschnitt Beschreibende Statistiken mit describe() anzeigen auf Zelle ausführen, um beschreibende Messwerte für die Daten abzurufen.
  3. Optional: Verwenden Sie andere Python-Funktionen oder -Pakete, um die Daten auszuwerten und zu analysieren.

Im folgenden Codebeispiel wird die Verwendung von bigframes.pandas zum Analysieren von Daten und von bigframes.ml zum Erstellen eines linearen Regressionsmodells aus Pinguin-Daten in einem BigQuery-DataFrame:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

# Create the Linear Regression model
from bigframes.ml.linear_model import LinearRegression

# Filter down to the data we want to analyze
adelie_data = bq_df[bq_df.species == "Adelie Penguin (Pygoscelis adeliae)"]

# Drop the columns we don't care about
adelie_data = adelie_data.drop(columns=["species"])

# Drop rows with nulls to get our training data
training_data = adelie_data.dropna()

# Pick feature columns and label column
X = training_data[
    [
        "island",
        "culmen_length_mm",
        "culmen_depth_mm",
        "flipper_length_mm",
        "sex",
    ]
]
y = training_data[["body_mass_g"]]

model = LinearRegression(fit_intercept=False)
model.fit(X, y)
model.score(X, y)

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Am einfachsten vermeiden Sie weitere Kosten, indem Sie das für diese Anleitung erstellte Trusted Cloud Projekt löschen.

  1. In the Trusted Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Nächste Schritte