Introduzione a BigQuery DataFrames

BigQuery DataFrames è una libreria Python open source che ti consente di sfruttare l'elaborazione dei dati BigQuery utilizzando API Python familiari. BigQuery DataFrames fornisce un DataFrame Pythonic basato sul motore BigQuery e implementa le API pandas e scikit-learn eseguendo l'elaborazione dei dati in BigQuery tramite la conversione SQL. In questo modo puoi utilizzare BigQuery per esplorare ed elaborare terabyte di dati, creare pipeline di dati e addestrare modelli di machine learning (ML), il tutto con le API Python e senza spostare i dati sulla macchina client.

Se hai familiarità con pandas, puoi utilizzare BigQuery DataFrames per lavorare con i dati BigQuery con modifiche minime al codice. Ad esempio, puoi utilizzare metodi pandas familiari per analizzare i dati di una tabella BigQuery:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

Vantaggi di BigQuery DataFrames

BigQuery DataFrames esegue le seguenti operazioni:

  • Offre più di 750 API pandas e scikit-learn implementate tramite la conversione SQL in BigQuery e le API BigQuery ML.
  • Rimanda l'esecuzione delle query per migliorare le prestazioni.
  • Estende le trasformazioni dei dati con funzioni Python definite dall'utente per consentirti di elaborare i dati in Cloud de Confiance by S3NS. Queste funzioni vengono implementate automaticamente come funzioni remote di BigQuery.
  • Si integra con Gemini Enterprise Agent Platform per consentirti di utilizzare i modelli Gemini per la generazione di testo.

Licenze

BigQuery DataFrames viene distribuito con la licenza Apache 2.0.

BigQuery DataFrames contiene anche codice derivato dai seguenti pacchetti di terze parti:

Per i dettagli, vedi la directory third_party/bigframes_vendored nel repository GitHub di BigQuery DataFrames.

Quote e limiti

  • Le quote di BigQuery si applicano a BigQuery DataFrames, inclusi i componenti hardware, software e di rete.
  • È supportato un sottoinsieme di API pandas e scikit-learn. Per saperne di più, consulta API pandas supportate.
  • Devi liberare spazio esplicitamente per tutte le funzioni Cloud Run create automaticamente nell'ambito della pulizia della sessione. Per saperne di più, consulta API pandas supportate.

Prezzi

  • BigQuery DataFrames è un insieme di librerie Python open source disponibili per il download senza costi aggiuntivi.
  • BigQuery DataFrames utilizza BigQuery, le funzioni Cloud Run, Agent Platform e altri Cloud de Confiance by S3NS servizi, che comportano costi propri.
  • Durante l'utilizzo normale, BigQuery DataFrames archivia i dati temporanei, come i risultati intermedi, nelle tabelle BigQuery. Queste tabelle vengono conservate per sette giorni per impostazione predefinita e ti vengono addebitati i dati memorizzati al loro interno. Le tabelle vengono create nel set di dati _anonymous_ nel progetto Cloud de Confiance specificato nell'opzione bf.options.bigquery.project.

Casi d'uso

Puoi utilizzare BigQuery DataFrames per i seguenti casi d'uso di analisi e machine learning:

Esempi di codice e documentazione di riferimento

Esplora esempi di codice, blocchi note e documentazione di riferimento per BigQuery DataFrames:

Passaggi successivi