Explorar resultados de consulta em notebooks

Permissões necessárias

Para criar e executar notebooks, você precisa dos seguintes papéis do Identity and Access Management (IAM):

• Usuário do BigQuery (roles/bigquery.user)
• Usuário do ambiente de execução do notebook (roles/aiplatform.notebookRuntimeUser)
• Criador de código (roles/dataform.codeCreator)

Abrir resultados de consulta em um notebook

É possível executar uma consulta SQL e depois usar um notebook para explorar os dados. Essa abordagem é útil quando você quer modificar os dados no BigQuery antes de trabalhar com eles ou quando precisa apenas de um subconjunto dos campos na tabela.

1. No console do Cloud de Confiance , acesse a página BigQuery.

   Acessar o BigQuery

2. No campo Digite para pesquisar, insira bigquery-public-data.

   Se o projeto não aparecer, insira bigquery no campo de pesquisa e clique em Pesquisar para todos os projetos para associar a string de pesquisa aos conjuntos de projetos que já existem.

3. Selecione bigquery-public-data > ml_datasets > pinguins.

4. Na tabela pinguins, clique em more_vert Ver ações e, em seguida, clique em Consultar.

5. Adicione um asterisco (*) para seleção de campo à consulta gerada, de modo que ela fique parecida com o exemplo a seguir:

   SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

6. Clique em play_circle Executar.

7. Na seção Resultados da consulta, clique em Abrir em e em Notebook.

Preparar o notebook para uso

Prepare o notebook para uso conectando-se a um ambiente de execução e definindo os valores padrão do aplicativo.

1. No cabeçalho do notebook, clique em Conectar para se conectar ao ambiente de execução padrão.
2. No bloco de código Setup, clique em play_circle Executar célula.

Explorar os dados

1. Para carregar os dados dos pinguins em um BigQuery DataFrame e mostrar os resultados, clique em play_circle Executar célula no bloco de código na seção Conjunto de resultados carregado do job do BigQuery como um DataFrame.
2. Para ver métricas descritivas dos dados, clique em play_circle Executar célula no bloco de código na seção Mostrar estatísticas descritivas usando describe().
3. Opcional: use outras funções ou pacotes do Python para explorar e analisar os dados.

O exemplo de código a seguir mostra o uso de bigframes.pandas para analisar dados e o bigframes.ml para criar um modelo de regressão linear de pinguins em um DataFrame do BigQuery:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

# Create the Linear Regression model
from bigframes.ml.linear_model import LinearRegression

# Filter down to the data we want to analyze
adelie_data = bq_df[bq_df.species == "Adelie Penguin (Pygoscelis adeliae)"]

# Drop the columns we don't care about
adelie_data = adelie_data.drop(columns=["species"])

# Drop rows with nulls to get our training data
training_data = adelie_data.dropna()

# Pick feature columns and label column
X = training_data[
    [
        "island",
        "culmen_length_mm",
        "culmen_depth_mm",
        "flipper_length_mm",
        "sex",
    ]
]
y = training_data[["body_mass_g"]]

model = LinearRegression(fit_intercept=False)
model.fit(X, y)
model.score(X, y)