Consulte um conjunto de dados público com as bibliotecas de cliente do BigQuery
Saiba como consultar um conjunto de dados público com as bibliotecas do cliente do BigQuery.
Para seguir orientações passo a passo para esta tarefa diretamente na Trusted Cloud consola, selecione a sua linguagem de programação preferida:
C#
Go
Java
Node.js
PHP
Python
Ruby
Antes de começar
-
Create or select a Trusted Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Create a Trusted Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Trusted Cloud project you are creating. -
Select the Trusted Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Trusted Cloud project name.
-
Escolha se quer usar o sandbox do BigQuery sem custos financeiros ou ativar a faturação para o seu Trusted Cloud projeto.
Se não ativar a faturação para um projeto, trabalha automaticamente no sandbox do BigQuery. O sandbox do BigQuery permite-lhe aprender a usar o BigQuery com um conjunto limitado de funcionalidades do BigQuery sem custo financeiro. Se não planeia usar o seu projeto para além deste documento, recomendamos que use o sandbox do BigQuery.
-
Grant roles to your user account. Run the following command once for each of the following IAM roles:
roles/serviceusage.serviceUsageAdmin, roles/bigquery.jobUser
gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Replace the following:
PROJECT_ID
: your project ID.USER_IDENTIFIER
: the identifier for your user account. For examples, see Represent workforce pool users in IAM policies.ROLE
: the IAM role that you grant to your user account.
-
Enable the BigQuery API:
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin
), which contains theserviceusage.services.enable
permission. Learn how to grant roles.gcloud services enable bigquery
Para novos projetos, a API BigQuery é ativada automaticamente.
-
In the Trusted Cloud console, activate Cloud Shell.
Ative o seu Trusted Cloud projeto no Cloud Shell:
gcloud config set project PROJECT_ID
Substitua PROJECT_ID pelo projeto que selecionou para este tutorial.
O resultado é semelhante ao seguinte:
Updated property [core/project].
No Cloud Shell, crie um novo projeto e ficheiro C#:
dotnet new console -n BigQueryCsharpDemo
O resultado é semelhante ao seguinte. Várias linhas são omitidas para simplificar o resultado.
Welcome to .NET 6.0! --------------------- SDK Version: 6.0.407 ... The template "Console App" was created successfully. ...
Este comando cria um projeto C# com o nome
BigQueryCsharpDemo
e um ficheiro com o nomeProgram.cs
.Abra o editor do Cloud Shell:
cloudshell workspace BigQueryCsharpDemo
Para abrir um terminal no editor do Cloud Shell, clique em Abrir terminal.
Abra o diretório do projeto:
cd BigQueryCsharpDemo
Instale a biblioteca cliente do BigQuery para C#:
dotnet add package Google.Cloud.BigQuery.V2
O resultado é semelhante ao seguinte. Várias linhas são omitidas para simplificar o resultado.
Determining projects to restore... Writing /tmp/tmpF7EKSd.tmp ... info : Writing assets file to disk. ...
Defina a variável
GOOGLE_PROJECT_ID
com o valorGOOGLE_CLOUD_PROJECT
e exporte a variável:export GOOGLE_PROJECT_ID=$GOOGLE_CLOUD_PROJECT
Clique em Abrir editor.
No painel Explorador, localize o seu
BIGQUERYCSHARPDEMO
projeto.Clique no ficheiro
Program.cs
para o abrir.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que devolve as 10 páginas do Stack Overflow mais vistas e as respetivas contagens de visualizações, substitua o conteúdo do ficheiro pelo seguinte código:Clique em Abrir terminal.
No terminal, execute o script
Program.cs
. Se lhe for pedido que autorize o Cloud Shell e aceite os termos, clique em Autorizar.dotnet run
O resultado é semelhante ao seguinte:
Query Results: ------------ https://stackoverflow.com/questions/35159967: 170023 views https://stackoverflow.com/questions/22879669: 142581 views https://stackoverflow.com/questions/10604135: 132406 views https://stackoverflow.com/questions/44564887: 128781 views https://stackoverflow.com/questions/27060396: 127008 views https://stackoverflow.com/questions/12482637: 120766 views https://stackoverflow.com/questions/20673986: 115720 views https://stackoverflow.com/questions/39109817: 108368 views https://stackoverflow.com/questions/11057219: 105175 views https://stackoverflow.com/questions/43195143: 101878 views
No Cloud Shell, crie um novo projeto e ficheiro Go:
mkdir bigquery-go-quickstart \ && touch \ bigquery-go-quickstart/app.go
Este comando cria um projeto Go com o nome
bigquery-go-quickstart
e um ficheiro com o nomeapp.go
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-go-quickstart
Para abrir um terminal no editor do Cloud Shell, clique em Abrir terminal.
Abra o diretório do projeto:
cd bigquery-go-quickstart
Crie um ficheiro
go.mod
:go mod init quickstart
O resultado é semelhante ao seguinte:
go: creating new go.mod: module quickstart go: to add module requirements and sums: go mod tidy
Instale a biblioteca cliente do BigQuery para Go:
go get cloud.google.com/go/bigquery
O resultado é semelhante ao seguinte. Várias linhas são omitidas para simplificar o resultado.
go: downloading cloud.google.com/go/bigquery v1.49.0 go: downloading cloud.google.com/go v0.110.0 ... go: added cloud.google.com/go/bigquery v1.49.0 go: added cloud.google.com/go v0.110.0
Clique em Abrir editor.
No painel Explorador, localize o seu
BIGQUERY-GO-QUICKSTART
projeto.Clique no ficheiro
app.go
para o abrir.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que devolve as 10 páginas do Stack Overflow mais vistas e as respetivas contagens de visualizações, copie o seguinte código para o ficheiroapp.go
:Clique em Abrir terminal.
No terminal, execute o script
app.go
. Se lhe for pedido que autorize o Cloud Shell e aceite os termos, clique em Autorizar.go run app.go
O resultado é semelhante ao seguinte:
https://stackoverflow.com/questions/35159967 : 170023 views https://stackoverflow.com/questions/22879669 : 142581 views https://stackoverflow.com/questions/10604135 : 132406 views https://stackoverflow.com/questions/44564887 : 128781 views https://stackoverflow.com/questions/27060396 : 127008 views https://stackoverflow.com/questions/12482637 : 120766 views https://stackoverflow.com/questions/20673986 : 115720 views https://stackoverflow.com/questions/39109817 : 108368 views https://stackoverflow.com/questions/11057219 : 105175 views https://stackoverflow.com/questions/43195143 : 101878 views
No Cloud Shell, crie um novo projeto Java com o Apache Maven:
mvn archetype:generate \ -DgroupId=com.google.app \ -DartifactId=bigquery-java-quickstart \ -DinteractiveMode=false
Este comando cria um projeto Maven com o nome
bigquery-java-quickstart
.O resultado é semelhante ao seguinte. Várias linhas são omitidas para simplificar o resultado.
[INFO] Scanning for projects... ... [INFO] Building Maven Stub Project (No POM) 1 ... [INFO] BUILD SUCCESS ...
Existem muitos sistemas de gestão de dependências que pode usar além do Maven. Para mais informações, saiba como configurar um ambiente de desenvolvimento Java para usar com bibliotecas de cliente.
Mude o nome do ficheiro
App.java
que o Maven cria por predefinição:mv \ bigquery-java-quickstart/src/main/java/com/google/app/App.java \ bigquery-java-quickstart/src/main/java/com/google/app/SimpleApp.java
Abra o editor do Cloud Shell:
cloudshell workspace bigquery-java-quickstart
Se lhe for perguntado se quer sincronizar o caminho de classe ou a configuração do Java, clique em Sempre.
Se não lhe for pedido e encontrar um erro relacionado com o classpath durante este procedimento, faça o seguinte:
- Clique em Ficheiro > Preferências > Abrir definições (IU).
- Clique em Extensões > Java.
- Desloque a página até Configuração: atualizar configuração de compilação e selecione automático.
No painel Explorador, localize o seu
BIGQUERY-JAVA-QUICKSTART
projeto.Clique no ficheiro
pom.xml
para o abrir.Dentro da etiqueta
<dependencies>
, adicione a seguinte dependência depois das existentes. Não substitua nenhuma dependência existente.<dependency> <groupId>com.google.cloud</groupId> <artifactId>google-cloud-bigquery</artifactId> </dependency>
Na linha seguinte à etiqueta de fecho (
</dependencies>
), adicione o seguinte:<dependencyManagement> <dependencies> <dependency> <groupId>com.google.cloud</groupId> <artifactId>libraries-bom</artifactId> <version>26.1.5</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement>
No painel Explorador, no seu projeto
BIGQUERY-JAVA-QUICKSTART
, clique em src > main/java/com/google/app > SimpleApp.java. O ficheiro é aberto.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
, deixe a primeira linha do ficheiro (package com.google.app;
) e substitua o conteúdo restante do ficheiro pelo seguinte código:A consulta devolve as 10 páginas do Stack Overflow mais vistas e o respetivo número de visualizações.
Clique com o botão direito do rato em SimpleApp.java e clique em Executar Java. Se lhe for pedido que autorize o Cloud Shell e aceite os termos, clique em Autorizar.
O resultado é semelhante ao seguinte:
https://stackoverflow.com/questions/35159967 : 170023 views https://stackoverflow.com/questions/22879669 : 142581 views https://stackoverflow.com/questions/10604135 : 132406 views https://stackoverflow.com/questions/44564887 : 128781 views https://stackoverflow.com/questions/27060396 : 127008 views https://stackoverflow.com/questions/12482637 : 120766 views https://stackoverflow.com/questions/20673986 : 115720 views https://stackoverflow.com/questions/39109817 : 108368 views https://stackoverflow.com/questions/11057219 : 105175 views https://stackoverflow.com/questions/43195143 : 101878 views
No Cloud Shell, crie um novo projeto e ficheiro Node.js:
mkdir bigquery-node-quickstart \ && touch \ bigquery-node-quickstart/app.js
Este comando cria um projeto Node.js com o nome
bigquery-node-quickstart
e um ficheiro com o nomeapp.js
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-node-quickstart
Para abrir um terminal no editor do Cloud Shell, clique em Abrir terminal.
Abra o diretório do projeto:
cd bigquery-node-quickstart
Instale a biblioteca cliente do BigQuery para Node.js:
npm install @google-cloud/bigquery
O resultado é semelhante ao seguinte:
added 63 packages in 2s
Clique em Abrir editor.
No painel Explorador, localize o seu
BIGQUERY-NODE-QUICKSTART
projeto.Clique no ficheiro
app.js
para o abrir.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que devolve as 10 páginas do Stack Overflow mais vistas e as respetivas contagens de visualizações, copie o seguinte código para o ficheiroapp.js
:Clique em Abrir terminal.
No terminal, execute o script
app.js
. Se lhe for pedido que autorize o Cloud Shell e aceite os termos, clique em Autorizar.node app.js
O resultado é semelhante ao seguinte:
Query Results: url: https://stackoverflow.com/questions/35159967, 170023 views url: https://stackoverflow.com/questions/22879669, 142581 views url: https://stackoverflow.com/questions/10604135, 132406 views url: https://stackoverflow.com/questions/44564887, 128781 views url: https://stackoverflow.com/questions/27060396, 127008 views url: https://stackoverflow.com/questions/12482637, 120766 views url: https://stackoverflow.com/questions/20673986, 115720 views url: https://stackoverflow.com/questions/39109817, 108368 views url: https://stackoverflow.com/questions/11057219, 105175 views url: https://stackoverflow.com/questions/43195143, 101878 views
No Cloud Shell, crie um novo projeto e ficheiro PHP:
mkdir bigquery-php-quickstart \ && touch \ bigquery-php-quickstart/app.php
Este comando cria um projeto PHP com o nome
bigquery-php-quickstart
e um ficheiro com o nomeapp.php
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-php-quickstart
Para abrir um terminal no editor do Cloud Shell, clique em Abrir terminal.
Abra o diretório do projeto:
cd bigquery-php-quickstart
Instale a biblioteca cliente do BigQuery para PHP:
composer require google/cloud-bigquery
O resultado é semelhante ao seguinte. Várias linhas são omitidas para simplificar o resultado.
Running composer update google/cloud-bigquery Loading composer repositories with package information Updating dependencies ... No security vulnerability advisories found Using version ^1.24 for google/cloud-bigquery
Clique em Abrir editor.
No painel Explorador, localize o seu
BIGQUERY-PHP-QUICKSTART
projeto.Clique no ficheiro
app.php
para o abrir.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que devolve as 10 páginas do Stack Overflow mais vistas e as respetivas contagens de visualizações, copie o seguinte código para o ficheiroapp.php
:Clique em Abrir terminal.
No terminal, execute o script
app.php
. Se lhe for pedido que autorize o Cloud Shell e aceite os termos, clique em Autorizar.php app.php
O resultado é semelhante ao seguinte:
--- Row 1 --- url: https://stackoverflow.com/questions/35159967, 170023 views --- Row 2 --- url: https://stackoverflow.com/questions/22879669, 142581 views --- Row 3 --- url: https://stackoverflow.com/questions/10604135, 132406 views --- Row 4 --- url: https://stackoverflow.com/questions/44564887, 128781 views --- Row 5 --- url: https://stackoverflow.com/questions/27060396, 127008 views --- Row 6 --- url: https://stackoverflow.com/questions/12482637, 120766 views --- Row 7 --- url: https://stackoverflow.com/questions/20673986, 115720 views --- Row 8 --- url: https://stackoverflow.com/questions/39109817, 108368 views --- Row 9 --- url: https://stackoverflow.com/questions/11057219, 105175 views --- Row 10 --- url: https://stackoverflow.com/questions/43195143, 101878 views Found 10 row(s)
No Cloud Shell, crie um novo projeto e ficheiro Python:
mkdir bigquery-python-quickstart \ && touch \ bigquery-python-quickstart/app.py
Este comando cria um projeto Python com o nome
bigquery-python-quickstart
e um ficheiro com o nomeapp.py
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-python-quickstart
Para abrir um terminal no editor do Cloud Shell, clique em Abrir terminal.
Abra o diretório do projeto:
cd bigquery-python-quickstart
Instale a biblioteca cliente do BigQuery para Python:
pip install --upgrade google-cloud-bigquery
O resultado é semelhante ao seguinte. Várias linhas são omitidas para simplificar o resultado.
Installing collected packages: google-cloud-bigquery ... Successfully installed google-cloud-bigquery-3.9.0 ...
Clique em Abrir editor.
No painel Explorador, localize o seu
BIGQUERY-PYTHON-QUICKSTART
projeto.Clique no ficheiro
app.py
para o abrir.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que devolve as 10 páginas do Stack Overflow mais vistas e as respetivas contagens de visualizações, copie o seguinte código para o ficheiroapp.py
:Clique em Abrir terminal.
No terminal, execute o script
app.py
. Se lhe for pedido que autorize o Cloud Shell e aceite os termos, clique em Autorizar.python app.py
O resultado é semelhante ao seguinte:
https://stackoverflow.com/questions/35159967 : 170023 views https://stackoverflow.com/questions/22879669 : 142581 views https://stackoverflow.com/questions/10604135 : 132406 views https://stackoverflow.com/questions/44564887 : 128781 views https://stackoverflow.com/questions/27060396 : 127008 views https://stackoverflow.com/questions/12482637 : 120766 views https://stackoverflow.com/questions/20673986 : 115720 views https://stackoverflow.com/questions/39109817 : 108368 views https://stackoverflow.com/questions/11057219 : 105175 views https://stackoverflow.com/questions/43195143 : 101878 views
No Cloud Shell, crie um novo projeto e ficheiro Ruby:
mkdir bigquery-ruby-quickstart \ && touch \ bigquery-ruby-quickstart/app.rb
Este comando cria um projeto Ruby com o nome
bigquery-ruby-quickstart
e um ficheiro com o nomeapp.rb
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-ruby-quickstart
Para abrir um terminal no editor do Cloud Shell, clique em Abrir terminal.
Abra o diretório do projeto:
cd bigquery-ruby-quickstart
Instale a biblioteca cliente do BigQuery para Ruby:
gem install google-cloud-bigquery
O resultado é semelhante ao seguinte. Várias linhas são omitidas para simplificar o resultado.
23 gems installed
Clique em Abrir editor.
No painel Explorador, localize o seu
BIGQUERY-RUBY-QUICKSTART
projeto.Clique no ficheiro
app.rb
para o abrir.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que devolve as 10 páginas do Stack Overflow mais vistas e as respetivas contagens de visualizações, copie o seguinte código para o ficheiroapp.rb
:Clique em Abrir terminal.
No terminal, execute o script
app.rb
. Se lhe for pedido que autorize o Cloud Shell e aceite os termos, clique em Autorizar.ruby app.rb
O resultado é semelhante ao seguinte:
https://stackoverflow.com/questions/35159967: 170023 views https://stackoverflow.com/questions/22879669: 142581 views https://stackoverflow.com/questions/10604135: 132406 views https://stackoverflow.com/questions/44564887: 128781 views https://stackoverflow.com/questions/27060396: 127008 views https://stackoverflow.com/questions/12482637: 120766 views https://stackoverflow.com/questions/20673986: 115720 views https://stackoverflow.com/questions/39109817: 108368 views https://stackoverflow.com/questions/11057219: 105175 views https://stackoverflow.com/questions/43195143: 101878 views
- In the Trusted Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
No Cloud Shell, aceda a um diretório acima:
cd ..
Elimine a pasta
BigQueryCsharpDemo
que criou:rm -R BigQueryCsharpDemo
A flag
-R
elimina todos os recursos numa pasta.No Cloud Shell, aceda a um diretório acima:
cd ..
Elimine a pasta
bigquery-go-quickstart
que criou:rm -R bigquery-go-quickstart
A flag
-R
elimina todos os recursos numa pasta.No Cloud Shell, aceda a um diretório acima:
cd ..
Elimine a pasta
bigquery-java-quickstart
que criou:rm -R bigquery-java-quickstart
A flag
-R
elimina todos os recursos numa pasta.No Cloud Shell, aceda a um diretório acima:
cd ..
Elimine a pasta
bigquery-node-quickstart
que criou:rm -R bigquery-node-quickstart
A flag
-R
elimina todos os recursos numa pasta.No Cloud Shell, aceda a um diretório acima:
cd ..
Elimine a pasta
bigquery-php-quickstart
que criou:rm -R bigquery-php-quickstart
A flag
-R
elimina todos os recursos numa pasta.No Cloud Shell, aceda a um diretório acima:
cd ..
Elimine a pasta
bigquery-python-quickstart
que criou:rm -R bigquery-python-quickstart
A flag
-R
elimina todos os recursos numa pasta.No Cloud Shell, aceda a um diretório acima:
cd ..
Elimine a pasta
bigquery-ruby-quickstart
que criou:rm -R bigquery-ruby-quickstart
A flag
-R
elimina todos os recursos numa pasta.- Saiba mais sobre a utilização das bibliotecas cliente do BigQuery.
- Saiba mais acerca dos conjuntos de dados públicos do BigQuery.
- Saiba como carregar dados para o BigQuery.
- Saiba mais sobre como consultar dados no BigQuery.
- Receba atualizações sobre o BigQuery.
- Saiba mais acerca dos preços do BigQuery.
- Saiba mais acerca das quotas e dos limites do BigQuery.
Consultar um conjunto de dados público
Selecione um dos seguintes idiomas:
C#
Consultou com êxito um conjunto de dados público com a biblioteca cliente C# do BigQuery.
Go
Consultou com êxito um conjunto de dados públicos com a biblioteca cliente do BigQuery Go.
Java
Consultou com êxito um conjunto de dados público com a biblioteca cliente Java do BigQuery.
Node.js
Consultou com êxito um conjunto de dados públicos com a biblioteca cliente do Node.js do BigQuery.
PHP
Consultou com êxito um conjunto de dados público com a biblioteca cliente PHP do BigQuery.
Python
Consultou com êxito um conjunto de dados público com a biblioteca cliente Python do BigQuery.
Ruby
Consultou com êxito um conjunto de dados público com a biblioteca cliente Ruby do BigQuery.
Limpar
Para evitar incorrer em custos na sua Trusted Cloud conta, elimine o Trusted Cloud projeto ou elimine os recursos que criou neste passo a passo.
Elimine o projeto
A forma mais fácil de eliminar a faturação é eliminar o projeto que criou para o tutorial.
Para eliminar o projeto:
Elimine os recursos
Se usou um projeto existente, elimine os recursos que criou: