Este tutorial apresenta-lhe a análise geoespacial. A estatística geoespacial permite-lhe analisar e visualizar dados geoespaciais no BigQuery.
Objetivos
Neste tutorial:
- Use uma função de estatísticas geoespaciais para converter colunas de latitude e longitude em pontos geográficos
- Executar uma consulta que encontre todas as estações da Citi Bike com mais de 30 bicicletas disponíveis para aluguer
- Visualize os resultados no BigQuery
- Visualize os resultados no BigQuery Geo Viz
Custos
Este tutorial usa componentes faturáveis do Trusted Cloud by S3NS, incluindo o BigQuery.
São-lhe cobrados custos por:
- Consultar dados nos conjuntos de dados públicos do BigQuery.
- O primeiro 1 TB é gratuito todos os meses.
- Se estiver a usar a determinação de preços baseada na capacidade, os custos das consultas estão incluídos no preço baseado na capacidade.
Antes de começar
-
In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Verify that billing is enabled for your Trusted Cloud project.
- O BigQuery é ativado automaticamente em novos projetos.
Para ativar o BigQuery num projeto existente, aceda a
Enable the BigQuery API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin
), which contains theserviceusage.services.enable
permission. Learn how to grant roles.
Explore os dados de amostra
Este tutorial usa um conjunto de dados disponível através do Trusted Cloud by S3NS Programa de conjuntos de dados públicos. Um conjunto de dados público é qualquer conjunto de dados armazenado no BigQuery e disponibilizado ao público em geral. Os conjuntos de dados públicos são conjuntos de dados alojados pelo BigQuery para que possa aceder aos mesmos e integrá-los nas suas aplicações. A Google paga o armazenamento destes conjuntos de dados e disponibiliza acesso público aos dados através de um projeto. Só paga pelas consultas que executa nos dados (o primeiro 1 TB por mês é gratuito, sujeito aos detalhes de preços das consultas).
O conjunto de dados NYC Citi Bike Trips
O Citi Bike é o maior programa de partilha de bicicletas do país, com 10 000 bicicletas e 600 estações em Manhattan, Brooklyn, Queens e Jersey City. Este conjunto de dados inclui viagens de Citi Bike desde o lançamento do Citi Bike em setembro de 2013 e é atualizado diariamente. Os dados são processados pela Citi Bike para remover viagens feitas por funcionários para prestar serviços e inspecionar o sistema, bem como viagens com uma duração inferior a 60 segundos, que são consideradas falsos inícios.
Pode começar a explorar estes dados na consola do BigQuery ao
ver os detalhes da tabela citibike_stations
:
Aceda ao esquema citibike_stations
Três colunas nesta tabela são relevantes para este tutorial:
bike_stations.longitude
: a longitude de uma estação. Os valores são longitudes WGS 84 válidas no formato de graus decimais.bike_stations.latitude
: a latitude de uma estação. Os valores são latitudes WGS 84 válidas no formato de graus decimais.num_bikes_available
: o número de bicicletas disponíveis para aluguer.
Consultar as estações de bicicletas com mais de 30 bicicletas disponíveis
Nesta secção do tutorial, vai executar uma consulta GoogleSQL que encontra todas as estações do Citi Bike na cidade de Nova Iorque com mais de 30 bicicletas disponíveis para aluguer.
Detalhes da consulta
A seguinte consulta GoogleSQL é usada para encontrar as estações do Citi Bike com mais de 30 bicicletas.
SELECT ST_GeogPoint(longitude, latitude) AS WKT, num_bikes_available FROM `bigquery-public-data.new_york.citibike_stations` WHERE num_bikes_available > 30
As cláusulas de consulta fazem o seguinte:
SELECT ST_GeogPoint(longitude, latitude) AS WKT, num_bikes_available
- A cláusula
SELECT
seleciona a colunanum_bikes_available
e usa a funçãoST_GeogPoint
para converter os valores nas colunaslatitude
elongitude
em tiposGEOGRAPHY
(pontos).
FROM `bigquery-public-data.new_york.citibike_stations`
- A cláusula
FROM
especifica a tabela sobre a qual está a ser feita a consulta:citibike_stations
.
WHERE num_bikes_available > 30
- A cláusula
WHERE
filtra os valores na colunanum_bikes_available
para apenas as estações com mais de 30 bicicletas.
Execute a consulta
Para executar a consulta através da Trusted Cloud consola:
Aceda à página do BigQuery na Trusted Cloud consola.
Introduza a seguinte consulta GoogleSQL na área de texto do editor de consultas.
-- Finds Citi Bike stations with > 30 bikes SELECT ST_GeogPoint(longitude, latitude) AS WKT, num_bikes_available FROM `bigquery-public-data.new_york.citibike_stations` WHERE num_bikes_available > 30
Clique em Executar.
A consulta demora um momento a ser concluída. Após a execução da consulta, os resultados são apresentados no painel Resultados da consulta.
Visualize os resultados no BigQuery
Para visualizar os resultados num mapa interativo, siga estes passos:
No painel Resultados da consulta, clique em Visualização.
Os pontos no mapa mostram as localizações de cada estação de bicicletas.
Pode aplicar um estilo uniforme ou baseado em dados ao seu mapa. Para visualizar quantas bicicletas estão disponíveis em cada estação, para a coluna de dados, selecione
num_bikes_available
.Para melhorar a visibilidade, experimente ajustar a opacidade, a cor ou o tamanho do ponto. Se os seus dados contiverem valores atípicos, pode ajustar os valores mínimos e máximos. As geografias com valores fora deste intervalo continuam a ser apresentadas no mapa, mas não é aplicada nenhuma cor.
Para ver as propriedades de uma geografia, clique na mesma.
Para ver o mapa no modo satélite, clique em Satélite.
Visualize os resultados da consulta no Geo Viz
Também pode visualizar os resultados através do BigQuery Geo Viz, uma ferramenta Web para visualização de dados geoespaciais no BigQuery através das APIs Google Maps.
Inicie o Geo Viz e autentique
Antes de usar o Geo Viz, tem de autenticar e conceder acesso aos dados no BigQuery.
Para configurar o Geo Viz:
Abra a ferramenta Web Geo Viz.
Pode ter de ativar os cookies para autorizar e usar esta ferramenta.
No passo 1, Consulta, clique em Autorizar.
Na caixa de diálogo Escolher uma conta, clique na sua Conta Google.
Na caixa de diálogo de acesso, clique em Permitir para conceder ao Geo Viz acesso aos seus dados do BigQuery.
Execute uma consulta GoogleSQL em dados geoespaciais
Depois de se autenticar e conceder acesso, o passo seguinte é executar a consulta no Geo Viz.
Para executar a consulta:
No passo um, Selecionar dados, introduza o ID do projeto no campo ID do projeto.
Na janela de consulta, introduza a seguinte consulta GoogleSQL.
-- Finds Citi Bike stations with > 30 bikes SELECT ST_GeogPoint(longitude, latitude) AS WKT, num_bikes_available FROM `bigquery-public-data.new_york.citibike_stations` WHERE num_bikes_available > 30
Clique em Executar.
Quando a consulta estiver concluída, clique em Mostrar resultados. Também pode clicar no passo 2 Definir colunas.
Esta ação move o processo para o passo dois. No passo 2, para Coluna de geometria, escolha WKT. Isto representa os pontos correspondentes às estações de bicicletas no seu mapa.
Formate a visualização
A secção Estilo apresenta uma lista de estilos visuais para personalização. Determinadas propriedades aplicam-se apenas a determinados tipos de dados. Por exemplo, circleRadius
afeta apenas os pontos.
As propriedades de estilo compatíveis incluem:
- fillColor. A cor de preenchimento de um polígono ou um ponto. Por exemplo, as funções "linear" ou "interval" podem ser usadas para mapear valores numéricos para um gradiente de cores.
- fillOpacity. A opacidade do preenchimento de um polígono ou um ponto. Os valores têm de estar no intervalo de 0 a 1, em que
0
= transparente e1
= opaco. - strokeColor. A cor do traço ou do contorno de um polígono ou uma linha.
- strokeOpacity. A opacidade do traço ou do contorno do polígono ou da linha.
Os valores têm de estar no intervalo de 0 a 1, em que
0
= transparente e1
= opaco. - strokeWeight. A largura do traço ou do contorno, em píxeis, de um polígono ou de uma linha.
- circleRadius. O raio do círculo que representa um ponto em píxeis. Por exemplo, pode usar uma função "linear" para mapear valores numéricos para tamanhos de pontos de modo a criar um estilo de gráfico de dispersão.
Cada estilo pode receber um valor global (aplicado a todos os resultados) ou um valor baseado em dados (aplicado de diferentes formas consoante os dados em cada linha de resultados). Para valores orientados por dados, são usados os seguintes elementos para determinar o resultado:
- função. Uma função usada para calcular um valor de estilo a partir dos valores de um campo.
- identidade. O valor de dados de cada campo é usado como o valor de estilo.
- categórico. Os valores de dados de cada campo indicado no domínio são mapeados individualmente com os estilos correspondentes no intervalo.
- intervalo. Os valores de dados de cada campo são arredondados para o valor mais próximo no domínio e, em seguida, são formatados com o estilo correspondente no intervalo.
- linear. Os valores de dados de cada campo são interpolados linearmente entre os valores no domínio e, em seguida, são formatados com uma combinação dos estilos correspondentes no intervalo.
- field. O campo especificado nos dados é usado como entrada para a função de formatação.
- domain. Uma lista ordenada de valores de entrada de amostra de um campo. As entradas de exemplo (domínio) são sincronizadas com as saídas de exemplo (intervalo) com base na função fornecida e são usadas para inferir valores de estilo para todas as entradas (mesmo as que não estão listadas no domínio). Os valores no domínio têm de ter o mesmo tipo (texto, número, etc.) que os valores do campo que está a visualizar.
- intervalo. Uma lista de valores de saída de exemplo para a regra de estilo. Os valores no intervalo têm de ter o mesmo tipo (cor ou número) que a propriedade de estilo que está a controlar. Por exemplo, o intervalo da propriedade
fillColor
deve conter apenas cores.
Para formatar o seu mapa:
Clique em Adicionar estilos no passo 2 ou clique no passo 3 Estilo.
Altere a cor dos seus pontos. Clique em fillColor.
No campo Valor, introduza
#0000FF
, o código de cor HTML para azul.Clique em Aplicar estilo.
Examine o seu mapa. Se clicar num dos seus pontos, o valor é apresentado.
Clique em fillOpacity.
No campo Valor, introduza
0.5
e clique em Aplicar estilo.Examine o seu mapa. A cor de preenchimento dos pontos é agora semitransparente.
Altere o tamanho dos pontos com base no número de bicicletas disponíveis. Clique em circleRadius.
No painel circleRadius:
- Clique em Orientado por dados.
- Para Função, escolha linear.
- Em Campo, escolha
num_bikes_available
. - Para Domínio, introduza
30
na primeira caixa e60
na segunda. Para Intervalo, introduza
5
na primeira caixa e20
na segunda.
Examine o seu mapa. O raio de cada círculo corresponde agora ao número de bicicletas disponíveis nessa localização.
Feche a visualização geográfica.
Limpar
Para evitar incorrer em custos na sua conta do Google Cloud pelos recursos usados neste tutorial, elimine o projeto que contém os recursos ou mantenha o projeto e elimine os recursos individuais.
- Pode eliminar o projeto que criou.
- Em alternativa, pode manter o projeto para utilização futura.
Para eliminar o projeto:
- In the Trusted Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
O que se segue?
- Para saber mais acerca das opções de visualização para estatísticas geoespaciais, consulte o artigo Visualizar dados geoespaciais.
- Para saber como trabalhar com dados de estatísticas geoespaciais, consulte o artigo Trabalhar com dados geoespaciais.
- Para ver um tutorial sobre a utilização de estatísticas geoespaciais, consulte o artigo Usar estatísticas geoespaciais para traçar o percurso de um furacão.
- Para ver documentação sobre as funções GoogleSQL na estatística geoespacial, consulte o artigo Funções geográficas no GoogleSQL.