Introdução às visualizações materializadas

As visualizações materializadas são visualizações pré-computadas que armazenam periodicamente os resultados de uma consulta SQL. Em alguns casos de uso, as visualizações materializadas reduzem o tempo total de processamento e os custos relacionados, diminuindo a quantidade de dados a serem verificados para cada consulta. É possível consultar visualizações materializadas como outros recursos de dados.

Os casos de uso a seguir destacam o valor das visualizações materializadas:

• Pré-processar dados. Melhore o desempenho da consulta preparando agregações, filtros, junções e clusters.
• Aceleração de painéis. Capacite ferramentas de BI, como o Looker, que consultam com frequência as mesmas métricas agregadas, por exemplo, usuários ativos diários.
• Análise em tempo real de grandes streams. Pode fornecer respostas mais rápidas em tabelas que recebem dados de streaming de alta velocidade.
• Gerenciamento de custo. Reduzir o custo de consultas repetitivas e caras em grandes conjuntos de dados.

Confira as principais características das visualizações materializadas:

• Manutenção zero. As visualizações materializadas são pré-computadas em segundo plano quando as tabelas base são alteradas. Todas as alterações de dados incrementais das tabelas base são automaticamente adicionadas às visualizações materializadas, sem a necessidade de uma ação do usuário.
• Dados atuais. Visualizações materializadas retornam dados recentes. Se as alterações nas tabelas base puderem invalidar a visualização materializada, os dados serão lidos diretamente das tabelas base. Se as alterações nas tabelas base não invalidarem a visualização materializada, o restante dos dados será lido a partir da visualização materializada e apenas as alterações serão lidas das tabelas base.
• Ajuste inteligente. Se alguma parte de uma consulta em uma tabela de base puder ser resolvida consultando a visualização materializada, o BigQuery redirecionará a consulta para usar a visualização materializada, melhorando o desempenho e a eficiência. Para saber como e quando o ajuste inteligente pode melhorar as consultas, consulte Usar visualizações materializadas.

Visualizações materializadas incrementais e não incrementais

Há dois tipos básicos de visualizações materializadas:

• As visualizações materializadas incrementais são compatíveis com um conjunto limitado de recursos. Para saber mais sobre a sintaxe SQL compatível com visualizações materializadas, consulte Criar visualizações materializadas. Somente as visualizações materializadas incrementais podem aproveitar o ajuste inteligente.
• As funções não incrementais são compatíveis com a maioria das sintaxes que as visualizações materializadas incrementais não aceitam.

Por padrão, ao criar visualizações materializadas, o BigQuery só permite criar visualizações com base em consultas incrementais. Para criar uma visualização não incremental, especifique allow_non_incremental_definition = true na definição da visualização materializada.

O melhor tipo de visualização materializada a ser usado depende da sua situação. A tabela a seguir compara os recursos das visualizações materializadas incrementais e não incrementais:

Visualizações materializadas autorizadas

É possível criar uma visualização materializada autorizada para compartilhar um subconjunto de dados de um conjunto de dados de origem com uma visualização em um conjunto de dados secundário. Em seguida, você pode compartilhar essa visualização com usuários e grupos específicos (principais) que podem acessar os dados compartilhados. Os principais podem consultar os dados fornecidos em uma visualização, mas não podem acessar o conjunto de dados de origem diretamente.

As visualizações autorizadas e materializadas autorizadas são autorizadas da mesma forma. Para mais detalhes, consulte Visualizações autorizadas.

Interação com outros recursos do BigQuery

Os seguintes recursos do BigQuery funcionam de forma transparente com visualizações materializadas:

• Explicação do plano de consulta: o plano de consulta reflete quais visualizações materializadas são verificadas (se houver) e mostra quantos bytes são lidos nas visualizações materializadas e nas tabelas base combinadas.

• Cache de consulta: os resultados de uma consulta reescrita pelo BigQuery usando uma visualização materializada podem ser armazenados em cache de acordo com as limitações padrão (uso de funções determinísticas, streaming na tabela base etc).

• Restrição de custo: se tiver definido um valor para o máximo de bytes cobrados e uma consulta ler um número de bytes além do limite, ela falhará sem gerar uma cobrança, seja usando visualizações materializadas, a tabela base ou ambas.

• Estimativa de custo usando simulação: uma simulação repete a lógica de reescrever a consulta usando visualizações materializadas disponíveis e fornece uma estimativa de custo. É possível usar esse recurso como forma de testar se uma consulta específica usa visualizações materializadas.

• Replicação de dados entre regiões:é possível criar visualizações materializadas com base em tabelas do BigQuery que têm a replicação entre regiões ativada, mas apenas na região principal. Se a região secundária for usada, você poderá encontrar a seguinte mensagem de erro: The dataset replica of the cross region dataset {PROJECT}:{DATASET} in region {REGION} is read-only because it's not the primary replica.

Preços de visualizações materializadas

Os custos são associados aos seguintes aspectos das visualizações materializadas:

• Como consultar visualizações materializadas
• Como manter visualizações materializadas, como quando são atualizadas. O custo da atualização automática é cobrado no projeto em que a visualização reside. O custo da atualização manual é cobrado no projeto em que o job de atualização manual é executado. Para mais informações sobre como controlar o custo de manutenção, consulte Manutenção do job de atualização.
• Como armazenar tabelas de visualização materializadas.

¹ Sempre que possível, o BigQuery lê apenas as alterações desde a última vez em que a visualização foi atualizada. Veja mais informações em Atualizações incrementais.

Detalhes do custo de armazenamento

Para valores AVG, ARRAY_AGG e APPROX_COUNT_DISTINCT agregados em uma visualização materializada, o valor final não é armazenado diretamente. Em vez disso, o BigQuery armazena internamente uma visualização materializada como um rascunho intermediário, que é usado para produzir o valor final.

Por exemplo, considere uma visualização materializada criada com o seguinte comando:

CREATE MATERIALIZED VIEW project-id.my_dataset.my_mv_table AS
SELECT date, AVG(net_paid) AS avg_paid
FROM project-id.my_dataset.my_base_table
GROUP BY date

Enquanto a coluna avg_paid é renderizada para o usuário como NUMERIC ou FLOAT64, internamente ela é armazenada como BYTES, com seu conteúdo como um rascunho intermediário em formato reservado. Para o cálculo do tamanho dos dados, a coluna é tratada como BYTES.

A seguir

• Visão geral das visualizações lógicas e materializadas
• Criar visualizações materializadas
• Usar visualizações materializadas
• Gerenciar visualizações materializadas