Descobrir e catalogar dados do Cloud Storage

Este documento explica como usar a descoberta automática do Knowledge Catalog, um recurso do BigQuery que permite verificar dados em buckets do Cloud Storage para extrair e catalogar metadados. Como parte da verificação de descoberta, a descoberta automática cria tabelas externas ou do BigLake para dados estruturados e tabelas de objetos para dados não estruturados. Com as tabelas do BigLake e as tabelas externas, é possível consultar dados estruturados em repositórios de dados externos. Consulte Introdução às tabelas do BigLake e Introdução às tabelas externas. Já as tabelas de objetos fornecem um índice de metadados sobre dados não estruturados no Cloud Storage. Consulte Introdução às tabelas de objetos. Esses dados centralizados facilitam insights, segurança e governança de dados com tecnologia de IA.

Para usar a descoberta automática de dados do Cloud Storage, crie e execute uma verificação de descoberta.

A descoberta automática também é chamada de descoberta independente.

Visão geral da verificação de descoberta

Uma verificação de descoberta faz o seguinte:

• Verifica os dados no bucket do Cloud Storage ou caminho.
• Agrupa dados estruturados e semiestruturados em tabelas.
• Coleta metadados, como nome da tabela, esquema e definição de partição.
• Cria e atualiza tabelas externas do BigLake, externas que não são do BigLake ou de objetos do BigLake no BigQuery usando o esquema e a definição de partição.

Dados estruturados e semiestruturados

Os dados estruturados e semiestruturados incluem formatos como Avro, Parquet e CSV. A verificação de descoberta registra grupos desses arquivos como tabelas externas do BigLake. A verificação só detecta arquivos se eles estiverem em pastas com o mesmo formato de dados e um esquema compatível.

• Caso de uso: centralizar arquivos estruturados e fortemente tipados no BigQuery para executar consultas analíticas de SQL sem definir esquemas manualmente.
• Fluxo de trabalho:
  1. Organize seus arquivos estruturados em pastas. Verifique se os arquivos em cada pasta compartilham o mesmo formato de dados e têm um esquema compatível.
  2. Crie uma verificação de descoberta e forneça o ID da conexão de recursos do Cloud de Confiance .
  3. A verificação agrupa os dados e os registra como tabelas externas do BigLake.
  4. Consulte as tabelas publicadas diretamente no BigQuery usando SQL.

Formatos compatíveis

• Parquet
• Avro
• ORC
• JSON (apenas o formato delimitado por nova linha)
• CSV (mas não arquivos CSV com linhas de comentários)

Formatos de compactação

Para dados estruturados e semiestruturados, a verificação de descoberta é compatível com os seguintes formatos de compactação:

• Compactação interna para os seguintes formatos:

  Compactação	Exemplo de extensão de arquivo	Formato aceito
  gzip	.gz.parquet	Parquet
  lz4	.lz4.parquet	Parquet
  Snappy	.snappy.parquet	Parquet, ORC, Avro
  lzo	.lzo.parquet	Parquet, ORC

• Compactação externa para arquivos JSON e CSV:

  • gzip
  • bzip2

Dados não estruturados

Para dados não estruturados, como imagens e vídeos, a verificação de descoberta detecta e registra grupos de arquivos que compartilham o mesmo formato de arquivo de dados. Os arquivos precisam estar em pastas com o mesmo formato. Por exemplo, gs://images/group1 precisa conter apenas imagens GIF, e gs://images/group2 precisa conter apenas imagens JPEG para que a verificação de descoberta detecte e registre duas tabelas de objetos do BigLake.

• Caso de uso: catalogar arquivos não estruturados, como imagens ou documentos, para realizar inferências de machine learning usando o BigQuery ML ou funções remotas.
• Fluxo de trabalho:
  1. Organize seus arquivos não estruturados em pastas. Verifique se os arquivos em cada pasta têm o mesmo formato.
  2. Crie uma verificação de descoberta.
  3. A verificação agrupa os dados não estruturados e os registra como tabelas de objetos do BigLake.
  4. Faça inferência nos seus arquivos não estruturados diretamente no BigQuery.

Formatos compatíveis

A verificação de descoberta é compatível com os seguintes formatos não estruturados:

• Imagem (como JPEG, PNG e BMP)
• Documentos (como PDF, apresentações de slides e relatórios de texto)
• Áudio ou vídeo (como WAV, MP3 e MP4)

Para mais informações, consulte arquivos de objetos compatíveis.

Formatos de compactação

Para tabelas de objetos, a compactação é gerenciada principalmente por metadados de objetos do Cloud Storage, em vez de configurações internas do BigQuery.

• Compactação de metadados padrão: o BigQuery reconhece automaticamente arquivos compactados com gzip e bzip2 se eles usarem as extensões padrão .gz ou .bz2.
• Content-Encoding: é possível usar os metadados Content-Encoding gzip no Cloud Storage para veicular arquivos compactados e manter o tipo de conteúdo original.
• Compactação interna de mídia: formatos inerentemente compactados (como JPEG para imagens, MP3 para áudio e MP4 para vídeo) são compatíveis de forma nativa.

Registro e disponibilidade de tabelas

As tabelas descobertas são registradas no BigQuery como um dos seguintes tipos, dependendo do formato de dados e da configuração de verificação:

• Tabelas de objetos do BigLake. Criado para dados não estruturados, como imagens e vídeos.
• Tabelas externas do BigLake. Criado para dados estruturados e semiestruturados quando você fornece um ID de conexão de recurso Cloud de Confiance durante a configuração da verificação.
• Tabelas externas (não BigLake): criadas para dados estruturados e semiestruturados se você não fornecer um ID de conexão de recurso.

Com esse registro, os dados ficam disponíveis para análise no BigQuery. O armazenamento em cache de metadados para tabelas do BigLake e tabelas de objetos também é ativado. Todas as tabelas do BigLake são ingeridas automaticamente no Knowledge Catalog para pesquisa e descoberta.

Para começar a trabalhar com as tabelas recém-registradas, você pode:

• Execute uma consulta no BigQuery.
• Pesquise recursos no Knowledge Catalog.

Limitações e cotas

Uma verificação de descoberta não é compatível com os formatos de tabela Apache Iceberg e Delta Lake.

Para saber o limite de tabelas que uma verificação de descoberta pode processar, consulte Cotas e limites.

Antes de começar

Ativar a API Dataplex.

Ativar a API

Papéis necessários para a conta de serviço do Knowledge Catalog

Antes de começar, atribua as permissões do IAM à conta de serviço do Knowledge Catalog no seu projeto.

  service-PROJECT_NUMBER@gcp-sa-dataplex.s3ns-system.iam.gserviceaccount.com
  

Substitua PROJECT_NUMBER pelo projeto em que a API Dataplex está ativada.

Para garantir que a conta de serviço do Knowledge Catalog tenha as permissões necessárias para criar e executar uma verificação de descoberta, peça ao administrador para conceder os seguintes papéis do IAM à conta de serviço do Knowledge Catalog:

• Agente de serviço do Dataplex Discovery (roles/dataplex.discoveryServiceAgent) no bucket de armazenamento
• Agente de serviço de publicação do Dataplex Discovery (roles/dataplex.discoveryPublishingServiceAgent) no projeto do usuário
• Criar tabelas do BigLake: Agente de serviço de publicação do BigLake do Dataplex Discovery (roles/dataplex.discoveryBigLakePublishingServiceAgent) na conexão do BigQuery

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para criar e executar uma verificação de descoberta. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

O administrador também pode conceder essas permissões à conta de serviço do Knowledge Catalog com papéis personalizados ou outros papéis predefinidos.

Papéis obrigatórios para a conta de serviço de conexão do BigQuery

Para garantir que a conta de serviço de conexão do BigQuery tenha as permissões necessárias para criar uma verificação de descoberta, peça ao administrador para conceder o papel do IAM de Agente de serviço de descoberta do Dataplex (roles/dataplex.discoveryServiceAgent) à conta de serviço de conexão do BigQuery no bucket do Cloud Storage.

Esse papel predefinido contém as permissões necessárias para criar uma verificação de descoberta. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

O administrador também pode conceder essas permissões à conta de serviço do BigQuery Connection com papéis personalizados ou outros papéis predefinidos.

Funções necessárias para usuários finais

Para receber as permissões necessárias para criar e gerenciar verificações de descoberta de dados, peça ao administrador para conceder a você os seguintes papéis do IAM no bucket do Cloud Storage:

• Acesso total aos recursos do DataScan: Administrador do DataScan Dataplex (roles/dataplex.dataScanAdmin): seu projeto
• Acesso de gravação aos recursos do DataScan: Editor do DataScan Dataplex (roles/dataplex.dataScanEditor): seu projeto
• Acesso de leitura aos recursos do DataScan, exceto os resultados: Leitor do DataScan Dataplex (roles/dataplex.dataScanViewer): seu projeto
• Acesso de leitura aos recursos do DataScan, incluindo os resultados: Leitor de dados do DataScan Dataplex (roles/dataplex.dataScanDataViewer): seu projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para criar e gerenciar verificações de descoberta de dados. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma verificação de descoberta

Para descobrir dados, crie e execute uma verificação de descoberta. É possível definir uma programação para a verificação ou executá-la sob demanda.

Quando a verificação de descoberta é executada, ela cria um novo conjunto de dados no BigQuery que corresponde ao bucket do Cloud Storage verificado. O nome do conjunto de dados do BigQuery é o mesmo do bucket do Cloud Storage. Caracteres inválidos no nome do bucket são substituídos por um sublinhado. Se o nome do conjunto de dados não estiver disponível, um sufixo será adicionado (por exemplo, _discovered_001). O conjunto de dados contém as tabelas externas do BigLake ou que não são do BigLake criadas pela verificação de descoberta para análise posterior.

gcloud dataplex datascans create data-discovery --location=LOCATION
--data-source-resource=BUCKET_PATH

Consultar tabelas publicadas do BigLake

Depois de executar a verificação de descoberta, as tabelas do BigLake são publicadas em um novo conjunto de dados no BigQuery. As tabelas ficam disponíveis para análise no BigQuery usando SQL ou no Serviço gerenciado para Apache Spark usando Apache Spark ou HiveQL.

Gerenciar tabelas publicadas do BigLake

As tabelas publicadas do BigLake são criadas e gerenciadas no BigQuery pela verificação de descoberta. Por padrão, a verificação de descoberta processa a descoberta de novos dados, as inferências e a evolução de esquema sempre que as verificações programadas ou sob demanda são executadas. Para indicar que os metadados são gerenciados pela verificação, ela publica tabelas com o rótulo metadata-managed-mode definido como discovery-managed.

Se você quiser gerenciar o esquema e outros metadados, como opções de CSV ou JSON, defina o rótulo metadata-managed-mode como user_managed. Assim, o esquema permanece inalterado quando a próxima verificação de descoberta é executada. Essa abordagem pode ser útil em cenários em que o esquema inferido pela verificação de descoberta está incorreto ou é diferente do esperado para uma determinada tabela. Quando o rótulo metadata-managed-mode é definido como user_managed, o custo pode ser reduzido.

Para atualizar o rótulo, edite o valor da chave de rótulo metadata-managed-mode para user_managed em vez de discovery-managed. Nesse caso, a verificação de descoberta não atualiza o esquema da tabela enquanto o rótulo user_managed estiver anexado a ela.

Atualizar tabelas publicadas do BigLake

Para tabelas do BigLake publicadas usando os jobs de verificação de descoberta com a configuração padrão, o esquema e outros metadados são atualizados automaticamente a cada execução do job de verificação de descoberta na frequência programada.

Para atualizar uma tabela do BigLake publicada, siga estas etapas:

1. No console do Cloud de Confiance , acesse a página BigQuery.

   Acessar o BigQuery

2. Atualize uma ou mais propriedades da tabela.

3. No painel à esquerda, clique em explore Explorer:

   

   Se o painel esquerdo não aparecer, clique em last_page Expandir painel esquerdo para abrir.

4. No painel Explorer, expanda o projeto, clique em Conjuntos de dados e selecione um conjunto de dados.

5. Clique em Visão geral > Tabelas e selecione a tabela.

6. Na guia Detalhes, na seção Marcadores, verifique se o marcador metadata-managed-mode está definido como user_managed. Se estiver definido como um valor diferente, siga estas etapas:

   1. Clique em edit Editar detalhes.

   2. Ao lado da chave metadata-managed-mode, no campo valor, insira user_managed.

Excluir tabelas publicadas do BigLake

Para excluir uma tabela publicada do BigLake, siga estas etapas:

1. Exclua os arquivos de dados da tabela no bucket do Cloud Storage.

2. No console do Cloud de Confiance , acesse a página BigQuery.

   Acessar o BigQuery

3. No painel à esquerda, clique em explore Explorer:

   

4. No painel Explorer, expanda o projeto, clique em Conjuntos de dados e selecione um conjunto de dados.

5. Clique em Visão geral > Tabelas e selecione a tabela.

6. No painel Detalhes, na seção Marcadores, verifique se o marcador metadata-managed-mode não está definido como user_managed. Se estiver definido como user_managed, siga estas etapas:

   1. Clique em Editar detalhes edit.

   2. Ao lado da chave metadata-managed-mode, no campo valor, insira discovery-managed.

7. Clique em Executar. A verificação de descoberta é executada sob demanda.

Depois que a verificação de descoberta é executada, a tabela do BigLake é excluída no BigQuery e não fica disponível para listagem ou consulta pelo Spark.

Executar uma verificação de descoberta sob demanda

Para executar uma verificação de descoberta sob demanda, selecione uma das seguintes opções.

gcloud dataplex datascans run DATASCAN \
  --location=LOCATION

Listar verificações de descoberta

Para listar suas verificações de descoberta, selecione uma das seguintes opções.

gcloud dataplex datascans list --location=LOCATION --project=PROJECT_ID

Ver uma verificação de descoberta

Para conferir uma verificação de descoberta, selecione uma das seguintes opções:

gcloud dataplex datascans jobs describe JOB \
    --location=LOCATION \
    --datascan=DATASCAN \
    --view=FULL

Conferir resultados históricos da verificação de descoberta

Para conferir os resultados históricos da verificação de descoberta, selecione uma das seguintes opções:

gcloud dataplex datascans jobs list \
    --location=LOCATION \
    --datascan=DATASCAN

Atualizar uma verificação de descoberta

Para mudar a programação de uma verificação de descoberta, por exemplo, de sob demanda para recorrente, atualize a verificação.

gcloud dataplex datascans update data-discovery SCAN_ID --location=LOCATION --description=DESCRIPTION

Excluir uma verificação de descoberta

Para excluir uma verificação de descoberta, selecione uma das seguintes opções:

gcloud dataplex datascans delete SCAN_ID --location=LOCATION --async