Analisar seus dados armazenados com o Gemini Cloud Assist

Nesta página, descrevemos como usar a assistência com tecnologia de IA do Gemini para entender melhor o panorama de repositórios de dados no Cloud Storage. Ao usar o Gemini Cloud Assist, você pode inserir comandos sobre como o Cloud Storage funciona em geral. Ao ativar uma assinatura do Storage Intelligence, você pode inserir comandos sobre buckets e objetos específicos.

Em seguida, use as informações fornecidas pelo Gemini Cloud Assist para fazer o seguinte:

  • Analisar padrões e tendências de uso de dados

  • Identificar oportunidades de economizar nos custos de armazenamento

  • Otimizar seus dados para segurança e compliance

  • Tomar decisões fundamentadas sobre o gerenciamento dos seus dados

O Gemini não usa seus comandos nem as respostas deles como dados para treinar os modelos sem sua permissão explícita. Para mais informações sobre como o Google usa seus dados, consulte Como o Gemini para Cloud de Confiance usa seus dados.

Esta página é destinada a desenvolvedores, analistas ou engenheiros de dados, administradores de plataforma, operadores financeiros e responsáveis pela conformidade. Ele pressupõe que você sabe como usar o Cloud Storage e consultar conjuntos de dados vinculados.

Quais comandos o Gemini pode responder?

Para entender seu repositório de dados, forneça ao Gemini Cloud Assist um comando, que é uma instrução ou pergunta em linguagem natural.

Ao usar o Gemini Cloud Assist sozinho, sem uma assinatura do Storage Intelligence, é possível fazer perguntas sobre como o Cloud Storage funciona em geral, como:

  • "Como faço a transição de objetos de uma classe de armazenamento para outra?"

  • "Como faço para ativar a exclusão reversível em um bucket?"

Ao ativar uma assinatura do Storage Intelligence, você também pode fazer perguntas relacionadas a oportunidades de economia de custos, segurança e conformidade e descoberta de dados. O Gemini Cloud Assist pode usar os metadados contidos nos conjuntos de dados do Storage Insights para gerar insights, que são respostas a comandos sobre os metadados e o uso de buckets e objetos. Você pode fazer perguntas como:

  • Comandos relacionados ao uso e à economia de custos:

    • "Os 5 maiores buckets sem gerenciamento do ciclo de vida de objetos"

    • "Os 5 maiores buckets sem a classe automática ativada"

  • Comandos relacionados à segurança e compliance:

    • "Os 5 maiores buckets sem o controle de versões de objetos ativado"

    • "Os 5 maiores objetos com data de validade da retenção nos próximos 30 dias"

  • Comandos relacionados à descoberta de dados:

    • "Buckets com um alto volume de arquivos pequenos (cada um com menos de 1 MB)"

    • "Objetos na classe Standard Storage menores que 50 MB"

Antes de começar

Para usar o Gemini Cloud Assist em comandos gerais relacionados ao Cloud Storage, primeiro é necessário configurar o Gemini Cloud Assist, incluindo a obtenção dos papéis necessários.

Se você quiser inserir comandos relacionados a buckets e objetos específicos, também precisará concluir as seguintes etapas de pré-requisito:

  1. Ative o Storage Intelligence, que dá acesso ao uso de conjuntos de dados do Storage Insights.

  2. Crie um conjunto de dados do Storage Insights, que será analisado pelo Gemini Cloud Assist para fornecer informações sobre buckets e objetos específicos.

    Como alternativa, se houver um conjunto de dados que você queira usar, consiga os papéis do IAM necessários para acessá-lo.

  3. Verifique se o agente de serviço do Storage Insights tem acesso ao conjunto de dados que o Gemini Cloud Assist vai analisar. Isso permite que o conjunto de dados seja lido e analisado.

Ativar o Storage Intelligence

Verifique se o Storage Intelligence está ativado no projeto, na pasta ou na organização que contém ou vai conter os conjuntos de dados que o Gemini Cloud Assist vai usar para responder aos comandos.

Criar um conjunto de dados

Crie um conjunto de dados e vincule-o ao BigQuery.

Conceder os papéis necessários para acessar conjuntos de dados

Quando um usuário cria uma configuração de conjunto de dados pela primeira vez, um agente de serviço do Storage Insights é criado. O agente de serviço segue o formato de nomenclatura service-PROJECT_NUMBER@gcp-sa-storageinsights.s3ns-system.iam.gserviceaccount.com e aparece na página do IAM no console do Cloud de Confiance quando você seleciona a caixa de seleção Incluir concessões de papéis fornecidas pelo Google.

Para usar o Gemini Cloud Assist em comandos relacionados a metadados de buckets ou objetos, é necessário permitir que o agente de serviço do Storage Insights leia conjuntos de dados. Peça ao administrador para conceder ao agente de serviço o papel de Leitor de dados do BigQuery (roles/bigquery.dataViewer) na organização, pasta ou projeto que contém o conjunto de dados que você quer analisar.

Para instruções sobre como conceder papéis a agentes de serviço, consulte criar e conceder papéis a agentes de serviço.

Receber os papéis necessários para acessar conjuntos de dados

Para receber as permissões necessárias para receber insights sobre metadados de buckets e objetos, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto, na pasta ou na organização que contém os conjuntos de dados que você quer analisar:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Analisar o armazenamento de dados usando comandos em linguagem natural

Para inserir comandos no Gemini Cloud Assist, siga estas etapas:

  1. No console do Cloud de Confiance , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Na barra de ferramentas, clique em spark (Gemini) para abrir o painel de chat do Cloud Assist.

    O painel de chat do Cloud Assist é exibido.

  3. No painel de conversa do Cloud Assist, insira um comando em linguagem natural sobre o seu repositório de dados. Por exemplo, você pode inserir o seguinte:

    Which is my largest bucket
  4. Clique em (Gerar).

  5. Se solicitado, insira o nome do conjunto de dados que o Gemini vai analisar para gerar a resposta e clique em (Gerar).

    Se a operação for bem-sucedida, o Gemini Cloud Assist vai gerar uma resposta semelhante a esta:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:
    
    Bucket name Size
    my-bucket 39.1 TB

    A consulta SQL usada pelo Gemini Cloud Assist também é retornada. A consulta SQL gerada é semelhante a esta:

    SELECT bucket_id, bucket_size
    FROM buckets
    WHERE project_id = 'example-project'
    ORDER BY bucket_size DESC
    LIMIT 1;
    

Se quiser, você pode inserir comandos sugeridos:

  1. No console do Cloud de Confiance , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Na seção Comandos sugeridos, selecione uma opção. Por exemplo, um comando sugerido pode dizer: Storage size broken down by object content type.

  3. Se a operação for bem-sucedida, o Gemini Cloud Assist vai gerar uma resposta semelhante a esta:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:
    
    Content type Size
    MP4 483.2 GB
    MOV 239.1 GB
    MP3 125.8 GB

    A consulta SQL que o Gemini Cloud Assist usa também é retornada. A consulta SQL gerada é semelhante a esta:

    SELECT
    oa.contentType, ROUND(sum(oa.size) / (1024 * 1024 * 1024), 2) AS total_size_gb
    FROM object_attributes_latest AS oa
    GROUP BY oa.contentType
    ORDER BY sum(oa.size) DESC;

Cotas de tratamento de dados

Quando você executa um comando usando o Gemini Cloud Assist para receber informações sobre seus dados no Cloud Storage, o Gemini Cloud Assist processa seus conjuntos de dados para fornecer respostas aos comandos. Se um comando exigir o processamento de menos de 800 GB de dados para responder, o Gemini Cloud Assist vai retornar a consulta SQL subjacente para o comando e executar a consulta, retornando a resposta em SQL. Se um comando exigir o processamento de 800 GB de dados ou mais para responder, o Gemini Cloud Assist vai retornar apenas a consulta SQL subjacente e não vai executar a consulta. É possível executar a consulta por conta própria usando o BigQuery.

O Gemini Cloud Assist pode processar até 50 TiB de dados por mês, por organização. Se a organização ultrapassar esse limite, o Gemini Cloud Assist vai retornar as consultas SQL subjacentes para todos os comandos adicionais que você executar, mas não vai executar as consultas. A execução de comandos adicionais resulta em uma mensagem de resposta Cota mensal excedida.

Limitações

  • Ao usar comandos para analisar recursos do Cloud Storage, é possível especificar até cinco recursos no comando. Por exemplo: 5 largest buckets without Autoclass enabled. Mesmo que você inclua mais de cinco recursos no comando, o Gemini Cloud Assist só pode retornar resultados para os cinco principais recursos que correspondem aos critérios do comando.

  • O Gemini Cloud Assist usa os metadados de buckets e objetos contidos nos conjuntos de dados do Storage Insights para responder a comandos sobre o repositório de dados.

    Os dados a seguir não estão disponíveis nos conjuntos de dados do Storage Insights, o que significa que o Gemini Cloud Assist não tem o contexto adequado para responder a comandos relacionados a esses dados:

    • Dados de custo específicos, por exemplo: "quanto custa meu bucket por mês".

    • Dados de atividade, por exemplo: "qual é o horário do último acesso do meu objeto".

    • Dados sobre a configuração de determinados recursos, como exclusão reversível. Por exemplo: "quais buckets não têm a exclusão reversível ativada".

    O Gemini Cloud Assist também não tem o contexto adequado para responder a comandos relacionados a informações de série temporal. Por exemplo: "quanto meu bucket cresceu nas últimas 3 semanas". Isso ocorre porque o Gemini Cloud Assist lê apenas o snapshot mais recente de um conjunto de dados.

A seguir