Operações em lote de armazenamento

Este documento descreve as operações em lote de armazenamento, um recurso do Cloud Storage que permite realizar operações em bilhões de objetos sem servidor. Com as operações em lote de armazenamento, é possível automatizar operações de API em grande escala em bilhões de objetos, reduzindo o tempo de desenvolvimento necessário para escrever e manter scripts para cada solicitação.

Para saber como criar jobs de operações em lote de armazenamento, consulte Criar e gerenciar jobs de operações em lote de armazenamento.

Visão geral

As operações em lote de armazenamento permitem executar uma de cinco transformações em vários objetos de uma só vez: colocar uma retenção de objeto, excluir um objeto, atualizar metadados de objeto, regravar objetos e atualizar contextos personalizados de objeto. Para usar as operações em lote de armazenamento, crie uma configuração de job que defina quais transformações serão aplicadas a quais objetos.

A criação de uma operação em lote retorna uma operação de longa duração (LRO, na sigla em inglês) que indica o status da solicitação: se a transformação foi aplicada a todos os objetos especificados na solicitação.

Benefícios

  • Escalabilidade: realize transformações em milhões de objetos com um único job de operações em lote de armazenamento.
  • Execução sem servidor: execute jobs em lote em um ambiente sem servidor, eliminando a necessidade de gerenciar a infraestrutura.
  • Automação: automatize tarefas complexas e repetitivas, melhorando a eficiência operacional.
  • Tempo de desenvolvimento reduzido: evite escrever e manter scripts personalizados complexos.
  • Desempenho: conclua operações sensíveis ao tempo dentro do período necessário. Com vários jobs em lote sendo executados simultaneamente em um bucket, é possível processar até um bilhão de objetos em três horas.
  • Novas tentativas automáticas: novas tentativas automáticas para operações com falha.
  • Monitoramento de jobs: acompanhamento detalhado do progresso para monitorar o status e a conclusão de todos os jobs.

Casos de uso

Quando usadas com conjuntos de dados do Storage Insights, as operações em lote de armazenamento permitem realizar as seguintes tarefas:

  • Gerenciamento da segurança:

    • Defina chaves de criptografia em vários objetos usando o método de objeto de regravação.
    • Aplique ou remova retenções de objetos para controlar a imutabilidade deles.

  • Compliance:

    • Use retenções de objetos para atender aos requisitos de retenção de dados para compliance regulatória.
    • Defina configurações de retenção de objetos para gerenciar ciclos de vida de dados e políticas de compliance.
    • Exclua dados entre períodos específicos para atender aos requisitos de compliance de exclusão.

  • Transformação de dados: realize atualizações em massa nos metadados de objetos.

  • Otimização de custos: exclua objetos em massa em buckets do Cloud Storage para reduzir os custos de armazenamento.

Configurações de job

Para criar um job de operações em lote de armazenamento, é necessário definir as seguintes configurações de job. As configurações de job são parâmetros que controlam como o job é definido para diferentes requisitos de processamento.

  • Nome do job: um nome exclusivo para identificar o job de operações em lote de armazenamento. Ele é usado para rastrear, monitorar e referenciar o job. Os nomes de jobs são alfanuméricos, por exemplo, job-01.

  • Descrição do job (opcional): uma breve descrição da finalidade do job. Isso ajuda a entender e documentar os detalhes do job. Por exemplo, Deletes all objects in a bucket.

  • Nome do bucket: o nome do bucket de armazenamento que contém os objetos a serem processados. Isso é essencial para localizar os dados de entrada. Por exemplo, my-bucket. Só é possível especificar um nome de bucket para um job.

  • Seleção de objetos: os critérios de seleção que definem quais objetos processar. É possível especificar os critérios usando uma das seguintes opções:

    • Manifesto: crie um manifesto e especifique o local dele ao criar o job de operações em lote de armazenamento. O manifesto é um arquivo CSV enviado para Cloud de Confianceque contém um objeto ou uma lista de objetos que você quer processar. Cada linha no manifesto precisa incluir o bucket e o name do objeto. Opcionalmente, é possível especificar a generation do objeto. Se você não especificar a generation, a versão atual do objeto será usada.

      O arquivo precisa incluir uma linha de cabeçalho no seguinte formato:

      bucket,name,generation

      Confira a seguir um exemplo do manifesto:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Também é possível criar um manifesto usando conjuntos de dados do Storage Insights. Para mais detalhes, consulte Criar um manifesto usando conjuntos de dados do Storage Insights.

    • Prefixos de objeto: especifique uma lista de prefixos para filtrar objetos no bucket. Somente objetos com esses prefixos são processados. Se estiver vazio, todos os objetos no bucket serão processados.

  • Tipo de serviço:as operações em lote de armazenamento oferecem suporte aos seguintes tipos de serviço, executando um único job por operação em lote.

    • Exclusão de objetos: é possível excluir objetos em um bucket. Isso é fundamental para a otimização de custos, o gerenciamento do ciclo de vida dos dados e a compliance com as políticas de exclusão de dados.

    • Atualizações de metadados: é possível modificar os seguintes metadados de objetos:

      • Metadados personalizados: é possível atualizar qualquer par de chave-valor definido pelo usuário associado ao objeto.

      • Metadados fixos: é possível atualizar Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time, e Retention configuration. Para modificar retenções de objetos, use o tipo de serviço de atualizações de retenção de objetos.

    • Atualizações de retenção de objetos: é possível ativar ou desativar retenções de objetos. As retenções de objetos impedem que os objetos sejam excluídos ou modificados, o que é essencial para fins de compliance e retenção de dados.

    • Atualizações de chaves de criptografia de objetos: é possível gerenciar as chaves de criptografia gerenciadas pelo cliente para um ou mais objetos. Isso inclui aplicar ou alterar chaves de criptografia usando o método de objeto de regravação.

    • Atualizações de contexto de objetos: é possível gerenciar os contextos de objetos associados aos seus objetos. É possível limpar todos os contextos de objetos atuais ou fazer atualizações específicas, como remover chaves ou inserir e atualizar pares de chave-valor.

  • Modo de teste (opcional): é possível criar um job de operações em lote de armazenamento no modo de teste para entender o escopo e o resultado da operação sem fazer alterações nos objetos. Uma simulação simula a operação, mas não realiza transformações, ajudando a validar a configuração do job antes de executar o job real. O resultado da simulação fornece as seguintes informações:

    • O número de objetos que serão afetados.

    • Quaisquer erros que possam ocorrer.

    • Se você usar prefixos de objetos para a seleção de objetos, a saída também incluirá o tamanho total dos objetos que serão afetados.

Preços

Para estimar os custos de operação para executar um job de operações em lote de armazenamento, e verificar os custos de listagem de objetos para uma simulação, consulte Preços do Cloud Storage.

Uma simulação ajuda a validar a configuração do job de operações em lote de armazenamento com antecedência, sem incorrer em custos de operação reais, embora possa incorrer em custos de listagem de objetos.

Limitações

As operações em lote de armazenamento têm as seguintes limitações:

  • Os jobs de operações em lote de armazenamento têm um tempo máximo de vida útil de 14 dias. Qualquer job em andamento que não seja concluído em 14 dias após a criação será cancelado automaticamente.

  • Ao especificar prefixos de objetos para um job, é possível incluir no máximo 1.000 prefixos.

  • Não recomendamos executar mais de 20 jobs de operações em lote simultâneos no mesmo bucket.

  • As operações em lote de armazenamento não são compatíveis com buckets que têm o recurso Pagamentos do solicitante ativado.

A seguir