Visão geral do Cloud Storage

O Cloud Storage permite armazenar, gerenciar e recuperar dados não estruturados com alta durabilidade e disponibilidade global. É possível usar o Cloud Storage para distribuir conteúdo da Web, armazenar conjuntos de dados para cargas de trabalho de análise e machine learning e arquivar backups para conformidade e recuperação de desastres.

Como o Cloud Storage funciona

O Cloud Storage é um serviço de armazenamento escalonável e gerenciado oferecido pelo Cloud de Confiance by S3NS que permite armazenar dados como objetos em contêineres chamados buckets.

Todos os buckets estão associados a um projeto, e é possível agrupar os projetos em uma organização. Depois de criar um projeto, é possível criar buckets e usá-los para fazer upload e download de objetos. Também é possível conceder permissões para tornar seus dados acessíveis aos principais especificados ou acessíveis a todos na Internet pública. Os recursos de diretório permitem que você use o Cloud Storage de maneira mais semelhante a um disco rígido ou armazenamento conectado à rede (NAS): as pastas permitem organizar objetos em uma estrutura de diretórios, e as pastas gerenciadas simplificam o controle de acesso aos objetos.

Cada projeto, bucket, objeto, pasta e pasta gerenciada é um recurso no Cloud de Confiance by S3NS, assim como as instâncias do Compute Engine.

A hierarquia do Cloud de Confiance by S3NS

Veja como a estrutura do Cloud Storage aplica-se a casos reais:

  • Organização: sua empresa, chamada Example Inc., cria uma organização do Cloud de Confiance by S3NS chamada exampleinc.org.

  • Projeto: a Example Inc. está desenvolvendo vários aplicativos, e cada um deles está associado a um projeto. Cada projeto tem o próprio conjunto de APIs do Cloud Storage, além de outros recursos.

  • Bucket: cada projeto pode conter vários buckets, que são contêineres para armazenar seus objetos. Por exemplo, você tem a opção de criar um bucket photos para armazenar todos os arquivos de imagem gerados pelo aplicativo da empresa e um outro bucket chamado videos. O Cloud Storage oferece diferentes classes de armazenamento e locais para seus buckets, permitindo que você escolha a durabilidade e a disponibilidade dos dados para atender às necessidades das suas cargas de trabalho.

    Os buckets servem como uma base de dados principal no ecossistema mais amplo do Cloud de Confiance by S3NS. É possível conectar seus buckets como back-ends de armazenamento para outros Cloud de Confiance by S3NS serviços, como o Hipercomputador de IA, a Vertex AI e o Google Kubernetes Engine.

  • Objeto: os buckets contêm objetos, como uma solicitação de imagem chamada puppy.png. Um objeto é um dado imutável composto de um arquivo em qualquer formato. Cada bucket pode conter essencialmente objetos individuais ilimitados.

  • Pasta: buckets com namespace hierárquico ativado podem conter pastas. As pastas permitem um sistema de arquivos real para armazenar objetos, em vez de um sistema de arquivos simulado. É possível renomear uma pasta e todos os objetos dentro dela de forma atômica em uma única operação.

  • Pasta gerenciada: cada bucket também pode conter pastas gerenciadas, que concedem ou revogam acesso adicional além do conjunto de permissões do IAM definido no bucket. As pastas gerenciadas não usam uma estrutura de árvore de diretórios verdadeira. Em vez disso, uma pasta gerenciada é uma sobreposição de recursos usada apenas para verificação de permissões.

Nomes de recursos

Cada recurso tem um nome único que o identifica, muito parecido com um nome de arquivo. Os buckets têm um nome de recurso no formato projects/_/buckets/BUCKET_NAME, em que BUCKET_NAME é o ID do bucket. Os objetos têm um nome de recurso no formato projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, em que OBJECT_NAME é o ID do objeto.

Um #NUMBER anexado ao final do nome do recurso indica uma geração específica do objeto. #0 é um identificador especial da versão mais recente do objeto. É útil adicionar o identificador #0 quando o nome do objeto termina em uma string que, de outra forma, seria interpretada como um número de geração.

Ferramentas do Cloud Storage

É possível interagir com o Cloud Storage usando as seguintes ferramentas:

  • Console doCloud de Confiance : o console do Cloud de Confiance fornece uma interface visual para você gerenciar seus dados em um navegador.

  • Google Cloud CLI: a CLI gcloud permite que você interaja com o Cloud Storage por meio de um terminal usando comandos gcloud storage.

  • Bibliotecas de cliente: com as bibliotecas de cliente do Cloud Storage, é possível gerenciar os dados usando sua linguagem favorita, incluindo C++, C#, Go, Java, Node.js, PHP, Python e Ruby.

  • APIs REST: gerencie seus dados usando a API JSON ou XML.

  • Terraform: o Terraform é uma ferramenta de infraestrutura como código (IaC, na sigla em inglês) que pode ser usada para provisionar a infraestrutura no Cloud Storage. Para mais informações, consulte Provisionar recursos com o Cloud Storage.

  • Cloud Storage FUSE: o Cloud Storage FUSE permite ativar buckets do Cloud Storage no sistema de arquivos local. Isso permite que seus aplicativos leiam ou gravem um bucket usando a semântica padrão de sistemas de arquivos.

  • Biblioteca GCSFS para Python: o GCSFS é uma biblioteca Python que fornece uma interface de sistema de arquivos Pythonic para o Cloud Storage.

Casos de uso e principais recursos

O Cloud Storage oferece repositório de objetos durável e disponível globalmente, adaptável a uma ampla variedade de cargas de trabalho corporativas, desde treinamento de inteligência artificial (IA) e machine learning (ML) de alto desempenho até arquivamento regulatório.

Armazenar e acessar dados para IA/ML e análise de dados

Acelere seus pipelines de IA/ML e insights analíticos com acesso a dados de alta capacidade de processamento e baixa latência, projetado para processamento em grande escala.

Capacidade Capacidade, produto ou recurso
Cloud Storage FUSE. Ativa buckets no sistema de arquivos local, o que permite que os aplicativos leiam ou gravem em um bucket usando a semântica padrão de sistemas de arquivos.

Para mais detalhes sobre como otimizar o desempenho, consulte Como otimizar o armazenamento para IA/ML e análise de dados.

segurança de dados e compliance

Proteja seus recursos e atenda aos padrões regulatórios globais com criptografia integrada, controles de acesso e políticas imutáveis de retenção de dados.

Camada de segurança Capacidade, produto ou recurso
Controle de acesso Aplique o acesso com privilégio mínimo e restrinja o tráfego a redes confiáveis. Os produtos e recursos incluem:
  • Identity and Access Management: autorize usuários, grupos ou contas de serviço específicos a realizar ações em recursos do Cloud Storage por meio de controles de acesso baseados em papéis.
  • Acesso uniforme no nível do bucket: unifique o controle de acesso dos recursos do Cloud Storage desativando as listas de controle de acesso (ACLs) no nível do objeto e usando exclusivamente as políticas do IAM no nível do bucket.
Criptografia de dados Criptografar dados em repouso e em trânsito. Os produtos e recursos incluem:
  • Chaves gerenciadas peloS3NS: criptografe seus dados do Cloud Storage em repouso automaticamente por padrão usando chaves do lado do servidor que pertencem e são mantidas pelo S3NS.
  • CMEK (Cloud KMS): controle as programações de rotação, as permissões de acesso e os ciclos de vida das suas chaves de criptografia para proteger os recursos do Cloud Storage.
  • CSEK: proteja seus dados em repouso do Cloud Storage fornecendo suas próprias chaves criptográficas com cada solicitação de API individual, em vez de S3NS armazenar ou recuperar o material da chave.
Retenção e imutabilidade de dados Evite a exclusão acidental e ajude a atender à conformidade de dados. Os produtos e recursos incluem:
  • Bloqueio de buckets: determine por quanto tempo os objetos nos buckets precisam permanecer retidos especificando uma política de retenção para o bucket para aplicar regras de retenção de dados regulamentares e de conformidade.
  • Retenção de objetos: controle o ciclo de vida de objetos individuais aplicando uma data e hora de retenção imutáveis a objetos específicos, impedindo que eles sejam excluídos ou substituídos até que essa duração expire.
  • Controle de versões de objetos: preserve cópias históricas dos seus dados arquivando automaticamente objetos ativos substituídos ou excluídos como versões não atuais, o que permite restaurar estados de objetos anteriores a qualquer momento.

Backup, recuperação de desastres e continuidade de negócios

Proteja sua empresa contra perda de dados, desastres e interrupções regionais com disponibilidade multirregional e replicação rápida entre regiões.

Capacidade, produto ou recurso Descrição
Birregionais e multirregionais Replique dados automaticamente em regiões do Cloud de Confiance by S3NS separadas geograficamente para ter 99,99% de disponibilidade.
Replicação turbo Replique 100% dos objetos recém-gravados entre pares birregionais em até 15 minutos.

Otimização de custo e gerenciamento do ciclo de vida dos dados

Reduza os gastos com armazenamento ao longo do ciclo de vida dos dados, combinando a frequência de acesso com níveis de armazenamento econômicos.

Classe de armazenamento, produto ou recurso Descrição
Classes de armazenamento Escolha entre Standard Storage, Nearline Storage, Coldline Storage, Archive Storage e Rapid Storage com base na frequência de acesso aos dados.
Classe automática Faça a transição automática de objetos entre classes de armazenamento com base nos padrões de acesso de objetos.
Gerenciamento do ciclo de vida de objetos Exclua ou faça a transição de objetos usando políticas personalizadas baseadas em regras.

Distribuição de conteúdo e serviços da Web

Distribua ativos digitais, downloads e arquivos de mídia globalmente com baixa latência e alta disponibilidade.

Capacidade, produto ou recurso Descrição
Cloud CDN e Cloud Load Balancing Armazene recursos estáticos em cache nos locais de borda globais do S3NSpara entrega na Web com latência ultrabaixa.
URLs assinados Fornecer acesso de leitura ou gravação por tempo limitado a objetos particulares sem exigir credenciais do S3NS .
Hospedagem de site estático Exiba recursos estáticos de HTML, CSS, JavaScript e recursos de mídia diretamente de um bucket público.

Migração de dados e ingestão orientada por eventos

Simplifique a movimentação de dados externos para o Cloud de Confiance by S3NS e acione fluxos de trabalho de processamento automatizados após o upload de objetos.

Integração Descrição
Serviço de transferência do Cloud Storage Transferência gerenciada e em grande escala de dados on-line do Amazon S3, do Armazenamento de Blobs do Microsoft Azure, de fontes HTTP ou do armazenamento local.
Transfer Appliance Dispositivos de hardware robustos que enviam até centenas de petabytes de dados off-line para o Cloud de Confiance by S3NS.
Eventarc e Pub/Sub Emita notificações de eventos em tempo real sobre criação, exclusão ou atualizações de metadados de objetos para acionar funções do Cloud Run ou serviços do Cloud Run.

Analisar e gerenciar o armazenamento de dados

Receba insights sobre os dados armazenados e gerencie-os em grande escala no ambiente do Cloud Storage.

Capacidade, produto ou recurso Descrição
Storage Intelligence Tenha visibilidade do seu ambiente de armazenamento para otimizar custos e aplicar políticas de governança de dados.
Consultor do Storage Intelligence Monitore os dados armazenados e receba descobertas úteis para ajudar a otimizar custos, melhorar o desempenho e fortalecer a segurança.
Enriquecimento de objetos (pré-lançamento) Gere metadados estruturados para imagens e documentos PDF não estruturados usando modelos de machine learning.
Conjuntos de dados do Storage Insights Consulte e analise índices dos metadados de bucket e objeto no BigQuery.
Operações em lote do Storage Realize operações em massa, como excluir objetos, atualizar metadados ou aplicar políticas de retenção em milhões ou bilhões de objetos.
Realocação de bucket Mova um bucket e os dados dele para um novo local, preservando o nome do bucket e os metadados do objeto com o mínimo de inatividade.

Guias de início rápido

Para aprender os conceitos básicos de uso do Cloud Storage, acesse os guias a seguir:

Procurando outros produtos?

Se o Cloud Storage não for a solução de armazenamento certa para você, consulte mais informações sobre os seguintes serviços de armazenamento:

A seguir