Leituras e downloads de objetos

Nesta página, discutimos conceitos relacionados à leitura e ao download de objetos no Cloud Storage.

Como ler objetos

Ler um objeto se refere a transmitir, consumir ou inspecionar dados de objetos ou um intervalo de bytes específico em uma conexão de rede aberta diretamente na memória. Em vez de ser salvo localmente, o payload recuperado é temporário e fica em um fluxo de memória, buffer, pipeline ou diretamente na memória da CPU/GPU. A leitura de objetos é adequada para cargas de trabalho de alto desempenho e com uso intenso de capacidade de processamento, como streaming de conjuntos de dados de treinamento e lotes de tensores em frameworks de inteligência artificial (IA) e machine learning (ML), como Pytorch ou Jax.

A lista a seguir descreve os tipos de leituras de objetos disponíveis no Cloud Storage:

• Leitura de objetos na memória ou leituras interativas de objetos: um método em que os dados são consumidos de forma interativa ou na memória. O cliente recupera o objeto inteiro e carrega todos os bytes dele em uma variável contígua, matriz de bytes ou string na memória.

• Leituras de streaming: um método em que os dados são consumidos como um stream de bytes diretamente à medida que são recebidos da rede, em vez de esperar a conclusão de toda a transferência.

Como fazer download de objetos

O download de um objeto é uma tarefa de ponta a ponta que transfere dados do Cloud Storage para um arquivo permanente em um sistema de arquivos local, disco ou dispositivo de armazenamento de destino. Ao contrário das leituras de streaming na memória, o download abrange a busca dos bytes remotos e a confirmação deles no armazenamento local. O download de objetos é mais adequado para gerenciamento de arquivos de uso geral, arquivamento local, backup de dados e uso de utilitários off-line.

Ao usar APIs REST, os downloads são realizados com solicitações GET HTTP ou HTTPS que podem incluir um cabeçalho Range opcional, que define uma parte específica do objeto para download no armazenamento persistente ou local. Você também pode usar o cabeçalho Range para retomar downloads interrompidos. Ao usar gRPC, os downloads usam fluxos storage.v2.Storage/ReadObject ou BidiReadObject.

A lista a seguir descreve os tipos de downloads de objetos disponíveis no Cloud Storage:

• Downloads simples: a forma mais básica de download de objetos. O cliente envia uma única solicitação para recuperar o objeto inteiro ou um intervalo de bytes especificado em uma transferência contínua.

• Downloads de objetos divididos: uma estratégia de alta performance em que um único objeto grande é dividido em várias "fatias" menores (também conhecidas como "pedaços"). O cliente baixa essas partes em paralelo usando várias solicitações independentes e simultâneas e depois as reassembla localmente em um único arquivo.

Suporte de ferramentas para leitura e download de objetos

A seguir

• Torne seus dados acessíveis publicamente.
• Saiba como os checksums são usados para downloads de objetos.
• Saiba mais sobre uploads de objetos.
• Veja e edite os metadados do objeto.
• Transferir objetos da instância do Compute Engine.