Pembacaan dan download objek

Halaman ini membahas konsep yang terkait dengan membaca dan mendownload objek di Cloud Storage.

Membaca objek

Membaca objek mengacu pada streaming, penggunaan, atau pemeriksaan data objek atau rentang byte tertentu melalui koneksi jaringan terbuka langsung di memori. Payload yang diambil bersifat efemeral dan berada di aliran memori, buffer, pipeline aplikasi, atau langsung di memori CPU/GPU, bukan disimpan secara lokal. Membaca objek cocok untuk workload berperforma tinggi dan intensif throughput, seperti streaming set data pelatihan dan batch tensor ke framework Kecerdasan Buatan (AI) dan Machine Learning (ML) seperti Pytorch atau Jax.

Daftar berikut menjelaskan jenis pembacaan objek yang tersedia di Cloud Storage:

• Membaca objek ke dalam memori atau pembacaan objek interaktif: Metode saat data digunakan secara interaktif atau ke dalam memori. Klien mengambil seluruh objek dan memuat semua byte-nya ke dalam variabel yang berdekatan, array byte, atau string dalam memori.

• Pembacaan streaming: Metode yang menggunakan data sebagai aliran byte secara langsung saat diterima dari jaringan, bukan menunggu hingga seluruh transfer selesai.

Mendownload objek

Mendownload objek adalah tugas end-to-end yang mentransfer data objek dari Cloud Storage ke file persisten di sistem file lokal, disk, atau perangkat penyimpanan target. Tidak seperti pembacaan streaming dalam memori, download mencakup pengambilan byte jarak jauh dan penerapan byte tersebut ke penyimpanan lokal. Mendownload objek terutama cocok untuk pengelolaan file tujuan umum, pengarsipan lokal, pencadangan data, dan penggunaan aplikasi utilitas offline.

Saat menggunakan REST API, download dilakukan menggunakan permintaan GET HTTP atau HTTPS yang dapat menyertakan header Range opsional, yang menentukan bagian tertentu dari objek yang akan didownload ke penyimpanan persisten atau lokal. Anda juga dapat menggunakan header Range untuk melanjutkan download yang terganggu. Saat menggunakan gRPC, download menggunakan aliran storage.v2.Storage/ReadObject atau BidiReadObject.

Daftar berikut menjelaskan jenis download objek yang tersedia di Cloud Storage:

• Download sederhana: Bentuk download objek yang paling mendasar. Klien mengirim satu permintaan untuk mengambil seluruh objek atau rentang byte tertentu dalam satu transfer berkelanjutan.

• Download objek irisan: Strategi berperforma tinggi di mana satu objek besar dibagi menjadi beberapa "irisan" yang lebih kecil (juga dikenal sebagai "chunk"). Klien mendownload slice ini secara paralel menggunakan beberapa permintaan independen dan serentak, lalu menyusun kembali slice secara lokal menjadi satu file.

Dukungan alat untuk membaca dan mendownload objek

Langkah berikutnya

• Buat data Anda dapat diakses secara publik.
• Pelajari cara penggunaan checksum untuk mendownload objek.
• Pelajari upload objek.
• Lihat dan edit metadata objek.
• Transfer objek dari instance Compute Engine Anda.