Kuota Pengambilan Agen

Cloud de Confiance by S3NS menggunakan kuota untuk membantu memastikan keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah Cloud de Confiance resource yang dapat digunakan Cloud de Confiance project Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke suatu layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas penggunaCloud de Confiance dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Cloud de Confiance sendiri.

Sistem Kuota Cloud melakukan hal berikut:

• Memantau pemakaian Cloud de Confiance produk dan layanan
• Membatasi pemakaian resource tersebut
• Menyediakan cara untuk meminta perubahan pada nilai kuota dan mengotomatiskan penyesuaian kuota

Dalam sebagian besar kasus, saat Anda mencoba menggunakan resource melebihi kuota yang diizinkan, sistem akan memblokir akses ke resource tersebut, dan tugas yang Anda coba lakukan akan gagal.

Kuota umumnya berlaku di level Cloud de Confiance project. Penggunaan resource dalam satu project tidak memengaruhi kuota yang tersedia dalam project lain. Dalam project Cloud de Confiance , kuota dibagikan ke semua aplikasi dan alamat IP.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Kuota Cloud.

Di Agent Retrieval (sebelumnya Vector Search 2.0), kuota diterapkan untuk melindungi layanan, memastikan pembagian kapasitas yang adil antar-project, dan memberi Anda performa dan biaya yang lebih dapat diprediksi. Kuota dilacak secara terpisah menurut region. Misalnya, penggunaan di us-central tidak memengaruhi kuota Anda di europe-west4.

Metrik

Semua nama metrik diawali dengan vectorsearch.googleapis.com/.

Kuota kapasitas (permintaan/menit dan byte/menit)

Untuk kuota kapasitas data, kuota dievaluasi per menit dan berlaku per project dan per region (atau multi-region), dan secara opsional per Koleksi.

Setiap panggilan API yang diterima akan menambah penghitung sebesar satu permintaan (atau N byte untuk kuota byte). Penghitung adalah per menit kalender dan menggunakan evaluasi jendela geser (tidak ada reset hard pada pukul :00).

Anda dapat menjalankan pada batas secara terus-menerus tanpa melihat efek "isi ulang".

Saat penghitung melebihi batasnya, permintaan tambahan akan menampilkan RESOURCE_EXHAUSTED (HTTP 429) dengan reason="RATE_LIMIT_EXCEEDED" dan nama metrik yang tepat di kolom quota_metric.

Kuota kapasitas bidang kontrol

Kuota berikut berlaku untuk siklus proses resource, serta operasi baca dan daftar pada Koleksi dan indeks untuk project dan region tertentu.

Cakupan: per project, per region

Unit: 1/min

Batas: permintaan per menit.

Permintaan operasi yang berjalan lama (LRO)

Kuota berikut berlaku untuk operasi baca, daftar, batalkan, dan hapus yang berjalan lama untuk project dan region tertentu.

Cakupan: per project, per region

Unit: 1/min

Batas: permintaan per menit.

Kuota kapasitas bidang data

Kuota berikut berlaku untuk Objek Data, kueri, dan traffic penelusuran untuk project, region, dan koleksi tertentu.

Catatan: Kuota permintaan penelusuran (search_requests) digunakan untuk penelusuran teks dan penelusuran semantik.

Cakupan: per project, per region, per Koleksi

Unit: 1/min

Batas: permintaan per menit, per Koleksi

Kuota throughput bidang data

Kuota berikut berlaku untuk byte yang ditulis per menit untuk project, region, dan Koleksi tertentu.

Cakupan: per project, per region, per Koleksi

Unit: 1/min

Batas: permintaan per menit, per Koleksi

Operasi batch

• batchCreate, batchUpdate, batchDelete dataObjects: setiap Objek Data individual dalam permintaan dihitung sebagai satu penulisan terhadap data_object_writes dan menyumbangkan ukuran serialnya dalam byte ke data_object_write_bytes.

• batchSearch dataObjects: dihitung sebagai satu permintaan terhadap batch_search_requests terlepas dari berapa banyak sub-penelusuran yang digabungkan. Penelusuran batch menyebabkan kuota sub-penelusuran juga dihitung.

Kuota alokasi (jumlah saat ini)

Kuota alokasi adalah jumlah saat ini.

Penghitung adalah jumlah langsung resource atau operasi yang sedang berlangsung yang dimiliki oleh project.

Jumlah akan bertambah saat pembuatan resource atau operasi dimulai dan berkurang saat penghapusan atau operasi selesai.

Saat batas tercapai, panggilan pembuatan berikutnya akan menampilkan RESOURCE_EXHAUSTED. Hapus resource yang ada atau tunggu hingga LRO selesai untuk mengosongkan kuota.

Kuota alokasi bidang kontrol

Kuota berikut berlaku untuk jumlah resource atau operasi yang sedang berlangsung yang dapat dimiliki project untuk project dan region tertentu, termasuk hal berikut:

• Koleksi
• Indeks
• Operasi pembuatan, impor, dan ekspor serentak pada Koleksi, Objek Data, dan indeks

Cakupan: per project, per region

Unit: 1

Batas: jumlah absolut (kuota yang tepat)

Penyematan otomatis

Penyematan otomatis menggunakan Gemini API di Vertex AI (aiplatform.googleapis.com). Setiap permintaan API dihitung terhadap search_requests atau data_object_writes dan panggilan penyematan dihitung terhadap kuota prediksi. Pastikan kedua API memiliki ruang kosong.

Contoh Penggunaan

Bagian berikut menjelaskan pengaruh berbagai skenario penggunaan terhadap kuota.

Workload penulisan berkelanjutan

Anda memasukkan dokumen (data ditambah vektor padat 768 dimensi, sekitar 4 KB) ke dalam satu Koleksi di us-central1. Dua kuota berlaku secara bersamaan:

data_object_writes        (requests per minute, per collection)
data_object_write_bytes   (bytes per minute, per collection)

Anda dibatasi oleh batas mana pun yang Anda capai terlebih dahulu. Dengan objek kecil, kuota kapasitas permintaan biasanya mengikat. Dengan objek besar, kuota byte mengikat.

Periksa kedua metrik di Cloud de Confiance konsol untuk mengetahui metrik mana yang paling mendekati batasnya.

Workload yang sangat bergantung pada penelusuran

Workload penayangan yang mengirim kueri ANN ke satu Koleksi menggunakan search_requests. Jika kueri puncak per detik (QPS) mendekati batas per Koleksi, minta peningkatan atau distribusikan traffic ke beberapa Koleksi di region yang sama.

Banyak Koleksi kecil

Jika Anda berencana membuat lebih banyak Koleksi daripada batas collections project Anda, minta peningkatan sebelum Anda mulai membuat. Jika tidak, panggilan pembuatan yang melebihi batas akan gagal dengan RESOURCE_EXHAUSTED.

Penelusuran batch

batchSearch yang berisi 10 sub-penelusuran menggunakan tepat satu batch_search_requests, tetapi setiap sub-penelusuran tetap dihitung terhadap metrik per sub-penelusuran masing-masing hanya pada tingkat batch luar. Rencanakan fan-out batch dengan tepat.

Melihat kuota

Untuk melihat kuota Anda:

1. Buka halaman IAM & Admin > Kuota di Cloud de Confiance konsol.
2. Filter untuk layanan Vector Search API.
3. Gunakan kolom Dimensi (misalnya, lokasi) untuk memfilter menurut region dan menurut Koleksi untuk kuota bidang data.

Batas efektif saat ini untuk setiap metrik ditampilkan di halaman Kuota Cloud de Confiance konsol di samping nama metrik, difilter menurut region dan, untuk kuota bidang data, Koleksi.

Menetapkan pemberitahuan kuota

Sebaiknya tetapkan pemberitahuan pada penggunaan 80% untuk kuota yang bergantung pada workload Anda. Untuk mengetahui informasi selengkapnya, buka Menyiapkan pemberitahuan kuota dan Menggunakan metrik kuota dalam kebijakan pemberitahuan.

Kegagalan

Permintaan yang ditolak karena melebihi kuota tidak dihitung terhadap kuota itu sendiri.

Permintaan yang gagal karena alasan lain (INVALID_ARGUMENT, NOT_FOUND, dan sebagainya) dihitung terhadap kuota kapasitas karena layanan masih harus mengevaluasinya.

Kegagalan validasi vector_schema dihitung. Kegagalan tersebut ditolak di lapisan API setelah pemeriksaan kuota kapasitas dilakukan.

Melebihi kuota

Saat permintaan dibatasi, API akan menampilkan:

gRPC:   RESOURCE_EXHAUSTED (8)
HTTP:   429 Too Many Requests

Pesan error mencakup metrik yang tepat yang terlampaui.

Contoh:

Quota exceeded for quota metric 'vectorsearch.googleapis.com/search_requests'
and limit 'SearchRequestsPerMinutePerProjectPerRegionPerCollection' of service
'vectorsearch.googleapis.com' for consumer 'project_number:123456789012'.

Jika hal ini terjadi, Anda dapat meminta penambahan kuota.

Perilaku klien yang direkomendasikan

Klien harus:

• Mencoba lagi dengan backoff eksponensial dan jitter untuk error batas kapasitas sementara. Mulai dari sekitar 1 detik dan backoff hingga sekitar 32 detik.
• Tidak mencoba lagi error yang disebabkan oleh kuota alokasi (misalnya, "too many collections"). Hapus resource atau minta peningkatan.
• Menyebarkan penulisan di seluruh Koleksi atau region jika satu Koleksi menjadi hotspot kuota data_object_writes atau data_object_write_bytes.
• Melakukan pemanasan awal. Jika Anda tahu peluncuran akan melebihi batas saat ini, minta peningkatan setidaknya beberapa hari kerja sebelumnya.

Permintaan penambahan kuota (QIR)

Untuk meminta penambahan kuota:

1. Buka halaman IAM & Admin > Kuota di Cloud de Confiance konsol.
2. Pilih baris yang ingin Anda tingkatkan.
3. Klik Edit Kuota, masukkan nilai baru dan justifikasi bisnis singkat, lalu kirimkan. Sertakan:
   • Nama metrik (misalnya, vectorsearch.googleapis.com/search_requests).
   • Region dan (untuk bidang data) ID Koleksi.
   • Throughput target Anda dan deskripsi singkat workload (stabil versus lonjakan, QPS puncak yang diharapkan, ukuran set data yang diharapkan, dan sebagainya).

Permintaan akan dirutekan ke tim Agent Retrieval untuk ditinjau. Sebagian besar peningkatan hingga 2x batas default disetujui secara otomatis. Peningkatan yang lebih besar mungkin memerlukan peninjauan tambahan.

Lihat Juga

• Koleksi
• Objek Data
• Indeks
• Dokumentasi Kuota Cloud
• Menyiapkan pemberitahuan dan pemantauan kuota
• Membuat diagram dan memantau metrik kuota