Cloud de Confiance by S3NS utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Cloud de Confiance risorsa che Cloud de Confiance il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utentiCloud de Confiance impedendo il sovraccarico dei servizi. Le quote ti aiutano inoltre a gestire le tue Cloud de Confiance risorse.
Il sistema delle quote di Cloud esegue le seguenti operazioni:
- Monitora il tuo consumo di Cloud de Confiance prodotti e servizi
- Limita il consumo di queste risorse
- Fornisce un modo per richiedere modifiche al valore della quota e automatizzare gli aggiustamenti della quota
Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.
In genere, le quote si applicano a livello di Cloud de Confiance progetto. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Cloud de Confiance , le quote vengono condivise tra tutte le applicazioni e gli indirizzi IP.
Per saperne di più, consulta la Panoramica delle quote di Cloud.
In Agent Retrieval (in precedenza Vector Search 2.0), le quote vengono applicate per proteggere il servizio, garantire una condivisione equa della capacità tra i progetti e offrire prestazioni e costi più prevedibili. Le quote vengono monitorate in modo indipendente per regione. Ad esempio, l'utilizzo in us-central non influisce sulla quota in europe-west4.
Metriche
Tutti i nomi delle metriche hanno il prefisso vectorsearch.googleapis.com/.
Quote di frequenza (richieste/min e byte/min)
Per le quote di frequenza dei dati, le quote vengono valutate al minuto e si applicano per progetto e per regione (o più regioni) e, facoltativamente, per raccolta.
Ogni chiamata API accettata incrementa il contatore di una richiesta (o N byte per le quote di byte). I contatori sono per minuto di calendario e utilizzano una valutazione a finestra scorrevole (non è previsto un ripristino forzato alle :00).
Puoi eseguire continuamente al limite senza visualizzare un effetto di "ricarica".
Quando un contatore supera il limite, le richieste aggiuntive restituiscono
RESOURCE_EXHAUSTED (HTTP 429) con reason="RATE_LIMIT_EXCEEDED" e il
nome esatto della metrica nel campo quota_metric.
Quote di frequenza del control plane
Le seguenti quote si applicano al ciclo di vita delle risorse e alle operazioni di lettura ed elenco su raccolte e indici per un determinato progetto e una determinata regione.
Ambito: per progetto, per regione
Unità: 1/min
Limiti: richieste al minuto.
| Metrica | Conteggi |
|---|---|
collection_management_requests
|
collections.createcollections.updatecollections.delete |
collection_read_requests |
collections.get |
collection_list_requests |
collections.list |
index_management_requests
|
indexes.createindexes.updateindexes.delete |
index_read_requests |
indexes.get |
index_list_requests |
indexes.list |
Richieste di operazioni a lunga esecuzione (LRO)
Le seguenti quote si applicano alle operazioni di lettura, elenco, annullamento ed eliminazione a lunga esecuzione per un determinato progetto e una determinata regione.
Ambito: per progetto, per regione
Unità: 1/min
Limiti: richieste al minuto.
| Metrica | Conteggi |
|---|---|
lro_requests
|
operations.getoperations.listoperations.canceloperations.delete |
Quote di frequenza del data plane
Le seguenti quote si applicano agli oggetti dati, alle query e al traffico di ricerca per un determinato progetto, una determinata regione e una determinata raccolta.
Nota: le quote delle richieste di ricerca (search_requests) vengono utilizzate per
la ricerca di testo e la ricerca semantica.
Ambito: per progetto, per regione, per raccolta
Unità: 1/min
Limiti: richieste al minuto, per raccolta
| Metrica | Conteggi |
|---|---|
data_object_writes
|
dataObjects.createdataObjects.updatedataObjects.delete\ Ogni oggetto dati incluso in batchCreatebatchUpdatebatchDelete |
data_object_reads |
dataObjects.get |
query_requests |
dataObjects.query (query di filtro solo metadati) |
search_requests |
dataObjects.search quando esegui una ricerca ANN densa o sparsa. |
knn_search_requests |
dataObjects.search quando esegui una ricerca KNN esaustiva. |
batch_search_requests |
dataObjects.batchSearch (una richiesta indipendentemente dalle ricerche secondarie) |
Quote di velocità effettiva del data plane
Le seguenti quote si applicano ai byte scritti al minuto per un determinato progetto, una determinata regione e una determinata raccolta.
Ambito: per progetto, per regione, per raccolta
Unità: 1/min
Limiti: richieste al minuto, per raccolta
| Metrica | Conteggi |
|---|---|
data_object_write_bytes
|
La somma dei byte di dati e vettori serializzati scritti da tutte lecreate, update, delete, batchCreate, batchUpdate, ebatchDelete chiamate per raccolte, oggetti dati e indici. |
Operazioni batch
batchCreate, batchUpdate, batchDelete dataObjects: ogni singolo oggetto dati nella richiesta viene conteggiato come una scrittura rispetto adata_object_writese contribuisce con la sua dimensione serializzata in byte adata_object_write_bytes.batchSearch dataObjects: viene conteggiata come una richiesta rispetto abatch_search_requestsindipendentemente dal numero di ricerche secondarie raggruppate. La ricerca batch fa sì che venga conteggiata anche la quota di ricerche secondarie.
Quote di allocazione (conteggio attuale)
Le quote di allocazione sono un conteggio attuale.
I contatori sono un conteggio in tempo reale delle risorse o delle operazioni in corso di proprietà del progetto.
Il conteggio aumenta alla creazione della risorsa o all'inizio dell'operazione e diminuisce all'eliminazione o al completamento dell'operazione.
Quando viene raggiunto il limite, la successiva chiamata di creazione restituisce RESOURCE_EXHAUSTED.
Elimina una risorsa esistente o attendi il completamento di un'operazione a lunga esecuzione per liberare la quota.
Quote di allocazione del control plane
Le seguenti quote si applicano al numero di risorse o operazioni in corso che un progetto può contenere per un determinato progetto e una determinata regione, tra cui:
- Raccolte
- Indici
- Operazioni di creazione, importazione ed esportazione simultanee su raccolte, oggetti dati e indici
Ambito: per progetto, per regione
Unità: 1
Limiti: conteggi assoluti (quote precise)
| Metrica | Conteggi |
|---|---|
collections |
Il numero di raccolte esistenti nel progetto/nella regione. |
indexes |
Il numero di indici (sommati in tutte le raccolte) nel progetto/nella regione. |
concurrent_index_operations |
Le operazioni a lunga esecuzione dell'indice in corso (creazione/aggiornamento/eliminazione). |
concurrent_collection_operations |
Le operazioni a lunga esecuzione della raccolta in corso (creazione/aggiornamento/eliminazione). |
concurrent_data_object_imports |
Le operazioni a lunga esecuzione dataObjects.import in corso. |
concurrent_data_object_exports |
Le operazioni a lunga esecuzione dataObjects.export in corso. |
Incorporamento automatico
L'incorporamento automatico utilizza l'API Gemini in Vertex AI (aiplatform.googleapis.com). Ogni richiesta API viene conteggiata rispetto a search_requests o data_object_writes e la chiamata di incorporamento viene conteggiata rispetto alle quote di previsione. Assicurati che entrambe le API abbiano margine.
Esempi di utilizzo
Le sezioni seguenti descrivono l'impatto dei diversi scenari di utilizzo sulle quote.
Carico di lavoro di scrittura sostenuto
Stai importando documenti (dati più un vettore denso a 768 dimensioni, circa 4 KB) in una singola raccolta in us-central1. Si applicano contemporaneamente due quote:
data_object_writes (requests per minute, per collection)
data_object_write_bytes (bytes per minute, per collection)
Sei limitato dal limite massimo che raggiungi per primo. Con oggetti di piccole dimensioni, in genere si applica la quota di frequenza delle richieste. Con oggetti di grandi dimensioni, si applica la quota di byte.
Controlla entrambe le metriche nella Cloud de Confiance consolle per sapere quale è più vicina al suo limite.
Carico di lavoro con molte ricerche
Un carico di lavoro di pubblicazione che invia query ANN a una singola raccolta utilizza search_requests. Se le query al secondo (QPS) di picco si avvicinano al limite per raccolta, richiedi un aumento o distribuisci il traffico su più raccolte nella stessa regione.
Molte piccole raccolte
Se prevedi di creare più raccolte di quanto consentito dal limite collections del tuo progetto, richiedi un aumento prima di iniziare la creazione. In caso contrario, la chiamata di creazione che supera il limite non andrà a buon fine con RESOURCE_EXHAUSTED.
Ricerca batch
Una batchSearch contenente 10 ricerche secondarie utilizza esattamente una
batch_search_requests, ma ogni ricerca secondaria viene comunque conteggiata rispetto alla rispettiva metrica per ricerca secondaria solo a livello del batch esterno.
Pianifica di conseguenza il fan-out batch.
Visualizzazione delle quote
Per visualizzare le quote:
- Apri la pagina IAM e amministrazione > Quote nella Cloud de Confiance console.
- Filtra per il servizio
Vector Search API. - Utilizza la colonna Dimensioni (ad es. località) per filtrare per regione e per raccolta per le quote del data plane.
Il limite effettivo attuale per ogni metrica viene visualizzato nella pagina Quote della Cloud de Confiance console accanto al nome della metrica, filtrato per regione e, per le quote del data plane, per raccolta.
Impostazione degli avvisi relativi alle quote
Ti consigliamo di impostare un avviso all'80% di utilizzo per le quote da cui dipende il tuo carico di lavoro. Per saperne di più, consulta Configurare gli avvisi relativi alle quote e Utilizzare le metriche delle quote nelle policy di avviso.
Errori
Una richiesta rifiutata perché ha superato una quota non viene conteggiata rispetto alla quota stessa.
Le richieste che non vanno a buon fine per altri motivi (INVALID_ARGUMENT, NOT_FOUND e così via) vengono conteggiate rispetto alla quota di frequenza perché il servizio deve comunque valutarle.
Gli errori di convalida di vector_schema vengono conteggiati. Vengono rifiutati a livello API dopo aver verificato la quota di frequenza.
Superamento delle quote
Quando una richiesta viene limitata, l'API restituisce:
gRPC: RESOURCE_EXHAUSTED (8)
HTTP: 429 Too Many Requests
Il messaggio di errore include la metrica esatta che è stata superata.
Ad esempio:
Quota exceeded for quota metric 'vectorsearch.googleapis.com/search_requests'
and limit 'SearchRequestsPerMinutePerProjectPerRegionPerCollection' of service
'vectorsearch.googleapis.com' for consumer 'project_number:123456789012'.
In questo caso, puoi richiedere un aumento della quota.
Comportamento del client consigliato
I client devono:
- Eseguire nuovi tentativi con backoff esponenziale e jitter per gli errori di limite di frequenza temporanei. Inizia con circa 1 secondo e esegui il backoff fino a circa 32 secondi.
- Non eseguire nuovi tentativi per gli errori causati dalle quote di allocazione (ad esempio,
"too many collections"). Elimina una risorsa o richiedi un aumento. - Distribuire le scritture tra raccolte o regioni se una singola raccolta raggiunge le quote
data_object_writesodata_object_write_bytes. - Eseguire il pre-riscaldamento. Se sai che un lancio supererà i limiti attuali, richiedi un aumento con almeno qualche giorno lavorativo di anticipo.
Richiesta di aumento della quota (QIR)
Per richiedere un aumento della quota:
- Apri la pagina IAM e amministrazione > Quote nella Cloud de Confiance console.
- Seleziona le righe che vuoi aumentare.
- Fai clic su Modifica quote, inserisci il nuovo valore e una breve giustificazione aziendale,
e invia. Includi:
- Il nome della metrica (ad esempio,
vectorsearch.googleapis.com/search_requests). - La regione e (per il data plane) l'ID raccolta.
- La velocità effettiva target e una breve descrizione del carico di lavoro (costante o con picchi, QPS di picco prevista, dimensione del set di dati prevista e così via).
- Il nome della metrica (ad esempio,
La richiesta viene inviata al team di Agent Retrieval per la revisione. La maggior parte degli aumenti fino a 2 volte il valore predefinito viene approvata automaticamente. Gli aumenti più consistenti potrebbero richiedere una revisione aggiuntiva.