Cloud de Confiance by S3NS utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité d'une ressourceCloud de Confiance que votre projet Cloud de Confiance peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, ils peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Ils protègent la communauté des utilisateurs deCloud de Confiance en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Cloud de Confiance .
Le système Cloud Quotas permet d'effectuer les opérations suivantes :
- Surveiller votre consommation de produits et services Cloud de Confiance
- Limiter votre consommation de ces ressources
- Demander des modifications de la valeur du quota et automatiser les ajustements de quota
Dans la plupart des cas, lorsque vous tentez d'utiliser une ressource plus que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.
Les quotas s'appliquent généralement au niveau du projet Cloud de Confiance . Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Cloud de Confiance , les quotas sont partagés entre toutes les applications et adresses IP.
Pour en savoir plus, consultez la présentation des quotas Cloud.
Dans la récupération par agent (anciennement Vector Search 2.0), des quotas sont appliqués pour protéger le service, assurer un partage équitable de la capacité entre les projets et vous offrir des performances et des coûts plus prévisibles. Les quotas sont suivis indépendamment par région. Par exemple, l'utilisation dans us-central n'affecte pas votre quota dans europe-west4.
Métriques
Tous les noms de métriques sont précédés de vectorsearch.googleapis.com/.
Quotas de débit (requêtes/min et octets/min)
Pour les quotas de débit de données, les quotas sont évalués par minute et s'appliquent par projet et par région (ou ensemble multirégional), et éventuellement par collection.
Chaque appel d'API accepté incrémente le compteur d'une requête (ou de N octets pour les quotas en octets). Les compteurs sont par minute civile et utilisent une évaluation par fenêtre glissante (aucune réinitialisation matérielle n'est effectuée à :00).
Vous pouvez exécuter la limite en continu sans voir d'effet de "recharge".
Lorsqu'un compteur dépasse sa limite, les requêtes supplémentaires renvoient RESOURCE_EXHAUSTED (HTTP 429) avec reason="RATE_LIMIT_EXCEEDED" et le nom exact de la métrique dans le champ quota_metric.
Quotas de taux du plan de contrôle
Les quotas suivants s'appliquent au cycle de vie des ressources, ainsi qu'aux opérations de lecture et de liste sur les collections et les index pour un projet et une région donnés.
Champ d'application : par projet et par région
Unité : 1/min
Limites : requêtes par minute.
| Métrique | Nombre |
|---|---|
collection_management_requests
|
collections.createcollections.updatecollections.delete |
collection_read_requests |
collections.get |
collection_list_requests |
collections.list |
index_management_requests
|
indexes.createindexes.updateindexes.delete |
index_read_requests |
indexes.get |
index_list_requests |
indexes.list |
Requêtes d'opération de longue durée (LRO)
Les quotas suivants s'appliquent aux opérations de lecture, de liste, d'annulation et de suppression de longue durée pour un projet et une région donnés.
Champ d'application : par projet et par région
Unité : 1/min
Limites : requêtes par minute.
| Métrique | Nombre |
|---|---|
lro_requests
|
operations.getoperations.listoperations.canceloperations.delete |
Quotas de débit du plan de données
Les quotas suivants s'appliquent aux objets de données, aux requêtes et au trafic de recherche pour un projet, une région et une collection donnés.
Remarque : Les quotas de requêtes de recherche (search_requests) sont utilisés pour la recherche de texte et la recherche sémantique.
Champ d'application : par projet, par région et par collection
Unité : 1/min
Limites : requêtes par minute et par collection
| Métrique | Nombre |
|---|---|
data_object_writes
|
dataObjects.createdataObjects.updatedataObjects.delete\ Chaque objet de données inclus dans batchCreatebatchUpdatebatchDelete |
data_object_reads |
dataObjects.get |
query_requests |
dataObjects.query (requêtes de filtrage des métadonnées uniquement) |
search_requests |
dataObjects.search lorsque vous exécutez un réseau ANN dense ou clairsemé. |
knn_search_requests |
dataObjects.search lors de l'exécution d'une recherche KNN exhaustive. |
batch_search_requests |
dataObjects.batchSearch (une demande, quelles que soient les sous-recherches) |
Quotas de débit du plan de données
Les quotas suivants s'appliquent aux octets écrits par minute pour un projet, une région et une collection donnés.
Champ d'application : par projet, par région et par collection
Unité : 1/min
Limites : requêtes par minute et par collection
| Métrique | Nombre |
|---|---|
data_object_write_bytes
|
Somme des octets de données et de vecteurs sérialisés écrits par tous les appels create, update, delete, batchCreate, batchUpdate et batchDelete pour les collections, les objets de données et les index. |
Opérations par lot
batchCreate, batchUpdate, batchDelete dataObjects: chaque objet de données individuel de la requête est comptabilisé comme une écriture par rapport àdata_object_writeset ajoute sa taille sérialisée en octets àdata_object_write_bytes.batchSearch dataObjects: comptabilisé comme une seule requête par rapport àbatch_search_requests, quel que soit le nombre de sous-recherches regroupées. La recherche par lot entraîne également la comptabilisation du quota de sous-recherches.
Quotas d'allocation (nombre actuel)
Les quotas d'allocation sont un nombre actuel.
Les compteurs indiquent en temps réel le nombre de ressources ou d'opérations en cours appartenant au projet.
Le nombre augmente lors de la création d'une ressource ou du début d'une opération, et diminue lors de la suppression ou de la fin d'une opération.
Lorsque la limite est atteinte, le prochain appel de création renvoie RESOURCE_EXHAUSTED.
Supprimez une ressource existante ou attendez la fin d'une LRO pour libérer du quota.
Quotas d'allocation du plan de contrôle
Les quotas suivants s'appliquent au nombre de ressources ou d'opérations en cours qu'un projet peut contenir pour un projet et une région donnés, y compris les suivants :
- Collections
- Index
- Opérations simultanées de création, d'importation et d'exportation sur les collections, les objets de données et les index
Champ d'application : par projet et par région
Unité : 1
Limites : nombres absolus (quotas précis)
| Métrique | Nombre |
|---|---|
collections |
Nombre de collections existant dans le projet/la région. |
indexes |
Nombre d'index (somme de toutes les collections) dans le projet/la région. |
concurrent_index_operations |
Les OLR d'index en cours (création, mise à jour, suppression). |
concurrent_collection_operations |
Les LRO de collection en cours (créer/mettre à jour/supprimer). |
concurrent_data_object_imports |
Opérations de longue durée dataObjects.import en cours. |
concurrent_data_object_exports |
Opérations de longue durée dataObjects.export en cours. |
Intégration automatique
L'intégration automatique utilise l'API Gemini dans Vertex AI (aiplatform.googleapis.com). Chaque requête API est décomptée des quotas search_requests ou data_object_writes , et l'appel d'intégration est décompté des quotas de prédiction. Assurez-vous que les deux API disposent d'une marge.
Exemples d'utilisation
Les sections suivantes décrivent l'impact de différents scénarios d'utilisation sur les quotas.
Charge de travail d'écriture soutenue
Vous ingérez des documents (données plus un vecteur dense de 768 dimensions, soit environ 4 Ko) dans une seule collection dans us-central1. Deux quotas s'appliquent simultanément :
data_object_writes (requests per minute, per collection)
data_object_write_bytes (bytes per minute, per collection)
Vous êtes limité par le plafond que vous atteignez en premier. Avec les petits objets, le quota de débit de requêtes est généralement contraignant. Avec les objets volumineux, le quota d'octets est contraignant.
Vérifiez les deux métriques dans la console Cloud de Confiance pour savoir laquelle est la plus proche de sa limite.
Charge de travail axée sur la recherche
Une charge de travail de diffusion qui envoie des requêtes ANN à une seule collection consomme search_requests. Si votre pic de requêtes par seconde (RPS) approche de votre limite par collection, demandez une augmentation ou répartissez le trafic sur plusieurs collections dans la même région.
Nombreuses petites collections
Si vous prévoyez de créer plus de collections que la limite de collections de votre projet ne le permet, demandez une augmentation avant de commencer à créer. Sinon, l'appel de création qui dépasse la limite échouera avec RESOURCE_EXHAUSTED.
Recherche par lot
Un batchSearch contenant 10 sous-recherches consomme exactement un
batch_search_requests, mais chaque sous-recherche est toujours comptabilisée dans sa métrique respective par sous-recherche uniquement au niveau du lot externe.
Planifiez la distribution ramifiée par lot en conséquence.
Afficher les quotas
Pour afficher vos quotas :
- Ouvrez la page IAM et administration > Quotas dans la console Cloud de Confiance .
- Filtrez les résultats pour le service
Vector Search API. - Utilisez la colonne Dimensions (par exemple, emplacement) pour filtrer les quotas du plan de données par région et par collection.
La limite effective actuelle pour chaque métrique est indiquée sur la page "Quotas" de la console Cloud de Confiance , à côté du nom de la métrique, filtrée par région et, pour les quotas du plan de données, par collection.
Configurer des alertes de quota
Nous vous recommandons de définir une alerte à 80% d'utilisation pour les quotas dont dépend votre charge de travail. Pour en savoir plus, consultez Configurer des alertes de quota et Utiliser des métriques de quota dans les règles d'alerte.
Échecs
Une requête refusée, car elle a dépassé un quota n'est pas comptabilisée dans le quota lui-même.
Les requêtes qui échouent pour d'autres raisons (INVALID_ARGUMENT, NOT_FOUND, etc.) sont comptabilisées dans le quota de débit, car le service doit toujours les évaluer.
Les vector_schema échecs de validation sont comptabilisés. Elles sont refusées au niveau de l'API après la vérification du quota de taux.
Dépassement des quotas
Lorsqu'une requête est limitée, l'API renvoie :
gRPC: RESOURCE_EXHAUSTED (8)
HTTP: 429 Too Many Requests
Le message d'erreur indique la métrique exacte qui a été dépassée.
Exemple :
Quota exceeded for quota metric 'vectorsearch.googleapis.com/search_requests'
and limit 'SearchRequestsPerMinutePerProjectPerRegionPerCollection' of service
'vectorsearch.googleapis.com' for consumer 'project_number:123456789012'.
Dans ce cas, vous pouvez demander une augmentation de quota.
Comportement client recommandé
Les clients doivent :
- Réessayez avec un intervalle exponentiel entre les tentatives et la gigue pour les erreurs de limitation du débit temporaires. Commencez par un délai d'environ une seconde, puis augmentez-le jusqu'à environ 32 secondes.
- Erreurs Not retry causées par des quotas d'allocation (par exemple,
"too many collections"). Supprimez une ressource ou demandez plutôt une augmentation. - Répartissez les écritures sur les collections ou les régions si une seule collection dépasse ses quotas
data_object_writesoudata_object_write_bytes. - Préchauffage Si vous savez qu'un lancement dépassera vos limites actuelles, demandez une augmentation au moins quelques jours ouvrés à l'avance.
Demande d'augmentation de quota (DAQ)
Pour demander une augmentation de quota :
- Ouvrez la page IAM et administration > Quotas dans la console Cloud de Confiance .
- Sélectionnez la ou les lignes que vous souhaitez augmenter.
- Cliquez sur Modifier les quotas, saisissez la nouvelle valeur et une brève justification commerciale, puis envoyez la demande. Incluez :
- Le nom de la métrique (par exemple,
vectorsearch.googleapis.com/search_requests). - La région et (pour le plan de données) l'ID de collection.
- Votre débit cible et une brève description de la charge de travail (stable ou irrégulière, RPS maximal attendu, taille de l'ensemble de données attendue, etc.).
- Le nom de la métrique (par exemple,
La demande est envoyée à l'équipe de récupération d'agents pour examen. La plupart des augmentations jusqu'à deux fois la valeur par défaut sont approuvées automatiquement. Les augmentations plus importantes peuvent nécessiter un examen supplémentaire.