La fonctionnalité Comparer vous permet de voir comment la sortie du modèle change si vous utilisez d'autres requêtes, modèles ou paramètres. Vous pouvez afficher chaque requête et sa réponse côte à côte pour les comparer et les analyser de différentes manières :
- Avec une nouvelle requête.
- Avec une autre requête enregistrée.
- Avec une vérité terrain.
Avant de commencer
Pour accéder à la fonctionnalité Comparer, procédez comme suit :
Dans la Cloud de Confiance console, accédez à la page Créer une requête.
Sélectionnez Comparer. La page Comparer s'affiche.
Créer une requête dans la fonctionnalité Comparer
Sur la page Comparer, vous pouvez créer une requête avant d'en sélectionner une autre pour comparer les résultats.
Pour créer une requête, procédez comme suit :
Dans le champ Nouvelle requête, saisissez votre requête.
Cliquez sur Envoyer des requêtes. La réponse du modèle s'affiche sous le texte de la requête que vous avez saisie.
Cliquez sur Enregistrer en tant que nouvelle vue. Une boîte de dialogue Enregistrer la requête s'affiche.
Saisissez le nom de votre nouvelle requête dans le champ Nom de la requête.
Sélectionnez votre région dans le champ Région ou conservez la région par défaut.
Si une clé de chiffrement gérée par le client (CMEK) s'applique, procédez comme suit :
- Cochez la case Clé de chiffrement gérée par le client (CMEK).
- Sélectionnez une clé dans le champ Sélectionner une clé Cloud KMS.
Cliquez sur Enregistrer pour enregistrer votre requête dans la liste des requêtes à utiliser sur la page Comparer une requête enregistrée.
Cliquez sur Envoyer des requêtes pour comparer les requêtes et leurs réponses.
Vous pouvez mettre à jour vos requêtes et enregistrer les versions mises à jour en tant que nouvelles requêtes.
Comparer avec une nouvelle requête
Pour comparer votre requête enregistrée avec une nouvelle requête, procédez comme suit :
- Cliquez sur Comparer une nouvelle requête. Un volet Comparer s'affiche.
- Facultatif : Cliquez sur Changer de modèle pour utiliser un modèle différent du modèle par défaut.
- Facultatif : Développez Sorties.
- Facultatif : Si vous souhaitez que le modèle génère les résultats dans un format spécifique, tel que JSON, cliquez sur le bouton d'activation Sortie structurée. Une fois que vous avez sélectionné Sortie structurée, les options d'ancrage sont désactivées, car l'ancrage n'est pas compatible avec les sorties structurées.
- Facultatif : Modifiez le Budget de réflexion en sélectionnant l'une des options suivantes :
- Automatique : le modèle ne réfléchit que lorsqu'il en a besoin. Le modèle ajuste la réflexion et l'analyse d'une situation en fonction de ce qui est nécessaire à un moment donné.
- Manuel : vous pouvez ajuster les jetons de budget de réflexion.
- Désactivé : aucune réflexion ni aucun budget ne sont utilisés.
Sorties :
- Facultatif : Développez Outils.
- Sélectionnez l'une des options suivantes :
- Ancrage : Google : ancrage avec la recherche Google ou Google Maps.
- Ancrage : Vos données : ancrage avec le moteur RAG sur Gemini Enterprise Agent Platform, Agent Search ou Elasticsearch.
- Si vous sélectionnez Ancrage : Vos données, sélectionnez la source de données que vous souhaitez utiliser.
Outils :
- Facultatif : Développez Avancé :
- Sélectionnez Région.
- Sélectionnez Paramètres des filtres de sécurité. Une boîte de dialogue s'affiche. Conservez la valeur par défaut Désactivé ou spécifiez Bloquer quelques éléments, Bloquer certains éléments ou Bloquer la plupart des éléments pour chacune des options suivantes :
- Incitation à la haine : commentaires négatifs ou offensants ciblant l'identité ou des attributs protégés.
- Contenu dangereux : encourage ou facilite l'accès à des activités, produits et services dangereux.
- Contenu à caractère sexuel explicite : contient des références à des actes sexuels ou à d'autres contenus obscènes.
- Contenu de harcèlement : commentaires malveillants, intimidants ou abusifs ciblant une autre personne.
- Cliquez sur Enregistrer pour enregistrer les paramètres et fermer la boîte de dialogue.
- Sélectionnez la température dans le champ Température. Le paramètre Température contrôle le caractère aléatoire de la sélection des jetons. Une température basse est idéale si vous attendez une réponse vraie ou correcte. Une température plus élevée peut entraîner des résultats plus diversifiés ou inattendus.
- Sélectionnez la limite de jetons de sortie dans le champ Limite de jetons de sortie. La limite de jetons de sortie détermine la quantité maximale de texte pouvant être générée à partir d'une requête. Un jeton correspond environ à quatre caractères.
- Sélectionnez le nombre maximal de réponses dans le champ Nombre maximal de réponses. Nombre maximal de réponses du modèle générées par requête. Les réponses peuvent toujours être bloquées en raison des filtres de sécurité ou d'autres règles.
- Sélectionnez une valeur dans le champ Top P. Top P modifie la façon dont le modèle sélectionne les jetons pour la sortie.
- Cliquez sur le bouton d'activation dans le champ Diffuser les réponses du modèle. Si sélectionnée, les réponses sont imprimées à mesure qu'elles sont générées.
- Saisissez une séquence d'arrêt dans le champ Ajouter une séquence d'arrêt. Appuyez sur Entrée après chaque séquence.
Avancé :
- Cliquez sur Enregistrer pour enregistrer les modifications apportées à vos paramètres.
- Cliquez sur Appliquer.
- Cliquez sur Envoyer des requêtes pour comparer les requêtes et leurs réponses.
Pour en savoir plus sur les limites de jetons pour chaque modèle, consultez Contrôler le budget de réflexion.
Comparer avec une autre requête enregistrée
Pour comparer votre requête enregistrée avec une autre requête enregistrée, procédez comme suit :
- Cliquez sur Comparer une requête enregistrée. Le volet Requête existante s'affiche.
Sélectionnez jusqu'à deux requêtes existantes à comparer.
- Sélectionnez un Nom de la requête. Si votre liste contient de nombreuses requêtes, cliquez dans le champ Filtre, puis sélectionnez la propriété selon laquelle vous souhaitez filtrer. Saisissez une valeur, puis appuyez sur Entrée.
- Cliquez sur Appliquer. La page Comparer affiche la requête que vous avez sélectionnée, ainsi que d'autres requêtes que vous avez créées ou sélectionnées pour la comparaison.
Cliquez sur Envoyer des requêtes pour comparer les requêtes et leurs réponses.
Comparer avec une vérité terrain
La vérité terrain est la réponse privilégiée pour la requête. C'est en fonction d'elle que sont évaluées toutes les autres réponses du modèle.
Pour comparer votre requête enregistrée avec une vérité terrain, procédez comme suit :
- Cliquez sur Vérité terrain. Le volet Vérité terrain s'affiche.
- Saisissez votre vérité terrain pour générer d'autres métriques d'évaluation.
- Cliquez sur Enregistrer pour enregistrer la vérité terrain.
- Cliquez sur Envoyer des requêtes pour comparer les requêtes et leurs réponses.
Les métriques d'évaluation générées lorsque vous comparez une requête avec une vérité terrain ne sont pas affectées par la région que vous sélectionnez.
Étape suivante
- Pour en savoir plus sur l'évaluation de vos modèles, consultez Présentation de Gen AI Evaluation Service.