Best practice per l'utilizzo delle policy di governance semantica

Una governance efficace si basa su descrizioni accurate, chiare e complete degli strumenti e dei relativi parametri. I sistemi agentici, inclusi gli agenti stessi e i livelli di governance come le policy di governance semantica, richiedono più dettagli di quelli necessari a un essere umano per comprendere l'applicabilità degli strumenti disponibili.

Ottimizzare le descrizioni degli strumenti

Utilizza descrizioni chiare degli strumenti MCP e dei parametri richiesti da questi strumenti.

  • Descrizione dello strumento insufficiente: "Cerca elementi".
  • Descrizione efficace dello strumento: "Cerca nel catalogo dei contenuti per parola chiave, membro del cast, genere o formato. Utilizza questo intent quando l'utente vuole vedere quali film o programmi TV sono disponibili. Restituisce i primi 10 elementi ordinati in base alla pertinenza."

Tieni presente i limiti per le descrizioni

Il sistema di governance semantica applica i seguenti limiti di lunghezza per le descrizioni:

Elemento Descrizione Applicabile a Limite di lunghezza
Strumento Il server MCP o un'altra entità che espone strumenti 1000 caratteri
Azione Un singolo strumento all'interno del server MCP o una chiamata di funzione disponibile per l'agente 750 caratteri
Parametro Un parametro utilizzato all'interno di una chiamata di funzione o di uno strumento 300 caratteri

Se il runtime di Semantic Governance riceve una descrizione che supera uno di questi limiti, la tronca fino al limite indicato e registra un messaggio.

Quando intervengono le norme di governance semantica

Il criterio di governance semantica funziona in modo specifico come controllo di sicurezza in fase di runtime sulle chiamate di strumenti proposte. Non intercetta, blocca o modifica il dialogo conversazionale standard tra l'utente e l'LLM dell'agente durante il brainstorming, la pianificazione o il ragionamento in più turni. Il motore delle policy intercetta e valuta le richieste solo nel momento in cui il modello propone di richiamare uno strumento per eseguire un'azione.

Scenario 1: perfezionamento conversazionale rispetto all'esecuzione dello strumento (chiamata allo strumento negata)

Considera un agente che dispone di uno strumento initiate_marketing_campaign ed è regolato dal seguente vincolo:

  • Vincolo: "Non consentire la creazione o l'avvio di campagne di marketing senza l'approvazione esplicita del gestore".
  1. Pianificazione conversazionale: un utente chiede all'agente: "Aiutami a progettare una campagna di marketing multicanale per il lancio del nostro nuovo prodotto autunnale". L'LLM conversa liberamente con l'utente in più turni, delineando strategie, creando bozze di email e perfezionando i dati demografici target. Il motore delle norme non blocca o nega questi turni perché il modello si impegna in un ragionamento conversazionale anziché proporre un'azione.
  2. Richiamo dello strumento: quando la strategia è finalizzata, l'utente dice: "Sembra tutto perfetto, avvia la campagna di marketing ora". L'LLM risponde generando una chiamata allo strumento proposta:

    initiate_marketing_campaign(campaign_name="Fall Launch", budget=50000)
    
  3. Intervento e rifiuto delle norme:l'Agent Gateway intercetta questa chiamata di strumento proposta e la indirizza al motore delle norme. Il motore dei criteri valuta l'azione in base al vincolo, determina che non esiste alcuna approvazione del gestore nella cronologia della sessione ed emette un verdetto DENY. La chiamata allo strumento viene bloccata prima dell'esecuzione e all'agente viene restituita una motivazione strutturata del rifiuto.

Scenario 2: esecuzione dello strumento conforme (chiamata dello strumento consentita)

Prendi in considerazione lo stesso agente di marketing dopo aver documentato l'autorizzazione di supervisione adeguata:

  1. Approvazione fornita: l'utente specifica: "Il mio responsabile, il vicepresidente del marketing aziendale (jordan@example.com), ha esaminato il brief e ha approvato il nostro budget di 50.000 $per la campagna di lancio autunnale. Avvialo."
  2. Chiamata dello strumento: l'LLM propone di richiamare l'azione:

    initiate_marketing_campaign(campaign_name="Fall Launch", budget=50000, approval="jordan@example.com")
    
  3. Valutazione e approvazione delle norme:il motore delle norme intercetta la chiamata allo strumento, verifica nella cronologia dei turni della conversazione che l'approvazione del gestore sia documentata ed emette un verdetto ALLOW. L'Agent Gateway inoltra la chiamata all'endpoint dello strumento sottostante, consentendo all'azione di procedere normalmente.

Esempi di vincoli efficaci

Un buon vincolo elimina l'ambiguità, specifica limiti esatti (finanziari, temporali o geografici) e utilizza un linguaggio che corrisponde agli strumenti utilizzati dall'agente.

Infrastruttura cloud IT (sicurezza e controllo dei costi)

  • Scenario:ambienti di test.
  • Strumento: provision_cloud_server (parametri: region, instance_type, duration_hours).
  • Descrizione dello strumento:invia una richiesta per eseguire il provisioning di un server cloud in una determinata regione, utilizzando un tipo di istanza specifico, da rendere persistente per un determinato periodo di tempo.
  • Vincolo effettivo: "Consenti il provisioning dei server cloud solo nelle regioni 'us-east' o 'eu-west'. Rifiuta qualsiasi richiesta di provisioning dei tipi di istanza "gpu-large" o "gpu-xlarge". Limita il parametro duration_hours a un massimo di 72 ore."
  • Perché funziona:utilizza un linguaggio in linea con la descrizione dello strumento e si riferisce in modo specifico ai parametri accettati dallo strumento.

Servizio clienti e-commerce (salvaguardie finanziarie)

  • Scenario: emissione di crediti sull'account.
  • Strumento: apply_account_credit (parametri: account_id, credit_amount, reason_category).
  • Vincolo effettivo: "Limita i crediti dell'account a un massimo di 50 $per interazione. Non applicare crediti se la categoria_motivo è'ritardo_spedizione' e la data dell'ordine originale è inferiore a 5 giorni fa."
  • Perché funziona: imposta una soglia in dollari rigorosa e la combina con una condizione logica basata su tempo e categoria.

Esempi di vincoli inefficaci

Un vincolo scadente è in genere vago, utilizza un linguaggio soggettivo o non corrisponde direttamente alle descrizioni di strumenti o parametri degli strumenti.

Infrastruttura cloud IT (soggettiva)

  • Vincolo inefficace: "Assicurati di non creare server troppo costosi. Mantieni la durata per un periodo di tempo ragionevole."
  • Perché non funziona:un LLM funziona meglio con numeri precisi (ad esempio, "limite di 50 $") che con concetti astratti come "ragionevole" o "costoso".

Assistenza clienti (terminologia non allineata)

  • Vincolo inefficace: "Non restituire denaro agli acquirenti arrabbiati al di fuori dell'orario di apertura".
  • Perché non funziona: "Give money back" non corrisponde ai parametri dello strumento (refund_amount). "Angry shoppers" è soggettivo e "orario di apertura" è indefinito senza un fuso orario.

Indicazioni sulla lingua

Quando crei vincoli, segui queste linee guida:

  • Utilizza un linguaggio umano semplice:utilizza frasi complete in senso dichiarativo o imperativo (ad esempio, "Non devi consentire…" o "Non consentire…").
  • Evita frasi deboli: evita "Penso che sia meglio se…" o "Cerca di evitare…". La formulazione è importante per LLM Judge.
  • Sii specifico: specifica i vincoli con limiti dichiarati direttamente (ad esempio, "1000 $", "dalle 8:00 alle 16:00 EST"). Utilizza una formulazione in linea con le descrizioni di strumenti e parametri.
  • Evita contraddizioni:assicurati che i vincoli relativi all'ambito dell'agente e dello strumento non siano in conflitto (ad esempio, soglie in dollari diverse).

Test dei vincoli:puoi testare i vincoli in linguaggio naturale utilizzando la modalità dry run, che valuta i criteri senza applicarli.

Passaggi successivi