I modelli di AI generativa come Gemini richiedono solide misure di sicurezza per mitigare i rischi, ad esempio la generazione di contenuti dannosi, la divulgazione di informazioni sensibili o l'uso improprio. Gemini Enterprise Agent Platform fornisce una suite di strumenti e pratiche per implementare la sicurezza olistica per i tuoi modelli Gemini.
Potenziali rischi per la sicurezza e strategie di mitigazione
Quando esegui il deployment dei modelli Gemini, è fondamentale identificare e mitigare vari potenziali rischi. Un approccio proattivo alla comprensione di questi rischi consente un'implementazione più efficace delle misure di sicurezza. Un approccio alla sicurezza a più livelli è fondamentale, in quanto può mitigare o prevenire:
- Rischi dei contenuti: possono includere contenuti dannosi, linguaggio volgare e sessualizzazione, contenuti violenti e cruenti.
- Rischi per la sicurezza del brand:i contenuti generati potrebbero non essere in linea con il tono o i valori del tuo brand, potrebbero promuovere concorrenti o prodotti inappropriati o generare contenuti che possono causare danni alla reputazione.
- Rischi di allineamento: i contenuti generati potrebbero essere non pertinenti o imprecisi.
- Rischi per la sicurezza e la privacy:i contenuti generati potrebbero divulgare dati o prompt di addestramento sensibili oppure utenti ostili potrebbero tentare di forzare il modello a ignorare i protocolli di sicurezza o a comportarsi in modo imprevisto.
I nostri modelli implementati offrono varie funzionalità per risolvere questi potenziali problemi:
- Il modello predefinito e i filtri non configurabili forniscono una rete di sicurezza generale.
- Le istruzioni di sistema forniscono indicazioni dirette al modello sul comportamento e sugli argomenti da evitare.
- I filtri dei contenuti ti consentono di impostare soglie specifiche per i tipi di danni comuni.
- Gemini come filtro offre un checkpoint avanzato e personalizzabile per problemi di sicurezza complessi o sfumati che potrebbero sfuggire ai livelli precedenti o richiedere una valutazione più sensibile al contesto.
- Sensitive Data Protection affronta in modo specifico il rischio critico di fuga di dati sensibili, nel caso in cui il modello abbia accesso a dati sensibili. Consente inoltre di creare elenchi di blocco personalizzati.
- Model Armor offre protezione di livello aziendale contro prompt injection e jailbreak, danni ai contenuti, esposizione di dati sensibili e rilevamento di malware.
- Content Credentials aggiunge metadati C2PA firmati crittograficamente alle immagini generate utilizzando il modello Gemini 3 Pro Image, indicando che sono create con l'AI e fornendo una cronologia verificabile della loro origine.
Strumenti di sicurezza disponibili in Agent Platform per Gemini
Agent Platform offre diversi strumenti per gestire la sicurezza dei tuoi modelli Gemini. Comprendere il funzionamento di ciascuna, le relative considerazioni e i casi d'uso ideali ti aiuterà a creare una soluzione di sicurezza personalizzata.
| Approccio | Come funziona | Protezione fornita | Rischi | Quando utilizzarlo |
|---|---|---|---|---|
| Impostazioni predefinite: Gemini + filtri non configurabili | I modelli Gemini sono progettati intrinsecamente con la sicurezza e l'equità in mente, anche quando si trovano di fronte a prompt malevoli. Google ha investito in valutazioni complete della sicurezza, anche per quanto riguarda i pregiudizi e la tossicità. Le impostazioni predefinite includono un livello di protezione indipendente progettato per impedire la generazione di contenuti correlati a materiale pedopornografico o contenuti protetti da copyright (recitazione). | Protezione di base contro il materiale pedopornografico e il copyright (recitazione) | La sicurezza predefinita di Gemini potrebbe non soddisfare le esigenze della tua organizzazione. Il modello può avere allucinazioni o non seguire le istruzioni. Gli aggressori motivati potrebbero comunque riuscire a eseguire jailbreak e prompt injection | Workflows in cui non è previsto alcun input dannoso |
| Filtri configurabili |
I filtri dei contenuti predefiniti di Gemini forniscono una protezione aggiuntiva contro
varie categorie di contenuti dannosi, come contenuti di natura sessuale, che incitano all'odio, che includono molestie o
pericolosi. Puoi configurare le soglie di blocco per ogni categoria di contenuti dannosi
(ad es. BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE,
BLOCK_ONLY_HIGH) in base alla probabilità e/o alla gravità dei contenuti dannosi. Si tratta di un livello indipendente dal modello, quindi sono resistenti
al jailbreaking.
|
Protezione dalle violazioni per le categorie predefinite, sensibilità regolabile | Non offre una personalizzazione granulare oltre alle impostazioni delle soglie per le categorie predefinite. Potrebbe occasionalmente bloccare contenuti innocui (falsi positivi) o non rilevare alcuni contenuti dannosi (falsi negativi). Disponibile solo per il filtraggio delle risposte, non per il filtraggio dei prompt. | Fornire un livello di sicurezza di base per le applicazioni o gli agenti rivolti agli utenti. Se il tuo obiettivo è garantire la sicurezza dei contenuti e del brand, i filtri dei contenuti devono essere abbinati alle istruzioni di sistema. |
| Istruzioni di sistema | Puoi fornire al modello istruzioni sulle linee guida per la sicurezza del brand e dei contenuti tramite istruzioni di sistema o preamboli. Ad esempio, puoi dire al modello di "non rispondere a domande relative alla politica" o di rispettare linee guida specifiche per la voce e il tono del brand. Le istruzioni di sistema guidano direttamente il comportamento del modello. | Personalizzabile per la sicurezza dei contenuti/del brand, può essere molto efficace. | Il modello può avere allucinazioni o non seguire le istruzioni. Gli aggressori motivati potrebbero comunque riuscire a eseguire jailbreak e prompt injection | Applicazioni o agenti che richiedono il rispetto di linee guida specifiche del brand o di norme sui contenuti più dettagliate. Se il tuo obiettivo è garantire la sicurezza dei contenuti e del brand, le istruzioni di sistema devono essere abbinate ai filtri dei contenuti. |
| Sensitive Data Protection per le liste di blocco personalizzate |
L'API DLP può ispezionare il testo per identificare e classificare le informazioni sensibili
in base a un'ampia gamma di rilevatori di infoType predefiniti e personalizzati.
Una volta identificato, può applicare tecniche di anonimizzazione come oscuramento,
mascheramento o tokenizzazione. L'API DLP può essere utilizzata anche per bloccare
le parole chiave.
Protezione dell'input:prima di inviare prompt o dati utente a Gemini, puoi passare il testo tramite l'API DLP per oscurare o mascherare qualsiasinformazioni sensibilile. In questo modo, i dati sensibili non vengono elaborati o registrati dal modello. Protezione dell'output: se esiste il rischio che Gemini possa generare o rivelare inavvertitamente informazioni sensibili (ad es. se riassume documenti di origine contenenti PII), l'output del modello può essere analizzato dall'API DLP prima di essere inviato all'utente. |
Filtro efficace per volgarità o parole personalizzate. Filtro efficace per i dati sensibili. | Aggiunge latenza. Può portare a un blocco eccessivo. | Sensitive Data Protection per gli agenti che hanno accesso ai dati sensibili. |
| Model Armor | Model Armor è un servizio Cloud de Confiance by S3NS progettato per migliorare la sicurezza delle tue applicazioni di AI. Funziona analizzando in modo proattivo i prompt e le risposte degli LLM, proteggendo da vari rischi e garantendo pratiche di AI responsabile. Che tu stia implementando l'AI in Cloud de Confiance by S3NS o in altri provider cloud, Model Armor può aiutarti a prevenire input dannosi, verificare la sicurezza dei contenuti, proteggere i dati sensibili, mantenere la conformità e applicare le tue norme di sicurezza dell'AI in modo coerente nelle tue applicazioni AI. | Filtro di prompt injection e jailbreaking, filtri dei contenuti, protezione dei dati sensibili, rilevamento di malware e navigazione sicura. | Costo e latenza. | Offerta a pagamento per i clienti con esigenze aziendali. |
| Gemini come filtro | Puoi utilizzare Gemini per filtrare prompt e risposte per il tuo agente o la tua app. Ciò comporta l'esecuzione di una seconda chiamata a un modello Gemini veloce ed economico (come Gemini Flash o Flash-Lite) per valutare se l'input di un utente o di uno strumento o l'output del tuo modello Gemini principale è sicuro. Al modello di filtro vengono fornite istruzioni per decidere se i contenuti sono sicuri o non sicuri in base alle policy definite, tra cui sicurezza dei contenuti, sicurezza del brand e disallineamento dell'agente. Offre una protezione solida e altamente personalizzabile contro violazioni della sicurezza dei contenuti, problemi di sicurezza del brand, deriva del modello e allucinazioni e può analizzare testo, immagini, video e audio per una comprensione olistica. | Altamente robusto e personalizzabile per la sicurezza di contenuti/brand, deriva, allucinazione; comprensione multimodale. | Costi e latenza aggiuntivi. Possibilità di falsi negativi estremamente rari. | Fornisci un livello di sicurezza personalizzato per le applicazioni o gli agenti rivolti agli utenti. |
| Approccio combinato: filtri configurabili + istruzioni di sistema + Sensitive Data Protection + Gemini come filtro | Combina più livelli di protezione: oscuramento dei dati di input e output con Sensitive Data Protection, istruzioni di sistema per le linee guida relative a brand e argomenti, filtri di sicurezza configurabili per danni predefiniti e ispezione secondaria utilizzando Gemini come filtro. | Altamente robusto e personalizzabile per la sicurezza di contenuti/brand, deriva, allucinazione; comprensione multimodale. | Costi e latenza aggiuntivi. | Fornisci un solido livello di sicurezza per le applicazioni o gli agenti rivolti agli utenti, soprattutto nei casi in cui è previsto un uso ostile e dannoso. |
| Content Credentials C2PA | Per i modelli supportati, Gemini Enterprise Agent Platform aggiunge automaticamente Content Credentials firmate crittograficamente alle immagini generate, indicando che sono generate con l'AI e fornendo una cronologia verificabile della loro origine in base allo standard C2PA. Per saperne di più, consulta Credenziali dei contenuti. | Trasparenza sull'origine dei contenuti; aiuta gli utenti a identificare le immagini generate dall'AI. | L'utilizzo di strumenti non conformi può compromettere l'autenticità dei file; non garantisce l'affidabilità dell'origine multimediale. | Casi d'uso di generazione di contenuti multimediali, in cui la trasparenza sull'origine e sulla cronologia del file è importante per la fiducia degli utenti. |
Valutazione continua della sicurezza
La valutazione continua della sicurezza è fondamentale per i sistemi di AI. Il panorama dell'AI e i metodi di utilizzo improprio sono in continua evoluzione, il che rende queste valutazioni essenziali.
Le valutazioni regolari offrono diversi vantaggi principali. Ti aiutano a identificare le vulnerabilità, valutare l'efficacia della mitigazione, adattarti ai rischi in evoluzione, garantire l'allineamento a policy e valori, creare fiducia e mantenere la conformità.
Per ottenere questi vantaggi, puoi eseguire vari tipi di valutazioni:
- Valutazioni dello sviluppo
- Valutazioni dell'affidabilità
- Red teaming
- Valutazioni esterne
- Test di benchmark
L'ambito della tua valutazione deve coprire diverse aree critiche:
- Sicurezza dei contenuti
- Sicurezza del brand
- Pertinenza
- Bias ed equità
- Veridicità
- Robustezza agli attacchi avversari
Strumenti come Gen AI evaluation service di Agent Platform possono aiutarti in questi sforzi. Ricorda che i miglioramenti iterativi, basati sui risultati della valutazione, sono essenziali per lo sviluppo di un'AI responsabile.
Passaggi successivi
Norme
Scopri come gli amministratori della sicurezza possono definire, applicare e gestire le norme che regolano le interazioni degli agenti.
Valuta i tuoi agenti
Crea e implementa un agente di base e utilizza Gen AI evaluation service per valutarlo