Sicherheit (verantwortungsbewusste Anwendung von KI)

Generative KI-Modelle wie Gemini erfordern robuste Sicherheitsmaßnahmen, um Risiken wie die Generierung schädlicher Inhalte, das Lecken sensibler Informationen oder den Missbrauch zu minimieren. Die Gemini Enterprise Agent Platform bietet eine Reihe von Tools und Methoden, mit denen Sie umfassende Sicherheitsmaßnahmen für Ihre Gemini-Modelle implementieren können.

Potenzielle Sicherheitsrisiken und Strategien zur Risikominderung

Beim Bereitstellen von Gemini-Modellen ist es wichtig, verschiedene potenzielle Risiken zu identifizieren und zu minimieren. Ein proaktiver Ansatz zum Verständnis dieser Risiken ermöglicht eine effektivere Implementierung von Sicherheitsmaßnahmen. Ein mehrstufiger Sicherheitsansatz ist entscheidend, da er Folgendes verhindern oder abmildern kann:

  • Inhaltsrisiken:Dazu gehören schädliche Inhalte, vulgäre Sprache und Sexualisierung sowie drastische und blutrünstige Gewaltdarstellungen.
  • Risiken für die Markensicherheit:Generierte Inhalte stimmen möglicherweise nicht mit dem Ton oder den Werten Ihrer Marke überein, enthalten Empfehlungen für Mitbewerber oder unangemessene Produkte oder können zu Reputationsschäden führen.
  • Risiken im Zusammenhang mit der Ausrichtung:Generierte Inhalte können irrelevant oder ungenau sein.
  • Sicherheits- und Datenschutzrisiken:Bei generierten Inhalten können sensible Trainingsdaten oder Prompts offengelegt werden. Außerdem können böswillige Nutzer versuchen, das Modell dazu zu zwingen, Sicherheitsprotokolle zu umgehen oder sich auf unerwünschte Weise zu verhalten.

Unsere bereitgestellten Modelle bieten verschiedene Funktionen, um diese potenziellen Probleme zu beheben:

  • Das Standardmodell und die nicht konfigurierbaren Filter bieten ein allgemeines Sicherheitsnetz.
  • Systemanweisungen geben dem Modell direkte Anweisungen zum bevorzugten Verhalten und zu Themen, die vermieden werden sollen.
  • Mit Inhaltsfiltern können Sie bestimmte Grenzwerte für häufige Arten von Schäden festlegen.
  • Gemini als Filter bietet einen fortschrittlichen, anpassbaren Checkpoint für komplexe oder differenzierte Sicherheitsbedenken, die von den vorherigen Ebenen möglicherweise nicht erkannt werden oder eine kontextbezogene Bewertung erfordern.
  • Sensitive Data Protection (Schutz sensibler Daten) befasst sich speziell mit dem kritischen Risiko des Verlusts sensibler Daten, falls das Modell Zugriff auf sensible Daten hat. Außerdem können Sie benutzerdefinierte Blockierlisten erstellen.
  • Model Armor bietet Schutz auf Unternehmensniveau vor Prompt Injections und Jailbreaks, schädlichen Inhalten, der Offenlegung sensibler Daten und der Erkennung von Malware.
  • Content Credentials fügen kryptografisch signierte C2PA-Metadaten zu Bildern hinzu, die mit dem Gemini 3 Pro-Bildmodell generiert wurden. Diese Metadaten geben an, dass die Bilder KI-generiert sind, und bieten einen überprüfbaren Verlauf ihres Ursprungs.

Verfügbare Sicherheitstools in der Agent Platform für Gemini

Die Agent Platform bietet mehrere Tools zum Verwalten der Sicherheit Ihrer Gemini-Modelle. Wenn Sie wissen, wie die einzelnen Funktionen funktionieren, welche Aspekte zu berücksichtigen sind und in welchen Fällen sie sich am besten einsetzen lassen, können Sie eine maßgeschneiderte Sicherheitslösung entwickeln.

Ansatz Funktionsweise Schutz Risiken Geeignet für
Standardeinstellungen: Gemini + nicht konfigurierbare Filter Gemini-Modelle sind von Natur aus auf Sicherheit und Fairness ausgelegt, auch wenn sie mit schädlichen Prompts konfrontiert werden. Google hat in umfassende Sicherheitsbewertungen investiert, unter anderem in Bezug auf Bias und Toxizität. Die Standardeinstellungen umfassen eine unabhängige Schutzebene, die die Generierung von Inhalten im Zusammenhang mit Darstellungen des sexuellen Missbrauchs von Kindern oder urheberrechtlich geschützten Inhalten (Rezitation) verhindern soll. Basisschutz vor Darstellungen des sexuellen Missbrauchs von Kindern und Urheberrechtsverletzungen (Rezitation) Die Standardeinstellungen für die Sicherheit von Gemini entsprechen möglicherweise nicht den Anforderungen Ihrer Organisation. Das Modell kann halluzinieren oder Anweisungen nicht befolgen. Motivierte Angreifer können trotzdem Jailbreaks und Prompt Injections durchführen. Workflows, bei denen keine schädlichen Eingaben erwartet werden
Konfigurierbare Filter Die integrierten Inhaltsfilter von Gemini bieten zusätzlichen Schutz vor verschiedenen Kategorien schädlicher Inhalte wie sexuellen, hasserfüllten, belästigenden oder gefährlichen Inhalten. Sie können Blockierungsschwellenwerte für jede Kategorie von schädlichen Inhalten (z.B. BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE, BLOCK_ONLY_HIGH) basierend auf der Wahrscheinlichkeit und/oder dem Schweregrad der schädlichen Inhalte konfigurieren. Sie sind eine unabhängige Ebene des Modells und daher robust gegenüber Jailbreaks. Robust gegenüber Verstößen bei vordefinierten Kategorien, anpassbare Sensibilität Es gibt keine detaillierten Anpassungsmöglichkeiten über die Schwellenwerteinstellungen für vordefinierte Kategorien hinaus. Gelegentlich werden möglicherweise harmlose Inhalte blockiert (falsch-positive Ergebnisse) oder schädliche Inhalte nicht erkannt (falsch-negative Ergebnisse). Nur für das Filtern von Antworten verfügbar, nicht für das Filtern von Prompts. Sorgen Sie für ein grundlegendes Sicherheitsniveau für nutzerorientierte Anwendungen oder Agents. Wenn Sie Inhalte und Markensicherheit gewährleisten möchten, sollten Inhaltsfilter mit Systemanweisungen kombiniert werden.
Systemanweisungen Sie können dem Modell Ihre Marken- und Inhaltsrichtlinien über Systemanweisungen oder Präambeln mitteilen. Sie können dem Modell beispielsweise mitteilen, dass es keine Fragen zu politischen Themen beantworten soll oder dass es sich an bestimmte Richtlinien für Markenstimme und ‑ton halten soll. Systemanweisungen steuern das Verhalten des Modells direkt. Anpassbar für die Inhalts-/Markensicherheit, kann sehr effektiv sein. Das Modell kann halluzinieren oder Anweisungen nicht befolgen. Motivierte Angreifer können trotzdem Jailbreaks und Prompt Injections durchführen. Anwendungen oder Agents, die bestimmte Markenrichtlinien oder differenzierte Inhaltsrichtlinien einhalten müssen. Wenn Sie Inhalte und Markensicherheit gewährleisten möchten, sollten Systemanweisungen mit Inhaltsfiltern kombiniert werden.
Sensitive Data Protection für benutzerdefinierte Blockierlisten Mit der DLP API kann Text geprüft werden, um sensible Informationen anhand einer Vielzahl vordefinierter und benutzerdefinierter infoType-Detektoren zu identifizieren und zu klassifizieren. Nach der Identifizierung können De-Identifikationstechniken wie Entfernen, Maskieren oder Tokenisieren angewendet werden. Mit der DLP API können auch Keywords blockiert werden.

Schutz von Eingaben:Bevor Sie Nutzer-Prompts oder Daten an Gemini senden, können Sie den Text über die DLP API weiterleiten, um sensible Informationen unkenntlich zu machen oder zu maskieren. So wird verhindert, dass sensible Daten vom Modell verarbeitet oder protokolliert werden.

Ausgabeschutz:Wenn das Risiko besteht, dass Gemini versehentlich vertrauliche Informationen generiert oder offenlegt (z.B. wenn das Modell Quelldokumente zusammenfasst, die personenidentifizierbare Informationen enthalten), kann die Ausgabe des Modells vor dem Senden an den Nutzer von der DLP API gescannt werden.

Robuste Filterung nach anstößigen oder benutzerdefinierten Wörtern. Robuste Filterung für sensible Daten. Führt zu Latenz. Kann zu einer Überblockierung führen. Sensitive Data Protection für KI-Agenten, die Zugriff auf sensible Daten haben.
Model Armor Model Armor ist ein Cloud de Confiance by S3NS Dienst, der die Sicherheit Ihrer KI-Anwendungen verbessern soll. Dazu werden LLM-Prompts und ‑Antworten proaktiv geprüft, um vor verschiedenen Risiken zu schützen und Best Practices für eine verantwortungsbewusste Anwendung von KI zu gewährleisten. Unabhängig davon, ob Sie KI in Cloud de Confiance by S3NS oder bei anderen Cloud-Anbietern bereitstellen, kann Model Armor Ihnen helfen, schädliche Eingaben zu verhindern, die Sicherheit von Inhalten zu überprüfen, sensible Daten zu schützen, die Compliance aufrechtzuerhalten und Ihre KI-Sicherheitsrichtlinien in Ihren KI-Anwendungen einheitlich durchzusetzen. Filterung von Prompt Injection und Jailbreaking, Inhaltsfilter, Schutz sensibler Daten sowie Malware-Erkennung und Safe Browsing. Kosten und Latenz. Kostenpflichtiges Angebot für Kunden mit Unternehmensanforderungen.
Gemini als Filter Sie können Gemini verwenden, um Prompts und Antworten für Ihren Agent oder Ihre App zu filtern. Dazu ist ein zweiter Aufruf eines schnellen und kostengünstigen Gemini-Modells (z. B. Gemini Flash oder Flash-Lite) erforderlich, um zu prüfen, ob die Eingabe eines Nutzers oder Tools oder die Ausgabe Ihres primären Gemini-Modells sicher ist. Das Filtermodell erhält Anweisungen, um anhand Ihrer definierten Richtlinien zu entscheiden, ob die Inhalte sicher oder unsicher sind. Dazu gehören Richtlinien für Inhaltssicherheit, Markensicherheit und Abweichungen des Agent von den Richtlinien. Das bietet einen robusten und hochgradig anpassbaren Schutz vor Verstößen gegen die Inhaltsrichtlinien, Problemen mit der Markensicherheit, Modelldrift und Halluzinationen. Es kann Text, Bilder, Videos und Audioinhalte analysieren, um ein ganzheitliches Verständnis zu erhalten. Sehr robust und anpassbar für Inhalts-/Markensicherheit, Drift und Halluzinationen; multimodales Verständnis. Zusätzliche Kosten und Latenz. Es besteht die Möglichkeit extrem seltener falsch negativer Ergebnisse. Ein benutzerdefiniertes Sicherheitsniveau für nutzerorientierte Anwendungen oder Agents festlegen
Kombinierter Ansatz:Konfigurierbare Filter + Systemanweisungen + Sensitive Data Protection + Gemini als Filter Kombiniert mehrere Schutzebenen: Datenentfernung von Ein- und Ausgabedaten mit Sensitive Data Protection, Systemanweisungen für Marken- und Themenrichtlinien, konfigurierbare Sicherheitsfilter für vordefinierte Schäden und sekundäre Überprüfung mit Gemini als Filter. Sehr robust und anpassbar für Inhalts-/Markensicherheit, Drift und Halluzinationen; multimodales Verständnis. Zusätzliche Kosten und Latenz. Ein hohes Maß an Sicherheit für nutzerorientierte Anwendungen oder Agents bieten, insbesondere wenn mit böswilliger Nutzung zu rechnen ist.
C2PA Content Credentials Bei unterstützten Modellen fügt die Gemini Enterprise Agent Platform automatisch kryptografisch signierte Content Credentials zu generierten Bildern hinzu. So wird angegeben, dass die Bilder KI-generiert sind, und es wird ein überprüfbarer Herkunftsverlauf gemäß dem C2PA-Standard bereitgestellt. Weitere Informationen finden Sie unter Content Credentials. Transparenz über den Ursprung von Inhalten: Nutzer können KI-generierte Bilder leichter erkennen. Die Verwendung nicht konformer Tools kann die Authentizität von Dateien beeinträchtigen. Sie garantiert nicht die Vertrauenswürdigkeit der Medienquelle. Anwendungsfälle für die Mediengenerierung, bei denen Transparenz über den Ursprung und die Historie der Datei wichtig für das Vertrauen der Nutzer ist.

Kontinuierliche Sicherheitsbewertung

Die kontinuierliche Sicherheitsbewertung ist für KI-Systeme von entscheidender Bedeutung. Die KI-Landschaft und die Methoden für den Missbrauch entwickeln sich ständig weiter. Daher sind diese Bewertungen unerlässlich.

Regelmäßige Überprüfungen bieten mehrere wichtige Vorteile. Sie helfen Ihnen, Schwachstellen zu identifizieren, die Wirksamkeit von Gegenmaßnahmen zu bewerten, sich an sich entwickelnde Risiken anzupassen, die Einhaltung von Richtlinien und Werten sicherzustellen, Vertrauen aufzubauen und die Compliance aufrechtzuerhalten.

Um diese Vorteile zu nutzen, können Sie verschiedene Arten von Analysen durchführen:

  • Entwicklungsbewertungen
  • Bewertungen der Zusicherung
  • Red Teaming
  • Externe Bewertungen
  • Benchmarktests

Ihre Bewertung sollte mehrere wichtige Bereiche abdecken:

  • Inhaltssicherheit
  • Markensicherheit
  • Relevanz
  • Bias und Fairness
  • Wahrheit
  • Robustheit gegenüber feindlichen Angriffen

Tools wie der Gen AI Evaluation Service auf der Agent Platform können Sie dabei unterstützen. Denken Sie daran, dass iterative Verbesserungen auf Grundlage von Bewertungsergebnissen für eine verantwortungsbewusste KI-Entwicklung unerlässlich sind.

Nächste Schritte

Übersicht

Hier erhalten Sie einen Überblick darüber, wie Sicherheitsadministratoren Richtlinien definieren, anwenden und verwalten können, die Agenteninteraktionen regeln.

Leitfaden

Informationen zu Sicherheitskontrollen für die Google Agent Platform.

Leitfaden

Einen einfachen Agenten erstellen und bereitstellen und den Gen AI Evaluation Service verwenden, um den Agenten zu bewerten