Best Practices für die Sicherheit von KI-Arbeitslasten in GKE

Dieses Dokument enthält Best Practices für Plattformteams, Sicherheitstechniker und Cloud-Architekten, die KI-Arbeitslasten in Google Kubernetes Engine (GKE) bereitstellen. Mit GKE können Sie proprietäres geistiges Eigentum wie Modellgewichte schützen, den Ruf Ihrer Marke durch das Filtern von Inhalten schützen und die Einhaltung regulatorischer Anforderungen verbessern.

Implementieren Sie diese Best Practices zusätzlich zu anderen Best Practices für die Sicherheit von GKE- und KI-Arbeitslasten, z. B.:

Ihre Verantwortlichkeiten in Bezug auf die Sicherheit

Der Sicherheitsstatus Ihrer KI-Arbeitslasten hängt von verschiedenen Ebenen Ihrer Umgebung ab, z. B. von Ihrer Cloud de Confiance by S3NS Infrastruktur und den von Ihnen verwendeten Modellen. In der folgenden Tabelle werden diese Ebenen beschrieben. Außerdem wird angegeben, wer für die Sicherung der einzelnen Ebenen verantwortlich ist und welche Sicherheitsverantwortlichkeiten für die jeweilige Ebene gelten:

Ebene Beschreibung Verantwortlichkeiten
Infrastruktur Die zugrunde liegende Infrastruktur, z. B. virtuelle Maschinen (VMs), Netzwerkkomponenten und Speicherhardware, auf der Ihre KI-Arbeitslasten ausgeführt werden. Cloud de Confiance ist für die Infrastruktur verantwortlich und bietet eine solide Sicherheitsgrundlage.

Plattformadministratoren in Ihrer Organisation implementieren Einstellungen, um die Sicherheit in den folgenden Bereichen zu verbessern:

  • Schutz vor Prompt-Injection-Angriffen
  • Datenverschlüsselung
  • Nutzer- und Arbeitslastauthentifizierung und ‑autorisierung
  • Sicherheit von Ausgaben
  • Hardware- und Mandantenisolation für Mehrmandantenumgebungen
  • Ratenbegrenzung in Mehrmandanten-Umgebungen
  • Erfassung von Logs und Messwerten
Modell Das Modell, die Modellgewichte, die Trainingspipeline und die Sicherheitseigenschaften. Wenn Sie Modelle ausführen, die Sie trainiert oder feinabgestimmt haben, sind Sie für die Sicherung der Modellebene verantwortlich. Wenn Sie verwaltete Modelle von Drittanbietern (z. B. Gemini) verwenden, ist der Anbieter für die Sicherheit des Modells verantwortlich.

Auf der Modellebene ist der Modelleigentümer für die Sicherheit in den folgenden Bereichen verantwortlich:

  • Modellintegrität
  • Schutz von Modellgewichten
  • Sicherheitseigenschaften von Modellen
Anwendung Die Prompts, der Code, die Systemanweisungen und die Endnutzererfahrung. Anwendungsoperatoren und Plattformadministratoren in Ihrer Organisation sind für die Sicherheit auf der Anwendungsebene verantwortlich.

Auf der Anwendungsebene sind Anwendungsbetreiber, Entwickler und Plattformadministratoren für die Sicherheit in den folgenden Bereichen verantwortlich:

  • Schutz vor Prompt-Injection-Angriffen
  • Verarbeitung von Anwendungsdaten
  • Inhaltssicherheit auf Anwendungsebene
  • Isolation und Sandboxing von Arbeitslasten

Sie wenden Kontrollen an, um die Ebenen zu schützen, für die Sie verantwortlich sind. Die folgenden Beispiele zeigen gängige Bereitstellungstypen für GKE-Kunden und die entsprechenden Sicherheitsverantwortlichkeiten für diese Bereitstellungen:

  • Sie verwenden ein verwaltetes Modell wie Gemini: Sie wenden Kontrollen auf der Infrastruktur- und Anwendungsebene an. Auch wenn Sie ein verwaltetes Modell mit integrierten Sicherheitsfiltern verwenden, sind Sie weiterhin für die Prompt-Injection-Abwehrmechanismen verantwortlich, die zum Schutz Ihrer spezifischen Anwendungslogik erforderlich sind.
  • Sie betreiben Ihr eigenes Modell: Wenn Sie ein feinabgestimmtes Modell, ein Open-Source-Modell oder ein von Ihnen trainiertes Modell betreiben, sind Sie für die Sicherheit auf jeder Ebene verantwortlich.
  • Sie sind ein Anbieter von KI-Diensten für mehrere Mandanten: Wenn Sie KI-Dienste für Ihre eigenen Endnutzer bereitstellen, indem Sie Ihr Modell in GKE ausführen und Inferenzendpunkte für mehrere Mandanten verfügbar machen, sind Sie für zusätzliche Kontrollen verantwortlich. Zu diesen Multi-Tenant-Steuerelementen gehören die logische und physische Mandantenisolation (z. B. dedizierte Knotenpools, Namespaces und Netzwerkrichtlinien), die Ratenbegrenzung pro Mandant und die Verschlüsselung von Mandantendaten im Ruhezustand mit unterschiedlichen kundenverwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK).

Sicherheit auf Infrastrukturebene verbessern

Auf der Infrastrukturebene Cloud de Confiance und GKE bieten einen grundlegenden Sicherheitsstatus,der standardmäßig verschiedene Sicherheitskontrollen implementiert. Um die Sicherheit Ihrer Infrastruktur für KI-Arbeitslasten zu verbessern, konfigurieren Sie zusätzliche Sicherheitskontrollen basierend auf dem Typ der KI-Arbeitslasten, die Sie ausführen, und den spezifischen Sicherheitszielen, die Sie erreichen möchten. In den folgenden Abschnitten werden die Produkte und Dienste beschrieben, mit denen Sie verschiedene Komponenten Ihrer KI-Infrastruktur schützen können.

GKE-Knoten schützen

Verwenden Sie die folgenden Dienste, um sensible Daten zu schützen, z. B. Inferenz-Arbeitslasten, bei denen Prompts und Antworten verarbeitet werden, oder Trainingsarbeitslasten, bei denen auf proprietäre Modelle zugegriffen wird:

  • Vertrauliche Daten während der Nutzung mit Hardware-Attestierung verschlüsseln: Führen Sie Ihre Inferenzarbeitslasten auf Confidential Google Kubernetes Engine-Knoten aus und erweitern Sie die Verschlüsselung des Arbeitsspeichers auf Hardwareebene auf Beschleuniger wie GPUs und TPUs sowie auf AMD SEV-SNP- oder Intel TDX-CPUs. Verwenden Sie Confidential GKE Nodes für regulierte Bereitstellungen und sensible Inferenzarbeitslasten. Confidential GKE Nodes schützen Arbeitslasten nicht vor Exploits auf Anwendungsebene oder autorisierten Nutzern mit Zugriff auf Knotenebene.

    Für Anbieter, deren Kunden strenge Isolierungsanforderungen haben (z. B. Sovereign Workloads), bietet GKE Hypercluster eine kryptografische Bestätigung, dass selbst der Betreiber der zugrunde liegenden Infrastruktur,Cloud de Confiance, keine Mandantendaten prüfen kann.

  • Risiko von Knotenidentitätsdiebstahl verringern: Führen Sie Arbeitslasten auf Shielded GKE-Knoten aus, die überprüfbare Knotenintegritäts- und Identitätsbestätigungen bieten. Verwenden Sie Shielded GKE-Knoten für alle Arbeitslasttypen.

  • Verwendung statischer Anmeldedaten für Arbeitslasten vermeiden: Verwenden Sie die Workload Identity-Föderation für GKE, um über Ihren Anwendungscode auf Cloud de Confiance -Dienste zuzugreifen. Verwenden Sie dazu kurzlebige, föderierte Anmeldedaten und verhindern Sie, dass nicht essenzielle Compute Engine-Metadaten für Anwendungen verfügbar gemacht werden. Verwenden Sie die Workload Identity Federation for GKE in allen Produktionsclustern, insbesondere wenn Sie auf Daten zugreifen müssen, die sich in Diensten außerhalb des Clusters befinden.

Netzwerkeinstellungen implementieren

Mit den folgenden Funktionen und Produkten können Sie die Netzwerksicherheit für KI-Arbeitslasten verbessern:

  • Alias-IP-Adressbereiche verwenden: VPC-native Cluster verwenden Alias-IP-Adressbereiche, um Traffic zwischen Pods weiterzuleiten, anstatt statische Routen im VPC-Netzwerk zu verwenden. Verwenden Sie immer VPC-native Cluster.

  • Netzwerkzugriff auf Knoten einschränken: Verwenden Sie private Knoten, um standardmäßig Traffic zwischen Ihren Knoten und dem öffentlichen Internet zu verhindern. Für Inferenzendpunkte, die verfügbar gemacht werden müssen, sollte ein verwalteter Dienst wie Google Cloud Armor zwischen den Endpunkten und dem Internet verwendet werden.

  • Clusterinternen Traffic standardmäßig ablehnen: Verwenden Sie Kubernetes-Netzwerkrichtlinien, um Traffic zwischen Pods und Namespaces sowie ausgehenden Traffic ins Internet abzulehnen. Netzwerkverkehr nur für Anwendungen zulassen, die einen bestimmten Zugriff erfordern.

  • Edge-Schutz für Internetendpunkte hinzufügen: Mit Google Cloud Armor können Sie Inferenzendpunkte schützen, die dem Internet ausgesetzt sind. Dazu können Sie Ratenbegrenzung, DDoS-Schutz, standortbasierte Zugriffssteuerung und Layer 7-Angriffsabwehr implementieren. Wenn Sie öffentlich zugängliche KI-APIs haben, verwenden Sie Cloud Armor, um volumetrische Angriffe und Angriffe auf Anwendungsebene zu erkennen und abzuwehren, bevor sie Ihre Compute-Infrastruktur erreichen. Kombinieren Sie Cloud Armor mit privaten Knoten, um die Sicherheit von Inferenzendpunkten zu optimieren.

  • Daten-Exfiltration während eines Angriffs verhindern: Verwenden Sie VPC Service Controls, um einen Sicherheitsperimeter für Ihre Cloud de Confiance Ressourcen zu erstellen. Selbst wenn Anmeldedaten kompromittiert werden, können Angreifer keine Daten außerhalb des Perimeters abrufen. VPC Service Controls für regulierte Arbeitslasten verwenden

Identität und Zugriff verwalten

Verwenden Sie die folgenden Autorisierungsmechanismen, um Nutzer zu identifizieren und den Zugriff auf Cluster und Arbeitslasten zu steuern:

Schlüssel und Secrets verwalten

Bewahren Sie alle Ihre Verschlüsselungsschlüssel und sensiblen Daten wie API-Schlüssel und Anmeldedaten außerhalb des Clusters auf. Die folgenden Produkte können Ihnen helfen, diese Ressourcen zu speichern:

  • Verschlüsselungsschlüssel verwalten: Verwenden Sie Cloud Key Management Service, um alle Verschlüsselungsschlüssel zu verwalten. Sie können auch kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEKs) in Cloud KMS erstellen, um Daten mit Schlüsseln zu verschlüsseln, die Sie verwalten. Dies ist häufig eine Anforderung in regulierten Branchen.

  • Vertrauliche Anwendungsdaten speichern: Verwenden Sie Secret Manager, um vertrauliche Daten zu speichern, die von Arbeitslasten verwendet werden, z. B. Anwendungsgeheimnisse, API-Schlüssel und Anmeldedaten. Wenn Sie diese Daten aus Pods lesen möchten, verwenden Sie die Workload Identity-Föderation für GKE, um bestimmten Arbeitslastidentitäten nur Zugriff auf die Ressourcen zu gewähren, die die Pods benötigen.

Sicherheit der Lieferkette verbessern

Die folgenden Cloud de Confiance Dienste können Ihnen helfen, die Sicherheit in der gesamten Softwarelieferkette zu verbessern:

  • Container-Images auf Sicherheitslücken scannen: Speichern Sie Ihre Container-Images in Artifact Registry-Repositories, in denen das Scannen auf Sicherheitslücken standardmäßig aktiviert ist. Kontinuierliche CVE-Erkennung für jedes Image in Ihrer Registry aktivieren

  • Nur verifizierte Images in der Produktion zulassen: Verwenden Sie die Binärautorisierung, um die richtlinienbasierte Autorisierung von Container-Image-Signaturen zum Zeitpunkt der Bereitstellung zu erzwingen. Nur attestierte Bilder gelangen in die Produktion.

  • Sicherheitserkennung und Sicherheitsstatusverwaltung konfigurieren: Verwenden Sie Security Command Center, um KI-spezifische Ergebnisse zur Bedrohungserkennung und Sicherheitsstatusverwaltung aufzurufen, z. B. falsch konfigurierte Endpunkte der Gemini Enterprise Agent Platform oder offengelegte Trainingsdaten-Buckets. Security Command Center integriert diese KI-Ergebnisse mit Artifact Registry-Sicherheitslücken und IAM-Analysen, um einen umfassenden Überblick über Ihre Flotte zu erhalten.

  • KI-Artefakte nachverfolgen: Verwenden Sie Tools für Stücklisten, die für Kubernetes-KI-Arbeitslasten entwickelt wurden, z. B. k8s-aibom, um umfassende Inventare Ihrer Modelle, Datasets und Frameworks zu erstellen.

Sicherheit auf Modellebene verbessern

Wenn Sie Modelle ausführen, die Sie trainiert oder feinabgestimmt haben, oder Open-Source-Modelle, die Sie konfiguriert haben, sollten Sie verschiedene Einstellungen konfigurieren, um die Sicherheit des Modells zu verbessern. Wenn Sie verwaltete Modelle von Drittanbietern verwenden, ist diese Ebene nicht für Sie relevant. In den folgenden Abschnitten wird beschrieben, was Sie tun können, um die Integrität, Vertraulichkeit und Sicherheit Ihrer Modelle zu verbessern.

Modellintegrität verbessern

Verbessern Sie die Integrität Ihrer Modelle, damit Sie Manipulationen erkennen können, bevor das Modell über einen Inferenzendpunkt zugänglich ist. Die folgenden Richtlinien können Ihnen helfen, die Modellintegrität zu verbessern:

  • Modellartefakte signieren: Signieren Sie Modellgewichte kryptografisch, bevor Sie die Gewichte in Ihrer Registry veröffentlichen. Wenn Sie das Modell bereitstellen, prüfen Sie die Signatur mit Binärautorisierungs-Attestierungen. Durch das Signieren und Überprüfen Ihrer Modellartefakte können Sie feststellen, ob Modelle während der Speicherung oder Übertragung manipuliert wurden. Außerdem erhalten Sie eine überprüfbare Chain of Custody für Produktionsmodelle.
  • Modifikationen nach dem Training finden: Der Open-Source-Activation Model Scanner (AMS) erkennt Modelle, die nach dem Training modifiziert wurden (z. B. um Backdoors, Gewichtungsstörungen oder unautorisierte Feinabstimmungen hinzuzufügen). Dazu werden die Aktivierungssignaturen des Modells mit einer Baseline verglichen. Führen Sie einen Scanner wie AMS als Teil Ihrer CI/CD-Pipeline aus, bevor Sie Ihre Modelle in Produktionsregistries veröffentlichen. Planen Sie für hochwertige oder regulierte Modelle regelmäßige AMS-Scans für Produktionsartefakte, um Manipulationen zu erkennen, die nach der Erstveröffentlichung auftreten.

Vertraulichkeit von Modellen schützen

Wenn Sie sensible Modellgewichte haben, z. B. proprietäre Fine-Tuning-Modelle, Modelle, die mit regulierten Daten trainiert wurden, oder wettbewerbsfähiges geistiges Eigentum, sollten Sie die folgenden Richtlinien zum Schutz der Gewichte beachten:

  • Gewichtungen im Ruhezustand verschlüsseln: Speichern Sie Gewichtungen in verschlüsseltem Objektspeicher, z. B. in Cloud Storage-Buckets, mit eingeschränktem IAM-Zugriff. Cloud Storage verschlüsselt ruhende Kundeninhalte standardmäßig. Optional können Sie CMEKs verwenden, um die Daten mit Schlüsseln zu verschlüsseln, die Sie selbst verwalten. Dies ist häufig in regulierten Branchen erforderlich. Weitere Informationen finden Sie in der Cloud Storage-Dokumentation unter Datenverschlüsselungsoptionen.

  • Gewichtungen während der Verwendung schützen: Führen Sie Modelle auf Confidential GKE Nodes aus, um sicherzustellen, dass Gewichtungen während der Inferenz im Arbeitsspeicher verschlüsselt werden. Confidential GKE Nodes können Ihnen helfen, Ihr geistiges Eigentum vor Kompromittierung auf Hypervisor-Ebene und unbefugtem Zugriff durch den Infrastrukturbetreiber zu schützen. Confidential GKE Nodes schützt nicht vor Exploits auf Anwendungsebene oder autorisierten Nutzern mit Zugriff auf Knotenebene.

  • Gesamten Zugriff auf Gewichte steuern: Protokollieren Sie den gesamten Zugriff auf Modellartefakte im Speicher. Verwenden Sie IAM-Zugriffsrichtlinien, um den Zugriff auf bestimmte Dienstkonten und Personen mit dokumentiertem Zugriffsbedarf einzuschränken. Beschränken Sie den administrativen Zugriff auf den Cluster, einschließlich des Shell-Zugriffs auf Container, des SSH-Zugriffs auf Knoten-VMs oder des Debuggings auf Knotenebene, mithilfe von Kubernetes RBAC-Richtlinien und Chrome Enterprise Premium. Diese Maßnahmen können Ihnen helfen, Modellgewichte vor Nutzern mit Zugriff auf Knotenebene zu schützen, was nicht durch Confidential GKE Nodes abgedeckt wird.

Sicherheitseigenschaften von Modellen verbessern

Sie können während des Trainings verschiedene Sicherheitseinstellungen für Modelle implementieren. Wenn Sie Ihr eigenes Modell trainieren oder optimieren, sollten Sie in Sicherheitstraining investieren, das für den Anwendungsfall des Modells relevant ist. Zu den Sicherheitseigenschaften von Modellen gehören das Ablehnungsverhalten, das Alignment-Training und die Widerstandsfähigkeit gegen Jailbreaks. Wenn Sie ein vortrainiertes Modell verwenden, wählen Sie ein Modell mit Sicherheitseigenschaften aus, die den Anforderungen Ihrer Anwendung entsprechen.

Anwendungsentwickler und ‑betreiber können verschiedene Kontrollen auf der Anwendungsebene implementieren, um die Sicherheit in Bereichen zu verbessern, die das Modell nicht abdecken kann.

Sicherheit auf Anwendungsebene verbessern

Auf der Anwendungsebene haben Betreiber und Entwickler die größte Kontrolle über KI-spezifische Sicherheitskonfigurationen. Auf der Anwendungsebene können Sie Sicherheitskontrollen implementieren, die Daten schützen, wohlgeformte Anfragen erstellen und Prompts und Antworten schützen. Diese Steuerelemente sind in der Regel für Inferenz-Workloads nützlich, bei denen Nutzer-Prompts, Sitzungen und Antworten verarbeitet werden. In den folgenden Abschnitten werden verschiedene Kontrollen, Produkte und Dienste beschrieben, die Ihnen helfen können, bestimmte Sicherheitsziele auf der Anwendungsebene zu erreichen.

Schutz vor Bedrohungen auf der Inhaltsebene

Prüfen Sie alle Prompts und Antworten auf Sicherheitsprobleme wie Prompt Injection, Datenpannen und schädliche Inhalte. Da GKE-Knoten so konzipiert sind, dass sie keinen Zugriff auf Inhalte haben, stellen Sie Model Armor zwischen Ihrer Anwendung und dem Inferenzendpunkt bereit. Model Armor unterliegt bestimmten Grundsätzen für die Datenverarbeitung und ‑speicherung, die darauf ausgelegt sind, den Datenschutz Ihrer Daten während des Scannens zu verbessern.

Systemprompts schützen

Filtern Sie Ausgaben auf Prompt-Lecks und konfigurieren Sie die Model Armor-Erkennung von Daten-Exfiltration, um Extraktionsmuster zu erkennen. Bei sehr vertraulichen Anweisungen sollten Sie diese in einem Aufruf verarbeiten, der keinen Text an den Nutzer zurückgibt.

Sitzungen und Routing verwalten

Wenn Sie Inferenzendpunkte für Endnutzer bereitstellen, verwenden Sie das GKE Inference Gateway. Inference Gateway erweitert die Gateway API, um Traffic basierend auf Messwerten und Daten weiterzuleiten, die für KI-Inferenz-Arbeitslasten spezifisch sind. Sie können Arbeitslasten automatisch skalieren, um die Nachfrage zu decken, und sie in Model Armor und Apigee einbinden, um Inhalte zu filtern, die Sichtbarkeit auf Sitzungsebene zu verbessern und Kontingente zu erzwingen.

Sicherheit von KI-Agenten verbessern

Wenn Ihre KI-Arbeitslast ein Agent ist, benötigen Sie zusätzliche Steuerelemente auf Anwendungsebene, z. B.:

  • Zugriff auf Cloud de Confiance APIs einschränken:Verwenden Sie die Workload Identity Federation for GKE mit IAM-Zugriffsrichtlinien, um einzuschränken, auf welche APIs die Pods Ihrer Agent-Arbeitslast zugreifen können. Verwenden Sie für jeden Agent ein dediziertes Kubernetes-ServiceAccount und gewähren Sie diesem Prinzipal nur die IAM-Berechtigungen, die die Arbeitslast benötigt.
  • Codeausführung oder nicht vertrauenswürdige Tools in Sandboxes ausführen: Mit Agent Sandbox können Sie Agents ausführen, die generierten Code ausführen oder mit nicht überprüften Drittanbieter-Tools in Sandbox-Umgebungen interagieren. Agent Sandbox verwendet einen Isolierungsmechanismus wie GKE Sandbox oder Kata Containers, um vor Container-Escapes zu schützen.

Beobachtbarkeit und Incident Response konfigurieren

Sammeln Sie Protokolle und überwachen Sie verschiedene Messwerte, um potenzielle Angriffe frühzeitig zu erkennen und die Auswirkungen von Exploits zu begrenzen. In den folgenden Abschnitten finden Sie Richtlinien, die Ihnen helfen können, die Erkennung und Reaktion zu verbessern.

Logs und Messwerte erfassen

Um Bedrohungen so schnell wie möglich zu erkennen, sollten Sie so viele der folgenden Best Practices für die Beobachtbarkeit wie möglich implementieren:

  • GKE-Logs erfassen.
  • Aktivieren Sie Audit-Logs zum Datenzugriff für sensible Vorgänge wie die Verwendung von KMS-Schlüsseln.
  • Protokollieren Sie keine Inhalte von Prompts oder Vervollständigungen, es sei denn, Ihre Richtlinie erlaubt dies ausdrücklich. Wenn Sie multimodale Prompt- und Antwortdaten erheben (Vorabversion), löschen Sie die gespeicherten Daten oder schränken Sie den Zugriff darauf gemäß Ihren Sicherheitsrichtlinien ein.
  • Erfassen Sie Messwerte, die für Ihre SREs wichtig sind.
  • Konfigurieren Sie die automatische Anwendungsüberwachung für bestimmte Arten von KI-Modellservern.
  • Aggregieren Sie Protokolle in Cloud Logging oder auf Ihrer eigenen SIEM-Plattform (Security Information and Event Management).
  • Mit logbasierten Messwerten können Sie Messwerte auf Grundlage des Inhalts von Logs erstellen.

KI-spezifische Bedrohungen erkennen

Richten Sie Benachrichtigungen in Logging und Cloud Monitoring ein, um verschiedene KI-spezifische Bedrohungen zu erkennen. Die spezifischen Benachrichtigungsrichtlinien, die Sie einrichten, hängen von den Arten von Protokollen ab, die Sie erfassen, und von den Anforderungen Ihrer Organisation. Weitere Informationen zu den verfügbaren Benachrichtigungsrichtlinien finden Sie unter Vergleich der Benachrichtigungsoptionen. Konfigurieren Sie Benachrichtigungen für KI-spezifische Bedrohungen wie die folgenden:

KI-spezifische Bedrohungen und Signale
Prompt Injection Model Armor-Logs für die Bereinigung oder Ablehnung von Prompts
Systemprompt-Extraktion Model Armor und Anomalien bei Cache-Treffern
Offenlegung sensibler Daten Model Armor-Antwortlogs
Missbrauch von Inferenzkosten Tokennutzung auf Sitzungsebene aus Inference Gateway-Messwerten
Sitzungsmanipulation Geschwindigkeit neuer Sitzungen pro Mandant aus Inference Gateway-Messwerten
Modell-Fingerprinting Muster für die Funktionserkennung
Timing-Seitenkanal Architektonische Maßnahmen (Cache-Partitionierung)

Prozess zur Reaktion auf Vorfälle einrichten

Wie Sie auf verschiedene Vorfälle reagieren, hängt von Ihrer Organisationsstruktur und Ihren Sicherheitsanforderungen ab. In den folgenden Richtlinien wird beschrieben, was zu tun ist, wenn Sie bestimmte Arten von Bedrohungen für Ihre KI-Arbeitslasten erkennen:

  • Erkennung von Inhalten in Model Armor: Die Anfrage wird blockiert, das Ereignis wird dokumentiert und es wird eine Benachrichtigung eingerichtet, um Sie zu informieren, wenn die Rate einen Schwellenwert überschreitet. Richten Sie eine Ratenbegrenzung für Nutzer ein, die wiederholt gegen die Richtlinien verstoßen.

  • Inferenz-Erkennungen: Drosseln Sie Mandanten mithilfe des Inference Gateway. Sitzungen bei bestätigtem Missbrauch beenden.

  • Schichtübergreifende Korrelation:Eine Model Armor-Erkennung in Kombination mit einem Token-Missbrauchsmuster deutet auf koordinierten Missbrauch hin. Korrelationsregeln definieren und einen Konfidenzschwellenwert festlegen, ab dem das Risiko eines falsch-positiven Alerts gering ist. Automatisieren Sie das Beenden von Sitzungen, die diesen Schwellenwert überschreiten.

Sicherheit im gesamten Bereitstellungslebenszyklus implementieren

Optimieren Sie Ihre KI-Bereitstellungen für Sicherheit über den gesamten Bereitstellungslebenszyklus hinweg. Implementieren Sie in bestimmten Lebenszyklusphasen Kontrollen, die eine oder mehrere Schichten schützen. In den folgenden Abschnitten finden Sie Richtlinien für jede Phase des Lebenszyklus.

Infrastruktur bereitstellen

Implementieren Sie beim Erstellen oder Entwerfen der Infrastruktur, auf der Ihre KI-Arbeitslasten ausgeführt werden, so viele der folgenden Kontrollen wie möglich:

Kategorie
GKE-Knoten
  • Aktivieren Sie die Workload Identity-Föderation für GKE in allen Produktionsclustern.
  • Confidential GKE Nodes für sensible Inferenzarbeitslasten einrichten
  • Aktivieren Sie Shielded GKE-Knoten für alle Arbeitslasten.
Netzwerk
  • Verwenden Sie VPC-native Cluster.
  • Aktivieren Sie private Knoten.
  • Cluster-Traffic standardmäßig mit NetworkPolicies ablehnen.
  • VPC Service Controls-Perimeter für regulierte Arbeitslasten erstellen
  • Model Armor für Inferenzendpunkte bereitstellen
  • Konfigurieren Sie das Inference Gateway für Load Balancing und Sitzungsverwaltung.
Identitäts- und Zugriffsverwaltung
  • Chrome Enterprise Premium für den administrativen Zugriff durch Menschen verwenden
  • Verwenden Sie IAM-Zugriffsrichtlinien und Kubernetes RBAC zur Autorisierung.
Sensible Daten verwalten
  • Speichern Sie alle Secrets, z. B. API-Schlüssel, in Secret Manager.
  • Container-Images in Artifact Registry speichern und das Scannen auf Sicherheitslücken aktivieren
Beobachtbarkeit
  • Aktivieren Sie Security Command Center.
  • Einrichten von Logging und Monitoring
  • Richten Sie einen Incident Response-Prozess ein.

Arbeitslasten und Infrastruktur betreiben

Wenn Sie Ihre KI-Arbeitslasten bereitstellen und ein Produktionssystem ausführen, sollten Sie so viele der folgenden Kontrollen wie möglich implementieren:

Kategorie
Arbeitslastsicherheit
  • Richtlinien für Container-Images mit der Binärautorisierung erzwingen.
  • Modellartefakte bei der Bereitstellung signieren und prüfen.
  • Führen Sie AMS in der CI-Pipeline des Modells aus.
  • Validieren Sie alle strukturierten Ausgaben.
  • KI-Agenten, die Code ausführen, in Sandboxes isolieren
Netzwerk
  • Model Armor-Profile abstimmen
  • Inference Gateway-Einstellungen anpassen
Schutz sensibler Daten Verwenden Sie CMEK, um Daten mit Ihren eigenen Schlüsseln in regulierten Umgebungen zu verschlüsseln.
Beobachtbarkeit
  • Audit-Logging konfigurieren und zusammenfassen
  • KI-basierte Inventuren der Lieferkette erstellen

Bereitstellungen in großem Umfang verwalten

Wenn Ihr Unternehmen wächst, sollten Sie die folgenden Kontrollmechanismen implementieren, um die Sicherheitsverwaltung zu automatisieren:

  • Sicherheitsmechanismen auf Organisationsebene mit dem Organisationsrichtliniendienst konfigurieren
  • Richtlinien zur Zulassungszeit mit Kubernetes-Zulassungs-Webhooks erzwingen
  • Automatisieren Sie die erste Reaktion auf Erkennungen mit hoher Zuverlässigkeit.
  • Schichtübergreifende SIEM-Korrelation und Verhaltensbaselines pro Mandant einrichten.

Zusammenfassung der Best Practices

In der folgenden Tabelle sind die in diesem Dokument empfohlenen Best Practices zusammengefasst:

Thema
Sicherheit auf Infrastrukturebene verbessern GKE-Knoten schützen, Netzwerksteuerungen implementieren, Identität und Zugriff verwalten, Schlüssel und vertrauliche Daten verwalten und die Sicherheit der Lieferkette verbessern.
Sicherheit auf Modellebene verbessern Die Integrität des Modells verbessern, die Vertraulichkeit des Modells schützen und die Sicherheitseigenschaften des Modells verbessern.
Sicherheit auf Anwendungsebene verbessern Schützen Sie sich vor Bedrohungen auf Inhaltsebene, schützen Sie System-Prompts, verwalten Sie Sitzungen und Routing und verbessern Sie die Sicherheit von KI-Agenten.
Beobachtbarkeit und Incident Response konfigurieren Sammeln Sie Logs und Messwerte, erkennen Sie KI-spezifische Bedrohungen und richten Sie einen Incident Response-Prozess ein.
Sicherheit im gesamten Bereitstellungslebenszyklus implementieren Infrastruktur bereitstellen, Arbeitslasten und Infrastruktur betreiben und Bereitstellungen im großen Maßstab verwalten

Nächste Schritte