Isoler l'exécution du code d'IA avec Agent Sandbox

Ce document explique comment déployer un environnement de développement et utiliser le client Python Agent Sandbox sur un cluster Google Kubernetes Engine (GKE).

Pour obtenir une présentation de la façon dont la fonctionnalité Agent Sandbox isole le code non approuvé généré par l'IA, consultez À propos de GKE Agent Sandbox.

Coûts

Agent Sandbox est proposé sans frais supplémentaires dans GKE. Les tarifs de GKE s'appliquent aux ressources que vous créez.

Avant de commencer

  1. Dans la Cloud de Confiance console, sur la page de sélection du projet, sélectionnez ou créez un Cloud de Confiance projet.

    Rôles requis pour sélectionner ou créer un projet

    • Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
    • Créer un projet : pour créer un projet, vous avez besoin du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.

    Accéder au sélecteur de projet

  2. Vérifiez que la facturation est activée pour votre Cloud de Confiance projet.

  3. Activez les API Artifact Registry et Kubernetes Engine.

    Rôles requis pour activer les API

    Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

    Activer les API

  4. Dans la Cloud de Confiance console, activez Cloud Shell.

    Activer Cloud Shell

  5. Vérifiez que vous disposez des autorisations requises pour suivre les instructions de ce guide.
  6. Vous devez disposer d'un cluster GKE sur lequel la fonctionnalité Agent Sandbox est activée. Si vous n'en avez pas, suivez les instructions de la section Activer Agent Sandbox sur GKE pour créer un cluster ou en mettre à jour un existant.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer des bacs à sable, demandez à votre administrateur de vous attribuer le rôle IAM Administrateur Kubernetes Engine (roles/container.admin) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Définir des variables d'environnement

Pour simplifier les commandes que vous exécutez dans ce document, vous pouvez définir des variables d'environnement dans Cloud Shell. Dans Cloud Shell, définissez les variables d'environnement utiles suivantes en exécutant les commandes suivantes :

export PROJECT_ID=$(gcloud config get project)
export CLUSTER_NAME="agent-sandbox-cluster"
export LOCATION="us-central1"
export NODE_POOL_NAME="agent-sandbox-node-pool"
export MACHINE_TYPE="e2-standard-2"

Voici une explication de ces variables d'environnement :

  • PROJECT_ID : ID de votre projet actuel. Cloud de Confiance by S3NS La définition de cette variable permet de s'assurer que toutes les ressources, comme votre cluster GKE, sont créées dans le bon projet.
  • CLUSTER_NAME: nom de votre cluster GKE, par exemple agent-sandbox-cluster.
  • LOCATION : région ou zone où se trouve votre cluster GKE . Cloud de Confiance by S3NS Définissez cette valeur sur la région (par exemple, us-central1) si vous utilisez un cluster Autopilot, ou sur la zone (par exemple, us-central1-a) si vous utilisez un cluster Standard.
  • NODE_POOL_NAME: nom du pool de nœuds qui exécutera les charges de travail en bac à sable, par exemple agent-sandbox-node-pool.
  • MACHINE_TYPE: type de machine des nœuds de votre pool de nœuds, par exemple e2-standard-2. Pour en savoir plus sur les différentes séries de machines et sur le choix entre différentes options, consultez le Guide des ressources de familles de machines et guide comparatif.

Déployer un environnement en bac à sable

Cette section explique comment créer le blueprint du bac à sable (SandboxTemplate), déployer le routeur réseau nécessaire et installer le client Python que vous utiliserez pour interagir avec le bac à sable.

La méthode recommandée pour créer et interagir avec votre bac à sable consiste à utiliser le client Python Agentic Sandbox. Ce client fournit une interface qui simplifie l'ensemble du cycle de vie d'un bac à sable, de la création au nettoyage. Il s'agit d'une bibliothèque Python que vous pouvez utiliser pour créer, utiliser et supprimer des bacs à sable par programmation.

Le client utilise un routeur de bac à sable comme point d'entrée central pour tout le trafic. Dans l'exemple décrit dans ce document, le client crée un tunnel vers ce routeur à l'aide de la commande kubectl port-forward, de sorte que vous n'avez pas besoin d'exposer d'adresses IP publiques. Sachez que l'utilisation de kubectl port-forward n'est pas une solution sécurisée et qu'elle doit être limitée aux environnements de développement.

Créer un SandboxTemplate et un SandboxWarmPool

Vous allez maintenant définir la configuration de votre bac à sable en créant une ressource SandboxTemplate et une ressource SandboxWarmPool. SandboxTemplate sert de blueprint réutilisable que le contrôleur Agent Sandbox utilise pour créer des environnements de bac à sable cohérents et préconfigurés. La ressource SandboxWarmPool permet de s'assurer qu'un nombre spécifié de pods pré-chauffés sont toujours en cours d'exécution et prêts à être revendiqués. Un bac à sable pré-chauffé est un pod en cours d'exécution qui est déjà initialisé. Cette pré-initialisation permet de créer de nouveaux bacs à sable en moins d'une seconde et d'éviter la latence de démarrage du lancement d'un bac à sable normal :

  1. Dans Cloud Shell, créez un fichier nommé sandbox-template-and-pool.yaml contenant ce qui suit :

    apiVersion: extensions.agents.x-k8s.io/v1alpha1
kind: SandboxTemplate
metadata:
  name: python-runtime-template
  namespace: default
spec:
  podTemplate:
    metadata:
      labels:
        sandbox: python-sandbox-example
    spec:
      runtimeClassName: gvisor
      automountServiceAccountToken: false # Required
      securityContext:
        runAsNonRoot: true # Required
      nodeSelector:
        sandbox.gke.io/runtime: gvisor # Required
      tolerations:
      - key: "sandbox.gke.io/runtime"
        value: "gvisor"
        effect: "NoSchedule" # Required
      containers:
      - name: python-runtime
        image: registry.k8s.io/agent-sandbox/python-runtime-sandbox:v0.1.0
        ports:
        - containerPort: 8888
        readinessProbe:
          httpGet:
            path: "/"
            port: 8888
          initialDelaySeconds: 0
          periodSeconds: 1
        resources:
          requests:
            cpu: "250m"
            memory: "512Mi"
          limits:
            cpu: "500m"
            memory: "1Gi" # Required
        securityContext:
          capabilities:
            drop: ["ALL"] # Required
      restartPolicy: "OnFailure"
---
apiVersion: extensions.agents.x-k8s.io/v1alpha1
kind: SandboxWarmPool
metadata:
  name: python-sandbox-warmpool
  namespace: default
spec:
  replicas: 2
  sandboxTemplateRef:
    name: python-runtime-template

  2. Appliquez le fichier manifeste SandboxTemplate et SandboxWarmPool :

    kubectl apply -f sandbox-template-and-pool.yaml

Déployer le routeur de bac à sable

Le client Python que vous utiliserez pour créer et interagir avec des environnements en bac à sable utilise un composant appelé routeur de bac à sable pour communiquer avec les bacs à sable.

Pour cet exemple, vous utilisez le mode développeur du client à des fins de test. Ce mode est destiné au développement local et utilise la commande kubectl port-forward pour établir un tunnel direct entre votre machine locale et le service de routeur de bac à sable exécuté dans le cluster. Cette approche de tunneling évite d'avoir besoin d'une adresse IP publique ou d'une configuration d'entrée complexe, et simplifie l'interaction avec les bacs à sable depuis votre environnement local.

Pour déployer le routeur de bac à sable, procédez comme suit :

  1. Dans Cloud Shell, créez un fichier nommé sandbox-router.yaml contenant ce qui suit :

    # A ClusterIP Service to provide a stable endpoint for the router pods.
apiVersion: v1
kind: Service
metadata:
  name: sandbox-router-svc
  namespace: default
spec:
  type: ClusterIP
  selector:
    app: sandbox-router
  ports:
  - name: http
    protocol: TCP
    port: 8080 # The port the service will listen on
    targetPort: 8080 # The port the router container listens on (from the sandbox_router/Dockerfile)
---
# The Deployment to manage and run the router pods.
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sandbox-router-deployment
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sandbox-router
  template:
    metadata:
      labels:
        app: sandbox-router
    spec:
      # Ensure pods are spread across different zones for HA
      topologySpreadConstraints:
        - maxSkew: 1
          topologyKey: topology.kubernetes.io/zone
          whenUnsatisfiable: ScheduleAnyway
          labelSelector:
            matchLabels:
              app: sandbox-router
      containers:
      - name: router
        image: us-central1-docker.pkg.dev/k8s-staging-images/agent-sandbox/sandbox-router:latest-main
        ports:
        - containerPort: 8080
        readinessProbe:
          httpGet:
            path: /healthz
            port: 8080
          initialDelaySeconds: 5
          periodSeconds: 5
        livenessProbe:
          httpGet:
            path: /healthz
            port: 8080
          initialDelaySeconds: 10
          periodSeconds: 10
        resources:
          requests:
            cpu: "100m"
            memory: "512Mi"
          limits:
            cpu: "1000m"
            memory: "1Gi"
      securityContext:
        runAsUser: 1000
        runAsGroup: 1000

  2. Appliquez le fichier manifeste pour déployer le routeur sur votre cluster :

    kubectl apply -f sandbox-router.yaml

  3. Vérifiez que le déploiement du routeur de bac à sable s'exécute correctement :

    kubectl get deployment sandbox-router-deployment

    Attendez que le déploiement affiche 2/2 ou 1/1 dans la colonne READY.

Installer le client Python

Maintenant que les composants du cluster, tels que le routeur de bac à sable, sont déployés, la dernière étape préparatoire consiste à installer le client Python Agentic Sandbox sur votre machine locale. Rappelons que ce client est une bibliothèque Python qui vous permet de créer, d'utiliser et de supprimer des bacs à sable par programmation. Vous l'utiliserez dans la section suivante pour tester l'environnement :

  1. Créez et activez un environnement virtuel Python :

    python3 -m venv .venv
source .venv/bin/activate

  2. Installez le package client :

    pip install k8s-agent-sandbox

Tester le bac à sable

Une fois tous les composants de configuration en place, vous pouvez créer un bac à sable et interagir avec lui à l'aide du client Python Agentic Sandbox.

  1. Dans votre répertoire agent-sandbox, créez un script Python nommé test_sandbox.py contenant ce qui suit :

    from k8s_agent_sandbox import SandboxClient
from k8s_agent_sandbox.models import SandboxLocalTunnelConnectionConfig

# Automatically tunnels to svc/sandbox-router-svc
client = SandboxClient(
    connection_config=SandboxLocalTunnelConnectionConfig()
)

sandbox = client.create_sandbox(template="python-runtime-template", namespace="default")
try:
    print(sandbox.commands.run("echo 'Hello from the sandboxed environment!'").stdout)
except Exception as e:
    print(f"An error occurred: {e}")

  2. Depuis votre terminal (avec l'environnement virtuel toujours actif), exécutez le script de test :

    python3 test_sandbox.py

Le message "Hello from the sandboxed environment!" (Bonjour depuis l'environnement en bac à sable) doit s'afficher. Il s'agit de la sortie du bac à sable.

Félicitations ! Vous avez exécuté une commande shell dans un bac à sable sécurisé. À l'aide de la méthode sandbox.run(), vous pouvez exécuter n'importe quelle commande shell. Agent Sandbox exécute la commande dans une barrière sécurisée qui protège les nœuds de votre cluster et les autres charges de travail du code non approuvé. Cela fournit un moyen sûr et fiable pour un agent d'IA ou tout workflow automatisé d'exécuter des tâches.

Lorsque vous exécutez le script, SandboxClient gère toutes les étapes pour vous. Il crée la ressource SandboxClaim pour démarrer le bac à sable, attend qu'il soit prêt, puis utilise la méthode sandbox.run() pour exécuter des commandes shell bash dans le conteneur sécurisé. Le client capture et imprime ensuite le stdout de cette commande. Le bac à sable est automatiquement supprimé après l'exécution du programme.

Lorsqu'une ressource SandboxClaim est créée, un pod disponible est attribué du pool chaud à l'objet Sandbox, et la revendication est marquée comme prête. SandboxWarmPool se remplit ensuite automatiquement pour maintenir le nombre de répliques configuré.

Pour vérifier si un bac à sable spécifique est revendiqué ou disponible, vérifiez les ownerReferences dans les métadonnées du pod de bac à sable. Si la valeur du champ kind est Sandbox, le pod est en cours d'utilisation. Si la valeur du champ kind est SandboxWarmPool, le pod est inactif et en attente d'être revendiqué.

Exécuter des bacs à sable en production

Dans ce document, vous interagissez avec des bacs à sable en dehors du cluster à l'aide de Cloud Shell. Le client Python utilise vos identifiants utilisateur pour s'authentifier auprès du cluster et gérer les ressources de bac à sable, et utilise la commande kubectl port-forward pour établir une connexion avec les bacs à sable. Ces étapes fonctionnent bien pour les scénarios de développement.

Dans un scénario de production, une application de contrôleur (comme un orchestrateur d'IA) est chargée de créer et de gérer les ressources de bac à sable. Pour utiliser Agent Sandbox en production, tenez compte des points suivants :

  • Authentification : votre application de contrôleur doit s'authentifier auprès du serveur d'API du cluster pour exécuter des bacs à sable. La façon dont vous configurez l'authentification dépend de l'endroit où l'application de contrôleur s'exécute, comme suit :

    • Si l'application de contrôleur s'exécute en tant que pod dans le même cluster, utilisez Kubernetes RBAC ou Workload Identity Federation for GKE avec des stratégies IAM pour accorder au compte de service Kubernetes du pod les autorisations nécessaires pour surveiller les bacs à sable ou découvrir les points de terminaison réseau.
    • Si l'application de contrôleur s'exécute en dehors du cluster, utilisez fédération d'identité de charge de travail, ou des comptes de service IAM pour attribuer à l'application une identité que vous pouvez référencer dans les stratégies d'autorisation.

  • Routage : les requêtes du client Python dans votre application de contrôleur doivent atteindre le routeur de bac à sable dans votre cluster. En production, utilisez l'une des méthodes suivantes pour établir une connexion réseau :

    • Si l'application de contrôleur s'exécute dans le même cluster, utilisez la fonction SandboxDirectConnectionConfig pour cibler l'URL et le port utilisés par le service de routeur de bac à sable.
    • Si l'application de contrôleur s'exécute en dehors du cluster, utilisez l' API GKE Gateway pour créer un équilibreur de charge interne ou externe. Dans le code de votre client, utilisez la fonction SandboxGatewayConnectionConfig pour référencer votre passerelle.

    Pour en savoir plus sur ces méthodes de routage, consultez les exemples d'utilisation sur GitHub et les étapes de déploiement de la passerelle pour le routeur.

  • Accès du bac à sable aux Cloud de Confiance ressources : si le code de votre bac à sable doit envoyer des requêtes à des Cloud de Confiance API, telles que Cloud Storage, utilisez une stratégie IAM avec Workload Identity Federation for GKE pour accorder au compte de service Kubernetes utilisé par le pod de bac à sable les autorisations requises pour cet accès.

Effectuer un nettoyage des ressources

Pour éviter que des frais ne soient facturés sur votre Cloud de Confiance by S3NS compte, vous devez supprimer le cluster GKE que vous avez créé :

gcloud container clusters delete $CLUSTER_NAME --location=$LOCATION --quiet

Étape suivante