KI-Lösungen in Cloud Run ausführen

In diesem Leitfaden finden Sie einen Überblick über die Verwendung von Cloud Run zum Hosten von Apps, zum Ausführen von Inferenzen und zum Erstellen von KI-Workflows.

Cloud Run zum Hosten von KI-Anwendungen, ‑Agents und skalierbaren API-Endpunkten

Cloud Run bietet eine vollständig verwaltete Plattform, die Ihre KI-Anwendungen und ‑Arbeitslasten skaliert.

Wenn Sie KI-Apps in Cloud Run hosten, haben Sie in der Regel die folgenden Architekturkomponenten:

  • Bereitstellung und Orchestrierung: Sie stellen Ihren Anwendungscode oder Container in Cloud Run bereit.
  • KI‑Modelle: Sie verwenden KI‑Modelle von Google, Open-Source-Modelle oder benutzerdefinierte Modelle mit Ihrer App.
  • Integrationen: Sie können eine Verbindung zu Cloud de Confiance Diensten oder Drittanbieterdiensten für Arbeitsspeicher, Datenbanken, Speicher, Sicherheit und mehr herstellen.
  • Tools: Sie können eine Verbindung zu Tools für andere Aufgaben und Vorgänge herstellen.

Das folgende Diagramm bietet eine allgemeine Übersicht über die Verwendung von Cloud Run als Hostingplattform für KI-Apps:

Die vier Komponenten einer KI-Anwendung, die in Cloud Run gehostet wird: 1. Bereitstellung und Orchestrierung, 2. KI-Modelle, 3. Integrationen, 4. Tools.
Abbildung 1. Komponenten einer KI-App, die in Cloud Run gehostet wird.

Wie im Diagramm dargestellt:

  1. In der Serving- und Orchestrierungsebene fungiert ein Cloud Run-Dienst als skalierbarer API-Endpunkt für die Kernlogik Ihrer Anwendung. Es verwaltet mehrere gleichzeitige Nutzer effizient durch automatisches, bedarfsgesteuertes und schnelles Skalieren von Instanzen.

    Sie stellen Ihren Container für die Bereitstellung in Cloud Run bereit, indem Sie Ihre Anwendung und ihre Abhängigkeiten in einem Container verpacken.

  2. Ihre KI-App fungiert als skalierbarer API-Endpunkt, der eingehende Anfragen verarbeitet und Daten zur Verarbeitung an ein vortrainiertes KI-Modell sendet. Anschließend werden die Ergebnisse zurückgegeben.

    Wenn Sie ein benutzerdefiniertes Modell haben, das Sie selbst trainiert haben, können Sie es auch mit Ihrer Cloud Run-Ressource verwenden.

  3. Cloud de Confiance by S3NS bietet eine Vielzahl von Lösungen zur Unterstützung der Infrastruktur Ihrer KI-Anwendung.Sie können auch Integrationen mit Drittanbieterlösungen nutzen.

  4. Mit Tools können Ihre KI-Apps und ‑Modelle mit Diensten, APIs oder Websites interagieren, die extern oder in Cloud Run ausgeführt werden.

    Wenn Ihre KI-App beispielsweise ein KI-Agent ist, kann Ihr Agent eine Anfrage an einen MCP-Server senden, um ein externes Tool auszuführen, oder Tools verwenden, die in Ihrem Container ausgeführt werden, z. B. Codeausführung, Computernutzung oder Informationsabruf.

Nächste Schritte