Ob Sie Agenten erstellen, Inferenzmodelle ausführen oder in verschiedene KI-Dienste einbinden, Cloud Run bietet die Skalierbarkeit, Flexibilität und Benutzerfreundlichkeit, die Sie benötigen, um Ihre KI-Innovationen zu verwirklichen.
Auf dieser Seite werden einige allgemeine Anwendungsfälle für das Hosten, Erstellen und Bereitstellen von KI-Arbeitslasten in Cloud Run beschrieben.
Warum Cloud Run für KI-Arbeitslasten verwenden?
Cloud Run bietet mehrere Vorteile, um sicherzustellen, dass Ihre KI-Anwendungen skalierbar, flexibel und verwaltbar sind. Einige Highlights:
- Flexible Containerunterstützung: Packen Sie Ihre App und ihre Abhängigkeiten in einen Container oder verwenden Sie eine beliebige unterstützte Sprache, Bibliothek oder ein beliebiges Framework. Weitere Informationen finden Sie im Container-Laufzeitvertrag von Cloud Run.
- HTTP-Endpunkt: Nach der Bereitstellung eines Cloud Run-Dienstes oder einer Cloud Run-Instanz, erhalten Sie einen sofort einsatzbereiten, sicheren Cloud Run-URL-Endpunkt. Cloud Run bietet Streaming durch Unterstützung von HTTP-Chunked Transfer Encoding, HTTP/2 und WebSockets.
- Automatische oder manuelle Skalierung: Bei Cloud Run-Diensten skaliert Cloud Run Ihren Dienst automatisch nach Bedarf. So zahlen Sie nur für das, was Sie verwenden. Das ist ideal für unvorhersehbare KI-Arbeitslasten. Sie können Ihren Dienst auch auf manuelle Skalierung festlegen, je nach Ihren Anforderungen an Traffic und CPU-Auslastung. Für Cloud Run-Instanzen ist die automatische Skalierung nicht anwendbar. Sie werden als Singletons ausgeführt, die Sie manuell starten und beenden.
- Für Unternehmen geeignet: Cloud Run bietet direkte VPC-Verbindungen, detaillierte Sicherheits- und Netzwerksteuerungen.
Wichtige Anwendungsfälle für KI
Hier sind einige Möglichkeiten, wie Sie Cloud Run verwenden können, um Ihre KI-Anwendungen zu unterstützen:
KI-Agenten und ‑Bots hosten
Cloud Run ist eine ideale Plattform für das Hosten der Backend-Logik für KI-Agenten, Chatbots und virtuelle Assistenten. Diese Agenten können Aufrufe an KI-Modelle wie Gemini in Vertex AI orchestrieren, den Status verwalten und in verschiedene Tools und APIs eingebunden werden.
- Mikrodienste für Agenten: Stellen Sie einzelne Agentenfunktionen als separate Cloud Run-Dienste oder ‑Instanzen bereit. Weitere Informationen finden Sie unter KI-Agenten hosten.
- MCP-Server (Model Context Protocol): Implementieren Sie MCP-Server, um LLMs standardisierten Kontext aus Ihren Tools und Datenquellen bereitzustellen. Weitere Informationen finden Sie unter MCP-Server hosten.
KI-/ML-Modelle für Inferenz bereitstellen
Stellen Sie Ihre trainierten Modelle für maschinelles Lernen als skalierbare HTTP-Endpunkte bereit.
- Echtzeitinferenz: Stellen Sie Vorhersagen aus Modellen bereit, die mit Frameworks wie TensorFlow, PyTorch oder scikit-learn oder mit offenen Modellen wie Gemma erstellt wurden.
- Große Modelldateien vom Container entkoppeln: Mit dem Cloud Storage FUSE Adapter können Sie einen Cloud Storage-Bucket bereitstellen und als lokales Verzeichnis in Ihrem Cloud Run-Container verfügbar machen.
KI-gestützte APIs und Backends hosten
Erstellen Sie APIs und Mikrodienste, die KI-Funktionen enthalten.
- Intelligente APIs: Entwickeln Sie APIs, die LLMs für das Verständnis natürlicher Sprache verwenden, die Sentimentanalyse, die Übersetzung, die Zusammenfassung usw.
- Automatisierte Arbeitsabläufe: Erstellen Sie Dienste, die KI-gestützte Aktionen basierend auf Ereignissen oder Anfragen auslösen.
Prototypen erstellen und Ideen testen
Schnell KI-Ideen entwickeln.
- Traffic-Aufteilung: Verwenden Sie die Traffic-Aufteilungsfunktion von Cloud Run, um A/B-Tests für verschiedene Modelle, Prompts oder Konfigurationen durchzuführen, und Google Cloud Observability, um Messwerte (Latenz, Fehlerrate, Kosten) zu beobachten und den Erfolg von A/B-Tests zu messen.
Nächste Schritte
Je nach Ihren Kenntnissen in Bezug auf KI-Konzepte und Ihren Anwendungsfall für KI können Sie die Cloud Run-KI-Ressourcen erkunden.