vLLM TPU ist ein hocheffizientes Bereitstellungsframework für Large Language Models (LLMs) das für Cloud TPU Hardware optimiert ist. Es basiert auf „tpu-inference“, einem flexiblen und leistungsstarken neuen Hardware Plug‑in, das JAX und PyTorch in einem einzigen High-zu-Low-Level-Transformations pfad vereint.
Weitere Informationen zu diesem Framework finden Sie im Blogpost zu vLLM TPU.
vLLM TPU ist in Model Garden per Bereitstellung mit einem Klick und Notebook verfügbar.
Erste Schritte mit Model Garden
Der vLLM TPU-Bereitstellungscontainer ist in Model Garden integriert. Sie können auf diese Bereitstellungslösung über die Bereitstellung mit einem Klick und die Colab Enterprise-Notebook-Beispiele für eine Vielzahl von Modellen zugreifen.
Bereitstellung mit nur einem Klick verwenden
Sie können einen benutzerdefinierten Agent Platform-Endpunkt mit vLLM TPU über die Modellkarte für die folgenden Modelle bereitstellen:
- google/gemma-3-27b-it
- meta-llama/Llama-3.3-70B-Instruct
- meta-llama/Llama-3.1-8B-Instruct
- Qwen/Qwen3-32B
- Qwen/Qwen3-8B
- Qwen/Qwen3-4B
- Qwen/Qwen3-4B-Instruct-2507
Schritte:
Rufen Sie die Seite „Modellkarte“ auf (z. B. google/gemma-3-27b-it) und klicken Sie auf Modell bereitstellen , um das Bereitstellungsfeld zu öffnen.
Wählen Sie unter Ressourcen-ID die Modellvariante aus, die Sie bereitstellen möchten.
Klicken Sie für die Modellvariante, die Sie bereitstellen möchten, auf Einstellungen bearbeiten und wählen Sie unter Maschinenspezifikation die Option „vLLM TPU“ für die Bereitstellung aus.
Klicken Sie unten im Feld auf Bereitstellen , um den Bereitstellungsprozess zu starten. Sie erhalten eine E-Mail-Benachrichtigung, wenn der Endpunkt bereit ist.
Colab Enterprise-Notebook verwenden
Für mehr Flexibilität und Anpassungsmöglichkeiten können Sie Colab Enterprise-Notebook-Beispiele verwenden, um einen Agent Platform-Endpunkt mit vLLM TPU mithilfe des Agent Platform SDK für Python bereitzustellen.
Öffnen Sie das vLLM TPU-Notebook in Colab Enterprise.
Führen Sie das Notebook aus, um ein Modell mit vLLM TPU bereitzustellen und Vorhersageanfragen an den Endpunkt zu senden.
Cloud TPU-Kontingent anfordern
In Model Garden beträgt das Standardkontingent 16 Cloud TPU v6e-Chips in der Region „europe-west4“. Dieses Kontingent gilt für Bereitstellungen mit einem Klick und Colab Enterprise-Notebook-Bereitstellungen. Wenn Ihr Standardkontingent 0 beträgt oder Sie mehr Kontingent anfordern möchten, lesen Sie den Hilfeartikel Kontingentanpassung anfordern.