vLLM TPU adalah framework inferensi yang sangat efisien untuk model bahasa besar (LLM) yang dioptimalkan untuk hardware Cloud TPU. Plugin ini didukung oleh tpu-inference, yang merupakan plugin hardware baru yang ekspresif dan canggih yang menyatukan JAX dan Pytorch dalam satu jalur penurunan.
Baca selengkapnya tentang framework ini di postingan blog vLLM TPU.
TPU vLLM tersedia di Model Garden melalui deployment dan notebook sekali klik.
Mulai menggunakan Model Garden
Kontainer penyajian TPU vLLM terintegrasi di Model Garden. Anda dapat mengakses solusi penyajian ini melalui deployment sekali klik dan contoh notebook Colab Enterprise untuk berbagai model.
Menggunakan deployment sekali klik
Anda dapat men-deploy endpoint Agent Platform kustom dengan vLLM TPU melalui kartu model untuk model berikut:
- google/gemma-3-27b-it
- meta-llama/Llama-3.3-70B-Instruct
- meta-llama/Llama-3.1-8B-Instruct
- Qwen/Qwen3-32B
- Qwen/Qwen3-8B
- Qwen/Qwen3-4B
- Qwen/Qwen3-4B-Instruct-2507
Langkah-langkah:
Buka halaman kartu model (seperti google/gemma-3-27b-it) lalu klik Deploy model untuk membuka panel deployment.
Pilih varian model yang ingin Anda deploy di bagian ID Resource.
Untuk varian model yang ingin Anda deploy, klik Edit setelan dan pilih opsi vLLM TPU di bagian Spesifikasi mesin untuk deployment.
Klik Deploy di bagian bawah panel untuk memulai proses deployment. Anda akan menerima notifikasi email saat endpoint siap.
Menggunakan notebook Colab Enterprise
Untuk fleksibilitas dan penyesuaian, Anda dapat menggunakan contoh notebook Colab Enterprise untuk men-deploy endpoint Agent Platform dengan vLLM TPU menggunakan Agent Platform SDK untuk Python.
Buka notebook TPU vLLM di Colab Enterprise.
Jalankan notebook untuk men-deploy model dengan vLLM TPU dan mengirim permintaan prediksi ke endpoint.
Meminta kuota Cloud TPU
Di Model Garden, kuota defaultnya adalah 16 chip Cloud TPU v6e di region europe-west4. Kuota ini berlaku untuk deployment sekali klik dan deployment notebook Colab Enterprise. Jika Anda memiliki kuota default 0 atau ingin meminta lebih banyak kuota, lihat Meminta penyesuaian kuota.