vLLM TPU הוא פריימוורק יעיל במיוחד להצגת מודלים גדולים של שפה (LLM) שעבר אופטימיזציה לחומרה של Cloud TPU. הוא מבוסס על tpu-inference, תוסף חומרה חדש, רב-עוצמה ובעל יכולות הבעה, שמאחד את JAX ו-Pytorch במסלול הורדה יחיד.
מידע נוסף על המסגרת הזו זמין בפוסט בבלוג בנושא vLLM TPU.
vLLM TPU זמין ב-Model Garden באמצעות פריסה בלחיצה אחת ונוטבוק.
תחילת העבודה ב-Model Garden
קונטיינר ההגשה של vLLM TPU משולב ב-Model Garden. אפשר לגשת לפתרון הזה להצגת מודעות באמצעות פריסה בלחיצה אחת ודוגמאות של מחברות Colab Enterprise למגוון מודלים.
שימוש בפריסה בלחיצה אחת
אפשר לפרוס נקודת קצה של Agent Platform בהתאמה אישית עם vLLM TPU דרך כרטיס המודל של המודלים הבאים:
- google/gemma-3-27b-it
- meta-llama/Llama-3.3-70B-Instruct
- meta-llama/Llama-3.1-8B-Instruct
- Qwen/Qwen3-32B
- Qwen/Qwen3-8B
- Qwen/Qwen3-4B
- Qwen/Qwen3-4B-Instruct-2507
שלבים:
עוברים לדף של כרטיס המודל (למשל google/gemma-3-27b-it) ולוחצים על Deploy model (פריסת המודל) כדי לפתוח את חלונית הפריסה.
בקטע Resource ID (מזהה משאב), בוחרים את וריאציית המודל שרוצים לפרוס.
בגרסת המודל שרוצים לפרוס, לוחצים על Edit settings (עריכת ההגדרות) ובוחרים באפשרות vLLM TPU בקטע Machine spec (מפרט המכונה) לפריסה.
כדי להתחיל בתהליך הפריסה, לוחצים על Deploy (פריסה) בתחתית החלונית. תקבלו התראה באימייל כשהנקודה תהיה מוכנה.
שימוש ב-notebook של Colab Enterprise
כדי ליהנות מגמישות ומאפשרויות התאמה אישית, אתם יכולים להשתמש בדוגמאות של מחברות Colab Enterprise כדי לפרוס נקודת קצה של Agent Platform עם vLLM TPU באמצעות Agent Platform SDK ל-Python.
פותחים את מחברת vLLM TPU ב-Colab Enterprise.
מריצים את הנוטבוק כדי לפרוס מודל עם vLLM TPU ושולחים בקשות לחיזוי לנקודת הקצה.
בקשה למכסת Cloud TPU
ב-Model Garden, מכסת ברירת המחדל היא 16 שבבי Cloud TPU v6e באזור europe-west4. המכסות האלה חלות על פריסות בלחיצה אחת ועל פריסות של מחברות Colab Enterprise. אם מכסת ברירת המחדל שלכם היא 0 או שאתם רוצים לבקש מכסה גדולה יותר, תוכלו לעיין במאמר איך שולחים בקשה לשינוי המכסות.