יצירה אוטומטית של הטמעות לאחזור על ידי סוכן

אתם יכולים להשתמש ב-Agent Retrieval (לשעבר חיפוש וקטורי 2.0) כדי ליצור באופן אוטומטי הטמעות עבור האוספים שלכם. כך אפשר ליצור הטמעות חדשות ולפרוס אותן באופן מיידי, מה שמייעל את התהליך מנתונים גולמיים למנוע חיפוש פעיל בהיקף ייצור.

מודלים של הטמעה ב-Gemini Enterprise שנתמכים

התכונה 'אחזור מידע על ידי סוכנים' (לשעבר Vector Search 2.0) תומכת במודלים הבאים של הטמעה:

  • Gemini – מספק ביצועים המתקדמים ביותר (SOTA) להטמעת טקסט (באנגלית בלבד ובכמה שפות).

  • טקסט – מתמחה בנתוני קוד מקור (באנגלית בלבד ובכמה שפות).

 

 

בטבלה הבאה מפורטים כל הדגמים הנתמכים.

דגם תיאור מידות מקסימליות של
הפלט
אורך
רצף
מקסימלי (טוקנים)
שפות טקסט ומצבי הפעלה נתמכים
מגבלות
נוספות
gemini-embedding-001 ביצועים מתקדמים במשימות באנגלית, במשימות רב-לשוניות ובמשימות שקשורות לקוד.
הוא מאחד את המודלים המיוחדים הקודמים כמו text-embedding-005 ו
text-multilingual-embedding-002 ומשיג ביצועים טובים יותר בתחומים
הספציפיים שלהם.
3072 2048 שפות הטקסט הנתמכות מגבלות על הטמעה
gemini-embedding-2-preview זהו מודל הטמעה מולטי-מודאלי מהדור הבא של Google. המודל הזה מבוסס על
הארכיטקטורה העדכנית של מודל Gemini, והוא ממפה
נתונים של טקסט, תמונות, סרטונים וקובצי PDF למרחב הטמעה מאוחד.
3072 8192 טקסט, תמונה, סרטון ו-PDF משולבים מגבלות API
gemini-embedding-2 זהו מודל הטמעה מולטי-מודאלי מהדור הבא של Google. המודל הזה מבוסס על
הארכיטקטורה העדכנית של מודל Gemini, והוא ממפה
נתונים של טקסט, תמונות, סרטונים וקובצי PDF למרחב הטמעה מאוחד.
3072 8192 שילוב של טקסט, תמונות, סרטונים וקובצי PDF מגבלות API
text-embedding-004 מתמחה במשימות שקשורות לאנגלית ולקוד. 768 2048 אנגלית מגבלות API
text-embedding-005 ההתמחות שלו היא במשימות שקשורות לאנגלית ולקוד. 768 2048 אנגלית מגבלות API
text-multilingual-embedding-002 מתמחה במשימות רב-לשוניות. 768 2048 שפות הטקסט הנתמכות מגבלות API

 

יצירת אוספים עם הטמעות שנוצרו אוטומטית

כשיוצרים אוסף, מציינים את מודל ההטמעה בשדה model_id של vertex_embedding_config. המודל הזה משמש בכל פעם שנוצר אובייקט נתונים בלי להגדיר נתונים.genre_embedding

בדוגמה הבאה אפשר לראות איך מציינים את מודל ההטמעה שבו רוצים להשתמש כשיוצרים הטמעות באופן אוטומטי.

request = vectorsearch.CreateCollectionRequest(
   parent=f"projects/{PROJECT_ID}/locations/{LOCATION}",
   collection_id=collection_id,
   collection={
       "data_schema": {
           "type": "object",
           "properties": {
               "year": {"type": "number"},
               "genre": {"type": "string"},
               "director": {"type": "string"},
               "title": {"type": "string"},
           },
       },
       "vector_schema": {
           "plot_embedding": {"dense_vector": {"dimensions": 3} },
           "soundtrack_embedding": {"dense_vector": {"dimensions": 5} },
           "genre_embedding": {
               "dense_vector": {
                   "dimensions": 4,
                   "vertex_embedding_config": {
                       # If a data object is created without a supplied value for genre_embedding, it will be
                       # auto-generated based on this config.
                       "model_id": "text-embedding-004",
                       "text_template": ("Movie: {title} Genre: {genre} Year: {year}"),
                       "task_type": "RETRIEVAL_DOCUMENT",
                   },
               }
           },
           "sparse_embedding": {"sparse_vector": { } },
       },
   },
)
operation = vector_search_service_client.create_collection(request=request)
operation.result()

בדוגמת הקוד, נוצר אוסף חדש עם השדה model_id שמוגדר לערך text-embedding-004. במאמר מודלים להטמעה של Gemini Enterprise שנתמכים מפורט אילו מודלים להטמעה אפשר לציין עבור model_id.

מכסות

הטמעות שנוצרות אוטומטית מסתמכות על מכסות לקוחות עבור מודלים בסיסיים של הטמעות Gemini Enterprise. הגורם העיקרי שמגביל את השימוש הוא שתי מכסות עיקריות:

  • אסימוני קלט להטמעת תוכן לדקה לכל אזור לכל base_model.

  • בקשות לחיזוי אונליין לכל מודל בסיסי לדקה לכל אזור לכל base_model.

לפני שיוצרים אובייקטים של נתונים או מריצים עבודת ייבוא, חשוב לוודא שיש לכם מספיק נפח אחסון.

במאמר ניהול המכסות באמצעות המסוף מוסבר איך לבקש מכסות גדולות יותר.

מידע נוסף