מודלים נתמכים של RAG Engine ב-Gemini Enterprise Agent Platform

בדף הזה מפורטים מודלים של Gemini, מודלים בפריסה עצמית ומודלים עם ממשקי API מנוהלים ב-Agent Platform שתומכים ב-RAG Engine ב-Gemini Enterprise Agent Platform.

מודלי Gemini

המודלים הבאים תומכים ב-RAG Engine:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מודלי Gemini שעברו כוונון לא נתמכים כשמודלי Gemini משתמשים ב-RAG Engine ב-Gemini Enterprise Agent Platform.

מודלים בפריסה עצמית

‫RAG Engine ב-Gemini Enterprise Agent Platform תומך בכל המודלים ב-Model Garden.

שימוש ב-RAG Engine עם נקודות קצה של מודלים פתוחים שפרסתם בעצמכם.

מחליפים את המשתנים שמופיעים בדוגמת קוד:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫LOCATION: האזור שבו הבקשה תעובד.

  • ‫ENDPOINT_ID: מזהה נקודת הקצה.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

מודלים עם ממשקי API מנוהלים ב-Agent Platform

המודלים עם ממשקי API מנוהלים ב-Agent Platform שתומכים ב-RAG Engine כוללים את:

בדוגמת הקוד הבאה אפשר לראות איך משתמשים ב-Gemini GenerateContent API כדי ליצור מופע של מודל גנרטיבי. מזהה המודל, /publisher/meta/models/llama-3.1-405B-instruct-maas, מופיע בכרטיס המודל.

מחליפים את המשתנים שבדוגמת הקוד:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫LOCATION: האזור שבו הבקשה תעובד.

  • ‫RAG_RETRIEVAL_TOOL: כלי השליפה של RAG.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

דוגמת הקוד הבאה ממחישה איך להשתמש ב-API של ChatCompletions שתואם ל-OpenAI כדי ליצור תשובה מהמודל.

מחליפים את המשתנים שבדוגמת הקוד:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫LOCATION: האזור שבו הבקשה תעובד.
  • ‫MODEL_ID: מודל LLM ליצירת תוכן. לדוגמה, meta/llama-3.1-405b-instruct-maas.
  • ‫INPUT_PROMPT: הטקסט שנשלח ל-LLM כדי ליצור תוכן. משתמשים בהנחיה שרלוונטית למסמכים ב-Agent Search.
  • ‫RAG_CORPUS_ID: המזהה של משאב קורפוס ה-RAG.
  • ‫ROLE: התפקיד שלכם.
  • ‫USER: שם המשתמש שלכם.

  • ‫CONTENT: התוכן שלכם.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

המאמרים הבאים