Modelos compatibles con el motor RAG en Gemini Enterprise Agent Platform

En esta página, se enumeran los modelos de Gemini, los modelos autoimplementados y los modelos con APIs administradas en Agent Platform que admiten RAG Engine en Gemini Enterprise Agent Platform.

Modelos de Gemini

Los siguientes modelos admiten RAG Engine:

Los modelos de Gemini ajustados no son compatibles cuando los modelos de Gemini usan RAG Engine en Gemini Enterprise Agent Platform.

Modelos autoimplementados

RAG Engine en Gemini Enterprise Agent Platform admite todos los modelos en Model Garden.

Usa RAG Engine con tus extremos de modelos abiertos autoimplementados.

Reemplaza las variables que se usan en la muestra de código:

• PROJECT_ID: ID del proyecto.
• LOCATION: Es la región para procesar tu solicitud.

• ENDPOINT_ID: Es el ID de tu extremo.

    # Create a model instance with your self-deployed open model endpoint
    rag_model = GenerativeModel(
        "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
        tools=[rag_retrieval_tool]
    )
  

Modelos con APIs administradas en Agent Platform

Los modelos con APIs administradas en Agent Platform que admiten RAG Engine incluyen los siguientes:

• Mistral en Agent Platform
• Llama 3.1 y 3.2

En la siguiente muestra de código, se muestra cómo usar la API de Gemini GenerateContent para crear una instancia de modelo generativo. El ID del modelo, /publisher/meta/models/llama-3.1-405B-instruct-maas, se encuentra en la tarjeta del modelo.

Reemplaza las variables que se usan en la muestra de código:

• PROJECT_ID: ID del proyecto.
• LOCATION: Es la región para procesar tu solicitud.

• RAG_RETRIEVAL_TOOL: Es tu herramienta de recuperación de RAG.

    # Create a model instance with Llama 3.1 MaaS endpoint
    rag_model = GenerativeModel(
        "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
        tools=RAG_RETRIEVAL_TOOL
    )
  

En la siguiente muestra de código, se muestra cómo usar la API de ChatCompletions compatible con OpenAI para generar una respuesta del modelo.

Reemplaza las variables que se usan en la muestra de código:

• PROJECT_ID: ID del proyecto.
• LOCATION: Es la región para procesar tu solicitud.
• MODEL_ID: Es un modelo de LLM para la generación de contenido. Por ejemplo: meta/llama-3.1-405b-instruct-maas.
• INPUT_PROMPT: Es el texto enviado al LLM para la generación de contenido. Usa una instrucción relevante para los documentos en Agent Search.
• RAG_CORPUS_ID: Es el ID del recurso del corpus de RAG.
• ROLE: Es tu rol.
• USER: Es tu nombre de usuario.

• CONTENT: Es tu contenido.

    # Generate a response with Llama 3.1 MaaS endpoint
    response = client.chat.completions.create(
        model="MODEL_ID",
        messages=[{"ROLE": "USER", "content": "CONTENT"}],
        extra_body={
            "extra_body": {
                "google": {
                    "vertex_rag_store": {
                        "rag_resources": {
                            "rag_corpus": "RAG_CORPUS_ID"
                        },
                        "similarity_top_k": 10
                    }
                }
            }
        },
    )
  

¿Qué sigue?

• Usa modelos de embeddings con RAG Engine.