Implantar modelos abertos do Model Garden

O Model Garden permite a autoimplantação de modelos abertos. Os modelos autoimplantados não são sem servidor. É necessário implantá-los na Gemini Enterprise Agent Platform antes de usar. Esses modelos são implantados com segurança no seu Cloud de Confiance by S3NS projeto e na rede VPC. Para mais informações sobre modelos autoimplantados, consulte a documentação de modelos autoimplantados.

Para informações sobre como implantar modelos de parceiros, consulte Implantar modelos de parceiros do Model Garden.

Modelos abertos autoimplantáveis

Os modelos abertos no Model Garden podem estar disponíveis como uma API gerenciada (MaaS) e como um modelo autoimplantável. Quando as duas ofertas estão disponíveis para um determinado modelo, o card de modelo da API gerenciada tem API Service no nome, enquanto o modelo autoimplantável não.

Listar modelos

Para receber uma lista de modelos abertos autoimplantáveis, faça o seguinte:

1. Acessar o Model Garden.

   Acessar o Model Garden

2. No filtro Recursos, selecione Modelos abertos e Implantação com um clique.

Implantar modelos

Depois de identificar o modelo aberto que você quer implantar, é possível implantar o modelo em um endpoint da Gemini Enterprise Agent Platform usando a implantação com um clique. É possível realizar a implantação com um clique usando o Cloud de Confiance console ou o SDK da Agent Platform para Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Implantar modelos com pesos personalizados

O Model Garden permite implantar modelos compatíveis com pesos personalizados de um bucket do Cloud Storage. Para mais informações sobre como implantar modelos com pesos personalizados, consulte Implantar modelos com pesos personalizados. É possível implantar pesos personalizados usando o Cloud de Confiance console, a Google Cloud CLI, a API Agent Platform ou o SDK da Agent Platform para Python.

A seguir

• Escolher uma opção de disponibilização de modelo aberto
• Usar modelos abertos usando o modelo como serviço (MaaS)
• Implantar modelos abertos com contêineres pré-criados
• Implantar modelos abertos com um contêiner vLLM personalizado