Modelle mit benutzerdefinierten Gewichtungen bereitstellen

Das Bereitstellen von Modellen mit benutzerdefinierten Gewichtungen ist ein Vorabversionsangebot. Sie können Modelle anhand einer vordefinierten Gruppe von Basismodellen optimieren und Ihre benutzerdefinierten Modelle im Gemini Enterprise Agent Platform Model Garden bereitstellen. Sie können Ihre benutzerdefinierten Modelle mit dem Import benutzerdefinierter Gewichtungen bereitstellen, indem Sie Ihre Modellartefakte in einen Cloud Storage-Bucket in Ihrem Projekt hochladen. Dies ist mit einem Klick in der Agent Platform möglich.

VPC Service Controls unterstützt benutzerdefinierte Gewichtungen.

Unterstützte Modelle

Die öffentliche Vorschau von Modelle mit benutzerdefinierten Gewichtungen bereitstellen wird von den folgenden Basismodellen unterstützt:

Beschränkungen

Benutzerdefinierte Gewichtungen unterstützen den Import von quantisierten Modellen nicht.

Modelldateien

Sie müssen die Modelldateien im Hugging Face-Gewichtungsformat bereitstellen. Weitere Informationen zum Hugging Face-Gewichtungsformat finden Sie unter Hugging Face-Modelle verwenden.

Wenn die erforderlichen Dateien nicht bereitgestellt werden, schlägt die Modellbereitstellung möglicherweise fehl.

In dieser Tabelle sind die Arten von Modelldateien aufgeführt, die von der Architektur des Modells abhängen:

Standorte

Sie können benutzerdefinierte Modelle in allen Regionen über Model Garden-Dienste bereitstellen.

Vorbereitung

In diesem Abschnitt wird gezeigt, wie Sie Ihr benutzerdefiniertes Modell bereitstellen.

Hinweis

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Cloud de Confiance project.

3. Enable the Agent Platform API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

4. Aktivieren Sie Cloud Shell in der Cloud de Confiance Console.

   Cloud Shell aktivieren

   Unten in der Cloud de Confiance Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

In dieser Anleitung wird davon ausgegangen, dass Sie Cloud Shell zur Interaktion mit Cloud de Confiance by S3NSverwenden. Wenn Sie anstelle von Cloud Shell eine andere Shell nutzen möchten, führen Sie die folgende zusätzliche Konfiguration aus:

1. Installieren Sie die Google Cloud CLI.

2. Konfigurieren Sie die gcloud CLI für die Verwendung Ihrer föderierten Identität.

   Weitere Informationen finden Sie unter Mit Ihrer föderierten Identität in der gcloud CLI anmelden.

3. Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren:

   gcloud init

Benutzerdefiniertes Modell bereitstellen

In diesem Abschnitt wird gezeigt, wie Sie Ihr benutzerdefiniertes Modell bereitstellen.

Wenn Sie die Befehlszeile, Python oder JavaScript verwenden, ersetzen Sie die folgenden Variablen durch einen Wert, damit Ihre Codebeispiele funktionieren:

• REGION: Ihre Region. Beispiel: uscentral1
• MODEL_GCS: Ihr Cloud de Confiance by S3NS Modell. Beispiel: gs://custom-weights-fishfooding/meta-llama/Llama-3.2-1B-Instruct
• PROJECT_ID: Ihre Projekt-ID.
• MODEL_ID: Ihre Modell-ID.
• MACHINE_TYPE: Ihr Maschinentyp. Beispiel: g2-standard-12.
• ACCELERATOR_TYPE: Ihr Beschleunigertyp. Beispiel: NVIDIA_L4.
• ACCELERATOR_COUNT: Die Anzahl der Beschleuniger.

• PROMPT: Ihr Text-Prompt.

gcloud ai model-garden models deploy --model=${MODEL_GCS} --region ${REGION}

gcloud ai model-garden models deploy --model=${MODEL_GCS} --machine-type=${MACHINE_TYE} --accelerator-type=${ACCELERATOR_TYPE} --accelerator-count=${ACCELERATOR_COUNT} --region ${REGION}

import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden

vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
  gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy(
  machine_type="${MACHINE_TYPE}",
  accelerator_type="${ACCELERATOR_TYPE}",
  accelerator_count="${ACCELERATOR_COUNT}",
  model_display_name="custom-model",
  endpoint_display_name="custom-model-endpoint")

endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)

import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden

vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
  gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy()

endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
  -d '{
    "custom_model": {
    "gcs_uri": "'"${MODEL_GCS}"'"
  },
  "destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
  "model_config": {
     "model_user_id": "'"${MODEL_ID}"'",
  },
}'

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
  -d '{
    "custom_model": {
    "gcs_uri": "'"${MODEL_GCS}"'"
  },
  "destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
  "model_config": {
     "model_user_id": "'"${MODEL_ID}"'",
  },
  "deploy_config": {
    "dedicated_resources": {
      "machine_spec": {
        "machine_type": "'"${MACHINE_TYPE}"'",
        "accelerator_type": "'"${ACCELERATOR_TYPE}"'",
        "accelerator_count": '"${ACCELERATOR_COUNT}"'
      },
      "min_replica_count": 1
    }
  }
}'

Mit der API bereitstellen

VPC Service Controls funktioniert nur mit dem privaten dedizierten Endpunkt. Daher müssen Sie im folgenden Codebeispiel, das die Bereitstellung mit der API zeigt, private_service_connect_config festlegen:

  curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/YOUR_PROJECT/locations/us-central1:deploy" \
    -d '{
      "custom_model": {
        "model_id": "test-mg-deploy-092301",
        "gcs_uri": "gs://YOUR_GCS_BUCKET"
      },
      "destination": "projects/YOUR_PROJECT/locations/us-central1",
      "endpoint_config": {
        "endpoint_display_name": "psc-ep1",
        "private_service_connect_config": {
          "enablePrivateServiceConnect": true,
          "projectAllowlist": ["YOUR_PROJECT"]
        }
      },
      "deploy_config": {
        "dedicated_resources": {
          "machine_spec": {
            "machine_type": "g2-standard-24",
            "accelerator_type": "NVIDIA_L4",
            "accelerator_count": 2
          },
          "min_replica_count": 1,
          "max_replica_count": 1
        }
      }
    }'

Endpunkt-ID und Modell-ID über die Cloud de Confiance Console abrufen

Nachdem die Bereitstellung abgeschlossen ist, gehen Sie so vor:

1. Rufen Sie in der Cloud de Confiance Console die Seite Model Garden auf.

   Zu Model Garden

2. Klicken Sie auf Meine Endpunkte und Modelle ansehen.

3. Suchen Sie in der Tabelle Meine Endpunkte in der Spalte Name nach dem gerade bereitgestellten Endpunkt. Die Seite Details wird angezeigt.

4. Klicken Sie in der Tabelle Bereitgestellte Modelle auf das Modell.

5. Wählen Sie die Seite Versionsdetails aus. Die Modell-ID wird in der Tabelle in der Zeile Umgebungsvariablen angezeigt.

Private Service Connect einrichten

Sie fügen einen neuen Endpunkt für den Zugriff auf S3NS -APIs hinzu. Dieser Endpunkt kann in allen Regionen des ausgewählten VPC-Netzwerk verwendet werden. Beachten Sie außerdem Folgendes:

• Clients in Netzwerken, die über Hybridkonnektivität mit dem VPC-Netzwerk des Endpunkts verbunden sind, können auf den Endpunkt zugreifen. Weitere Informationen finden Sie unter Über Endpunkte aufS3NS -APIs zugreifen.
• Clients in Peering-VPC-Netzwerken können nicht auf den Endpunkt zugreifen.

Endpunkt auflisten, um Dienstanhang abzurufen

In diesem Codebeispiel wird gezeigt, wie Sie einen Endpunkt auflisten, um einen Dienstanhang abzurufen.

$ curl \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/YOUR_PROJECT/locations/us-central1/endpoints/YOUR_ENDPOINT_ID"

  {
  "name": "projects/440968033208/locations/us-central1/endpoints/mg-endpoint-2c6ae2be-1491-43fe-b179-cb5a63e2c955",
  "displayName": "psc-ep1",
  "deployedModels": [
    {
      "id": "4026753529031950336",
      "model": "projects/440968033208/locations/us-central1/models/mg-custom-1758645924",
      "displayName": "null-null-null-1758645933",
      "createTime": "2025-09-23T16:45:45.169195Z",
      "dedicatedResources": {
        "machineSpec": {
          "machineType": "g2-standard-24",
          "acceleratorType": "NVIDIA_L4",
          "acceleratorCount": 2
        },
        "minReplicaCount": 1,
        "maxReplicaCount": 1
      },
      "enableContainerLogging": true,
      "privateEndpoints": {
        "serviceAttachment": "projects/qdb392d34e2a11149p-tp/regions/us-central1/serviceAttachments/gkedpm-fbbc4061323c91c14ab4d961a2f8b0"
      },
      "modelVersionId": "1",
      "status": {
        "lastUpdateTime": "2025-09-23T17:26:10.031652Z",
        "availableReplicaCount": 1
      }
    }
  ],
  "trafficSplit": {
    "4026753529031950336": 100
  },
  "etag": "AMEw9yPIWQYdbpHu6g6Mhpu1_10J062_oR9Jw9txrp8dFFbel7odLgSK8CGIogAUkR_r",
  "createTime": "2025-09-23T16:45:45.169195Z",
  "updateTime": "2025-09-23T17:13:36.320873Z",
  "privateServiceConnectConfig": {
    "enablePrivateServiceConnect": true,
    "projectAllowlist": [
      "ucaip-vpc-s-1605069239-dut-24"
    ]
  }
}

Private Service Connect-Verbindung herstellen

So erstellen Sie eine Private Service Connect-Verbindung (PSC):

1. Rufen Sie in der Cloud de Confiance Console die Seite Private Service Connect auf. Die Seite Verbundene Endpunkte wird angezeigt.

   Zu Private Service Connect

2. Klicken Sie auf + Endpunkt verbinden. Die Seite Endpunkt verbinden wird angezeigt.

3. Wählen Sie im Feld Ziel eine Option aus. Sie können Google APIs auswählen, die Zugriff auf die meisten S3NS -APIs und -Dienste bieten, oder Veröffentlichter Dienst, der Zugriff auf einen veröffentlichten Dienst bietet.

4. Wählen Sie im Bereich Zieldetails einen Wert aus der Liste Umfang und einen Wert aus der Liste Bundle-Typ aus.

5. Führen Sie im Abschnitt Endpunktdetails folgende Schritte aus:

   1. Geben Sie in das Feld Endpunktname einen Namen ein.
   2. Wählen Sie einen Wert aus der Liste Netzwerk aus. Wählen Sie ein VPC-Netzwerk in Ihrem Projekt aus. Wenn Sie einen PSC-Endpunkt in einem Dienstprojekt erstellen müssen, das ein freigegebene VPC-Netzwerk in einem Hostprojekt verwendet, verwenden Sie die Google Cloud CLI oder senden Sie eine API-Anfrage.
   3. Wählen Sie einen Wert aus der Liste IP-Adresse aus.

6. Maximieren Sie den Bereich Service Directory.

7. Wählen Sie eine Region aus der Liste Region aus.

8. Wählen Sie einen Namespace aus der Liste Namespace aus.

9. Klicken Sie auf Endpunkt hinzufügen. Die Tabelle Endpunkte wird mit einer Zeile für den neuen Endpunkt aktualisiert.

Abfrage erstellen

In diesem Abschnitt wird erläutert, wie Sie einen öffentlichen und einen privaten Endpunkt erstellen.

Anfrage an einen öffentlichen Endpunkt stellen

Nachdem Ihr Modell bereitgestellt wurde, unterstützen benutzerdefinierte Gewichtungen den öffentlichen dedizierten Endpunkt. Sie können Abfragen über die API oder das SDK senden.

Bevor Sie Abfragen senden, müssen Sie die Endpunkt-URL, die Endpunkt-ID und die Modell-ID abrufen, die in der Cloud de Confiance Console verfügbar sind.

So rufen Sie die Informationen ab:

1. Rufen Sie in der Cloud de Confiance Console die Seite Model Garden auf.

   Model Garden

2. Klicken Sie auf Meine Endpunkte und Modelle ansehen.

3. Wählen Sie Ihre Region aus der Liste Region aus.

4. Klicken Sie im Bereich Meine Endpunkte auf Ihren Endpunkt, um die Endpunkt-ID und die Endpunkt-URL abzurufen.

   Ihre Endpunkt-ID wird im Feld Endpunkt-ID angezeigt.

   Die URL des öffentlichen Endpunkts wird im Feld Dedizierter Endpunkt angezeigt.

5. So rufen Sie die Modell-ID ab: Suchen Sie Ihr Modell im Abschnitt Bereitgestellte Modelle und führen Sie die folgenden Schritte aus:

   1. Klicken Sie im Feld Modell auf den Namen des bereitgestellten Modells.
   2. Klicken Sie auf Versionsdetails. Ihre Modell-ID wird im Feld Modell-ID angezeigt.

Nachdem Sie die Informationen zum Endpunkt und zum bereitgestellten Modell erhalten haben, finden Sie in den folgenden Codebeispielen Informationen zum Senden einer Inferenzanfrage. Alternativ können Sie auch Online-Inferenzanfrage an einen dedizierten öffentlichen Endpunkt senden lesen.

  curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}/chat/completions" \
    -d '{
    "model": "'"${MODEL_ID}"'",
    "temperature": 0,
    "top_p": 1,
    "max_tokens": 154,
    "ignore_eos": true,
    "messages": [
      {
        "role": "user",
        "content": "How to tell the time by looking at the sky?"
      }
    ]
  }'

  curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \  "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}/chat/completions" \
    -d '{
    "model": "'"${MODEL_ID}"'",
    "stream": true,
    "temperature": 0,
    "top_p": 1,
    "max_tokens": 154,
    "ignore_eos": true,
    "messages": [
      {
        "role": "user",
        "content": "How to tell the time by looking at the sky?"
      }
    ]
  }'

  curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
  "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}:predict" \
    -d '{
    "instances": [
      {
        "prompt": "How to tell the time by looking at the sky?",
        "temperature": 0,
        "top_p": 1,
        "max_tokens": 154,
        "ignore_eos": true
      }
    ]
  }'

  curl -X POST \
    -N \
    --output - \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}:streamRawPredict" \
    -d '{
    "instances": [
      {
        "prompt": "How to tell the time by looking at the sky?",
        "temperature": 0,
        "top_p": 1,
        "max_tokens": 154,
        "ignore_eos": true,
        "stream": true
      }
    ]
  }'

  from google.cloud import aiplatform

  project_id = ""
  location = ""
  endpoint_id = "" # Use the short ID here

  aiplatform.init(project=project_id, location=location)

  endpoint = aiplatform.Endpoint(endpoint_id)

  prompt = "How to tell the time by looking at the sky?"
  instances=[{"text": prompt}]
  response = endpoint.predict(instances=instances, use_dedicated_endpoint=True)
  print(response.predictions)

Anfrage für einen privaten Endpunkt stellen

Sie können Ihre Abfrage mit einem Notebook oder einer VM im zulässigen Projekt testen.

In dieser Beispielabfrage können Sie Variablen durch Ihre IP-Adresse, Ihr Projekt, Ihre Endpunkt-ID und Ihre Modell-ID (aus dem obigen Bereitstellungsschritt) ersetzen.

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 'https://YOUR_IP/v1beta1/projects/YOUR_PROJECT_ID/locations/YOUR_LOCATION/endpoints/YOUR_ENDPOINT_ID/chat/completions' -d '{ "model": "YOUR_MODEL_ID", "max_tokens": 300, "messages": [{ "role": "user", "content": "how to tell the time by looking at sky?" }]}'

$ curl -k -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 'https:/YOUR_IP/v1beta1/projects/YOUR_PROJECT_ID/locations/YOUR_LOCATION/endpoints/YOUR_ENDPOINT_ID:predict' -d '{
  "instances": [
    {
      "prompt": "Summarize Goog stock performance",
      "temperature": 0,
      "top_p": 1,
      "max_tokens": 154,
      "ignore_eos": true
    }
  ]
}'

Ein weiteres Beispiel für die Verwendung der API finden Sie im Notebook zum Importieren benutzerdefinierter Gewichtungen.

Weitere Informationen zu selbst bereitgestellten Modellen in der Gemini Enterprise Agent Platform

• Weitere Informationen zu privaten dedizierten Endpunkten für Onlinevorhersagen der Gemini Enterprise Agent Platform finden Sie unter Dedizierte private Endpunkte basierend auf Private Service Connect für Online-Inferenz verwenden.
• Weitere Informationen zu selbst bereitgestellten Modellen finden Sie unter Übersicht über selbst bereitgestellte Modelle.
• Weitere Informationen zu Model Garden finden Sie unter Model Garden – Übersicht.
• Weitere Informationen zum Bereitstellen von Modellen finden Sie unter Modelle in Model Garden verwenden.
• Offene Gemma-Modelle verwenden
• Offene Llama-Modelle verwenden
• Offene Hugging Face-Modelle verwenden