Gemini-Modelle mit Präferenzabstimmung abstimmen

Console

So konfigurieren Sie die Optimierung von Einstellungen über die Cloud de Confiance Console:

1. Rufen Sie in der Cloud de Confiance Console im Bereich „Gemini Enterprise Agent Platform“ die Seite Abstimmung auf.

   Zu Abstimmung

2. Klicken Sie auf Abgestimmtes Modell erstellen.

3. Wählen Sie Einstellungsoptimierung aus.

4. Konfigurieren Sie unter Modelldetails Folgendes:

   1. Geben Sie im Feld Name des abgestimmten Modells einen Namen für das neue abgestimmte Modell ein, der maximal 128 Zeichen umfasst.
   2. Wählen Sie im Feld Basismodell das Foundation Model aus, das Sie optimieren möchten.
   3. Wählen Sie im Drop-down-Feld Region die Region aus, in der der Pipeline-Abstimmungsjob ausgeführt und in der das abgestimmte Modell bereitgestellt wird.

5. Konfigurieren Sie unter Abstimmungseinstellung Folgendes:

   1. Geben Sie im Feld Anzahl der Epochen die Anzahl der Schritte ein, die zur Modellabstimmung ausgeführt werden sollen.
   2. Geben Sie im Feld Adaptergröße die Adaptergröße ein, die für die Modelloptimierung verwendet werden soll.
   3. Optional: Geben Sie im Feld Beta den gewünschten Betawert ein. Beta ist der Koeffizient, der steuert, wie genau das abgestimmte Modell mit seiner Baseline übereinstimmt.
   4. Geben Sie im Feld Multiplikator für die Lernrate die Schrittgröße pro Durchlauf ein. Der Standardwert ist 1. .

6. Optional: Wenn Sie Zwischenprüfpunkte deaktivieren und nur den neuesten Prüfpunkt verwenden möchten, klicken Sie auf den Ein/Aus-Button Nur letzten Prüfpunkt exportieren.

7. Klicken Sie auf Weiter.

   Die Seite Abstimmungs-Dataset wird geöffnet.

8. Wählen Sie eine der folgenden Optionen aus, um eine Dataset-Datei hochzuladen:

   1. Wenn Sie noch kein Dataset hochgeladen haben, wählen Sie das Optionsfeld Datei in Cloud Storage hochladen aus.
   2. Klicken Sie im Feld JSONL-Datei auswählen auf Durchsuchen und wählen Sie die Dataset-Datei aus.
   3. Klicken Sie im Feld Dataset-Speicherort auf Durchsuchen und wählen Sie den Cloud Storage-Bucket, in dem Sie die Dataset-Datei speichern möchten.
   4. Wenn sich die Dataset-Datei bereits in einem Cloud Storage-Bucket befindet, wählen Sie das Optionsfeld für Vorhandene Datei in Cloud Storage aus.
   5. Klicken Sie im Feld Cloud Storage-Dateipfad auf Durchsuchen und wählen Sie den Cloud Storage-Bucket, in dem sich Ihre Dataset-Datei befindet.

9. (Optional) Wenn Sie während des Trainings Validierungsmesswerte erhalten möchten, klicken Sie auf den Ein/Aus-Button Modellvalidierung aktivieren.

   1. Geben Sie in der Datei Validierungs-Dataset den Cloud Storage-Pfad Ihres Validierungs-Datasets ein.

10. Klicken Sie auf Abstimmung starten.

    Ihr neues Modell wird auf der Seite Feinabstimmung und Destillieren im Abschnitt Verwaltete Feinabstimmung angezeigt. Wenn die Abstimmung des Modells abgeschlossen ist, lautet der Status Erfolgreich.

REST

Senden Sie zum Erstellen eines Modellabstimmungsjobs eine POST-Anfrage mit der Methode tuningJobs.create. Einige Parameter werden nicht von allen Modellen unterstützt. Achten Sie darauf, dass Sie nur die für das abzustimmende Modell relevanten Parameter einfügen.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

• PROJECT_ID: Ihre Projekt-ID.
• TUNING_JOB_REGION: Die Region, in der der Abstimmungsjob ausgeführt wird. Dies ist auch die Standardregion, in der das abgestimmte Modell hochgeladen wird.
• BASE_MODEL: Name des zu optimierenden Foundation Models.
• TRAINING_DATASET_URI: Cloud Storage-URI Ihres Trainings-Datasets. Das Dataset muss als JSONL-Datei formatiert sein. Die besten Ergebnisse erzielen Sie, wenn Sie mindestens 100 bis 500 Beispiele angeben. Weitere Informationen finden Sie unter Überwachte Abstimmungs-Datasets.
• VALIDATION_DATASET_URIOptional: Der Cloud Storage-URI der Validierungs-Dataset-Datei.
• EPOCH_COUNTOptional: Die Anzahl der vollständigen Durchläufe des gesamten Trainings-Datasets durch das Modell während des Trainings. Legen Sie das Feld nicht fest, um den vorab ausgefüllten empfohlenen Wert verwenden zu lassen.
• BETAOptional: Der Koeffizient, der steuert, wie genau das abgestimmte Modell mit seiner Baseline übereinstimmt.
• ADAPTER_SIZEOptional: Die Adaptergröße, die für den Optimierungsjob verwendet werden soll. Die Adaptergröße wirkt sich auf die Anzahl der trainierbaren Parameter für den Optimierungsjob aus. Eine größere Adaptergröße bedeutet, dass das Modell komplexere Aufgaben lernen kann. Es erfordert jedoch einen größeren Trainingsdatensatz und längere Trainingszeiten.
• LEARNING_RATE_MULTIPLIER: Optional: Ein Multiplikator, der auf die empfohlene Lernrate anzuwenden ist. Legen Sie das Feld nicht fest, um den empfohlenen Wert verwenden zu lassen.
• EXPORT_LAST_CHECKPOINT_ONLYOptional: Legen Sie true fest, um nur den neuesten Prüfpunkt zu verwenden.
• TUNED_MODEL_DISPLAYNAMEOptional: Ein Anzeigename für das abgestimmte Modell. Wenn nicht festgelegt, wird ein zufälliger Name generiert.
• KMS_KEY_NAMEOptional: Die Cloud KMS-Ressourcen-ID des kundenverwalteten Verschlüsselungsschlüssels, der zum Schutz einer Ressource verwendet wird. Der Schlüssel hat das Format projects/my-project/locations/my-region/keyRings/my-kr/cryptoKeys/my-key. Der Schlüssel muss sich in derselben Region befinden, in der die Compute-Ressource erstellt wird. Weitere Informationen finden Sie unter Kundenverwaltete Verschlüsselungsschlüssel (CMEK).
• SERVICE_ACCOUNTOptional: Das Dienstkonto, unter dem die tuningJob-Arbeitslast ausgeführt wird. Wenn nicht angegeben, wird der Dienst-Agent für die sichere Feinabstimmung der Agent-Plattform im Projekt verwendet. Weitere Informationen finden Sie unter Abstimmungsdienst-Agent. Wenn Sie ein vom Kunden verwaltetes Dienstkonto verwenden möchten, müssen Sie dem Dienstkonto die Rolle roles/aiplatform.tuningServiceAgent zuweisen. Weisen Sie dem vom Kunden verwalteten Dienstkonto außerdem die Rolle Tuning Service Agent roles/iam.serviceAccountTokenCreator zu.

HTTP-Methode und URL:

POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

JSON-Text anfordern:

{
  "baseModel": "BASE_MODEL",
  "preferenceOptimizationSpec" : {
      "trainingDatasetUri": "TRAINING_DATASET_URI",
      "validationDatasetUri": "VALIDATION_DATASET_URI",
      "hyperParameters": {
          "epochCount": "EPOCH_COUNT",
          "beta": "BETA",
          "adapterSize": "ADAPTER_SIZE",
          "learningRateMultiplier": "LEARNING_RATE_MULTIPLIER"
      },
      "exportLastCheckpointOnly": EXPORT_LAST_CHECKPOINT_ONLY,
  },
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME",
  "encryptionSpec": {
    "kmsKeyName": "KMS_KEY_NAME"
  },
  "serviceAccount": "SERVICE_ACCOUNT"
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content

Beispiel: cURL-Befehls

PROJECT_ID=myproject
LOCATION=global
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
"https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/tuningJobs" \
-d \
$'{
   "baseModel": "${BASE_MODEL}",
   "preferenceOptimizationSpec" : {
      "trainingDatasetUri": "gs://mybucket/preference_tuning/data/train_data.jsonl",
      "validationDatasetUri": "gs://mybucket/preference_tuning/data/validation_data.jsonl"
   },
   "tunedModelDisplayName": "tuned_gemini"
}'

Google Gen AI SDK

import time

from google import genai
from google.genai.types import CreateTuningJobConfig, HttpOptions, TuningDataset

client = genai.Client(http_options=HttpOptions(api_version="v1"))

training_dataset = TuningDataset(
    gcs_uri="gs://mybucket/preference_tuning/data/train_data.jsonl",
)
validation_dataset = TuningDataset(
    gcs_uri="gs://mybucket/preference_tuning/data/validation_data.jsonl",
)

# Refer to https://docs.cloud.google.com/vertex-ai/generative-ai/docs/models/gemini-use-continuous-tuning#google-gen-ai-sdk
# for example to continuous tune from SFT tuned model.
tuning_job = client.tunings.tune(
    base_model="gemini-3.5-flash",
    training_dataset=training_dataset,
    config=CreateTuningJobConfig(
        tuned_model_display_name="Example tuning job",
        method="PREFERENCE_TUNING",
        validation_dataset=validation_dataset,
    ),
)

running_states = set([
    "JOB_STATE_PENDING",
    "JOB_STATE_RUNNING",
])

while tuning_job.state in running_states:
    print(tuning_job.state)
    tuning_job = client.tunings.get(name=tuning_job.name)
    time.sleep(60)

print(tuning_job.tuned_model.model)
print(tuning_job.tuned_model.endpoint)
print(tuning_job.experiment)
# Example response:
# projects/123456789012/locations/us-central1/models/1234567890@1
# projects/123456789012/locations/us-central1/endpoints/123456789012345
# projects/123456789012/locations/us-central1/metadataStores/default/contexts/tuning-experiment-2025010112345678

if tuning_job.tuned_model.checkpoints:
    for i, checkpoint in enumerate(tuning_job.tuned_model.checkpoints):
        print(f"Checkpoint {i + 1}: ", checkpoint)
    # Example response:
    # Checkpoint 1:  checkpoint_id='1' epoch=1 step=10 endpoint='projects/123456789012/locations/us-central1/endpoints/123456789000000'
    # Checkpoint 2:  checkpoint_id='2' epoch=2 step=20 endpoint='projects/123456789012/locations/us-central1/endpoints/123456789012345'