שיפור המודלים של Gemini באמצעות שיפור לפי העדפות

המסוף

כדי להגדיר כוונון העדפות באמצעות מסוף Cloud de Confiance :

1. בקטע Gemini Enterprise Agent Platform במסוף Cloud de Confiance , נכנסים לדף Tuning.

   עוברים אל Tuning.

2. לוחצים על Create tuned model.

3. לוחצים על כוונון ההעדפות.

4. בקטע Model details, קובעים את ההגדרות הבאות:

   1. בשדה Tuned model name, נותנים שם למודל המכוונן החדש (עד 128 תווים).
   2. בשדה Base model, בוחרים את מודל הבסיס שרוצים לכוונן.
   3. בשדה הנפתח Region, בוחרים את האזור שבו פועלת משימת הכוונון של צינור עיבוד הנתונים ושבו נפרס המודל המכוונן.

5. בקטע Tuning setting, קובעים את ההגדרות הבאות:

   1. בשדה Number of epochs, מזינים את מספר השלבים להרצה של כוונון המודל.
   2. בשדה Adapter Size, מזינים את גודל המתאם שבו רוצים להשתמש לכוונון המודל.
   3. אופציונלי: בשדה בטא, מזינים את ערך הבטא הרצוי. ‫Beta הוא המקדם שקובע עד כמה המודל המכוונן תואם למודל הבסיס שלו.
   4. בשדה Learning rate multiplier, מזינים את גודל השלב בכל איטרציה. ערך ברירת המחדל הוא 1. .

6. אופציונלי: כדי להשבית את נקודות הביקורת האמצעיות ולהשתמש רק בנקודת הביקורת האחרונה, לוחצים על המתג Export last checkpoint only.

7. לוחצים על Continue.

   הדף Tuning dataset נפתח.

8. כדי להעלות קובץ של מערך נתונים, בוחרים באחת מהאפשרויות הבאות:

   1. אם עדיין לא העליתם מערך נתונים, לחצו על כפתור הבחירה Upload file to Cloud Storage.
   2. בשדה Select JSONL file, לוחצים על Browse ובוחרים את קובץ מערך הנתונים.
   3. בשדה Dataset location, לוחצים על Browse ובוחרים את הקטגוריה של Cloud Storage שבה רוצים לאחסן את קובץ מערך הנתונים.
   4. אם קובץ מערך הנתונים כבר נמצא בקטגוריה של Cloud Storage, בוחרים באפשרות Existing file on Cloud Storage.
   5. בשדה Cloud Storage file path, לוחצים על Browse ובוחרים את הקטגוריה של Cloud Storage שבה נמצא קובץ מערך הנתונים.

9. (אופציונלי) כדי לקבל מדדי אימות במהלך האימון, לוחצים על המתג Enable model validation.

   1. בשדה Validation dataset, מזינים את הנתיב של מערך נתוני האימות ב-Cloud Storage.

10. לוחצים על התחלת הכוונון.

    המודל החדש מופיע בקטע Managed tuning בדף Tune and Distill. כשהכוונון של המודל מסתיים, הסטטוס משתנה ל-Succeeded.

REST

כדי ליצור משימת כוונון של מודל, שולחים בקשת POST באמצעות ה-method‏ tuningJobs.create. חלק מהפרמטרים לא נתמכים בכל המודלים. חשוב לכלול רק את הפרמטרים הרלוונטיים למודל שאתם מכווננים.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫PROJECT_ID: מזהה הפרויקט.
• ‫TUNING_JOB_REGION: האזור שבו פועלת משימת הכוונון. זה גם האזור שבו המודל המכוונן מועלה כברירת מחדל.
• ‫BASE_MODEL: השם של מודל הבסיס לכוונון.
• ‫TRAINING_DATASET_URI: ה-URI של מערך נתוני האימון ב-Cloud Storage. קבוצת הנתונים צריכה להיות בפורמט של קובץ JSONL. כדי לקבל את התוצאות הכי טובות, מומלץ לספק בין 100 ל-500 דוגמאות. מידע נוסף זמין במאמר מידע על מערכי נתונים לכוונון בפיקוח .
• ‫VALIDATION_DATASET_URIאופציונלי: ה-URI של Cloud Storage של קובץ מערך הנתונים לאימות.
• EPOCH_COUNTאופציונלי: מספר המעברים המלאים שהמודל מבצע על כל מערך הנתונים לאימון במהלך האימון. אם לא מגדירים את המדיניות, המערכת משתמשת בערך המומלץ שמאוכלס מראש.
• BETAאופציונלי: המקדם שקובע עד כמה המודל המכוונן תואם למודל הבסיס שלו.
• ADAPTER_SIZEאופציונלי: גודל המתאם שבו משתמשים במשימת הכוונון. גודל המתאם משפיע על מספר הפרמטרים שאפשר לאמן במשימת הכוונון. ככל שהמתאם גדול יותר, המודל יכול ללמוד משימות מורכבות יותר, אבל נדרשת קבוצת נתונים גדולה יותר לאימון וזמני האימון ארוכים יותר.
• LEARNING_RATE_MULTIPLIER: אופציונלי: מכפיל שיוחל על קצב הלמידה המומלץ. אם לא מגדירים את המדיניות, המערכת משתמשת בערך המומלץ.
• EXPORT_LAST_CHECKPOINT_ONLYאופציונלי: מגדירים את הערך true כדי להשתמש רק בנקודת השמירה האחרונה.
• ‫TUNED_MODEL_DISPLAYNAMEאופציונלי: שם לתצוגה של המודל המכוונן. אם לא מגדירים שם, המערכת יוצרת שם אקראי.
• ‫KMS_KEY_NAMEאופציונלי: מזהה המשאב ב-Cloud KMS של מפתח ההצפנה בניהול הלקוח שמשמש להגנה על משאב. המפתח הוא בפורמט: projects/my-project/locations/my-region/keyRings/my-kr/cryptoKeys/my-key. המפתח צריך להיות באותו אזור שבו נוצר משאב המחשוב. מידע נוסף זמין במאמר מפתחות הצפנה בניהול הלקוח (CMEK).
• SERVICE_ACCOUNTאופציונלי: חשבון השירות שבו פועל עומס העבודה של tuningJob. אם לא מציינים סוכן שירות, המערכת משתמשת בסוכן השירות Agent Platform Secure Fine-Tuning בפרויקט. סוכן שירות לכוונון אם אתם מתכננים להשתמש בחשבון שירות בניהול הלקוח, אתם צריכים להקצות לחשבון השירות את התפקיד roles/aiplatform.tuningServiceAgent. צריך גם להקצות את התפקיד סוכן שירות לכוונון (roles/iam.serviceAccountTokenCreator) לחשבון השירות בניהול הלקוח.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

תוכן בקשת JSON:

{
  "baseModel": "BASE_MODEL",
  "preferenceOptimizationSpec" : {
      "trainingDatasetUri": "TRAINING_DATASET_URI",
      "validationDatasetUri": "VALIDATION_DATASET_URI",
      "hyperParameters": {
          "epochCount": "EPOCH_COUNT",
          "beta": "BETA",
          "adapterSize": "ADAPTER_SIZE",
          "learningRateMultiplier": "LEARNING_RATE_MULTIPLIER"
      },
      "exportLastCheckpointOnly": EXPORT_LAST_CHECKPOINT_ONLY,
  },
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME",
  "encryptionSpec": {
    "kmsKeyName": "KMS_KEY_NAME"
  },
  "serviceAccount": "SERVICE_ACCOUNT"
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content

דוגמה לפקודת curl

PROJECT_ID=myproject
LOCATION=global
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
"https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/tuningJobs" \
-d \
$'{
   "baseModel": "${BASE_MODEL}",
   "preferenceOptimizationSpec" : {
      "trainingDatasetUri": "gs://mybucket/preference_tuning/data/train_data.jsonl",
      "validationDatasetUri": "gs://mybucket/preference_tuning/data/validation_data.jsonl"
   },
   "tunedModelDisplayName": "tuned_gemini"
}'

Google Gen AI SDK

import time

from google import genai
from google.genai.types import CreateTuningJobConfig, HttpOptions, TuningDataset

client = genai.Client(http_options=HttpOptions(api_version="v1"))

training_dataset = TuningDataset(
    gcs_uri="gs://mybucket/preference_tuning/data/train_data.jsonl",
)
validation_dataset = TuningDataset(
    gcs_uri="gs://mybucket/preference_tuning/data/validation_data.jsonl",
)

# Refer to https://docs.cloud.google.com/vertex-ai/generative-ai/docs/models/gemini-use-continuous-tuning#google-gen-ai-sdk
# for example to continuous tune from SFT tuned model.
tuning_job = client.tunings.tune(
    base_model="gemini-3.5-flash",
    training_dataset=training_dataset,
    config=CreateTuningJobConfig(
        tuned_model_display_name="Example tuning job",
        method="PREFERENCE_TUNING",
        validation_dataset=validation_dataset,
    ),
)

running_states = set([
    "JOB_STATE_PENDING",
    "JOB_STATE_RUNNING",
])

while tuning_job.state in running_states:
    print(tuning_job.state)
    tuning_job = client.tunings.get(name=tuning_job.name)
    time.sleep(60)

print(tuning_job.tuned_model.model)
print(tuning_job.tuned_model.endpoint)
print(tuning_job.experiment)
# Example response:
# projects/123456789012/locations/us-central1/models/1234567890@1
# projects/123456789012/locations/us-central1/endpoints/123456789012345
# projects/123456789012/locations/us-central1/metadataStores/default/contexts/tuning-experiment-2025010112345678

if tuning_job.tuned_model.checkpoints:
    for i, checkpoint in enumerate(tuning_job.tuned_model.checkpoints):
        print(f"Checkpoint {i + 1}: ", checkpoint)
    # Example response:
    # Checkpoint 1:  checkpoint_id='1' epoch=1 step=10 endpoint='projects/123456789012/locations/us-central1/endpoints/123456789000000'
    # Checkpoint 2:  checkpoint_id='2' epoch=2 step=20 endpoint='projects/123456789012/locations/us-central1/endpoints/123456789012345'