יצירת תמונות מסרטון באמצעות Gemini

המסוף

כדי ליצור תמונות מסרטון באמצעות Gemini:

1. בקטע Agent Platform (פלטפורמת סוכנים) במסוף Cloud de Confiance , עוברים אל Agent Studio ‏> Image (תמונה).

   מעבר אל Vertex AI Studio

2. בקטע Model settings (הגדרות המודל), בוחרים אחד מהמודלים שמוצגים.

3. באזור הטקסט הנחיה, לוחצים על הלחצן הוספה הוספה ואז בוחרים את המקור של קובץ הווידאו:

   העלאה

   בוחרים את הקובץ שרוצים להעלות ולוחצים על פתיחה.

   לפי כתובת URL

   מזינים את כתובת ה-URL של הקובץ שבו רוצים להשתמש ולוחצים על הוספה.

   YouTube

   מזינים את כתובת ה-URL של סרטון YouTube שרוצים להשתמש בו ולוחצים על הוספה.

   אתם יכולים להשתמש בכל סרטון שגלוי לכולם או בסרטון שבבעלות החשבון שבאמצעותו נכנסתם למסוף Cloud de Confiance .

   Cloud Storage

   בוחרים את הקטגוריה ואז את הקובץ מהקטגוריה שרוצים לייבא, ולוחצים על Select.

   Google Drive

   1. בוחרים חשבון ומביעים הסכמה ל-Vertex AI Studio לגשת לחשבון בפעם הראשונה שבוחרים באפשרות הזו. אפשר להעלות כמה קבצים בגודל כולל של עד 10MB. הגודל המקסימלי של כל קובץ הוא 7MB.
   2. לוחצים על הקובץ שרוצים להוסיף.

   3. לוחצים על בחירה.

      התמונה הממוזערת של הקובץ מוצגת בחלונית הנחיה. מוצג גם המספר הכולל של האסימונים. אם נתוני ההנחיה חורגים ממגבלת הטוקנים, הטוקנים נחתכים ולא נכללים בעיבוד הנתונים.

4. כותבים תיאור של התמונה שרוצים ליצור באזור הטקסט של ההנחיה.

5. לוחצים על לחצן פרומפט (send).

‫Gemini יוצר תמונה על סמך התיאור שלכם. התהליך הזה נמשך כמה שניות, אבל הוא יכול להיות איטי יותר בהתאם לקיבולת.

Python

התקנה

pip install --upgrade google-genai

מידע נוסף זמין ב מאמרי העזרה של ה-SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai
from google.genai.types import GenerateContentConfig, Modality, Part
from PIL import Image
from io import BytesIO

client = genai.Client()

# A video on 'The ABCs of agent building'
video = "https://www.youtube.com/watch?v=rjoMZyxncUI"

response = client.models.generate_content(
    model="gemini-3.1-flash-image",
    contents=[
        Part.from_uri(
            file_uri=video,
            mime_type="video/mp4"
        ), 
        "Generate an infographic of the topics covered in this video."
    ],
    config=GenerateContentConfig(response_modalities=[Modality.TEXT, Modality.IMAGE]),
)
for part in response.candidates[0].content.parts:
    if part.text:
        print(part.text)
    elif part.inline_data:
        image = Image.open(BytesIO((part.inline_data.data)))
        image.save("output_folder/video-image.png")

REST

אחרי שמגדירים את הסביבה, אפשר להשתמש ב-REST כדי לבדוק פרומפט טקסטואלי. בדוגמה הבאה מוצגת שליחה של בקשה לנקודת הקצה של מודל בעל התוכן הדיגיטלי.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫PROJECT_ID: מזהה הפרויקט.

• ‫FILE_URI: ה-URI או כתובת ה-URL של הקובץ שרוצים לכלול בהנחיה. הערכים הקבילים כוללים את האפשרויות הבאות:

  • URI של קטגוריית Cloud Storage: האובייקט צריך להיות ניתן לקריאה באופן ציבורי או להיות באותו פרויקט Cloud de Confiance ששולח את הבקשה.
  • כתובת URL מסוג HTTP: כתובת ה-URL של הקובץ צריכה להיות ניתנת לקריאה על ידי כולם. בכל בקשה אפשר לציין קובץ וידאו אחד, קובץ אודיו אחד ועד 10 קובצי תמונות. הגודל המקסימלי של קובצי אודיו, קובצי וידאו ומסמכים הוא 15MB.
  • כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube צריך להיות בבעלות החשבון שבו השתמשתם כדי להיכנס למסוף Cloud de Confiance , או להיות גלוי לכולם. אפשר לציין רק כתובת URL אחת של סרטון ב-YouTube בכל בקשה.

  כשמציינים fileURI, צריך לציין גם את סוג המדיה (mimeType) של הקובץ. אם שירות VPC Service Controls מופעל, אי אפשר לציין כתובת URL של קובץ מדיה עבור fileURI.

  אם אין לכם קובץ וידאו ב-Cloud Storage, אתם יכולים להשתמש בקובץ הבא שזמין לציבור: gs://cloud-samples-data/video/animals.mp4 עם סוג MIME של video/mp4. כדי לצפות בסרטון הזה, פותחים את קובץ ה-MP4 לדוגמה.

• ‫MIME_TYPE: סוג המדיה של הקובץ שצוין בשדות data או fileUri. הערכים הקבילים כוללים:

  לחצו כדי להרחיב את סוגי ה-MIME

  • application/pdf
  • audio/mpeg
  • audio/mp3
  • audio/wav
  • image/png
  • image/jpeg
  • image/webp
  • text/plain
  • video/mov
  • video/mpeg
  • video/mp4
  • video/mpg
  • video/avi
  • video/wmv
  • video/mpegps
  • video/flv
• ‫TEXT: הוראות הטקסט שרוצים לכלול בהנחיה. לדוגמה, What is in the video?

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

cat > request.json << 'EOF'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.1-flash-image:generateContent"

@'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.1-flash-image:generateContent" | Select-Object -Expand Content

• משתמשים בשיטה generateContent כדי לבקש שהתשובה תוחזר אחרי שהיא נוצרה במלואה. כדי להפחית את תפיסת זמן האחזור בקרב קהל אנושי, אפשר להעביר בסטרימינג את התשובה בזמן שהיא נוצרת באמצעות השיטה streamGenerateContent.
• המזהה של המודל המולטי-מודאלי נמצא בסוף כתובת ה-URL לפני ה-method (לדוגמה, gemini-3.5-flash). יכול להיות שהדוגמה הזו תומכת גם במודלים אחרים.
• כשמשתמשים בנקודת קצה אזורית ל-API (לדוגמה, us-central1), האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד. המערכת מתעלמת מכל מיקום שמתנגש בנתיב המשאב.