Videos mit dem ersten und letzten Videobild erstellen

Mit Gemini Omni Flash oder Veo auf der Gemini Enterprise Agent Platform können Sie Videos generieren, indem Sie das erste und das letzte Frame des Videos angeben. Zu den unterstützten Schnittstellen gehören die Cloud de Confiance Console und die Agent Platform API.

Die folgenden Modelle unterstützen das Generieren von Videos aus dem ersten und letzten Videoframe:

Gemini Omni Flash

Klicken, um unterstützte Modelle einzublenden

Veo

Klicken, um unterstützte Modelle einzublenden

Weitere Informationen zum Schreiben effektiver Text-Prompts für die Videogenerierung finden Sie im Leitfaden für Veo-Prompts.

Gemini Omni Flash in einem Colab ausprobieren

Hinweis

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Enable the Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  3. Richten Sie die Authentifizierung für Ihre Umgebung ein.

    Wählen Sie den Tab für die geplante Verwendung der Beispiele auf dieser Seite aus:

    Console

    Wenn Sie über die Cloud de Confiance Console auf Cloud de Confiance by S3NS -Dienste und -APIs zugreifen, müssen Sie die Authentifizierung nicht einrichten.

    REST

    Wenn Sie die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung verwenden möchten, verwenden Sie die Anmeldedaten, die Sie der gcloud CLI bereitstellen.

      Installieren Sie die Google Cloud CLI und melden Sie sich dann mit Ihrer föderierten Identität in der gcloud CLI an.

    Weitere Informationen finden Sie in der Dokumentation zur Cloud de Confiance -Authentifizierung unter Für die Verwendung von REST authentifizieren.

Mit Gemini Omni Flash ein Video aus dem ersten und letzten Frame erstellen

So generieren Sie Videos mit Gemini Omni Flash:

REST

Die Videogenerierung kann mehr als eine Minute dauern. Je nach Workflow können Sie zwischen verschiedenen Interaktionsmodi wählen:

  • Synchron: zustandslos: Ein Video wird in einer einzigen Anfrage generiert, ohne dass der Interaktionsstatus auf dem Server gespeichert wird.
  • Synchron: statusbehaftet: Setzen Sie store auf true, um den Interaktionsstatus beizubehalten. So können Sie das Ergebnis später abrufen oder die Interaktions-ID für die Videobearbeitung in mehreren Schritten verwenden.
  • Synchron: zustandsorientiertes Streaming: Setzen Sie sowohl store als auch stream auf true, um die Gedanken des Modells inkrementell zu erhalten, während sie generiert werden, gefolgt vom Ausgabevideo.
  • Asynchron: Setzen Sie background auf true, um die Videogenerierung im Hintergrund auszuführen und das Ergebnis später über die Interaktions-ID abzurufen.

Gespeicherte und asynchrone Interaktionen werden bis zu 14 Tage lang aufbewahrt.

Weitere Informationen zur Verwendung der Gemini Omni Flash API finden Sie unter Interactions API.

Synchron: zustandslos

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ein String, der Ihre Cloud de Confiance by S3NS -Projekt-ID darstellt.
  • MODEL_ID: Ein String, der die zu verwendende Modell-ID darstellt. Folgende Werte sind zulässig:
    • "gemini-omni-1.1-flash-preview"
  • TEXT_PROMPT: Der Text-Prompt, der für die Videogenerierung verwendet wird.
  • CLOUD_STORAGE_INPUT_URI: Ein String, der den Cloud Storage-Bucket darstellt, der die Eingabemedien enthält. Beispiel: "gs://video-bucket/input/"
  • CLOUD_STORAGE_OUTPUT_URI: Optional: Ein String, der den Cloud Storage-Bucket darstellt, in dem die Ausgabevideos gespeichert werden sollen. Wenn nicht angegeben, werden Videobytes in der Antwort zurückgegeben. Beispiel: "gs://video-bucket/output/"
  • ASPECT_RATIO: Optional: Ein String, der das erwartete Seitenverhältnis des Ausgabevideos darstellt. Wenn kein Seitenverhältnis angegeben wird, wird es aus dem Prompt abgeleitet. Folgende Werte sind zulässig:
    • "16:9"
    • "9:16"
  • OUTPUT_RESOLUTION:

    Optional: Ein String, der die Auflösung der Videoausgabe darstellt. Wenn nichts angegeben ist, wird standardmäßig 720p verwendet.

    gemini-omni-1.1-flash-preview unterstützt die folgenden Werte:

    • "360p"
    • "720p"
    • "1080p"
    • "4k"

    gemini-omni-flash-preview unterstützt nur "720p".

  • DURATION: Ein String, der die Länge der generierten Videodateien darstellt. Zulässige Strings sind Ganzzahlen zwischen 3 und 10, gefolgt von „s“ für Sekunden. Beispiel: "10s"

HTTP-Methode und URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions

JSON-Text der Anfrage:

{
  "model": "MODEL_ID",
  "input": [
    {
      "type": "text",
      "text": "TEXT_PROMPT"
    },
    {
      "type": "image",
      "uri": "CLOUD_STORAGE_INPUT_URI",
      "mime_type": "image/png"
    },
    {
      "type": "image",
      "uri": "CLOUD_STORAGE_INPUT_URI",
      "mime_type": "image/png"
    }
  ],
  "response_format": [
    {
      "type": "video",
      "delivery": "uri",
      "gcs_uri": "CLOUD_STORAGE_OUTPUT_URI",
      "aspect_ratio": "ASPECT_RATIO",
      "resolution": "OUTPUT_RESOLUTION",
      "duration": "DURATION"
    }
  ],
  "generation_config": {
    "video_config": {
      "task": "image_to_video"
    }
  }
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

curl -X POST \
     -H "Authorization: Bearer TOKEN" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
Die Antwort enthält eine Interaktion, die die Gedanken des Modells und ein Ausgabevideo umfasst. 
{
  "id":"INTERACTION_ID",
  "model":"gemini-omni-flash-preview",
  "status":"completed",
  "usage":{
    "total_tokens":479,
    "total_input_tokens":26,
    "input_tokens_by_modality":[
      {
        "modality":"text",
        "tokens":26
      },
      {
        "modality":"image",
        "tokens":124
      }
    ],
    "output_tokens_by_modality": [
      {
        "modality": "video",
        "tokens": 28832
      }
    ],
    "total_output_tokens":28832,
    "total_thought_tokens":453
  },
  "steps":[
    {
      "type":"thought",
      "summary":[
        {
          "type":"text",
          "text":"MODEL THOUGHTS"
        }
      ],
    },
    { 
      "type":"model_output",
      "content":[
        {
          "type":"video",
          "uri":"gs://some/output_path/123.mp4",
          "mime_type":"video/mp4" 
        }
      ]
    }
  ],
  "object":"interaction",
  "role":"model",
  "created":"2026-05-29T02:17:56Z",
  "updated":"2026-05-29T02:17:56Z",
}

Synchron: zustandsbehaftet

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ein String, der Ihre Cloud de Confiance by S3NS -Projekt-ID darstellt.
  • MODEL_ID: Ein String, der die zu verwendende Modell-ID darstellt. Folgende Werte sind zulässig:
    • "gemini-omni-1.1-flash-preview"
  • TEXT_PROMPT: Der Text-Prompt, der für die Videogenerierung verwendet wird.
  • CLOUD_STORAGE_INPUT_URI: Ein String, der den Cloud Storage-Bucket darstellt, der die Eingabemedien enthält. Beispiel: "gs://video-bucket/input/"
  • CLOUD_STORAGE_OUTPUT_URI: Optional: Ein String, der den Cloud Storage-Bucket darstellt, in dem die Ausgabevideos gespeichert werden sollen. Wenn nicht angegeben, werden Videobytes in der Antwort zurückgegeben. Beispiel: "gs://video-bucket/output/"
  • ASPECT_RATIO: Optional: Ein String, der das erwartete Seitenverhältnis des Ausgabevideos darstellt. Wenn kein Seitenverhältnis angegeben wird, wird es aus dem Prompt abgeleitet. Folgende Werte sind zulässig:
    • "16:9"
    • "9:16"
  • OUTPUT_RESOLUTION:

    Optional: Ein String, der die Auflösung der Videoausgabe darstellt. Wenn nichts angegeben ist, wird standardmäßig 720p verwendet.

    gemini-omni-1.1-flash-preview unterstützt die folgenden Werte:

    • "360p"
    • "720p"
    • "1080p"
    • "4k"

    gemini-omni-flash-preview unterstützt nur "720p".

  • DURATION: Ein String, der die Länge der generierten Videodateien darstellt. Zulässige Strings sind Ganzzahlen zwischen 3 und 10, gefolgt von „s“ für Sekunden. Beispiel: "10s"

HTTP-Methode und URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions

JSON-Text der Anfrage:

{
  "model": "MODEL_ID",
  "background": false,
  "store": true,
  "stream": false,
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "TEXT_PROMPT"
        },
        {
          "type": "image",
          "uri": "CLOUD_STORAGE_INPUT_URI",
          "mime_type": "image/png"
        },
        {
          "type": "image",
          "uri": "CLOUD_STORAGE_INPUT_URI",
          "mime_type": "image/png"
        }
      ]
    }
  ],
  "response_format": [
    {
      "type": "video",
      "delivery": "uri",
      "gcs_uri": "CLOUD_STORAGE_OUTPUT_URI",
      "aspect_ratio": "ASPECT_RATIO",
      "resolution": "OUTPUT_RESOLUTION",
      "duration": "DURATION"
    }
  ]
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

curl -X POST \
     -H "Authorization: Bearer TOKEN" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
Die Antwort enthält eine Interaktion, die die Gedanken des Modells und ein Ausgabevideo umfasst. 
{
  "id":"INTERACTION_ID",
  "model":"gemini-omni-flash-preview",
  "status":"completed",
  "usage":{
    "total_tokens":479,
    "total_input_tokens":26,
    "input_tokens_by_modality":[
      {
        "modality":"text",
        "tokens":26
      },
      {
        "modality":"image",
        "tokens":124
      }
    ],
    "output_tokens_by_modality": [
      {
        "modality": "video",
        "tokens": 28832
      }
    ],
    "total_output_tokens":28832,
    "total_thought_tokens":453
  },
  "steps":[
    {
      "type":"thought",
      "summary":[
        {
          "type":"text",
          "text":"MODEL THOUGHTS"
        }
      ],
    },
    { 
      "type":"model_output",
      "content":[
        {
          "type":"video",
          "uri":"gs://some/output_path/123.mp4",
          "mime_type":"video/mp4" 
        }
      ]
    }
  ],
  "object":"interaction",
  "role":"model",
  "created":"2026-05-29T02:17:56Z",
  "updated":"2026-05-29T02:17:56Z",
}
Verwenden Sie die INTERACTION_ID, um das generierte Video abzurufen:

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ein String, der Ihre Cloud de Confiance by S3NS -Projekt-ID darstellt.
  • INTERACTION_ID: Die Interaktions-ID aus der asynchronen Anfrage.

HTTP-Methode und URL: 

GET https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID

Senden Sie die Anfrage mithilfe einer der folgenden Optionen:

curl

Führen Sie folgenden Befehl aus:

curl -X GET \
     -H "Authorization: Bearer TOKEN" \
     "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID"

PowerShell

Führen Sie diesen Befehl aus:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID" | Select-Object -Expand Content
Die Antwort hat ein Format, das dem folgenden ähnelt: 
{
  "id":"INTERACTION_ID",
  "model":"gemini-omni-flash-preview",
  "status":"completed",
  "usage":{
    "total_tokens":479,
    "total_input_tokens":26,
    "input_tokens_by_modality":[
      {
        "modality":"text",
        "tokens":26
      },
      {
        "modality":"image",
        "tokens":124
      }
    ],
    "output_tokens_by_modality": [
      {
        "modality": "video",
        "tokens": 28832
      }
    ],
    "total_output_tokens":28832,
    "total_thought_tokens":453
  },
  "steps":[
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "5 second, 9:16 video. Use the image as the first frame."
        },
        {
          "type": "image",
          "uri": "gs://some/path",
          "mime_type": "image/png"
        }
      ]
    },
    {
      "type":"thought"
      "summary":[
        {
          "type":"text",
          "text":"MODEL THOUGHTS"
        }
      ],
    },
    { 
      "type":"model_output",
      "content":[
        {
          "type":"video",
          "data":"VIDEO DATA",
          "mime_type":"video/mp4" 
        }
      ]
    }
  ],
  "object":"interaction"
  "role":"model",
  "created":"2026-05-29T02:17:56Z",
  "updated":"2026-05-29T02:17:56Z",
}

Synchron: Stateful Streaming

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ein String, der Ihre Cloud de Confiance by S3NS Projekt-ID darstellt.
  • MODEL_ID: Ein String, der die zu verwendende Modell-ID darstellt. Folgende Werte sind zulässig:
    • "gemini-omni-1.1-flash-preview"
  • TEXT_PROMPT: Der Text-Prompt, der für die Videogenerierung verwendet wird.
  • CLOUD_STORAGE_INPUT_URI: Ein String, der den Cloud Storage-Bucket darstellt, der die Eingabemedien enthält. Beispiel: "gs://video-bucket/input/"
  • CLOUD_STORAGE_OUTPUT_URI: Optional: Ein String, der den Cloud Storage-Bucket darstellt, in dem die Ausgabevideos gespeichert werden sollen. Wenn nicht angegeben, werden Videobytes in der Antwort zurückgegeben. Beispiel: "gs://video-bucket/output/"
  • ASPECT_RATIO: Optional: Ein String, der das erwartete Seitenverhältnis des Ausgabevideos darstellt. Wenn kein Seitenverhältnis angegeben wird, wird es aus dem Prompt abgeleitet. Folgende Werte sind zulässig:
    • "16:9"
    • "9:16"
  • OUTPUT_RESOLUTION:

    Optional: Ein String, der die Auflösung der Videoausgabe darstellt. Wenn nichts angegeben ist, wird standardmäßig 720p verwendet.

    gemini-omni-1.1-flash-preview unterstützt die folgenden Werte:

    • "360p"
    • "720p"
    • "1080p"
    • "4k"

    gemini-omni-flash-preview unterstützt nur "720p".

  • DURATION: Ein String, der die Länge der generierten Videodateien darstellt. Zulässige Strings sind Ganzzahlen zwischen 3 und 10, gefolgt von „s“ für Sekunden. Beispiel: "10s"

HTTP-Methode und URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions

JSON-Text der Anfrage:

{
  "model": "MODEL_ID",
  "background": false,
  "store": true,
  "stream": true,
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "TEXT_PROMPT"
        },
        {
          "type": "image",
          "uri": "CLOUD_STORAGE_INPUT_URI",
          "mime_type": "image/png"
        },
        {
          "type": "image",
          "uri": "CLOUD_STORAGE_INPUT_URI",
          "mime_type": "image/png"
        }
      ]
    }
  ],
  "response_format": [
    {
      "type": "video",
      "delivery": "uri",
      "gcs_uri": "CLOUD_STORAGE_OUTPUT_URI",
      "aspect_ratio": "ASPECT_RATIO",
      "resolution": "OUTPUT_RESOLUTION",
      "duration": "DURATION"
    }
  ]
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

curl -X POST \
     -H "Authorization: Bearer TOKEN" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
Die Antwort enthält eine Interaktion mit den Überlegungen des Modells und einem Ausgabevideo. 
event: interaction.created
data: {"interaction":{"id":"INTERACTION_ID","status":"in_progress","object":"interaction","model":"gemini-omni-flash-preview"},"event_type":"interaction.created"}

event: interaction.status_update
data: {"interaction_id":"INTERACTION_ID","status":"in_progress","event_type":"interaction.status_update"}

event: step.start
data: {"index":0,"step":{"type":"thought"},"event_type":"step.start"}

event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.delta
data: {"index":0,"delta":{"signature":"...","type":"thought_signature"},"event_type":"step.delta"}

event: step.stop
data: {"index":0,"event_type":"step.stop"}

event: step.start
data: {"index":1,"step":{"type":"model_output"},"event_type":"step.start"}

event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","uri":"gs://some/output_path/123.mp4","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.stop
data: {"index":1,"event_type":"step.stop"}

event: interaction.completed
data: {"interaction":{"id":"INTERACTION_ID","status":"completed","usage":{"total_tokens":17812,"total_input_tokens":21,"input_tokens_by_modality":[{"modality":"text","tokens":21}],"total_output_tokens":17376,"output_tokens_by_modality":[{"modality":"video","tokens":17376}],"total_thought_tokens":415},"created":"2026-08-12T21:26:20Z","updated":"2026-08-12T21:26:20Z","event_id":"EVENT_ID","object":"interaction","model":"gemini-omni-flash-preview"},"event_id":"EVENT_ID","event_type":"interaction.completed"}

event: done
data: [DONE]
Verwenden Sie die INTERACTION_ID mit `?stream=true`, um die gespeicherte Interaktion und das generierte Video zu streamen:

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ein String, der Ihre Cloud de Confiance by S3NS Projekt-ID darstellt.
  • INTERACTION_ID: Die Interaktions-ID aus der Anfrage.

HTTP-Methode und URL: 

GET https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID?stream=true

Senden Sie die Anfrage mithilfe einer der folgenden Optionen:

curl

Führen Sie folgenden Befehl aus:

curl -X GET \
     -H "Authorization: Bearer TOKEN" \
     "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID?stream=true"

PowerShell

Führen Sie diesen Befehl aus:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID?stream=true" | Select-Object -Expand Content
Die Antwort ist ein Stream von Server-Sent Events (SSE) in einem Format, das dem folgenden ähnelt: 
event: interaction.created
data: {"interaction":{"id":"INTERACTION_ID","status":"in_progress","object":"interaction","model":"gemini-omni-flash-preview"},"event_type":"interaction.created"}

event: interaction.status_update
data: {"interaction_id":"INTERACTION_ID","status":"in_progress","event_type":"interaction.status_update"}

event: step.start
data: {"index":0,"step":{"type":"thought"},"event_type":"step.start"}

event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.delta
data: {"index":0,"delta":{"signature":"...","type":"thought_signature"},"event_type":"step.delta"}

event: step.stop
data: {"index":0,"event_type":"step.stop"}

event: step.start
data: {"index":1,"step":{"type":"model_output"},"event_type":"step.start"}

event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","uri":"gs://some/output_path/123.mp4","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.stop
data: {"index":1,"event_type":"step.stop"}

event: interaction.completed
data: {"interaction":{"id":"INTERACTION_ID","status":"completed","usage":{"total_tokens":17664,"total_input_tokens":21,"input_tokens_by_modality":[{"modality":"text","tokens":21}],"total_output_tokens":17376,"output_tokens_by_modality":[{"modality":"video","tokens":17376}],"total_thought_tokens":267},"created":"2026-08-12T21:33:08Z","updated":"2026-08-12T21:33:08Z","event_id":"EVENT_ID","object":"interaction","model":"gemini-omni-flash-preview"},"event_id":"EVENT_ID","event_type":"interaction.completed"}

event: done
data: [DONE]

Asynchron

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ein String, der Ihre Cloud de Confiance by S3NS -Projekt-ID darstellt.
  • MODEL_ID: Ein String, der die zu verwendende Modell-ID darstellt. Folgende Werte sind zulässig:
    • "gemini-omni-1.1-flash-preview"
  • TEXT_PROMPT: Der Text-Prompt, der für die Videogenerierung verwendet wird.
  • CLOUD_STORAGE_INPUT_URI: Ein String, der den Cloud Storage-Bucket darstellt, der die Eingabemedien enthält. Beispiel: "gs://video-bucket/input/"
  • CLOUD_STORAGE_OUTPUT_URI: Optional: Ein String, der den Cloud Storage-Bucket darstellt, in dem die Ausgabevideos gespeichert werden sollen. Wenn nicht angegeben, werden Videobytes in der Antwort zurückgegeben. Beispiel: "gs://video-bucket/output/"
  • ASPECT_RATIO: Optional: Ein String, der das erwartete Seitenverhältnis des Ausgabevideos darstellt. Wenn kein Seitenverhältnis angegeben wird, wird es aus dem Prompt abgeleitet. Folgende Werte sind zulässig:
    • "16:9"
    • "9:16"
  • OUTPUT_RESOLUTION:

    Optional: Ein String, der die Auflösung der Videoausgabe darstellt. Wenn nichts angegeben ist, wird standardmäßig 720p verwendet.

    gemini-omni-1.1-flash-preview unterstützt die folgenden Werte:

    • "360p"
    • "720p"
    • "1080p"
    • "4k"

    gemini-omni-flash-preview unterstützt nur "720p".

  • DURATION: Ein String, der die Länge der generierten Videodateien darstellt. Zulässige Strings sind Ganzzahlen zwischen 3 und 10, gefolgt von „s“ für Sekunden. Beispiel: "10s"

HTTP-Methode und URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions

JSON-Text der Anfrage:

{
  "model": "MODEL_ID",
  "input": [
    {
      "background": true,
      "type": "text",
      "text": "TEXT_PROMPT"
    },
    {
      "type": "image",
      "uri": "CLOUD_STORAGE_INPUT_URI",
      "mime_type": "image/png"
    },
    {
      "type": "image",
      "uri": "CLOUD_STORAGE_INPUT_URI",
      "mime_type": "image/png"
    }
  ],
  "response_format": [
    {
      "type": "video",
      "delivery": "uri",
      "gcs_uri": "CLOUD_STORAGE_OUTPUT_URI",
      "aspect_ratio": "ASPECT_RATIO",
      "resolution": "OUTPUT_RESOLUTION",
      "duration": "DURATION"
    }
  ],
  "generation_config": {
    "video_config": {
      "task": "image_to_video"
    }
  }
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

curl -X POST \
     -H "Authorization: Bearer TOKEN" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
Die Antwort enthält eine Interaktions-ID, mit der Sie das generierte Video abrufen können. 
{
  "id":"INTERACTION_ID",
  "status":"in_progress",
  "object":"interaction"
}
Verwenden Sie später INTERACTION_ID, um das generierte Video abzurufen:

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ein String, der Ihre Cloud de Confiance by S3NS Projekt-ID darstellt.
  • INTERACTION_ID: Die Interaktions-ID aus der asynchronen Anfrage.

HTTP-Methode und URL: 

GET https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID

Senden Sie die Anfrage mithilfe einer der folgenden Optionen:

curl

Führen Sie folgenden Befehl aus:

curl -X GET \
     -H "Authorization: Bearer TOKEN" \
     "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID"

PowerShell

Führen Sie diesen Befehl aus:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID" | Select-Object -Expand Content
Die Antwort hat ein Format, das dem folgenden ähnelt: 
{
  "id":"INTERACTION_ID",
  "model":"gemini-omni-flash-preview",
  "status":"completed",
  "usage":{
    "total_tokens":479,
    "total_input_tokens":26,
    "input_tokens_by_modality":[
      {
        "modality":"text",
        "tokens":26
      },
      {
        "modality":"image",
        "tokens":124
      }
    ],
    "output_tokens_by_modality": [
      {
        "modality": "video",
        "tokens": 28832
      }
    ],
    "total_output_tokens":28832,
    "total_thought_tokens":453
  },
  "steps":[
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "5 second, 9:16 video. Use the image as the first frame."
        },
        {
          "type": "image",
          "uri": "gs://some/path",
          "mime_type": "image/png"
        }
      ]
    },
    {
      "type":"thought"
      "summary":[
        {
          "type":"text",
          "text":"MODEL THOUGHTS"
        }
      ],
    },
    { 
      "type":"model_output",
      "content":[
        {
          "type":"video",
          "data":"VIDEO DATA",
          "mime_type":"video/mp4" 
        }
      ]
    }
  ],
  "object":"interaction"
  "role":"model",
  "created":"2026-05-29T02:17:56Z",
  "updated":"2026-05-29T02:17:56Z",
}

Mit Veo ein Video aus dem ersten und letzten Frame erstellen

Die folgenden Beispiele zeigen, wie Sie den ersten und letzten Frame eines Veo-Videos angeben können:

Console

  1. Rufen Sie in der Cloud de Confiance Console die Seite Agent Platform > Media Studio auf.

    Media Studio

  2. Klicken Sie auf Video.

  3. Wählen Sie im Menü Aufgabe die Option Bild zu Video aus.

  4. Wählen Sie im Menü Modell ein Modell aus den angezeigten Optionen aus.

  5. Geben Sie im Feld Prompt einen Text-Prompt ein, der die zu generierenden Videos beschreibt.

  6. Klicken Sie im Bereich Eingabebilder auf Starten, um ein Bild für den ersten Frame hochzuladen.

  7. Optional: Klicken Sie auf Ende, um ein Bild für den letzten Frame hochzuladen.

  8. Optional: Passen Sie die folgenden Parameter an:

    • Seitenverhältnis: Wählen Sie entweder 16:9 oder 9:16 aus.

    • Anzahl der Ergebnisse: Sie können den Schieberegler anpassen oder einen Wert zwischen 1 und 4 eingeben.

    • Videolänge: Wählen Sie im Menü eine Videolänge aus.

    • Ausgabeverzeichnis: Klicken Sie auf Durchsuchen, um einen Cloud Storage-Bucket zum Speichern der generierten Dateien zu erstellen oder auszuwählen.

  9. Klicken Sie auf Ausführen.

Python

Installieren

pip install --upgrade google-genai

Weitere Informationen finden Sie in der SDK-Referenzdokumentation.

Legen Sie Umgebungsvariablen fest, um das Google Gen AI SDK mit Vertex AI zu verwenden: 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True
 

import time
from google import genai
from google.genai.types import GenerateVideosConfig, Image

client = genai.Client()

# TODO(developer): Update and un-comment below line
# output_gcs_uri = "gs://your-bucket/your-prefix"

operation = client.models.generate_videos(
    model="veo-3.1-generate-001",
    prompt="a hand reaches in and places a glass of milk next to the plate of cookies",
    image=Image(
        gcs_uri="gs://cloud-samples-data/generative-ai/image/cookies.png",
        mime_type="image/png",
    ),
    config=GenerateVideosConfig(
        aspect_ratio="16:9",
        last_frame=Image(
            gcs_uri="gs://cloud-samples-data/generative-ai/image/cookies-milk.png",
            mime_type="image/png",
        ),
        output_gcs_uri=output_gcs_uri,
    ),
)

while not operation.done:
    time.sleep(15)
    operation = client.operations.get(operation)
    print(operation)

if operation.response:
    print(operation.result.generated_videos[0].video.uri)

# Example response:
# gs://your-bucket/your-prefix

REST

Weitere Informationen zur Veo API finden Sie hier:

  1. Verwenden Sie den folgenden Befehl, um eine Anfrage zur Videogenerierung zu senden. Diese Anfrage startet einen Vorgang mit langer Ausführungszeit und speichert die Ausgabe in einem von Ihnen angegebenen Cloud Storage-Bucket.

    Ersetzen Sie diese Werte in den folgenden Anfragedaten:

    • PROJECT_ID: Ein String, der Ihre Cloud de Confiance by S3NS -Projekt-ID darstellt.
    • MODEL_ID: Ein String, der die zu verwendende Modell-ID darstellt. Verwenden Sie eine der folgenden Optionen, wenn Sie einen ersten oder letzten Videoframe angeben:
      • Veo 3: veo-3.1-generate-001
      • Veo 3: veo-3.1-fast-generate-001
    • TEXT_PROMPT: Der Text-Prompt, der für die Videogenerierung verwendet wird.
    • PATH_TO_FIRST_FRAME_IMAGE: Ein String, der den Cloud Storage-Pfad zum Bild des ersten Frames darstellt. Beispiel: "gs://video-bucket/input/first-frame.jpg".
    • IMAGE_MIME_TYPE: Ein String, der den MIME-Typ des Eingabebildes darstellt. Es werden nur Bilder mit den folgenden MIME-Typen unterstützt:
      • image/jpeg
      • image/png
    • PATH_TO_LAST_FRAME_IMAGE: Ein String, der den Cloud Storage-Pfad zum Bild des letzten Frames darstellt. Beispiel: "gs://video-bucket/input/last-frame.jpg"
    • OUTPUT_STORAGE_URI: Optional: Ein String, der den Cloud Storage-Bucket darstellt, in dem die Ausgabevideos gespeichert werden sollen. Wenn nicht angegeben, werden Videobytes in der Antwort zurückgegeben. Beispiel: "gs://video-bucket/output/".
    • RESPONSE_COUNT: Die Anzahl der zu generierenden Videodateien. Der zulässige Wertebereich ist 1–4.
    • DURATION: Eine Ganzzahl, die die Länge der generierten Videodateien angibt. Im Folgenden sind die zulässigen Werte für jedes Modell aufgeführt:
      • Veo 2-Modelle: 5–8. Der Standardwert ist 8.
      • Veo 3-Modelle: 4, 6 oder 8. Der Standardwert ist 8.

    • Zusätzliche optionale Parameter

      Je nach Anwendungsfall können Sie die folgenden optionalen Variablen verwenden. Fügen Sie dem "parameters": {}-Objekt einige oder alle der folgenden Parameter hinzu. 

      "parameters": {
  "aspectRatio": "ASPECT_RATIO",
  "negativePrompt": "NEGATIVE_PROMPT",
  "personGeneration": "PERSON_SAFETY_SETTING",
  // "resolution": RESOLUTION, // Veo 3 models only
  "sampleCount": RESPONSE_COUNT,
  "seed": SEED_NUMBER
}
      • ASPECT_RATIO: Optional: Ein Stringwert, der das Seitenverhältnis der generierten Videos beschreibt. Sie können die folgenden Werte verwenden:
        • "16:9" für Querformat
        • "9:16" für Hochformat

        Der Standardwert ist "16:9".

      • NEGATIVE_PROMPT: Optional: Ein Stringwert, der Inhalte beschreibt, die das Modell nicht generieren soll.
      • PERSON_SAFETY_SETTING: Optional: Ein Stringwert, der die Sicherheitseinstellung für die Generierung von Personen oder Gesichtern steuert. Sie können die folgenden Werte verwenden:
        • "allow_adult": Nur Generierung von Erwachsenen und Gesichtern zulassen.
        • "disallow": Es werden keine Personen oder Gesichter generiert.

        Der Standardwert ist "allow_adult".

      • RESOLUTION: Optional: Ein Stringwert, der die Auflösung des generierten Videos steuert. Wird nur von Veo 3-Modellen unterstützt. Sie können die folgenden Werte verwenden:
        • "720p"
        • "1080p"
        • "4k" (nur Veo 3.1-Vorschaumodelle)

        Der Standardwert ist "720p".

      • RESPONSE_COUNT: Optional. Ein ganzzahliger Wert, der die Anzahl der zu generierenden Videos angibt. Der zulässige Wertebereich ist 1–4.
      • SEED_NUMBER: Optional. Ein uint32-Wert, den das Modell zum Generieren deterministischer Videos verwendet. Wenn Sie bei Ihrer Anfrage eine Seed-Nummer angeben, ohne andere Parameter zu ändern, wird das Modell angewiesen, dieselben Videos zu erstellen. Der zulässige Wertebereich ist 0–4294967295.

    HTTP-Methode und URL: 

    POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:predictLongRunning

    JSON-Text der Anfrage:

    {
  "instances": [
    {
      "prompt": "TEXT_PROMPT",
       "image": {
         "gcsUri": "PATH_TO_FIRST_FRAME_IMAGE,
         "mimeType": "IMAGE_MIME_TYPE"
       },
       "lastFrame:" {
         "gcsUri": "PATH_TO_LAST_FRAME_IMAGE,
         "mimeType": "IMAGE_MIME_TYPE"
       }
    }
  ],
  "parameters": {
    "storageUri": "OUTPUT_STORAGE_URI",
    "sampleCount": RESPONSE_COUNT
  }
}

    Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

    curl

    Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

    curl -X POST \
         -H "Authorization: Bearer $(gcloud auth print-access-token)" \
         -H "Content-Type: application/json; charset=utf-8" \
         -d @request.json \
         "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:predictLongRunning"

    PowerShell

    Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }

    Invoke-WebRequest `
        -Method POST `
        -Headers $headers `
        -ContentType: "application/json; charset=utf-8" `
        -InFile request.json `
        -Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:predictLongRunning" | Select-Object -Expand Content
    Diese Anfrage gibt einen vollständigen Vorgangsnamen mit einer eindeutigen Vorgangs-ID zurück. Verwenden Sie diesen vollständigen Vorgangsnamen, um den Status der Videogenerierungsanfrage abzufragen. 
    {
  "name":
  "projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID/operations/a1b07c8e-7b5a-4aba-bb34-3e1ccb8afcc8"
}

  2. Optional: Prüfen Sie den Status des Vorgangs mit langer Ausführungszeit für die Videogenerierung.

    Ersetzen Sie diese Werte in den folgenden Anfragedaten:

    • PROJECT_ID: Ihre Cloud de Confiance by S3NS Projekt-ID.
    • MODEL_ID: Die zu verwendende Modell-ID.
    • OPERATION_ID: Die eindeutige Vorgangs-ID, die in der ursprünglichen Anfrage zum Generieren von Videos zurückgegeben wurde.

    HTTP-Methode und URL: 

    POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:fetchPredictOperation

    JSON-Text der Anfrage:

    {
  "operationName": "projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID/operations/OPERATION_ID"
}

    Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

    curl

    Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

    curl -X POST \
         -H "Authorization: Bearer $(gcloud auth print-access-token)" \
         -H "Content-Type: application/json; charset=utf-8" \
         -d @request.json \
         "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:fetchPredictOperation"

    PowerShell

    Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }

    Invoke-WebRequest `
        -Method POST `
        -Headers $headers `
        -ContentType: "application/json; charset=utf-8" `
        -InFile request.json `
        -Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:fetchPredictOperation" | Select-Object -Expand Content
    Diese Anfrage gibt Informationen zum Vorgang zurück, einschließlich der Frage, ob der Vorgang noch ausgeführt wird oder abgeschlossen ist.

Nächste Schritte