Membuat gambar dari video dengan Gemini

Konsol

Untuk membuat gambar dari video dengan Gemini, lakukan hal berikut:

1. Di bagian Agent Platform di Cloud de Confiance konsol, buka Agent Studio > Image.

   Buka Vertex AI Studio

2. Di Model settings, pilih salah satu model yang ditampilkan.

3. Di area teks Prompt, klik tombol add add, lalu pilih sumber file video:

   Upload

   Pilih file yang ingin Anda upload, lalu klik Open.

   Melalui URL

   Masukkan URL file yang ingin Anda gunakan, lalu klik Insert.

   YouTube

   Masukkan URL video YouTube yang ingin Anda gunakan, lalu klik Insert.

   Anda dapat menggunakan video publik atau video yang dimiliki oleh akun yang Anda gunakan untuk login ke Cloud de Confiance konsol.

   Cloud Storage

   Pilih bucket, lalu file dari bucket yang ingin Anda impor, lalu klik Select.

   Google Drive

   1. Pilih akun dan berikan izin ke Vertex AI Studio untuk mengakses akun Anda saat pertama kali memilih opsi ini. Anda dapat mengupload beberapa file yang memiliki ukuran total hingga 10 MB. Satu file tidak boleh melebihi 7 MB.
   2. Klik file yang ingin Anda tambahkan.

   3. Klik Select.

      Thumbnail file ditampilkan di panel Prompt. Jumlah total token juga ditampilkan. Jika data perintah Anda melebihi batas token, token akan dipangkas dan tidak disertakan dalam pemrosesan data Anda.

4. Tulis deskripsi gambar yang ingin Anda buat di area teks Prompt.

5. Klik tombol Prompt (send).

Gemini membuat gambar berdasarkan deskripsi Anda. Proses ini memerlukan waktu beberapa detik, tetapi dapat relatif lebih lambat bergantung pada kapasitas.

Python

Instal

pip install --upgrade google-genai

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai
from google.genai.types import GenerateContentConfig, Modality, Part
from PIL import Image
from io import BytesIO

client = genai.Client()

# A video on 'The ABCs of agent building'
video = "https://www.youtube.com/watch?v=rjoMZyxncUI"

response = client.models.generate_content(
    model="gemini-3.1-flash-image",
    contents=[
        Part.from_uri(
            file_uri=video,
            mime_type="video/mp4"
        ), 
        "Generate an infographic of the topics covered in this video."
    ],
    config=GenerateContentConfig(response_modalities=[Modality.TEXT, Modality.IMAGE]),
)
for part in response.candidates[0].content.parts:
    if part.text:
        print(part.text)
    elif part.inline_data:
        image = Image.open(BytesIO((part.inline_data.data)))
        image.save("output_folder/video-image.png")

REST

Setelah menyiapkan lingkungan, Anda dapat menggunakan REST untuk menguji perintah teks. Contoh berikut mengirim permintaan ke endpoint model penayang.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_ID: Project ID Anda.

• FILE_URI: URI atau URL file yang akan disertakan dalam perintah. Nilai yang dapat diterima mencakup hal berikut:

  • URI bucket Cloud Storage: Objek harus dapat dibaca secara publik atau berada di project yang sama Cloud de Confiance yang mengirim permintaan.
  • URL HTTP: URL file harus dapat dibaca secara publik. Anda dapat menentukan satu file video, satu file audio, dan hingga 10 file gambar per permintaan. File audio, file video, dan dokumen tidak boleh melebihi 15 MB.
  • URL video YouTube:Video YouTube harus dimiliki oleh akun yang Anda gunakan untuk login ke Cloud de Confiance konsol atau bersifat publik. Hanya satu URL video YouTube yang didukung per permintaan.

  Saat menentukan fileURI, Anda juga harus menentukan jenis media (mimeType) file. Jika Kontrol Layanan VPC diaktifkan, menentukan URL file media untuk fileURI tidak didukung.

  Jika tidak memiliki file video di Cloud Storage, Anda dapat menggunakan file yang tersedia secara publik berikut: gs://cloud-samples-data/video/animals.mp4 dengan jenis mime video/mp4. Untuk melihat video ini, buka file MP4 contoh.

• MIME_TYPE: Jenis media file yang ditentukan di kolom data atau fileUri. Nilai yang dapat diterima mencakup hal berikut:

  Klik untuk memperluas jenis MIME

  • application/pdf
  • audio/mpeg
  • audio/mp3
  • audio/wav
  • image/png
  • image/jpeg
  • image/webp
  • text/plain
  • video/mov
  • video/mpeg
  • video/mp4
  • video/mpg
  • video/avi
  • video/wmv
  • video/mpegps
  • video/flv
• TEXT: Petunjuk teks yang akan disertakan dalam perintah. Misalnya, What is in the video?

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

cat > request.json << 'EOF'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.1-flash-image:generateContent"

@'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.1-flash-image:generateContent" | Select-Object -Expand Content

• Gunakan metode generateContent untuk meminta agar respons ditampilkan setelah sepenuhnya dibuat. Untuk mengurangi persepsi latensi bagi audiens manusia, streaming respons saat dibuat menggunakan metodestreamGenerateContent.
• ID model multimodal terletak di akhir URL sebelum metode (misalnya, gemini-3.5-flash). Contoh ini mungkin juga mendukung model lain.
• Saat Anda menggunakan endpoint API regional (misalnya, us-central1), region dari URL endpoint akan menentukan tempat permintaan diproses. Lokasi yang bertentangan di jalur resource akan diabaikan.