Cloud Logging untuk operasi batch penyimpanan

Anda dapat mengonfigurasi dan melihat log operasi batch penyimpanan di Cloud Logging untuk memantau progres tugas, memfilter peristiwa transformasi, dan memecahkan masalah operasi objek yang gagal. Jika diaktifkan, logging ini akan menghasilkan entri untuk setiap objek yang coba diubah oleh tugas batch.

Meskipun storage batch operation juga mengirimkan log ke Cloud Audit Logs, sebaiknya gunakan Cloud Logging untuk analisis log terpusat dan pemantauan real-time.

Sebelum memulai

Pastikan Anda memiliki akses ke Cloud Logging. Untuk menggunakan Cloud Logging, sebaiknya berikan peran Identity and Access Management Logs Viewer (roles/logging.viewer). Peran Identity and Access Management Logs Viewer (roles/logging.viewer) memberikan izin Identity and Access Management yang diperlukan untuk melihat data Cloud Logging Anda. Untuk mengetahui informasi selengkapnya tentang izin akses Logging, lihat Kontrol akses dengan IAM.

Untuk memverifikasi dan memberikan izin IAM, selesaikan langkah-langkah berikut:

• Lihat akses saat ini untuk memverifikasi akses yang dimiliki setiap akun utama.
• Berikan peran kepada akun utama yang relevan dalam project Anda.

Memahami detail logging

Jika logging diaktifkan, storage batch operations akan mencatat detail berikut:

• Tindakan yang dapat dicatat dalam log: Nilai tindakan yang dapat dicatat dalam log selalu transform.

• Status yang dapat dicatat ke dalam log: Untuk setiap tindakan, Anda dapat memilih untuk mencatat salah satu atau kedua status berikut ke dalam log:

  • SUCCEEDED: Tindakan berhasil.
  • FAILED: Tindakan gagal.

Aktifkan logging

Untuk mengaktifkan logging, tentukan tindakan dan status yang akan dicatat ke dalam log.

gcloud storage batch-operations jobs create JOB_NAME \
  --manifest-location=MANIFEST_LOCATION \
  --delete-object \
  --log-actions=transform \
  --log-action-states=LOG_ACTION_STATES

{
   "loggingConfig": {
      "logActions": ["TRANSFORM"],
      "logActionStates": ["LOG_ACTION_STATES"],
        }
}

Melihat log

Untuk melihat log storage batch operations, lakukan hal berikut:

gcloud logging read "resource.type=storage_batch_operations_job"

{
"resourceNames":
  [
    "projects/MY_PROJECT_NAME"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"storage_batch_operations_job\""
}

Format log Storage batch operations

Semua kolom khusus operasi batch penyimpanan terdapat dalam objek jsonPayload. Meskipun konten persis jsonPayload bervariasi berdasarkan jenis pekerjaan, ada struktur umum yang digunakan di semua entri TransformActivityLog. Bagian ini menguraikan kolom log umum, lalu menjelaskan kolom khusus operasi.

• Kolom log umum

  Kolom berikut muncul di semua log:

  jsonPayload: {
  "@type": "type.googleapis.com/google.cloud.storagebatchoperations.logging.TransformActivityLog",
  "completeTime": "YYYY-MM-DDTHH:MM:SS.SSSSSSSSSZ",
  "status": {
    "errorMessage": "String indicating error",
    "errorType": "ENUM_VALUE",
    "statusCode": "ENUM_VALUE"
  },
  "logName": "projects/PROJECT_ID/logs/storagebatchoperations.googleapis.com%2Ftransform_activity",
  "receiveTimestamp": "YYYY-MM-DDTHH:MM:SS.SSSSSSSSSZ",
  "resource": {
    "labels": {
      "location":"us-central1",
      "job_id": "BATCH_JOB_ID",
      "resource_container": "RESOURCE_CONTAINER",
      // ... other labels
    },
    "type": "storagebatchoperations.googleapis.com/Job"
  },
  // Operation-specific details will be nested here (for example,
  // "DeleteObject", "PutObjectHold", "RewriteObject", "PutMetadata")
  // Each operation-specific object will also contain the following
  // object: "objectMetadataBefore": {
  //   "gcsObject": {
  //     "bucket": "BUCKET_NAME",
  //     "generation": "GENERATION_NUMBER",
  //     "objectKey": "OBJECT_PATH"
  //   }
  // }
  }
  

  Tabel berikut menjelaskan setiap kolom log umum:

  Kolom log umum	Jenis	Deskripsi
  @type	String	Menentukan jenis payload entri log dan menunjukkan bahwa log tersebut mewakili TransformActivityLog untuk storage batch operation.
  completeTime	Stempel waktu	Stempel waktu yang sesuai dengan ISO 8601 saat operasi selesai.
  status	Objek	Memberikan informasi tentang hasil aktivitas operasi batch.
  status.errorMessage	String	Pesan error jika operasi gagal. Pesan error hanya muncul jika nilai status.statusCode bukan OK.
  status.errorType	String	Jenis error. Jenis error hanya muncul jika nilai status.statusCode bukan OK.
  status.statusCode	String	Kode status operasi. Operasi berhasil jika nilainya adalah OK; nilai lainnya menunjukkan kegagalan.
  logName	String	Nama resource lengkap log, yang menunjukkan project dan aliran log.
  receiveTimestamp	Stempel waktu	Stempel waktu saat entri log diterima oleh sistem logging.
  resource	Objek	Informasi tentang resource yang menghasilkan entri log.
  resource.labels	Objek	Key-value pair yang memberikan informasi identitas pribadi tambahan tentang resource.
  resource.type	String	Jenis resource yang membuat log.
  objectMetadataBefore	Objek	Berisi metadata objek sebelum operasi batch dicoba.
  objectMetadataBefore.gcsObject	Objek	Detail tentang objek.
  objectMetadataBefore.gcsObject.bucket	String	Nama bucket tempat objek berada.
  objectMetadataBefore.gcsObject.generation	String	Nomor pembuatan objek sebelum operasi.
  objectMetadataBefore.gcsObject.objectKey	String	Jalur lengkap objek dalam bucket.

• Konten jsonPayload khusus operasi

  Perbedaan antara entri log untuk berbagai operasi batch terletak pada objek tingkat teratas yang bertingkat dalam jsonPayload. Hanya satu dari objek berikut yang tersedia dalam entri log tertentu, sesuai dengan operasi batch tertentu yang dilakukan:

  • Menghapus objek (DeleteObject)

    jsonPayload:
    {
    "DeleteObject": {
      "objectMetadataBefore": {
        "gcsObject": {
          "bucket": "test-bucket",
          "generation": "1678912345678901",
          "objectKey": "test_object.txt"
        }
      }
      }
    }
    

  • Menempatkan penangguhan objek (PutObjectHold)

    jsonPayload:
    {
    "PutObjectHold": {
      "objectMetadataBefore": {
        "gcsObject": {
          "bucket": "test-bucket",
          "generation": "1678912345678901",
          "objectKey": "test_object.txt"
        }
      },
      "temporaryHoldAfter": True,
      "eventBasedHoldAfter": True
    }
    }
    

  • Menulis ulang objek (RewriteObject)

    jsonPayload:
    {
    "RewriteObject": {
      "objectMetadataBefore": {
        "gcsObject": {
          "bucket": "test-bucket",
          "generation": "1678912345678901",
          "objectKey": "test_object.txt"
        }
      },
      "kmsKeyVersionAfter": "projects/my-gcp-project/locations/us-central1/keyRings/my-keyring-01/cryptoKeys/my-encryption-key/cryptoKeyVersions/1"
    }
    }
    

  • Menempatkan metadata (PutMetadata)

    jsonPayload:
    {
    "PutMetadata": {
      "objectMetadataBefore": {
        "gcsObject": {
          "bucket": "test-bucket",
          "generation": "1678912345678901",
          "objectKey": "test_object.txt"
        }
      },
      "content_disposition_after": "attachment; filename=\"report_final.pdf\"",
      "content_encoding_after": "gzip",
      "content_language_after": "en-US",
      "content_type_after": "application/pdf",
      "cache_control_after": "public, max-age=3600",
      "custom_time_after": "2025-06-27T10:00:00Z",
      "custom_metadata_after": {
        "project": "marketing",
        "version": "2.0",
        "approvedBy": "Admin"
      }
    }
    }
    

  Tabel berikut menjelaskan kolom log khusus operasi:

  Kolom log khusus operasi	Jenis	Deskripsi
  PutObjectHold	Objek	Menunjukkan operasi penangguhan pada objek.
  PutObjectHold.temporaryHoldAfter	Boolean	Jika nilainya adalah True, ini menunjukkan bahwa penangguhan sementara diterapkan ke objek setelah tugas storage batch operations selesai. Nilai yang valid adalah True atau False.
  PutObjectHold.eventBasedHoldAfter	Boolean	Jika nilainya adalah True, ini menunjukkan bahwa penangguhan berbasis peristiwa diterapkan ke objek setelah tugas storage batch operation selesai. Nilai yang valid adalah True atau False.
  RewriteObject	Objek	Menunjukkan operasi penulisan ulang pada objek.
  RewriteObject.kmsKeyVersionAfter	String	Versi kunci Cloud Key Management Service yang digunakan setelah tugas penulisan ulang. Kolom kmsKeyVersionAfter diisi jika kunci enkripsi objek berubah sebagai hasil dari penulisan ulang. Kolom ini bersifat opsional, yang berarti mungkin tidak ada jika versi kunci Cloud KMS tetap tidak berubah setelah penulisan ulang.
  PutMetadata	Objek	Menunjukkan operasi update metadata pada objek.
  PutMetadata.content_disposition_after	String	Menentukan nilai header Content-Disposition setelah penyelesaian tugas PutMetadata. Kolom ini bersifat opsional dan hanya diisi jika disposisi konten ditetapkan atau diubah.
  PutMetadata.content_encoding_after	String	Menentukan nilai header Content-Encoding setelah penyelesaian tugas PutMetadata. Kolom ini bersifat opsional dan hanya diisi jika encoding konten ditetapkan atau diubah.
  PutMetadata.content_language_after	String	Menentukan nilai header Content-Language setelah penyelesaian tugas PutMetadata. Kolom ini bersifat opsional dan hanya diisi jika bahasa konten ditetapkan atau diubah.
  PutMetadata.content_type_after	String	Menentukan nilai header Content-Type setelah penyelesaian tugas PutMetadata. Kolom ini bersifat opsional dan hanya diisi jika jenis konten ditetapkan atau diubah.
  PutMetadata.cache_control_after	String	Menentukan nilai header Cache-Control setelah penyelesaian tugas PutMetadata. Kolom ini bersifat opsional dan hanya diisi jika kontrol cache ditetapkan atau diubah.
  PutMetadata.custom_time_after	String	Menentukan nilai header Custom-Time setelah penyelesaian tugas PutMetadata. Kolom ini bersifat opsional dan hanya diisi jika waktu kustom ditetapkan atau diubah.
  PutMetadata.custom_metadata_after	Peta (kunci: string, nilai: string)	Berisi peta key-value pair Custom- Metadata setelah transformasi. Kolom ini mencakup metadata yang ditentukan pengguna yang ditetapkan atau diubah pada objek. Hal ini memungkinkan penyimpanan metadata tambahan yang fleksibel.