Memecahkan masalah konfigurasi transfer

Dokumen ini dimaksudkan untuk membantu Anda memecahkan masalah paling umum yang dihadapi saat menyiapkan transfer BigQuery Data Transfer Service. Dokumen ini tidak mencakup semua kemungkinan pesan error atau masalah.

Jika mengalami masalah yang tidak dibahas dalam dokumen ini, Anda dapat meminta dukungan.

Sebelum menghubungi Cloud Customer Care, rekam konfigurasi transfer dan detail proses transfer. Untuk mengetahui informasi tentang cara mendapatkan detail ini, lihat Mendapatkan detail transfer dan Melihat detail proses transfer dan pesan log.

Memeriksa error

Jika proses transfer awal gagal, Anda dapat memeriksa detailnya dalam histori proses. Error yang tercantum dalam histori proses dapat membantu Anda mengidentifikasi penyelesaian yang sesuai menggunakan dokumen ini.

Anda juga dapat melihat pesan error untuk tugas transfer tertentu menggunakan Logs Explorer. Filter Logs Explorer berikut menampilkan informasi tentang tugas konfigurasi transfer tertentu, beserta pesan error:

resource.type="bigquery_dts_config"
labels.run_id="RUN_ID"
resource.labels.config_id="CONFIG_ID"

Ganti kode berikut:

  • RUN_ID: nomor ID dari eksekusi tugas tertentu
  • CONFIG_ID: nomor ID tugas konfigurasi transfer

Sebelum menghubungi Layanan Pelanggan, ambil informasi yang relevan dari histori operasi atau Logs Explorer, termasuk semua pesan error.

Jika Anda menggunakan transfer berbasis peristiwa, konfigurasi transfer berbasis peristiwa mungkin gagal memicu proses transfer. Anda dapat melihat pesan error di bagian atas halaman histori proses atau halaman konfigurasi.

Masalah umum

Saat mendiagnosis masalah transfer umum, pastikan hal berikut:

  • Pastikan Anda telah menyelesaikan semua langkah di bagian "Sebelum Memulai" pada halaman dokumentasi untuk jenis transfer Anda.
  • Properti konfigurasi transfer sudah benar.
  • Akun pengguna yang digunakan untuk membuat transfer memiliki akses ke resource yang mendasarinya.

Jika konfigurasi transfer Anda sudah benar, dan izin yang sesuai telah diberikan, lihat artikel berikut untuk mendapatkan solusi atas masalah yang umum terjadi.

Error: An unexpected issue was encountered. If this issue persists, please contact customer support.
Penyelesaian: Error ini biasanya menunjukkan pemadaman layanan sementara atau masalah dalam BigQuery. Tunggu sekitar 2 jam hingga masalah diselesaikan. Jika masalah berlanjut, minta dukungan.
Error: Quota Exceeded.

Penyelesaian: Transfer tunduk pada kuota BigQuery pada tugas pemuatan. Jika Anda perlu meningkatkan kuota, hubungi Cloud de Confiance by S3NS Sales Rep Anda. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas.

Jika memuat ekspor Penagihan Cloud ke BigQuery, Anda dapat mengalami error Quota Exceeded. Tabel ekspor Penagihan Cloud dan tabel BigQuery tujuan yang dibuat oleh layanan BigQuery Data Transfer Service dipartisi. Memilih opsi overwrite saat menetapkan tugas BigQuery Data Transfer Service menyebabkan error kuota yang tergantung pada jumlah data yang diekspor. Untuk informasi tentang pemecahan masalah kuota, lihat Memecahkan masalah error kuota dan batas.

Jika error disebabkan oleh tugas BigQuery Data Transfer Service untuk ekspor Penagihan Cloud, perhatikan bahwa karena tabel Ekspor Penagihan Cloud individual dipartisi, tabel target yang dibuat oleh BigQuery Data Transfer Service juga dipartisi, sehingga memilih opsi overwrite saat menyiapkan tugas transfer data tersebut akan menghasilkan error Kuota (DML) yang bergantung pada usia Akun Penagihan. Untuk informasi tentang pemecahan masalah kuota, lihat Memecahkan masalah error kuota dan batas.

Error: The caller does not have permission.

Penyelesaian: Pastikan akun yang digunakan untuk login di konsol Cloud de Confiance sama dengan akun yang Anda pilih untuk BigQuery Data Transfer Service saat membuat transfer.

  • Akun yang digunakan untuk login di konsol Cloud de Confiance :

    Memecahkan masalah izin

  • Pilih akun untuk melanjutkan ke BigQuery Data Transfer Service:

    Memecahkan masalah izin

Error: Access Denied: ... Permission bigquery.tables.get denied on table ...

Penyelesaian: Pastikan bahwa agen layanan BigQuery Data Transfer Service diberikan peran bigquery.dataEditor pada set data target. Pemberian peran ini otomatis diterapkan saat membuat dan memperbarui transfer, tetapi ada kemungkinan kebijakan akses diubah secara manual setelahnya. Untuk memberikan kembali izin, lihat Memberikan akses ke set data.

Error: region violates constraint constraints/gcp.resourceLocations on the resource projects/project_id

Penyelesaian: Error ini terjadi saat pengguna mencoba membuat konfigurasi transfer di lokasi yang dibatasi, seperti yang ditentukan dalam kebijakan organisasi pembatasan lokasi. Anda dapat mengatasi masalah ini dengan mengubah kebijakan organisasi agar mengizinkan region, atau mengubah konfigurasi transfer ke set data tujuan yang terletak di region yang tidak dibatasi oleh kebijakan organisasi.

Error: Please look into the errors[] collection for more details.

Penyelesaian: Error ini dapat terjadi saat transfer data gagal. Untuk mengetahui informasi selengkapnya tentang alasan transfer data gagal, Anda dapat menggunakan Cloud Logging untuk melihat log Anda. Anda dapat menemukan log untuk proses tertentu dengan menelusuri menggunakan run_id transfer.

Error: Network Attachment with connected endpoints cannot be deleted.

Penyelesaian: Error ini dapat terjadi saat pengguna mencoba menghapus lampiran jaringan segera setelah menghapus transfer. Hal ini terjadi karena setelah penghapusan transfer, diperlukan waktu beberapa hari sebelum BigQuery Data Transfer Service dapat sepenuhnya menghapus semua resource yang terkait dengan transfer, yang dapat mencegah penghapusan lampiran jaringan. Untuk menyelesaikan error ini, tunggu beberapa hari sebelum mencoba menghapus lampiran jaringan. Jika Anda ingin lampiran jaringan dihapus lebih cepat, Anda dapat menghubungi dukungan.

Masalah otorisasi dan izin

Berikut adalah beberapa error izin umum yang dapat Anda alami saat mentransfer data dari sumber data yang berbeda:

Error: BigQuery Data Transfer Service is not enabled for <project_id>
Error: BigQuery Data Transfer Service has not been used in project <project_id> before or it is disabled ...

Penyelesaian: Pastikan peran agen layanan diberikan dengan langkah-langkah berikut:

  1. Di konsol Cloud de Confiance , buka halaman IAM & Admin.

    Buka IAM & Admin

  2. Pilih kotak centang Include S3NS-provided role grants.

  3. Pastikan akun layanan dengan nama service-<project_number>@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com ditampilkan atau BigQuery Data Transfer Service telah diberi peran BigQuery Data Transfer Service Agent.

    Pastikan akun layanan memiliki peran agen layanan.

Jika akun layanan tidak ditampilkan, atau tidak diberikan peran agen layanan BigQuery Data Transfer Service, berikan peran yang telah ditentukan di konsol Cloud de Confiance atau jalankan perintah Google Cloud CLI berikut:

gcloud projects add-iam-policy-binding PROJECT_NUMBER \
--member serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com \
--role roles/bigquerydatatransfer.serviceAgent

Ganti PROJECT_NUMBER dengan nomor project yang terkait dengan akun layanan ini.

Error: There was an error loading this table. Check that the table exists and that you have the correct permissions.

Penyelesaian:

  1. Di konsol Cloud de Confiance , buka halaman BigQuery.

    Buka BigQuery

  2. Klik set data tujuan yang digunakan dalam transfer.

  3. Klik menu Sharing, lalu klik Permissions.

  4. Perluas peran BigQuery Data Editor.

  5. Pastikan agen layanan BigQuery Data Transfer Service ditambahkan ke peran ini. Jika tidak, berikan peran BigQuery Data Editor (roles/bigquery.dataEditor) kepada agen layanan BigQuery Data Transfer Service.

Pastikan peran BigQuery Data Editor ditambahkan.

Error: A permission denied error was encountered: PERMISSION_DENIED. Please ensure that the user account setting up the transfer config has the necessary permissions, and that the configuration settings are correct

Penyelesaian:

  1. Di konsol Cloud de Confiance , buka halaman Transfer Data.

    Buka Data Transfers

  2. Klik transfer yang gagal, lalu pilih tab Configuration.

  3. Pastikan pemilik transfer yang tercantum di kolom User memiliki semua izin yang diperlukan untuk sumber data.

Jika pemilik transfer tidak memiliki semua izin yang diperlukan, berikan izin yang diperlukan dengan memperbarui kredensialnya. Anda juga dapat mengubah pemilik transfer ke pengguna lain dengan izin yang diperlukan.

Error: Authentication failure: User Id not found. Error code: INVALID_USERID

Penyelesaian: Pemilik transfer memiliki ID pengguna yang tidak valid. Ubah pemilik transfer ke pengguna lain dengan memperbarui kredensialnya. Jika Anda menggunakan akun layanan, Anda juga harus memverifikasi bahwa akun yang menjalankan transfer data memiliki semua izin yang diperlukan untuk menggunakan akun layanan.

Error: The user does not have permission

Penyelesaian: Pastikan pemilik transfer adalah akun layanan, dan layanan telah menetapkan semua izin yang diperlukan. Kemungkinan lainnya adalah akun layanan yang digunakan tidak dibuat dalam project yang digunakan untuk membuat transfer ini. Untuk mengatasi masalah izin lintas project, lihat referensi berikut:

Error: HttpError 403 when requesting returned "The caller does not have permission"

googleapiclient.errors.HttpError: <HttpError 403 when requesting returned "The caller does not have permission". Details: "The caller does not have permission">

Error ini mungkin muncul saat Anda mencoba menyiapkan kueri terjadwal dengan akun layanan.

Penyelesaian: Pastikan akun layanan memiliki semua izin yang diperlukan untuk menjadwalkan atau mengubah kueri terjadwal, dan pastikan pengguna yang menyiapkan kueri terjadwal memiliki akses ke akun layanan.

Jika izin yang benar telah ditetapkan, tetapi Anda masih mengalami error, periksa apakah kebijakan Disable Cross-Project Service Account Usage diterapkan secara default pada project. Anda dapat memeriksa kebijakan ini di konsol dengan membuka IAM & Admin > Organization Policies dan menelusuri kebijakan. Cloud de Confiance

Periksa apakah kebijakan Cross-Project Service Account Usage diterapkan untuk akun layanan.

Jika kebijakan Disable Cross-Project Service Account Usage diterapkan, Anda dapat menonaktifkan kebijakan tersebut dengan melakukan hal berikut:

  1. Identifikasi akun layanan yang terkait dengan project menggunakan konsol Cloud de Confiance , dengan membuka IAM & Admin > Service Accounts. Tampilan ini menampilkan semua akun layanan untuk project saat ini.
  2. Nonaktifkan kebijakan di project tempat akun layanan berada menggunakan perintah berikut. Untuk menonaktifkan kebijakan ini, pengguna harus merupakan Organization Policy Administrator. Hanya Organization Administrator yang dapat memberikan peran ini kepada pengguna.
gcloud resource-manager org-policies disable-enforce iam.disableCrossProjectServiceAccountUsage --project=[PROJECT-ID]

Masalah konfigurasi transfer berbasis peristiwa

Berikut adalah masalah umum yang mungkin Anda alami saat membuat transfer yang diaktifkan oleh peristiwa.

Error: Data Transfer Service is not authorized to pull message from the provided Pub/Sub subscription.

Penyelesaian: Pastikan bahwa agen layanan BigQuery Data Transfer Service diberi peran pubsub.subscriber:

  1. Di konsol Cloud de Confiance , buka halaman Pub/Sub.

    Buka Pub/Sub

  2. Pilih langganan Pub/Sub yang Anda gunakan dalam transfer berbasis peristiwa.

  3. Jika panel info disembunyikan, klik Tampilkan panel info di pojok kanan atas.

  4. Di tab Izin, pastikan agen layanan BigQuery Data Transfer Service memiliki peran pubsub.subscriber.

Pastikan agen layanan memiliki pubsub.subscriber pada langganan.

Jika agen layanan tidak memiliki peran pubsub.subscriber yang diberikan. Klik Tambahkan akun utama untuk memberikan peran pubsub.subscriber kepada service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com

Error: Cloud Pub/Sub API has not been used in project PROJECT_NUMBER before or it is disabled.

Penyelesaian: Pastikan Cloud Pub/Sub API diaktifkan untuk project Anda:

  1. Di konsol Cloud de Confiance , buka halaman APIs & Services.

    Buka APIs & Services

  2. Klik Enable APIs and services.

  3. Telusuri Cloud Pub/Sub API, pilih hasil pertama, lalu klik Aktifkan.

Error: Data Transfer Service does not have required permission to use project quota of project PROJECT_NUMBER to access Pub/Sub.

Penyelesaian: Pastikan bahwa agen layanan BigQuery Data Transfer Service diberi peran serviceusage.serviceUsageConsumer:

  1. Di konsol Cloud de Confiance , buka halaman IAM & Admin.

    Buka IAM & Admin

  2. Pilih kotak centang Include S3NS-provided role grants.

  3. Pastikan akun layanan dengan nama service-<project_number>@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com ditampilkan dan telah diberi peran Service Usage Consumer.

    Pastikan akun layanan memiliki peran serviceusage.serviceUsageConsumer.

Masalah: Saat Anda menggunakan transfer berbasis peristiwa Cloud Storage, tidak ada transfer yang dijalankan setelah mengupload atau memperbarui file di bucket Cloud Storage.

Proses transfer tidak dipicu segera setelah peristiwa diterima. Mungkin perlu waktu beberapa menit untuk memicu proses transfer. Untuk memeriksa status transfer berikutnya, Anda dapat memeriksa kolom Tanggal target untuk proses berikutnya di histori proses. Kolom ini menampilkan waktu jadwal untuk proses berikutnya, atau menampilkan menunggu peristiwa untuk menjadwalkan proses berikutnya jika tidak ada peristiwa yang diterima. Jika Anda telah mengupload atau mengupdate file di bucket Cloud Storage, tetapi Target tanggal untuk proses berikutnya belum diperbarui dan tidak ada proses yang dipicu selama 10-20 menit, lihat penyelesaian berikut.

Penyelesaian: Pastikan langganan Pub/Sub yang ditentukan dalam konfigurasi transfer dapat menerima pesan yang dipublikasikan dari peristiwa Cloud Storage:

  1. Di konsol Cloud de Confiance , buka halaman Pub/Sub.

    Buka Pub/Sub

  2. Pilih langganan Pub/Sub yang Anda gunakan dalam transfer berbasis peristiwa.

  3. Di tab Metrik, periksa grafik "Usia pesan terlama yang tidak terkonfirmasi" dan lihat apakah ada pesan.

Memverifikasi apakah ada pesan yang dikirim

Jika tidak ada pesan yang dipublikasikan, periksa apakah notifikasi Pub/Sub dikonfigurasi dengan benar untuk Cloud Storage. Anda dapat menggunakan perintah Google Cloud CLI berikut untuk memeriksa konfigurasi notifikasi yang terkait dengan bucket Anda:

gcloud storage buckets notifications list gs://BUCKET_NAME

Ganti BUCKET_NAME dengan nama bucket yang Anda gunakan untuk notifikasi. Untuk mengetahui informasi tentang cara mengonfigurasi notifikasi Pub/Sub untuk Cloud Storage, lihat Mengonfigurasi notifikasi Pub/Sub untuk Cloud Storage.

Jika ada pesan, periksa apakah langganan Pub/Sub yang sama digunakan dalam konfigurasi transfer berbasis peristiwa lainnya. Langganan Pub/Sub yang sama tidak dapat digunakan kembali oleh beberapa konfigurasi transfer berbasis peristiwa. Untuk mengetahui informasi selengkapnya tentang transfer berbasis peristiwa, lihat Transfer berbasis peristiwa.

Masalah kuota

Error: Quota exceeded: Your project exceeded quota for imports per project.
Penyelesaian: Pastikan Anda tidak menjadwalkan terlalu banyak transfer dalam project. Untuk informasi tentang cara menghitung jumlah tugas pemuatan yang dimulai oleh transfer, lihat Kuota dan batas.