Memuat data Mailchimp ke BigQuery
Anda dapat memuat data dari Mailchimp ke BigQuery menggunakan konektor BigQuery Data Transfer Service untuk Mailchimp. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari Mailchimp ke BigQuery. Konektor Mailchimp memiliki dukungan multi-akun, termasuk akun Mailchimp Standar dan Express.
Batasan
- Mailchimp Marketing API hanya mendukung maksimum 10 koneksi serentak per pengguna. Jika batas ini terlampaui, akan muncul error
429: TooManyRequests: You have exceeded the limit of 10 simultaneous connections- Untuk menghindari tercapainya batas frekuensi ini, sebaiknya jalankan hanya satu transfer data per akun Mailchimp.
- Untuk mengetahui informasi selengkapnya, lihat Glosarium error.
- Jenis data
Integerdi Mailchimp memiliki nilai maksimum yang didukung sebesar 2.147.483.647 di semua objek.- Namun, beberapa kolom Mailchimp mendukung nilai yang lebih tinggi, seperti kolom
QuantitydiEcommerceOrderLinesdanEcommerceCartLines.
- Namun, beberapa kolom Mailchimp mendukung nilai yang lebih tinggi, seperti kolom
Batasan kolom array
Konektor Mailchimp tidak mendukung kolom ARRAY di objek Mailchimp berikut:
| Objek Mailchimp | Kolom ARRAY yang tidak didukung |
|---|---|
Campaigns |
VariateSettings_SubjectLines
VariateSettings_SendTimes
VariateSettings_FromNames
VariateSettings_ReplyToAddresses
VariateSettings_Contents
VariateSettings_Combinations |
EcommerceCarts |
Lines |
EcommerceProducts |
Variants |
ListMembers |
TagsAggregate |
ListMergeFields |
Options_Choices |
Lists |
Modules |
AuthorizedApps |
Users |
AutomationEmails |
Settings_AutoFbPost |
CampaignOpenEmailDetails |
Opens |
EcommerceProductImages |
VariantIds |
ListSignupForms |
Contents, Styles |
ReportEmailActivity |
Activity |
Reports |
Timewarp |
Sebelum memulai
Bagian berikut menjelaskan prasyarat yang perlu Anda lakukan sebelum membuat transfer data Mailchimp.
Prasyarat Mailchimp
Untuk mengaktifkan transfer data dari Mailchimp ke BigQuery, Anda harus memiliki kunci API Mailchimp untuk otorisasi dan akses. Untuk mengetahui informasi tentang cara mendapatkan kunci API, lihat Membuat kunci API.
Prasyarat BigQuery
- Pastikan Anda telah menyelesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
- Buat set data BigQuery untuk menyimpan data Anda.
Peran BigQuery yang diperlukan
Untuk mendapatkan izin yang diperlukan guna membuat transfer data BigQuery Data Transfer Service, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin) di project Anda.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran yang telah ditentukan ini berisi izin yang diperlukan untuk membuat transfer data BigQuery Data Transfer Service. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk membuat transfer data BigQuery Data Transfer Service:
-
Izin BigQuery Data Transfer Service:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
Izin BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Untuk mengetahui informasi selengkapnya, lihat Memberikan akses bigquery.admin.
Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin IAM pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk informasi selengkapnya, lihat
Notifikasi operasi BigQuery Data Transfer Service.
Menyiapkan transfer data Mailchimp
Tambahkan data Mailchimp ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:
Konsol
Buka halaman Transfer data di Cloud de Confiance konsol.
Klik Buat transfer.
Di bagian Jenis sumber, untuk Sumber, pilih Mailchimp - Pratinjau.
Di bagian Detail sumber data, lakukan hal berikut:
- Untuk Kunci API, masukkan kunci API Mailchimp Anda. Untuk mengetahui informasi selengkapnya, lihat Prasyarat Mailchimp.
- Opsional: Untuk Tanggal Mulai, tentukan tanggal mulai untuk data baru
yang akan disertakan dalam transfer data. Hanya data yang dibuat pada atau setelah tanggal ini yang disertakan dalam transfer data.
- Masukkan data dalam format
YYYY-MM-DD. Nilai minimumnya adalah2001-01-01.
- Masukkan data dalam format
- Untuk Objek Mailchimp yang akan ditransfer, klik Telusuri untuk memilih objek yang akan ditransfer ke set data tujuan BigQuery. Anda juga dapat memasukkan objek secara manual untuk disertakan dalam transfer data di kolom ini.
Di bagian Setelan tujuan, untuk Set data, pilih set data yang Anda buat untuk menyimpan data.
Di bagian Transfer config name, untuk Display name, masukkan a nama untuk transfer data.
Di bagian Schedule options:
- Di daftar Repeat frequency, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Custom. Jika Anda memilih On-demand, transfer ini akan berjalan saat Anda memicu transfer secara manual.
- Jika berlaku, pilih Start now atau Start at set time, lalu masukkan tanggal mulai dan waktu proses.
Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:
- Untuk mengaktifkan notifikasi email, klik tombol Email notification. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
- Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, klik tombol Pub/Sub notifications. Anda dapat memilih nama topik, atau dapat mengklik Create a topic untuk membuatnya.
Klik Simpan.
bq
Masukkan perintah bq mk command
dan berikan flag pembuatan transfer
--transfer_config:
bq mk --transfer_config --project_id=PROJECT_ID --data_source=DATA_SOURCE --display_name=NAME --target_dataset=DATASET --params='PARAMETERS'
Ganti kode berikut:
PROJECT_ID(opsional): ID Cloud de Confiance by S3NS project Anda. Jika--project_idtidak diberikan untuk menentukan project tertentu, project default akan digunakan.DATA_SOURCE: sumber data —mailchimp.NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.DATASET: set data target untuk konfigurasi transfer.PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh:--params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data Mailchimp:assets: jalur ke objek Mailchimp yang akan ditransfer ke BigQuery.connector.authentication.apiKey: kunci API Mailchimp.connector.startDate: (Opsional) tanggal mulai untuk data baru yang akan disertakan dalam transfer data, dalam formatYYYY-MM-DD. Hanya data yang dibuat pada atau setelah tanggal ini yang disertakan dalam transfer data.
Perintah berikut membuat transfer data Mailchimp di project default.
bq mk --transfer_config --target_dataset=mydataset --data_source=mailchimp --display_name='My Transfer' --params='{"assets": "Lists", "connector.authentication.apiKey":"1234567", "connector.startDate":"2025-01-01"}'
Pemetaan jenis data
Tabel berikut memetakan jenis data Mailchimp ke jenis data BigQuery yang sesuai:
| Jenis data Mailchimp | Jenis data BigQuery | Deskripsi |
|---|---|---|
String |
STRING |
|
Integer |
INT64 |
|
Number | BIGNUMERIC |
Objek data Number Mailchimp dipetakan
ke jenis data BIGNUMERIC untuk kolom terkait keuangan
seperti Price dan OrderTotal, atau jenis data
FLOAT64, untuk kolom lain seperti
Stats_OpenRate dan Location_Latitude. |
Number |
FLOAT64 |
|
Boolean |
BOOLEAN |
|
String dalam format tanggal-waktu |
TIMESTAMP |
Jenis data STRING dalam format tanggal-waktu direpresentasikan dalam format ISO 8601. Misalnya, 2019-08-24T14:15:22Z. |
Harga
Tidak ada biaya untuk mentransfer data Mailchimp ke BigQuery saat fitur ini dalam Pratinjau.
Memecahkan masalah penyiapan transfer
Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer Mailchimp.
Langkah berikutnya
- Untuk ringkasan BigQuery Data Transfer Service, lihat Apa itu BigQuery Data Transfer Service.
- Untuk informasi cara menggunakan transfer, termasuk mendapatkan informasi tentang konfigurasi transfer, membuat listingan konfigurasi transfer, dan melihat histori pelaksanaan transfer, lihat Mengelola transfer.