Abilita BigQuery Data Transfer Service
Per utilizzare BigQuery Data Transfer Service, devi completare i seguenti passaggi in qualità di proprietario del progetto:
- Crea un progetto e abilita l'API BigQuery.
- Attiva BigQuery Data Transfer Service.
Per saperne di più sui ruoli di Identity and Access Management (IAM), consulta Informazioni sui ruoli nella documentazione IAM.
Crea un progetto e abilita l'API BigQuery
Prima di utilizzare BigQuery Data Transfer Service, devi creare un progetto e, nella maggior parte dei casi, abilitare la fatturazione per quel progetto. Puoi utilizzare un progetto esistente con BigQuery Data Transfer Service oppure crearne uno nuovo. Se utilizzi un progetto esistente, potresti anche dover abilitare l'API BigQuery.
Per creare un progetto e abilitare l'API BigQuery:
-
In the Trusted Cloud console, go to the project selector page.
-
Select or create a Trusted Cloud project.
Abilita la fatturazione per il tuo progetto per tutti i trasferimenti. Per i trasferimenti gratuiti ti viene addebitato un importo di 0 $.
L'abilitazione della fatturazione è richiesta una sola volta per progetto, anche se trasferisci dati da più origini. La fatturazione deve essere abilitata anche per eseguire query sui dati in BigQuery, dopo il trasferimento.
Scopri come verificare che la fatturazione sia attivata per il tuo progetto.
- BigQuery viene attivato automaticamente nei nuovi progetti.
Per attivare BigQuery in un progetto esistente, abilita l'API BigQuery.
Abilita l'API BigQuery
Abilita BigQuery Data Transfer Service
Prima di poter creare un trasferimento, devi abilitare BigQuery Data Transfer Service. Per attivare BigQuery Data Transfer Service, devi disporre del ruolo Proprietario per il tuo progetto.
Per attivare BigQuery Data Transfer Service:
Apri la pagina API BigQuery Data Transfer nella libreria API.
Dal menu a discesa, seleziona il progetto appropriato.
Fai clic sul pulsante ATTIVA.
Agente di servizio
BigQuery Data Transfer Service utilizza un agente di servizio per accedere alle tue risorse e gestirle. Sono inclusi, a titolo esemplificativo, i seguenti materiali:
- Recupero di un token di accesso per il account di servizio da utilizzare per autorizzare il trasferimento di dati.
- Pubblicazione di notifiche nell'argomento Pub/Sub fornito, se abilitata.
- Avvio dei job BigQuery.
- Recupero degli eventi dalla sottoscrizione Pub/Sub fornita per il trasferimento basato su eventi di Cloud Storage
L'agente di servizio viene creato automaticamente per tuo conto dopo che hai abilitato BigQuery Data Transfer Service e utilizzato l'API per la prima volta. Al momento della creazione dell'agente di servizio, Google concede automaticamente il ruolo di agente di servizio predefinito.
Autorizzazione tramite service account tra progetti
Se autorizzi il trasferimento dei dati utilizzando un account di servizio di un progetto diverso da quello con BigQuery Data Transfer Service abilitato, devi concedere il ruolo roles/iam.serviceAccountTokenCreator
all'agente di servizio utilizzando il seguente comando Google Cloud CLI:
gcloud iam service-accounts add-iam-policy-binding service_account \ --member serviceAccount:service-project_number@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com \ --role roles/iam.serviceAccountTokenCreator
Dove:
- service_account è il account di servizio tra progetti utilizzato per autorizzare il trasferimento dei dati.
- project_number è il numero di progetto in cui è abilitato BigQuery Data Transfer Service.
Per ulteriori informazioni sulla configurazione delle risorse tra progetti, consulta Configurazione per una risorsa in un altro progetto nella documentazione sull'imitazione del account di servizio di Identity and Access Management.
Creazione manuale dell'agente di servizio
Se vuoi attivare la creazione dell'agente di servizio prima di interagire con l'API, ad esempio se devi concedere ruoli aggiuntivi all'agente di servizio, puoi utilizzare uno dei seguenti approcci:
- API: services.GenerateServiceIdentity
- gcloud CLI: gcloud beta services identity create
- Provider Terraform: google_project_service_identity
Quando attivi manualmente la creazione dell'agente di servizio, Google non concede automaticamente il ruolo di agente di servizio predefinito. Devi concedere manualmente all'agente di servizio il ruolo predefinito utilizzando il seguente comando Google Cloud CLI:
gcloud projects add-iam-policy-binding project_number \ --member serviceAccount:service-project_number@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com \ --role roles/bigquerydatatransfer.serviceAgent
Dove:
- project_number è il numero di progetto in cui è abilitato BigQuery Data Transfer Service.
Concedi l'accesso a bigquery.admin
Ti consigliamo di concedere il ruolo IAM predefinito bigquery.admin
agli
utenti che creano trasferimenti BigQuery Data Transfer Service.
Il ruolo bigquery.admin
include le autorizzazioni IAM necessarie per
eseguire le attività più comuni. Il ruolo bigquery.admin
include le seguenti autorizzazioni BigQuery Data Transfer Service:
- Autorizzazioni BigQuery Data Transfer Service:
bigquery.transfers.update
bigquery.transfers.get
- Autorizzazioni BigQuery:
bigquery.datasets.get
bigquery.datasets.update
bigquery.jobs.create
In alcuni casi, le autorizzazioni richieste potrebbero variare a seconda delle origini dati. Per informazioni specifiche su IAM, consulta la sezione "Autorizzazioni richieste" di ogni guida al trasferimento dell'origine dati. Ad esempio, consulta le autorizzazioni di trasferimento di Amazon S3 o le autorizzazioni di trasferimento di Cloud Storage.
Per concedere il ruolo bigquery.admin
:
Console
Apri la pagina IAM nella console Trusted Cloud .
Fai clic su Seleziona un progetto.
Seleziona un progetto e fai clic su Apri.
Fai clic su Aggiungi per aggiungere nuovi membri al progetto e impostare le relative autorizzazioni.
Nella finestra di dialogo Aggiungi membri:
- Per Membri, inserisci l'indirizzo email dell'utente o del gruppo.
- Nel menu a discesa Seleziona un ruolo, fai clic su BigQuery > Amministratore BigQuery.
Fai clic su Aggiungi.
gcloud
Puoi utilizzare Google Cloud CLI per concedere a un utente o a un gruppo il ruolo
bigquery.admin
.
Per aggiungere un'unica associazione al criterio IAM del progetto, digita
il seguente comando. Per aggiungere un utente, fornisci il flag --member
nel
formato user:user@example.com
. Per aggiungere un gruppo, fornisci il flag --member
nel formato group:group@example.com
.
gcloud projects add-iam-policy-binding project_id \ --member principal:address \ --role roles/bigquery.admin
Dove:
- project_id è l'ID progetto.
- principal è
group
ouser
. - address è l'indirizzo email dell'utente o del gruppo.
Ad esempio:
gcloud projects add-iam-policy-binding myproject \
--member group:group@example.com \
--role roles/bigquery.admin
Il comando restituisce le norme aggiornate:
bindings: - members: - group:group@example.com role: roles/bigquery.admin
Per saperne di più sui ruoli IAM in BigQuery, vedi Ruoli e autorizzazioni predefiniti.
Passaggi successivi
Dopo aver attivato BigQuery Data Transfer Service, crea un trasferimento per l'origine dati.
- Amazon S3
- Amazon Redshift
- Azure Blob Storage
- Campaign Manager
- Cloud Storage
- Comparison Shopping Service (CSS) Center (anteprima)
- Display & Video 360
- Facebook Ads (anteprima)
- Google Ad Manager
- Google Ads
- Google Analytics 4 (anteprima)
- Google Merchant Center (anteprima)
- Google Play
- MySQL (anteprima)
- Oracle (anteprima)
- PostgreSQL (anteprima)
- Salesforce (anteprima)
- Salesforce Marketing Cloud (anteprima)
- Search Ads 360
- ServiceNow (anteprima)
- Teradata
- Canale YouTube
- Proprietario dei contenuti YouTube