Présentation de l'exportation de données

BigQuery vous permet d'exporter des données afin de pouvoir les utiliser dans d'autres outils, systèmes de stockage et applications. Vous pouvez enregistrer les résultats de requête dans un fichier, exporter des tables vers Cloud Storage ou configurer des workflows ETL inversés (RETL) vers des services tels que Bigtable et Spanner.

Pour en savoir plus sur les intégrations de données, consultez Présentation du chargement, de la transformation et de l'exportation des données.

Exporter des résultats de requête

Vous pouvez exporter les résultats de requêtes vers un fichier local (au format CSV ou JSON), Google Drive ou Google Sheets. Pour en savoir plus, consultez la page Exporter des résultats de requête vers un fichier.

Exporter des tables

Vous pouvez exporter vos tables BigQuery dans les formats de données suivants :

Format des données Types de compression acceptés Méthodes d'exportation compatibles
CSV GZIP Exporter vers Cloud Storage
JSON GZIP Exporter vers Cloud Storage
Lire des données depuis BigQuery à l'aide de Dataflow
Avro DEFLATE, SNAPPY Exporter vers Cloud Storage
Lire des données depuis BigQuery à l'aide de Dataflow
Parquet GZIP, SNAPPY, ZSTD Exporter vers Cloud Storage

Vous pouvez également exporter vos tables BigQuery en tant que colonnes Protobuf lorsque vous travaillez avec des structures de données imbriquées qui nécessitent la sécurité du typage d'objets ou si vous avez besoin d'une compatibilité linguistique plus large.

Remarques concernant l'exportation de tables volumineuses

Lorsque vous exportez des données volumineuses depuis BigQuery, tenez compte des points suivants :

  • Volume et format des données :
    • Calculez le volume de données à exporter. Les exportations peuvent entraîner des coûts importants en fonction de la taille, du format, de la méthode et de l'emplacement géographique des données. Certaines ressources sont facturées par Gio, tandis que d'autres sont facturées par Tio.
    • Choisissez un format compatible avec les outils d'analyse et la structure de vos données. Par exemple, le format CSV ne gère pas les champs imbriqués ni répétés. Vérifiez la compatibilité des types de données.
    • Envisagez d'utiliser des formats de compression pour réduire la taille et les coûts.
  • Coût d'exportation :
    • Certaines méthodes d'exportation sont sans frais jusqu'à une certaine limite, tandis que d'autres sont toujours payantes. Pour en savoir plus sur la tarification, consultez la page Tarifs de l'extraction des données.
    • Des frais peuvent s'appliquer si votre table BigQuery et votre destination, comme un bucket Cloud Storage, se trouvent dans des emplacements différents.
  • Quotas : certaines méthodes d'exportation sont soumises à des limites quotidiennes. Pour en savoir plus, consultez Jobs d'extraction.
  • Fichiers multiples : les exportations volumineuses sont divisées en plusieurs fichiers. Réfléchissez à la façon dont vous allez gérer ces fichiers en aval.
  • Automatisation : pour les exportations récurrentes, utilisez les requêtes programmées BigQuery ou Dataflow.
  • Règles de conservation : déterminez les périodes de conservation dans votre ensemble de données de destination et implémentez des règles de cycle de vie pour optimiser les coûts de stockage.
  • Sécurité et contrôle des accès : implémentez les autorisations IAM et le chiffrement appropriés.

Lorsque vous prenez en compte ces facteurs, nous vous recommandons d'effectuer un test d'exportation sur un sous-ensemble de données pour évaluer les coûts, la taille des fichiers, le nombre de fichiers et le temps nécessaire. Vous pouvez utiliser une clause WHERE dans votre instruction SQL EXPORT DATA pour limiter l'exportation de test.

Exporter des éléments de code BigQuery

Vous pouvez télécharger des éléments de code BigQuery Studio, tels que des requêtes enregistrées ou des notebooks, pour conserver une copie locale de vos éléments. Pour plus d'informations sur le téléchargement de vos éléments de code BigQuery, consultez les pages suivantes:

Exporter à l'aide d'un processus ETL inversé

Vous pouvez configurer des workflows ETL inversés (RETL) pour déplacer des données de BigQuery vers les bases de données suivantes :

Étapes suivantes