Interagir avec des données Lakehouse sans frontières dans BigQuery

Borderless Lakehouse est un moteur de stockage qui unifie Cloud de Confiance by S3NS et des services Open Source pour créer une interface unifiée pour l'analyse avancée et l'IA. Il fournit la base nécessaire pour créer un lakehouse ouvert, géré et hautes performances avec une gestion des données automatisée et une gouvernance intégrée à l'aide d'Apache Iceberg.

Lorsque vous créez une table dans Lakehouse, elle peut automatiquement être interrogée à partir de BigQuery et est visible sur la page BigQuery de la Cloud de Confiance console. Vos espaces de noms et schémas Lakehouse sont également automatiquement mappés aux ensembles de données BigQuery.

Différences entre les ressources Lakehouse et les autres ressources BigQuery

Voici les principales différences entre Lakehouse et les ressources BigQuery standards :

  • Les ensembles de données Lakehouse s'affichent sur la page BigQuery de la Cloud de Confiance console à côté de l' icône représentant de l'eau.
  • Vous ne pouvez pas modifier les ressources Lakehouse à partir de BigQuery.
  • Les ressources Lakehouse comportent des métadonnées supplémentaires dans leur section Détails respective.

Comparaison des fonctionnalités des tables Iceberg

Utilisez le tableau suivant pour comparer les fonctionnalités des tables Apache Iceberg gérées par le catalogue d'environnements d'exécution Lakehouse et celles des tables Apache Iceberg gérées par BigQuery.

Capacité Tables Apache Iceberg gérées par le catalogue d'environnements d'exécution Lakehouse Tables Apache Iceberg gérées par BigQuery
Catalogue Catalogue d'environnements d'exécution Lakehouse (compatible avec le catalogue REST Iceberg) BigQuery
Stockage Cloud Storage Cloud Storage
Accessible via le point de terminaison du catalogue REST Iceberg Oui Oui, à l'aide de la fédération de catalogues BigQuery
Interopérabilité en lecture/écriture
Requêtes de lecture BigQuery (SELECT, BQML, fonctions d'IA) Compatible Compatible
DML BigQuery (INSERT, UPDATE, DELETE, MERGE) Compatible (aperçu) Compatible (DG)
Lectures du moteur OSS Compatible (DG) Compatible (DG) (à l'aide de la fédération de catalogues BigQuery)
Écritures du moteur OSS Compatible (DG) Non compatible
Écritures en flux continu du moteur OSS (Kafka, Spark, Dataflow avec récepteur d'E/S Iceberg) Compatible (DG) Non compatible
Fonctionnalités gérées et avancées
Gestion des tables (compaction, récupération de mémoire) Compatible (aperçu) Compatible (DG)
Écritures en flux continu BigQuery (API Storage Write) Non compatible Compatible (DG)
Flux continu/abonnement Pub/Sub, flux continu Dataflow avec récepteur d'E/S BigQuery Non compatible Compatible (DG)
Capture des données modifiées (CDC) BigQuery Non compatible Compatible (aperçu privé)
Transactions contenant plusieurs instructions BigQuery Non compatible Compatible (aperçu)
Reprise après sinistre gérée Non compatible Non compatible
Index de recherche Non compatible Non compatible
Index vectoriel (y compris la génération automatique d'embeddings) Non compatible Non compatible
Voyage dans le temps
Voyage dans le temps (à l'aide de moteurs OSS) Flexible (configuré via les propriétés de la table) Non compatible
Voyage dans le temps (à l'aide de BigQuery) Limité à sept jours Limité à sept jours
Historique des instantanés et restauration d'un instantané précédent Compatible Non compatible
Gouvernance, sécurité et partage
Vues autorisées BigQuery Non compatible Non compatible
Sécurité au niveau des colonnes BigQuery Non compatible Compatible (DG)
Masquage des données et tags avec stratégie BigQuery Non compatible Compatible (DG)
Sécurité au niveau des lignes BigQuery Non compatible Non compatible
Intégration à Analytics Hub Non compatible Compatible
Fonctionnalités de Knowledge Catalog
Catalogage, recherche et découverte de métadonnées Compatible Compatible
Traçabilité Compatible Compatible
Qualité/profilage des données Compatible Compatible
Insights Compatible Compatible
Génération de descriptions de colonnes et de tables basées sur l'IA Compatible Compatible

Accéder aux données inter-cloud

La fonctionnalité d'accès aux données inter-cloud de Lakehouse vous permet d'interroger les données stockées auprès d'autres fournisseurs de cloud directement à partir de BigQuery, sans avoir à migrer des fichiers ni à créer des pipelines ETL complexes. Pour obtenir des informations sur la configuration, consultez Interroger des données à distance.

Étape suivante