Il est possible qu'une partie ou l'ensemble des informations de cette page ne s'appliquent pas au Cloud de confiance S3NS.

Cette page a été traduite par l'API Cloud Translation.

Présentation des requêtes continues

Ce document décrit les requêtes continues BigQuery.

Les requêtes continues BigQuery sont des instructions SQL qui s'exécutent en continu. Les requêtes continues vous permettent d'analyser les données entrantes dans BigQuery en temps réel. Vous pouvez insérer les lignes de sortie générées par une requête continue dans une table BigQuery ou les exporter vers Pub/Sub, Bigtable ou Spanner. Les requêtes continues peuvent traiter les données écrites dans les tables BigQuery standards à l'aide de l'une des méthodes suivantes :

Vous pouvez utiliser des requêtes continues pour effectuer des tâches urgentes, telles que la création et l'action immédiate sur des insights, l'application de l'inférence de machine learning (ML) en temps réel et la réplication des données vers d'autres plates-formes. Cela vous permet d'utiliser BigQuery comme moteur de traitement de données basé sur des événements pour la logique de décision de votre application.

Le schéma suivant illustre des workflows de requêtes continues courants :

Schéma illustrant les workflows de requêtes continues BigQuery courants, y compris l'ingestion, le traitement et l'exportation de données vers des destinations telles que Bigtable et Pub/Sub.

Cas d'utilisation

Voici quelques cas d'utilisation courants de requêtes continues :

Services d'interaction personnalisés avec les clients : utilisez l'IA générative pour créer des messages sur mesure adaptés à chaque interaction client.
Détection d'anomalies : créez des solutions vous permettant de détecter les anomalies et les menaces sur des données complexes en temps réel, afin de pouvoir réagir plus rapidement aux problèmes.
Pipelines personnalisables basés sur des événements : utilisez l'intégration de requêtes continues avec Pub/Sub pour déclencher des applications en aval en fonction des données entrantes.
Enrichissement des données et extraction d'entités : utilisez des requêtes continues pour enrichir et transformer des données en temps réel à l'aide de fonctions SQL et de modèles de ML.
Opérations d'extraction, de transformation et de chargement (ETL, Extract-Transform-Load) inverses : effectuez un ETL inversé en temps réel dans d'autres systèmes de stockage plus adaptés à la diffusion d'applications à faible latence. Par exemple, analyser ou améliorer les données d'événements écrites dans BigQuery, puis les importer par flux dans Bigtable ou Spanner pour la diffusion de l'application.

Opérations compatibles

Les opérations suivantes sont acceptées dans les requêtes continues :

L'exécution d'instructions INSERT pour écrire des données issues d'une requête continue dans une table BigQuery.
L'exécution d'instructions EXPORT DATA pour publier le résultat de la requête continue dans des sujets Pub/Sub. Pour en savoir plus, consultez Exporter les données vers Pub/Sub.

À partir d'un sujet Pub/Sub, vous pouvez utiliser les données avec d'autres services, par exemple pour effectuer des analyses de flux à l'aide de Dataflow ou pour utiliser les données dans un workflow d'intégration d'applications.
L'exécution d'instructions EXPORT DATA pour exporter des données depuis BigQuery vers des tables Bigtable Pour en savoir plus, consultez Exporter des données vers Bigtable.
L'exécution d'instructions EXPORT DATA pour exporter des données depuis BigQuery vers des tables Spanner Pour en savoir plus, consultez Exporter des données vers Spanner (ETL inversé).
Appel de la fonction d'IA générative suivante :
- ML.GENERATE_TEXT
Cette fonction nécessite un modèle distant BigQuery ML sur un modèle Vertex AI.
Appel des fonctions d'IA suivantes :
- ML.UNDERSTAND_TEXT
- ML.TRANSLATE
Ces fonctions nécessitent que vous disposiez d'un modèle distant BigQuery ML sur une API d'IA Cloud.
La normalisation des données numériques à l'aide de la fonction ML.NORMALIZER
L'utilisation de fonctions GoogleSQL sans état, telles que les fonctions de conversion. Dans les fonctions sans état, chaque ligne est traitée indépendamment des autres lignes du tableau.
L'utilisation de la fonction d'historique des modifications APPENDS pour démarrer le traitement continu des requêtes à partir d'un moment précis.

Autorisation

Les Trusted Cloud jetons d'accès utilisés lors de l'exécution de jobs de requête continue ont une valeur TTL (Time To Live) de deux jours lorsqu'ils sont générés par un compte utilisateur. Par conséquent, ces jobs cessent de s'exécuter après deux jours. Les jetons d'accès générés par les comptes de service peuvent s'exécuter plus longtemps, mais doivent toujours respecter la durée d'exécution maximale des requêtes. Pour en savoir plus, consultez Exécuter une requête continue à l'aide d'un compte de service.

Emplacements

Les requêtes continues sont prises en charge aux emplacements suivants :

	Description de la région	Nom de la région	Détails
Amériques
	États-Unis (multirégional)	`us`
	Dallas	`us-south1`	Faibles émissions de CO₂
	Iowa	`us-central1`	Faibles émissions de CO₂
	Los Angeles	`us-west2`
	Mexique	`northamerica-south1`
	Montréal	`northamerica-northeast1`	Faibles émissions de CO₂
	Virginie du Nord	`us-east4`
	Oregon	`us-west1`	Faibles émissions de CO₂
	Salt Lake City	`us-west3`
	São Paulo	`southamerica-east1`	Faibles émissions de CO₂
	Caroline du Sud	`us-east1`
	Toronto	`northamerica-northeast2`	Faibles émissions de CO₂
Asie-Pacifique
	Delhi	`asia-south2`
	Hong Kong	`asia-east2`
	Jakarta	`asia-southeast2`
	Melbourne	`australia-southeast2`
	Mumbai	`asia-south1`
	Osaka	`asia-northeast2`
	Séoul	`asia-northeast3`
	Singapour	`asia-southeast1`
	Sydney	`australia-southeast1`
	Taïwan	`asia-east1`
	Tokyo	`asia-northeast1`
Europe
	UE (multirégional)	`eu`
	Belgique	`europe-west1`	Faibles émissions de CO₂
	Berlin	`europe-west10`	Faibles émissions de CO₂
	Finlande	`europe-north1`	Faibles émissions de CO₂
	Francfort	`europe-west3`
	Londres	`europe-west2`	Faibles émissions de CO₂
	Madrid	`europe-southwest1`	Faibles émissions de CO₂
	Milan	`europe-west8`
	Pays-Bas	`europe-west4`	Faibles émissions de CO₂
	Paris	`europe-west9`	Faibles émissions de CO₂
	Stockholm	`europe-north2`	Faibles émissions de CO₂
	Turin	`europe-west12`
	Varsovie	`europe-central2`
	Zurich	`europe-west6`	Faibles émissions de CO₂
Moyen-Orient
	Doha	`me-central1`
	Dammam	`me-central2`
	Tel Aviv	`me-west1`
Afrique
	Johannesburg	`africa-south1`

Limites

Les requêtes continues sont soumises aux limites suivantes :

Les requêtes continues BigQuery ne conservent pas l'état des données ingérées. Les opérations courantes qui s'appuient sur l'état, telles que JOIN, les fonctions d'agrégation ou les fenêtrage, ne sont pas prises en charge.
Vous ne pouvez pas utiliser les fonctionnalités SQL suivantes dans une requête continue :
- Opérations JOIN
- Fonctions d'agrégation
- Fonctions d'agrégation approximative
- Les clauses de requête suivantes :
- Les opérateurs de requête suivants :
- Opérateurs d'ensemble de requête
- L'instruction SELECT DISTINCT
- Sous-requêtes EXISTS ou NOT EXISTS
- CTE récursifs
- Fonctions définies par l'utilisateur
- Fonctions de fenêtrage
- Fonctions BigQuery ML autres que celles regroupées dans la section Opérations compatibles
- Instructions du langage de définition de données (LDD)
- Instructions du langage de manipulation de données (LMD), à l'exception de INSERT.
- Instructions de langage de contrôle de données (DCL)
- Instructions EXPORT DATA qui ne ciblent pas Bigtable, Pub/Sub ni Spanner.
- Langage procédural
- Instructions de débogage
Les requêtes continues ne sont pas compatibles avec le traitement des données d'insertion/mise à jour de la capture des données modifiées (CDC).
Les requêtes continues n'acceptent pas les tables génériques comme source de données.
Les requêtes continues ne sont pas compatibles avec les tables externes comme source de données.
Les requêtes continues n'acceptent pas les vues INFORMATION_SCHEMA comme source de données.
Les requêtes continues ne sont pas compatibles avec les tables BigLake pour Apache Iceberg dans BigQuery.
Les requêtes continues ne sont pas compatibles avec les fonctionnalités de sécurité BigQuery suivantes :
- Sécurité au niveau des colonnes et au niveau des lignes
Lorsque vous exportez des données vers Bigtable, vous ne pouvez cibler que les instances Bigtable situées dans la même limite régionaleTrusted Cloud que l'ensemble de données BigQuery contenant la table que vous interrogez. Pour en savoir plus, consultez la section Considérations relatives aux zones. Cette restriction ne s'applique pas à l'exportation de données vers Pub/Sub, car Pub/Sub est une ressource globale.
Lorsque vous exportez des données vers Bigtable, Spanner ou des points de terminaison régionaux Pub/Sub, vous ne pouvez cibler que les ressources Bigtable, Spanner ou Pub/Sub situées dans la même limite régionale Trusted Cloudque l'ensemble de données BigQuery contenant la table que vous interrogez. Cette restriction ne s'applique pas lors de l'exportation de données vers les points de terminaison mondiaux Pub/Sub.
Vous ne pouvez pas exécuter de requête continue à partir d'un canevas de données.
Vous ne pouvez pas modifier le code SQL utilisé dans une requête continue pendant l'exécution du job de requête continue. Pour en savoir plus, consultez Modifier le code SQL d'une requête continue.
Si une tâche de requête continue prend du retard dans le traitement des données entrantes et présente un décalage du code temporel de sortie de plus de 48 heures, elle échoue. Vous pouvez exécuter à nouveau la requête et utiliser la fonction d'historique des modifications APPENDS pour reprendre le traitement à partir du moment où vous avez arrêté le job de requête continue précédent. Pour en savoir plus, consultez Démarrer une requête continue à partir d'un moment précis.
Une requête continue configurée avec un compte utilisateur peut s'exécuter pendant deux jours maximum. Une requête continue configurée avec un compte de service peut s'exécuter pendant 150 jours maximum. Lorsque la durée d'exécution maximale de la requête est atteinte, la requête échoue et le traitement des données entrantes s'arrête.
Bien que les requêtes continues soient créées à l'aide des fonctionnalités de fiabilité de BigQuery, des problèmes temporaires peuvent survenir de temps en temps. Les problèmes peuvent entraîner un certain retraitement automatique de votre requête continue, ce qui peut entraîner des données en double dans la sortie de la requête continue. Concevez vos systèmes en aval pour gérer de tels scénarios.

Limites de réservation

Pour exécuter des requêtes continues, vous devez créer des réservations Enterprise ou Enterprise Plus. Les requêtes continues ne sont pas compatibles avec le modèle de facturation du calcul à la demande.
Lorsque vous créez une CONTINUOUS attribution de réservation, la réservation associée est limitée à 500 emplacements maximum. Vous pouvez demander à augmenter cette limite en contactant bq-continuous-queries-feedback@google.com.
Une attribution de réservation de requête continue ne partage pas les emplacements inactifs, même si la réservation est configurée pour le faire.
Vous ne pouvez pas créer une attribution de réservation qui utilise un type de job différent dans la même réservation qu'une attribution de réservation de requête continue.
Vous ne pouvez pas configurer la simultanéité des requêtes continues. BigQuery détermine automatiquement le nombre de requêtes continues pouvant être exécutées simultanément, en fonction des attributions de réservation disponibles qui utilisent le type de job CONTINUOUS.
Lorsque vous exécutez plusieurs requêtes continues à l'aide de la même réservation, les jobs individuels peuvent ne pas répartir les ressources disponibles de manière équitable, comme défini par l'équité BigQuery.

Autoscaling des emplacements

Les requêtes continues peuvent utiliser l'autoscaling des emplacements pour ajuster dynamiquement la capacité allouée en fonction de votre charge de travail. À mesure que la charge de travail de vos requêtes continues augmente ou diminue, BigQuery ajuste dynamiquement vos emplacements.

Une fois qu'une requête continue commence à s'exécuter, elle écoute activement les données entrantes, ce qui consomme des ressources d'emplacement. Bien qu'une réservation avec une requête continue en cours d'exécution ne soit pas réduite à zéro emplacement, une requête continue inactive qui écoute principalement les données entrantes devrait consommer un nombre minimal d'emplacements, généralement environ un emplacement.

Tarifs

Les requêtes continues utilisent les tarifs des calculs de capacité BigQuery, exprimée en emplacements. Pour exécuter des requêtes continues, vous devez disposer d'une réservation qui utilise l'édition Enterprise ou Enterprise Plus et d'une attribution de réservation qui utilise le type de job CONTINUOUS.

L'utilisation d'autres ressources BigQuery, comme l'ingestion et le stockage de données, est facturée selon les tarifs indiqués sur la page Tarifs de BigQuery.

L'utilisation d'autres services qui reçoivent des résultats de requêtes continues ou qui sont appelés pendant le traitement des requêtes continues est facturée selon les tarifs publiés pour ces services. Pour connaître la tarification des autres services Trusted Cloud by S3NS utilisés par les requêtes continues, consultez les sections suivantes :

Étape suivante

Essayez de créer une requête continue.