Einführung in BigQuery-Monitoring

Mit dem BigQuery-Monitoring können Sie die Ressourcennutzung, die Jobausführung und den Betriebszustand Ihrer Arbeitslasten im Blick behalten, um Engpässe zu erkennen und die Zuverlässigkeit aufrechtzuerhalten.

Monitoring und Logging sind für die Ausführung zuverlässiger Anwendungen in der Cloud entscheidend. BigQuery-Arbeitslasten sind keine Ausnahme, insbesondere wenn Ihre Arbeitslast ein hohes Volumen hat oder geschäftskritisch ist.

Monitoring-Quellen variieren je nach Stichprobenhäufigkeit und Aggregationsebene. Informationsschema-Ansichten bieten beispielsweise oft eine höhere Granularität als Cloud Monitoring-Messwerte. Daher können Messwertdiagramme vorübergehend von den Informationsschemadaten abweichen, bis die Unterschiede durch die Aggregation ausgeglichen werden. Prüfen Sie beim Entwerfen einer Monitoring-Strategie die Latenz, Präzision und Genauigkeit im Hinblick auf Ihre Anforderungen.

Messwerte

Messwerte sind numerische Werte, die in regelmäßigen Abständen erfasst und für die Analyse verfügbar gemacht werden. Sie können Messwerte für Folgendes verwenden:

  • Diagramme und Dashboards erstellen
  • Benachrichtigungen über Bedingungen oder Situationen auslösen, die ein menschliches Eingreifen erfordern
  • Bisherige Leistung analysieren

Im Fall von BigQuery gehören zu den verfügbaren Messwerten die Anzahl der ausgeführten Jobs, die Anzahl der während einer Abfrage gescannten Byte sowie die Verteilung der Abfragezeiten. Die Messwerte für eine Abfrage sind erst verfügbar, wenn die Abfrage erfolgreich ausgeführt wurde. Es kann bis zu sieben Minuten dauern, bis die Werte angezeigt werden. Messwerte für fehlgeschlagene Abfragen werden nicht angezeigt. Eine vollständige Liste der verfügbaren Messwerte, einschließlich ihrer Abtastraten, Sichtbarkeit und Einschränkungen, finden Sie unter bigquery unter Cloud de Confiance -Messwerte.

Mit Cloud Monitoring können Sie BigQuery-Messwerte aufrufen und Diagramme und Benachrichtigungen erstellen. Jeder Messwert hat einen Ressourcentyp, entweder bigquery_dataset, bigquery_project oder global, sowie einen Satz von Labels. Mithilfe der Labels können Sie jeden Messwert gruppieren oder filtern.

Wenn Sie beispielsweise die Anzahl der aktiven interaktiven Abfragen in einem Diagramm darstellen möchten, verwenden Sie die folgende PromQL-Anweisung, die nach priority gleich interactive filtert:

{"bigquery.googleapis.com/query/count", monitored_resource="global", priority="interactive"}

Das nächste Beispiel ruft die Anzahl der aktiven Ladejobs ab, gruppiert in 10-Minuten-Intervallen:

avg_over_time({"bigquery.googleapis.com/job/num_in_flight",
  monitored_resource="bigquery_project",
  job_type="load"
}[10m])

Weitere Informationen finden Sie unter Diagramme und Benachrichtigungen für BigQuery erstellen.

Logs

Logs sind Textdatensätze, die als Reaktion auf bestimmte Ereignisse oder Aktionen generiert werden. BigQuery erstellt Logeinträge für Aktionen wie das Erstellen oder Löschen einer Tabelle, das Erwerben von Slots oder das Ausführen eines Ladejobs. Weitere Informationen zum Anmelden Cloud de Confiancefinden Sie unter Cloud Logging.

Ein Log ist eine Sammlung mit Logeinträgen, für die nur Anfügungen zulässig sind. Sie könnten beispielsweise eigene Logeinträge in ein Log namens projects/PROJECT_ID/logs/my-test-log schreiben. VieleCloud de Confiance -Dienste, einschließlich BigQuery, erstellen einen Logtyp, der als Audit-Logs bezeichnet wird. In diesen Logs wird Folgendes aufgezeichnet:

  • Administratoraktivität, z. B. das Erstellen oder Ändern von Ressourcen
  • Datenzugriff, z. B. das Lesen der von Nutzern bereitgestellten Daten aus einer Ressource
  • Systemereignisse, die nicht durch Nutzeraktionen, sondern von Google-Systemen generiert werden

Audit-Logs werden in einem strukturierten JSON-Format geschrieben. Der Basisdatentyp fürCloud de Confiance -Logeinträge ist die LogEntry-Struktur. Diese Struktur enthält den Namen des Logs, die Ressource, die den Logeintrag generiert hat, den Zeitstempel (UTC) und weitere grundlegende Informationen.

Die Details des protokollierten Ereignisses befinden sich in einem Unterfeld, dem sogenannten Nutzlastfeld. Bei Audit-Logs hat das Nutzlastfeld den Namen protoPayload. Der Wert dieses Felds ist eine AuditLog-Struktur, angegeben durch den Wert des protoPayload.@type-Felds, das auf type.googleapis.com/google.cloud.audit.AuditLog gesetzt ist.

Bei Vorgängen für Datasets, Tabellen und Jobs schreibt BigQuery Audit-Logs in zwei verschiedenen Formaten, obwohl beide den Basistyp AuditLog haben.

Im älteren Format gilt:

  • Das Feld resource.type ist bigquery_resource.
  • Details zum Vorgang werden in das Feld protoPayload.serviceData geschrieben. Der Wert dieses Felds ist eine AuditData-Struktur.

Im neueren Format gilt:

  • Das Feld resource.type ist entweder bigquery_project oder bigquery_dataset. Die Ressource bigquery_project enthält Logeinträge zu Jobs, während die Ressource bigquery_dataset Logeinträge zum Speicher enthält.
  • Details zum Vorgang werden in das Feld protoPayload.metadata geschrieben. Der Wert dieses Felds ist eine BigQueryAuditMetadata-Struktur.

Wir empfehlen die Nutzung von Logs im neueren Format. Weitere Informationen finden Sie in der Migrationsanleitung für Audit-Logs.

Hier ist ein abgekürztes Beispiel für einen Logeintrag, der einen fehlgeschlagenen Vorgang anzeigt:

{
  "protoPayload": {
    "@type": "type.googleapis.com/google.cloud.audit.AuditLog",
    "status": {
      "code": 5,
      "message": "Not found: Dataset my-project:my-dataset was not found in location US"
    },
    "authenticationInfo": { ... },
    "requestMetadata":  { ... },
    "serviceName": "bigquery.googleapis.com",
    "methodName": "google.cloud.bigquery.v2.JobService.InsertJob",
    "metadata": {
  },
  "resource": {
    "type": "bigquery_project",
    "labels": { .. },
  },
  "severity": "ERROR",
  "logName": "projects/my-project/logs/cloudaudit.googleapis.com%2Fdata_access",
  ...
}

Bei Vorgängen für BigQuery Reservations ist protoPayload eine AuditLog-Struktur und die Felder protoPayload.request und protoPayload.response enthalten weitere Informationen. Die Felddefinitionen finden Sie unter BigQuery Reservation API. Weitere Informationen finden Sie unter BigQuery Reservations überwachen.

BigQuery-Informationsschemaansichten

Informationsschema-Ansichten sind eine weitere Informationsquelle in BigQuery, die Sie zusammen mit Messwerten und Logs verwenden können.

Diese Ansichten enthalten Metadaten zu Jobs, Datasets, Tabellen und anderen BigQuery-Entitäten. So können Sie beispielsweise Echtzeitmetadaten darüber abrufen, welche BigQuery-Jobs über einen bestimmten Zeitraum ausgeführt wurden, und dann die Ergebnisse nach Projekt, Nutzer, referenzierten Tabellen und anderen Dimensionen gruppieren oder filtern.

Sie können diese Informationen nutzen, um eine detailliertere Analyse Ihrer BigQuery-Arbeitslasten durchzuführen, und erhalten Antworten auf Fragen wie:

  • Wie hoch war die durchschnittliche Slot-Auslastung für alle Abfragen in den letzten sieben Tagen für ein bestimmtes Projekt?
  • Welche Nutzer haben einen Batch-Ladejob für ein bestimmtes Projekt gesendet?
  • Welche Streamingfehler sind in den letzten 30 Minuten aufgetreten, gruppiert nach Fehlercode?

Insbesondere unter Jobmetadaten, Streamingmetadaten und Reservierungsmetadaten finden Sie Informationen zur Leistung Ihrer BigQuery-Arbeitslasten.

Sie finden Beispiel-Informationsschema-Abfragen auf GitHub, die die Slot- und Reservierungsnutzung einer Organisation, die Jobausführung und die Jobfehler zeigen. Die folgende Abfrage enthält beispielsweise eine Liste von Abfragen, die entweder ausstehend oder aktuell ausgeführt werden. Diese Abfragen sind nach dem Zeitraum sortiert, seit sie in der Region us erstellt wurden:

SELECT
    creation_time,
    project_id,
    user_email,
    job_id,
    job_type,
    priority,
    state,
    TIMESTAMP_DIFF(CURRENT_TIMESTAMP(), start_time,second) as running_time_sec
 FROM
   `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
 WHERE
    creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY) AND CURRENT_TIMESTAMP()
    AND state != "DONE"
ORDER BY
    running_time_sec DESC

Weitere Informationen finden Sie unter Fehlerbehebung für die BigQuery-Leistung mit diesen Dashboards.

Zusätzlich zum Schreiben eigener Abfragen können Sie BigQuery-Monitoring-Tools in der Cloud de Confiance Console verwenden:

  • Zustand, Ressourcennutzung und Jobs überwachen. Dashboards zum Betriebsstatus und BigQuery-Administratorressourcendiagramme aufrufen, mit denen die Slot-Nutzung, die Job-Nebenläufigkeit und die Job-Ausführungszeit in Ihrer Organisation und Ihren Reservierungen erfasst werden.
  • Jobs überwachen. Sie können einzelne Abfrageausführungen in Ihrer Organisation suchen, filtern und gruppieren, um Abfrageausführungsdiagramme zu prüfen, die größten Slot-Nutzer zu identifizieren und problematische Jobs zu beheben.

Telemetriekarte

In der folgenden Tabelle werden BigQuery-Features und -Ressourcen den zugehörigen Telemetriedaten für das operative Monitoring, den geprüften API-Diensten und -Ressourcen sowie der Referenzdokumentation für Audit-Logs zugeordnet. Sie können damit die Telemetriedaten finden, die Sie benötigen, um Probleme zu beheben, die Leistung zu optimieren, Kosten zu kontrollieren, die Nutzung zu prüfen und die Compliance aufrechtzuerhalten.

Im Gegensatz zu vielen Cloud de Confiance by S3NS -Diensten, die operative Joblogs in Cloud Logging schreiben, schreibt BigQuery operative Jobtelemetriedaten in Informationsschema-Ansichten wie INFORMATION_SCHEMA.JOBS. Diese Ansichten erfassen die Phasen der Abfrageausführung, die Slotnutzung, die abgerechneten Byte und alle gesendeten Jobs, einschließlich aktiver und fehlgeschlagener Jobs.

BigQuery verwendet Logging hauptsächlich, um Cloud-Audit-Logs auszugeben, in denen Aktivitäten im Zusammenhang mit der Verwaltung und dem Datenzugriff aufgezeichnet werden. Wenn Sie diese Aktivität prüfen, können Sie feststellen, wer wann und wo auf Ressourcen oder Daten zugegriffen hat.

Audit-Logs werden nicht für jede Jobunterbrechung oder jeden Jobfehler ausgegeben. Fehlgeschlagene Jobs generieren beispielsweise keine TableDataRead- oder TableDataChange-Ereignisse und jobCompletedEvent zeichnet nur erfolgreiche Jobabschlüsse auf. Weitere Informationen zu Szenarien, in denen keine Audit-Logs ausgegeben werden, finden Sie unter Datenzugriff in der Übersicht zu BigQuery-Audit-Logs.

In der folgenden Tabelle kennzeichnet ein Sternchen (*) in einem INFORMATION_SCHEMA-Ansichtsnamen bereichsspezifische Ansichtsvarianten wie _BY_PROJECT, _BY_USER, _BY_FOLDER und _BY_ORGANIZATION.

Funktion oder Ressource Betriebsmonitoring Cloud-Audit-Logs
Abfragen und Jobs

Informationsschema-Ansichten:

  • JOBS*: Echtzeit- und Verlaufsdaten zur Jobausführung, Slot-Millisekunden, in Rechnung gestellte Byte, Ausführungsphasen und alle gesendeten Jobs unabhängig vom Abschlussstatus
  • JOBS_TIMELINE*: Jobstatus und Slot-Nutzung pro Zeitintervall

Console:

Messwerte: Cloud Monitoring-Messwerte wie query/count, query/execution_times und job/num_in_flight.

API-Dienst: bigquery.googleapis.com.

Geprüfte Ressourcen: Jobs in JobService (überwachte Ressource: bigquery_project).

Audit-Logs: Datenzugriffslogs mit BigQueryAuditMetadata (JobInsertion- und JobChange-Ereignisse), in denen aufgezeichnet wird, wer einen Job gesendet oder abgebrochen hat, sowie Jobstatus, Anweisungstyp und referenzierte Tabellen oder Ansichten. Weitere Informationen finden Sie in der Übersicht zu BigQuery-Audit-Logs.

Tabellen und Ansichten

Informationsschema-Ansichten:

Messwerte: Monitoring-Messwerte wie storage/stored_bytes und storage/table_count.

API-Dienste: bigquery.googleapis.com und bigquerystorage.googleapis.com. Datenzugriffslogs für die BigQuery Storage API verwenden bigquery.googleapis.com, während Logs zu abgelehnten Richtlinien bigquerystorage.googleapis.com verwenden.

Geprüfte Ressourcen: Tabellen, Ansichten und materialisierte Ansichten in TableService und TableDataService sowie Speicherlesesitzungen und Schreibstreams in BigQueryRead und BigQueryWrite (überwachte Ressourcen: bigquery_dataset und bigquery_table).

Audit-Logs: Datenzugriffslogs mit BigQueryAuditMetadata (TableDataRead- und TableDataChange-Ereignisse für Tabellenlesevorgänge, Änderungen, referenzierte Felder, Quelljob und BigQuery Storage API-Stream-Lese- und -Schreibvorgänge) sowie Administratoraktivitäts-, Datenzugriffs- und Systemereignislogs für TableCreation-, TableChange- und TableDeletion-Ereignisse, einschließlich Änderungen der IAM-Richtlinie (Identity and Access Management) für Tabellen und Tabellenablauf. Weitere Informationen finden Sie in der Übersicht zu BigQuery-Audit-Logs.

Datasets

Informationsschema-Ansichten:

API-Dienst: bigquery.googleapis.com.

Geprüfte Ressourcen: Datasets, IAM-Richtlinien für Datasets und Dataset-ACLs in DatasetService und IAMPolicy (überwachte Ressource: bigquery_dataset).

Audit-Logs: Logs zu Administratoraktivitäten und Datenzugriffen mit BigQueryAuditMetadata (DatasetCreation-, DatasetChange- und DatasetDeletion-Ereignisse), einschließlich Änderungen an IAM-Richtlinien für Datasets in bindingDeltas und ACL-Updates in accessChanges. Weitere Informationen finden Sie in der Übersicht zu BigQuery-Audit-Logs.

Slots und Reservierungen

Informationsschema-Ansichten:

Console:

Messwerte: Monitoring-Messwerte wie slots/allocated und slots/total_available.

API-Dienst: bigqueryreservation.googleapis.com für die BigQuery Reservation API.

Geprüfte Ressourcen: Reservierungen, Kapazitätszusicherungen und Reservierungszuweisungen in ReservationService (überwachte Ressource: bigquery_project).

Audit-Logs: Logs zu Administratoraktivitäten und Datenzugriffen für das Erstellen, Ändern, Löschen und Auflisten von Reservierungen, Kapazitätszusicherungen und Projekt- oder Ordnerzuweisungen. Weitere Informationen finden Sie unter Audit-Logging für die BigQuery Reservation API.

Sicherheit auf Spaltenebene und Datenmaskierung

Informationsschema-Ansichten:

  • COLUMN_FIELD_PATHS: verschachtelte Spaltenpfade, Richtlinien-Tags und Zuweisungen von Datenrichtlinien
  • COLUMNS: Spaltenschemas und Datentypen

API-Dienste: datacatalog.googleapis.com für Data Catalog-Richtlinien-Tags, bigquerydatapolicy.googleapis.com für die BigQuery Data Policy API und bigquery.googleapis.com.

Geprüfte Ressourcen: Taxonomien und Richtlinien-Tags in PolicyTagManager, Datenrichtlinien in DataPolicyService und mit Richtlinien-Tags versehene Tabellenspalten (überwachte Ressourcen: audited_resource und bigquery_dataset).

Audit-Logs: Logs zu Administratoraktivitäten und Datenzugriffen für die Verwaltung von Taxonomien und Richtlinien-Tags sowie für Änderungen an IAM-Richtlinien (Audit-Richtlinien-Tags); Verwaltung von Datenrichtlinien und Aktualisierungen von Empfängern (Audit-Logging für BigQuery-Datenrichtlinien); und TableDataRead.fields-Logs für Lesevorgänge in geschützten Spalten (Übersicht über BigQuery-Audit-Logs).

Routinen, einschließlich UDFs und gespeicherter Prozeduren

Informationsschema-Ansichten:

API-Dienst: bigquery.googleapis.com.

Geprüfte Ressourcen: Benutzerdefinierte Funktionen (UDFs), Tabellenfunktionen und gespeicherte Prozeduren in RoutineService (überwachte Ressourcen: bigquery_dataset und bigquery_project).

Audit-Logs: Administratoraktivitäts- und Datenzugriffslogs mit BigQueryAuditMetadata (RoutineCreation-, RoutineChange- und RoutineDeletion-Ereignisse) sowie untergeordnete Jobereignisse für Ausführungen gespeicherter Prozeduren. Weitere Informationen finden Sie in der Übersicht zu BigQuery-Audit-Logs.

Externe Verbindungen

Informationsschema-Ansichten:

  • OBJECT_PRIVILEGES: Verbindungsberechtigungen
  • JOBS*: föderierte Abfragen und Remote-Funktionsjobs, die Verbindungen verwenden

API-Dienst: bigqueryconnection.googleapis.com für die BigQuery Connection API.

Geprüfte Ressourcen: Verbindungen und IAM-Richtlinien für Verbindungen in ConnectionService (überwachte Ressource: audited_resource).

Audit-Logs: Administratoraktivitäts- und Datenzugriffslogs für die Erstellung von Verbindungen, Aktualisierung von Anmeldedaten, Löschung, Auflistung und Änderungen an IAM-Richtlinien. Weitere Informationen finden Sie unter Audit-Logging für die BigQuery Connection API.

BigQuery Sharing

Informationsschema-Ansichten:

Dashboard: Dashboard mit Messwerten zur Freigabenutzung.

API-Dienst: analyticshub.googleapis.com.

Geprüfte Ressourcen: Datenpools, Einträge, Abos und IAM-Richtlinien für Pools oder Einträge in AnalyticsHubService (überwachte Ressource: audited_resource).

Audit-Logs: Administratoraktivitäts- und Datenzugriffslogs für die Erstellung, Aktualisierung und Löschung von Datenaustauschen und Einträgen, IAM-Richtlinienänderungen und Abonnentenvorgänge. Weitere Informationen finden Sie unter Audit-Logging freigeben.

BigQuery Data Transfer Service

Messwerte und Logs:

API-Dienst: bigquerydatatransfer.googleapis.com für die BigQuery Data Transfer Service API.

Geprüfte Ressourcen: Transferkonfigurationen, Übertragungsausführungen und Datenquellen in DataTransferService (überwachte Ressource: audited_resource).

Audit-Logs: Logs zu Administratoraktivitäten und Datenzugriffen für das Erstellen, Aktualisieren, Löschen, Auflisten und Starten von Transferkonfigurationen und ‑ausführungen. Weitere Informationen finden Sie unter Audit-Logging für BigQuery Data Transfer Service.

BigLake-Kataloge und -Tabellen

Informationsschema-Ansichten:

  • TABLES: Tabellenmetadaten
  • JOBS*: Abfragestatistiken für externen Objektspeicher (metadata_cache_statistics und object_storage_stats)

API-Dienste: biglake.googleapis.com und bigquery.googleapis.com.

Geprüfte Ressourcen: Metastore-Kataloge, Datenbanken, Tabellen und Partitionen in MetastoreService und HiveMetastoreService sowie Apache Iceberg-Kataloge, Namespaces und Tabellen in IcebergCatalogService (überwachte Ressourcen: audited_resource und bigquery_dataset).

Audit-Logs: Logs zu Administratoraktivitäten und Datenzugriff für Vorgänge im Zusammenhang mit Katalogen, Datenbanken, Namespaces, Tabellen, Partitionen und IAM-Richtlinien für Kataloge. Siehe BigLake-Audit-Logging.

BigQuery Migration Service

Status und Berichte:

  • Status des Batch-SQL-Übersetzungsjobs in der Cloud de Confiance Console
  • Workflow- und Unteraufgabenstatus in der BigQuery Migration API
  • Zusammenfassungsberichte zu Übersetzungen in Cloud Storage

API-Dienst: bigquerymigration.googleapis.com für die BigQuery Migration API.

Geprüfte Ressourcen: Migrationsworkflows, Migrationsunteraufgaben und SQL-Übersetzungsanfragen in MigrationService und SqlTranslationService (überwachte Ressource: audited_resource).

Audit-Logs: Datenzugriffslogs zum Erstellen, Starten, Auflisten, Aufrufen und Löschen von Migrationsworkflows und Unteraufgaben sowie zum Übersetzen von SQL-Abfragen. Weitere Informationen finden Sie unter Audit-Logging für BigQuery Migration Service.

Nächste Schritte