Einführung in die Fehlerbehebung

Dieses Dokument bietet einen Überblick über die Diagnosetools, Telemetrie-Schnittstellen und Dokumentationsressourcen, die Ihnen bei der Fehlerbehebung in BigQuery helfen.

Wenn Sie auf Abfragefehler, Leistungsengpässe, Berechtigungsfehler, Kontingentlimits oder Probleme bei der Datenaufnahme stoßen, bietet BigQuery integrierte Tools, mit denen Sie die Ursachen schnell identifizieren und beheben können.

Fehlerbehebung beim Workflow

Berücksichtigen Sie die folgenden Diagnosekriterien, um ein Problem in BigQuery effektiv zu beheben:

  1. Symptom und Fehlermodus identifizieren Prüfen Sie die Ergebnisse Ihrer Aufgabe, um festzustellen, ob es sich bei dem Problem um einen schwerwiegenden Fehler (z. B. einen Fehlercode oder einen Jobfehler), eine Leistungsverschlechterung (z. B. eine langsame Abfrage oder einen Slotmangel), eine Berechtigungsverweigerung oder eine unerwartete Kostenabweichung handelt.
  2. Details zur Jobausführung prüfen Verwenden Sie den Job-Explorer der Cloud de Confiance Console, das Abfrageausführungsdiagramm oder Befehlszeilentools, um die Zeitangaben auf Phasenebene, die Slotzuweisung und Fehlerdetails zu prüfen. Sie können auch Gemini Cloud Assist bitten, Ihr Problem zu untersuchen.
  3. Telemetrie und Metadaten analysieren. Fragen Sie Informationsschema-Ansichten ab oder prüfen Sie Cloud-Audit-Logs, um das Jobverhalten mit Ressourcenkonflikten, Reservierungslimits oder administrativen Änderungen zu korrelieren.
  4. Gezielte Maßnahmen ergreifen: Verwenden Sie kategoriespezifische Anleitungen zur Fehlerbehebung oder defensive SQL-Funktionen, um die zugrunde liegende Ursache zu beheben.

Fehlerbehebung von Optimierung unterscheiden

Wenn Sie mit BigQuery arbeiten, ist es wichtig, zwischen Fehlerbehebung, Leistungsoptimierung und Best Practices zu unterscheiden:

  • Fehlerbehebung. Konzentriert sich auf die Diagnose und Behebung unerwarteter Fehler, Laufzeitfehler, fehlerhafter Pipelines, ausgeschöpfter Kontingente oder unbeabsichtigten Verhaltens, die verhindern, dass Jobs erfolgreich abgeschlossen werden.
  • Leistungsoptimierung: Konzentriert sich auf die Verbesserung der Ausführungsgeschwindigkeit, Latenz oder Ressourceneffizienz von Abfragen und Arbeitslasten, die bereits erfolgreich ausgeführt werden. Weitere Informationen finden Sie unter Abfrageleistung optimieren.
  • Best Practices: Konzentriert sich auf Architektur- und Designmuster für Datenmodellierung, Speicherung, Sicherheit und Kostenmanagement. Weitere Informationen finden Sie unter Einführung in Best Practices.

Diagnosetools

In den folgenden Abschnitten werden mehrere BigQuery-Schnittstellen und automatisierte Tools beschrieben, mit denen Sie Probleme in Ihren Arbeitslasten diagnostizieren können.

Visuelle und Konsolentools

Die folgenden Tools helfen Ihnen bei der Fehlerbehebung für BigQuery in derCloud de Confiance Console.

  • Job-Explorer. Sie können vergangene und laufende Jobs in Projekten oder Organisationen suchen, filtern und prüfen, ohne SQL-Abfragen schreiben zu müssen. Sie können Fehlermeldungen, Slot-Nutzung, Ausführungszeitpläne und Jobmetadaten aufrufen. Weitere Informationen finden Sie unter Jobs im Job-Explorer überwachen.
  • Diagramm zur Abfrageausführung Prüfen Sie den visuellen Ausführungsplan für eine Abfrage, der die einzelnen Phasen zeigt. Mithilfe des Ausführungsgraphen können Sie Engpässe wie Shuffle-Spills auf die Festplatte, rechenintensive Phasen, Datenverzerrung oder Ein-/Ausgabeverzögerungen erkennen. Weitere Informationen finden Sie unter Statistiken zur Abfrageleistung abrufen.
  • Query Insights und Ressourcendiagramme Echtzeit- und Verlaufsdiagramme zur Slot-Auslastung, Job-Nebenläufigkeit und Reservierungszuweisungen ansehen, um Kapazitätsbeschränkungen zu diagnostizieren. Weitere Informationen finden Sie unter Diagramme zu administrativen Ressourcen verwenden.
  • Gemini Cloud Assist in BigQuery Sie erhalten eine kontextbezogene, KI-gestützte Analyse fehlgeschlagener Abfragen und Leistungsengpässe. Gemini Cloud Assist erklärt Fehlercodes, hebt problematische SQL-Syntax hervor und schlägt direkt in derCloud de Confiance Console Schritte zur Behebung vor. Weitere Informationen finden Sie unter Abfragen mit Gemini Cloud Assist beheben.

Befehlszeilen- und automatisierte Diagnosetools

Mit den folgenden Tools können Sie BigQuery-Probleme über eine Befehlszeile diagnostizieren.

  • bq-Befehlszeilentool Prüfen Sie detaillierte Fehlerstrukturen, Anfrage-IDs und Jobmetadaten mit dem Befehl bq show -j <var>JOB_ID</var> oder indem Sie Abfragebefehlen das Flag --format=prettyjson hinzufügen. Weitere Informationen finden Sie unter Fehlerbehebung bei CLI-Befehlen.
  • gcpdiag-Tool Führen Sie automatisierte Diagnosen über die Befehlszeile aus, um häufige Cloud de Confiance Konfigurationsprobleme zu erkennen, einschließlich fehlender IAM-Berechtigungen, Netzwerkeinschränkungen und Dienstkontofehler. Weitere Informationen finden Sie unter Abfragefehler mit gcpdiag beheben.

Metadaten- und Telemetrieansichten

Mit Informationsschema-Ansichten können Sie Echtzeit- und Verlaufsmetadaten zu Jobs, Kapazität, Streamingaufnahme und Datasets mithilfe von Standard-SQL abfragen. Diese Ansichten umfassen Folgendes:

Weitere Informationen finden Sie unter Einführung in BigQuery INFORMATION_SCHEMA.

Cloud Monitoring und Cloud-Audit-Logs

  • Cloud-Audit-Logs Prüfen Sie die Audit-Logs zu Administratoraktivitäten und Datenzugriffen, um nachzuvollziehen, wer bestimmte Vorgänge initiiert hat, Aufruferidentitäten zu prüfen und PERMISSION_DENIED-Fehler zu diagnostizieren. Weitere Informationen finden Sie in der Referenz zu BigQuery-Audit-Logs.
  • Cloud Monitoring Sie können Messwerte wie Slot-Nutzung, Abfrageausführungsdauer und hochgeladene Byte im Blick behalten und Benachrichtigungsrichtlinien konfigurieren, um Ihr Team zu benachrichtigen, wenn Schwellenwerte oder Kontingente überschritten werden. Weitere Informationen finden Sie unter BigQuery mit Cloud Monitoring überwachen.

Defensive SQL-Funktionen und Debugging-Anweisungen

Verwenden Sie Folgendes, um zu verhindern, dass Abfragen aufgrund von Laufzeitdatenfehlern unerwartet fehlschlagen:

  • Sichere Ausdrücke. Verwenden Sie SAFE_CAST(), SAFE_DIVIDE(), SAFE_OFFSET() und SAFE_ORDINAL(), um NULL zurückzugeben, anstatt Laufzeitfehler zu generieren, wenn Datentypen oder Arraygrenzen nicht übereinstimmen. Die meisten Skalarfunktionen unterstützen das Präfix SAFE.. Weitere Informationen finden Sie unter Debugging-Funktionen und Präfix SAFE..
  • SQL-Assertions Verwenden Sie die Anweisung ASSERT in Transaktionen oder Skripts mit mehreren Anweisungen, um Bedingungen für die Datenvalidierung zu erzwingen und mit benutzerdefinierten Fehlermeldungen abzubrechen, bevor nachgelagerte Vorgänge ausgeführt werden. Weitere Informationen finden Sie unter Debugging-Anweisungen.

Fehlerbehebung nach Problemkategorie

Wählen Sie eine Kategorie aus den folgenden Abschnitten aus, um detaillierte Fehlercodes, Ursachen und Schritt-für-Schritt-Anleitungen zur Fehlerbehebung aufzurufen.

Abfrageleistung und -ausführung

Diagnostizieren Sie Abfragen, die nicht ausgeführt werden, bei denen ein Zeitlimit überschritten wird, die auf Ressourcenbeschränkungen stoßen oder bei denen unerwartete Verzögerungen auftreten.

  • Fehlerbehebung bei Abfrageproblemen Beheben Sie resourcesExceeded-Fehler, langsame Abfrageausführung, Shuffle-Spill, Bedingungen für unzureichenden Arbeitsspeicher und geplante Abfragefehler.
  • Fehlerbehebung bei langen Abfragewartezeiten. Diagnostizieren Sie Gleichzeitigkeitsengpässe und Abfragen, die aufgrund von Limits für interaktive oder Batch-Warteschlangen in die Warteschlange gestellt wurden.
  • Referenz zu Fehlermeldungen Suchen Sie nach bestimmten HTTP-Fehlercodes, Fehlerursachenstrings und empfohlenen Maßnahmen.

Identity and Access Management (IAM) und Sicherheit

Fehler bei der Zugriffssteuerung, fehlende Rollenzuweisungen und Blockierungen von Data-Governance-Richtlinien diagnostizieren.

Kontingente, Ratenbegrenzungen und Reservierungen

Probleme beheben, wenn Arbeitslasten die BigQuery-Dienstlimits oder ‑Kapazitätszuweisungen überschreiten.

  • Kontingent- und Limitfehler beheben Sie können anpassbare und nicht anpassbare Kontingente identifizieren, Limits für gleichzeitige Abfragen verwalten und Fehler bei API-Ratenbegrenzungen beheben.
  • Fehlerbehebung bei der BigQuery-Arbeitslastverwaltung. Diagnostizieren Sie Slot-Mangel, nicht übereinstimmende Reservierungszuweisungen, Verzögerungen bei Kapazitätszusicherungen, Slot-Konflikte und Probleme beim Monitoring von Reservierungen.

Datenaufnahme, -streaming und -übertragung

Fehler beim Laden von Daten, Streamen von Datensätzen oder Synchronisieren externer Quellen diagnostizieren.

  • Fehlerbehebung bei Datenübertragungen Diagnostizieren Sie Probleme mit BigQuery Data Transfer Service, Netzwerkverbindungen für private Übertragungen und Fehler beim Laden von CSV-Daten.
  • Fehlerbehebung bei Übertragungskonfigurationen. Konfigurationsfehler im BigQuery Data Transfer Service für Quellen wie Amazon Simple Storage Service (Amazon S3), Salesforce, Google Ads und Cloud Storage beheben.
  • Fehlerbehebung bei der BigQuery Storage API. Fehler bei der Streamingaufnahme, Fehler beim Einfügen auf Zeilenebene und Durchsatzkontingente für die BigQuery Storage Read API, die BigQuery Storage Write API (gRPC) und die BigQuery Storage Write API (REST) beheben.
  • Schemafehler beheben Beheben Sie Fehler aufgrund von Schemadiskrepanzen bei Lade-, Abfrage-, Kopier- und Schemaaktualisierungsvorgängen (z. B. fehlende, doppelte oder inkompatible Spaltenänderungen) und Limits für die Verschachtelungstiefe von Schemas, Dateien und Routinen auf 15 Ebenen.

Pipelines und Datenherkunft

Diagnostizieren Sie Probleme mit BigQuery-Pipelineausführungen und der Datenherkunftsberichterstellung.

Data-Warehouse-Migration

Diagnostizieren Sie Probleme beim Bewerten, Übersetzen oder Migrieren externer Data Warehouses zu BigQuery.

Externe Datenquellen und föderierte Abfragen

Diagnostizieren Sie Verbindungs-, Authentifizierungs- und Ausführungsfehler, wenn Sie Daten außerhalb von BigQuery abfragen.

Abweichungen bei Abrechnung und Kosten

Unerwartete Gebühren und Abrechnungsabweichungen bei Computing und Speicher untersuchen.

Datenverlust minimieren

Verwenden Sie die folgenden Tools für die Notfallwiederherstellung und Datenaufbewahrung, um geänderte oder gelöschte Verlaufsdaten wiederherzustellen oder die Geschäftskontinuität während eines regionalen Ausfalls aufrechtzuerhalten:

  • Daten wiederherstellen Tabellendaten abfragen oder wiederherstellen, die innerhalb des Zeitreisefensters geändert oder gelöscht wurden. Weitere Informationen finden Sie unter Daten wiederherstellen.
  • Zeitreise. Aktualisierte oder gelöschte Daten in einem Dataset für einen konfigurierten Aufbewahrungszeitraum aufbewahren, um sie vor versehentlichen Änderungen zu schützen. Weitere Informationen finden Sie unter Zeitreisen.
  • Regionales Failover. Sekundäres Replikat während eines regionalen Ausfalls bei Verwendung der von BigQuery verwalteten Notfallwiederherstellung zur primären Rolle hochstufen. Weitere Informationen finden Sie unter Regionales Failover.

APIs verwenden

Wenn Sie programmatisch mit BigQuery interagieren, verwenden Sie die folgenden Ressourcen, um die Anfragelatenz zu optimieren und Upload-Workflows zu verwalten:

  • API-Leistungstipps Befolgen Sie die Best Practices für API-Aufrufe, z. B. das Verwalten von Verbindungspools, das Verwenden von Batchvorgängen und das Verarbeiten von Wiederholungsversuchen. Weitere Informationen finden Sie unter API-Leistungstipps.
  • API-Uploads: Fehlerbehebung und Verwaltung der Datenaufnahme mithilfe von fortsetzbaren und mehrteiligen Uploadanfragen der REST API. Weitere Informationen finden Sie unter API-Uploads.

Authentifizierung und ADC

Hilfe zur Behebung häufiger Probleme, die bei der Verwendung von Standardanmeldedaten für Anwendungen (Application Default Credentials, ADC) auftreten können, finden Sie unter Fehlerbehebung bei der ADC-Einrichtung.

Nächste Schritte