Einführung in die Fehlerbehebung
Dieses Dokument bietet einen Überblick über die Diagnosetools, Telemetrie-Schnittstellen und Dokumentationsressourcen, die Ihnen bei der Fehlerbehebung in BigQuery helfen.
Wenn Sie auf Abfragefehler, Leistungsengpässe, Berechtigungsfehler, Kontingentlimits oder Probleme bei der Datenaufnahme stoßen, bietet BigQuery integrierte Tools, mit denen Sie die Ursachen schnell identifizieren und beheben können.
Fehlerbehebung beim Workflow
Berücksichtigen Sie die folgenden Diagnosekriterien, um ein Problem in BigQuery effektiv zu beheben:
- Symptom und Fehlermodus identifizieren Prüfen Sie die Ergebnisse Ihrer Aufgabe, um festzustellen, ob es sich bei dem Problem um einen schwerwiegenden Fehler (z. B. einen Fehlercode oder einen Jobfehler), eine Leistungsverschlechterung (z. B. eine langsame Abfrage oder einen Slotmangel), eine Berechtigungsverweigerung oder eine unerwartete Kostenabweichung handelt.
- Details zur Jobausführung prüfen Verwenden Sie den Job-Explorer der Cloud de Confiance Console, das Abfrageausführungsdiagramm oder Befehlszeilentools, um die Zeitangaben auf Phasenebene, die Slotzuweisung und Fehlerdetails zu prüfen. Sie können auch Gemini Cloud Assist bitten, Ihr Problem zu untersuchen.
- Telemetrie und Metadaten analysieren. Fragen Sie Informationsschema-Ansichten ab oder prüfen Sie Cloud-Audit-Logs, um das Jobverhalten mit Ressourcenkonflikten, Reservierungslimits oder administrativen Änderungen zu korrelieren.
- Gezielte Maßnahmen ergreifen: Verwenden Sie kategoriespezifische Anleitungen zur Fehlerbehebung oder defensive SQL-Funktionen, um die zugrunde liegende Ursache zu beheben.
Fehlerbehebung von Optimierung unterscheiden
Wenn Sie mit BigQuery arbeiten, ist es wichtig, zwischen Fehlerbehebung, Leistungsoptimierung und Best Practices zu unterscheiden:
- Fehlerbehebung. Konzentriert sich auf die Diagnose und Behebung unerwarteter Fehler, Laufzeitfehler, fehlerhafter Pipelines, ausgeschöpfter Kontingente oder unbeabsichtigten Verhaltens, die verhindern, dass Jobs erfolgreich abgeschlossen werden.
- Leistungsoptimierung: Konzentriert sich auf die Verbesserung der Ausführungsgeschwindigkeit, Latenz oder Ressourceneffizienz von Abfragen und Arbeitslasten, die bereits erfolgreich ausgeführt werden. Weitere Informationen finden Sie unter Abfrageleistung optimieren.
- Best Practices: Konzentriert sich auf Architektur- und Designmuster für Datenmodellierung, Speicherung, Sicherheit und Kostenmanagement. Weitere Informationen finden Sie unter Einführung in Best Practices.
Diagnosetools
In den folgenden Abschnitten werden mehrere BigQuery-Schnittstellen und automatisierte Tools beschrieben, mit denen Sie Probleme in Ihren Arbeitslasten diagnostizieren können.
Visuelle und Konsolentools
Die folgenden Tools helfen Ihnen bei der Fehlerbehebung für BigQuery in derCloud de Confiance Console.
- Job-Explorer. Sie können vergangene und laufende Jobs in Projekten oder Organisationen suchen, filtern und prüfen, ohne SQL-Abfragen schreiben zu müssen. Sie können Fehlermeldungen, Slot-Nutzung, Ausführungszeitpläne und Jobmetadaten aufrufen. Weitere Informationen finden Sie unter Jobs im Job-Explorer überwachen.
- Diagramm zur Abfrageausführung Prüfen Sie den visuellen Ausführungsplan für eine Abfrage, der die einzelnen Phasen zeigt. Mithilfe des Ausführungsgraphen können Sie Engpässe wie Shuffle-Spills auf die Festplatte, rechenintensive Phasen, Datenverzerrung oder Ein-/Ausgabeverzögerungen erkennen. Weitere Informationen finden Sie unter Statistiken zur Abfrageleistung abrufen.
- Query Insights und Ressourcendiagramme Echtzeit- und Verlaufsdiagramme zur Slot-Auslastung, Job-Nebenläufigkeit und Reservierungszuweisungen ansehen, um Kapazitätsbeschränkungen zu diagnostizieren. Weitere Informationen finden Sie unter Diagramme zu administrativen Ressourcen verwenden.
- Gemini Cloud Assist in BigQuery Sie erhalten eine kontextbezogene, KI-gestützte Analyse fehlgeschlagener Abfragen und Leistungsengpässe. Gemini Cloud Assist erklärt Fehlercodes, hebt problematische SQL-Syntax hervor und schlägt direkt in derCloud de Confiance Console Schritte zur Behebung vor. Weitere Informationen finden Sie unter Abfragen mit Gemini Cloud Assist beheben.
Befehlszeilen- und automatisierte Diagnosetools
Mit den folgenden Tools können Sie BigQuery-Probleme über eine Befehlszeile diagnostizieren.
- bq-Befehlszeilentool Prüfen Sie detaillierte Fehlerstrukturen, Anfrage-IDs und Jobmetadaten mit dem Befehl
bq show -j <var>JOB_ID</var>oder indem Sie Abfragebefehlen das Flag--format=prettyjsonhinzufügen. Weitere Informationen finden Sie unter Fehlerbehebung bei CLI-Befehlen. gcpdiag-Tool Führen Sie automatisierte Diagnosen über die Befehlszeile aus, um häufige Cloud de Confiance Konfigurationsprobleme zu erkennen, einschließlich fehlender IAM-Berechtigungen, Netzwerkeinschränkungen und Dienstkontofehler. Weitere Informationen finden Sie unter Abfragefehler mitgcpdiagbeheben.
Metadaten- und Telemetrieansichten
Mit Informationsschema-Ansichten können Sie Echtzeit- und Verlaufsmetadaten zu Jobs, Kapazität, Streamingaufnahme und Datasets mithilfe von Standard-SQL abfragen. Diese Ansichten umfassen Folgendes:
- Telemetrie zur Jobausführung. Fragen Sie
INFORMATION_SCHEMA.JOBSundINFORMATION_SCHEMA.JOBS_TIMELINEab, um den Slot-Millisekunden-Verbrauch, die ausgelagerten Byte, die Warteschlangenzeiten und die Fehlercodes für alle Jobs zu analysieren. - Reservierungen und Kapazität. Fragen Sie
INFORMATION_SCHEMA.RESERVATIONSundINFORMATION_SCHEMA.CAPACITY_COMMITMENTSab, um die Slot-Zuweisung, Reservierungslimits und das Autoscaling-Verhalten zu diagnostizieren. - Streaming und Aufnahme. Fragen Sie
INFORMATION_SCHEMA.STREAMING_TIMELINEab, um die Aufnahmelatenz und die Ratenbegrenzung für das Streaming zu ermitteln. - Zustand von Speicher und Partitionen. Fragen Sie
INFORMATION_SCHEMA.TABLE_STORAGEab, um die physischen Tabellengrößen, den aktiven im Vergleich zum langfristigen Speicher und die Partitionsverteilung zu prüfen.
Weitere Informationen finden Sie unter Einführung in BigQuery INFORMATION_SCHEMA.
Cloud Monitoring und Cloud-Audit-Logs
- Cloud-Audit-Logs Prüfen Sie die Audit-Logs zu Administratoraktivitäten und Datenzugriffen, um nachzuvollziehen, wer bestimmte Vorgänge initiiert hat, Aufruferidentitäten zu prüfen und
PERMISSION_DENIED-Fehler zu diagnostizieren. Weitere Informationen finden Sie in der Referenz zu BigQuery-Audit-Logs. - Cloud Monitoring Sie können Messwerte wie Slot-Nutzung, Abfrageausführungsdauer und hochgeladene Byte im Blick behalten und Benachrichtigungsrichtlinien konfigurieren, um Ihr Team zu benachrichtigen, wenn Schwellenwerte oder Kontingente überschritten werden. Weitere Informationen finden Sie unter BigQuery mit Cloud Monitoring überwachen.
Defensive SQL-Funktionen und Debugging-Anweisungen
Verwenden Sie Folgendes, um zu verhindern, dass Abfragen aufgrund von Laufzeitdatenfehlern unerwartet fehlschlagen:
- Sichere Ausdrücke. Verwenden Sie
SAFE_CAST(),SAFE_DIVIDE(),SAFE_OFFSET()undSAFE_ORDINAL(), umNULLzurückzugeben, anstatt Laufzeitfehler zu generieren, wenn Datentypen oder Arraygrenzen nicht übereinstimmen. Die meisten Skalarfunktionen unterstützen das PräfixSAFE.. Weitere Informationen finden Sie unter Debugging-Funktionen und PräfixSAFE.. - SQL-Assertions Verwenden Sie die Anweisung
ASSERTin Transaktionen oder Skripts mit mehreren Anweisungen, um Bedingungen für die Datenvalidierung zu erzwingen und mit benutzerdefinierten Fehlermeldungen abzubrechen, bevor nachgelagerte Vorgänge ausgeführt werden. Weitere Informationen finden Sie unter Debugging-Anweisungen.
Fehlerbehebung nach Problemkategorie
Wählen Sie eine Kategorie aus den folgenden Abschnitten aus, um detaillierte Fehlercodes, Ursachen und Schritt-für-Schritt-Anleitungen zur Fehlerbehebung aufzurufen.
Abfrageleistung und -ausführung
Diagnostizieren Sie Abfragen, die nicht ausgeführt werden, bei denen ein Zeitlimit überschritten wird, die auf Ressourcenbeschränkungen stoßen oder bei denen unerwartete Verzögerungen auftreten.
- Fehlerbehebung bei Abfrageproblemen Beheben Sie
resourcesExceeded-Fehler, langsame Abfrageausführung, Shuffle-Spill, Bedingungen für unzureichenden Arbeitsspeicher und geplante Abfragefehler. - Fehlerbehebung bei langen Abfragewartezeiten. Diagnostizieren Sie Gleichzeitigkeitsengpässe und Abfragen, die aufgrund von Limits für interaktive oder Batch-Warteschlangen in die Warteschlange gestellt wurden.
- Referenz zu Fehlermeldungen Suchen Sie nach bestimmten HTTP-Fehlercodes, Fehlerursachenstrings und empfohlenen Maßnahmen.
Identity and Access Management (IAM) und Sicherheit
Fehler bei der Zugriffssteuerung, fehlende Rollenzuweisungen und Blockierungen von Data-Governance-Richtlinien diagnostizieren.
- Fehlerbehebung bei IAM-Berechtigungen in BigQuery. Fehler vom Typ „Berechtigung verweigert“ diagnostizieren, fehlende IAM-Rollen zuweisen und Policy Troubleshooter verwenden.
- Fehlerbehebung bei VPC Service Controls. Perimeterverstöße und Blockierungen von Regeln für eingehenden oder ausgehenden Traffic identifizieren und beheben.
- Fehlerbehebung bei der Sicherheit auf Zeilen- und Spaltenebene. Beheben Sie Zugriffsprobleme im Zusammenhang mit Datenrichtlinien, Richtlinien-Tags und Zeilenzugriffsfiltern.
Kontingente, Ratenbegrenzungen und Reservierungen
Probleme beheben, wenn Arbeitslasten die BigQuery-Dienstlimits oder ‑Kapazitätszuweisungen überschreiten.
- Kontingent- und Limitfehler beheben Sie können anpassbare und nicht anpassbare Kontingente identifizieren, Limits für gleichzeitige Abfragen verwalten und Fehler bei API-Ratenbegrenzungen beheben.
- Fehlerbehebung bei der BigQuery-Arbeitslastverwaltung. Diagnostizieren Sie Slot-Mangel, nicht übereinstimmende Reservierungszuweisungen, Verzögerungen bei Kapazitätszusicherungen, Slot-Konflikte und Probleme beim Monitoring von Reservierungen.
Datenaufnahme, -streaming und -übertragung
Fehler beim Laden von Daten, Streamen von Datensätzen oder Synchronisieren externer Quellen diagnostizieren.
- Fehlerbehebung bei Datenübertragungen Diagnostizieren Sie Probleme mit BigQuery Data Transfer Service, Netzwerkverbindungen für private Übertragungen und Fehler beim Laden von CSV-Daten.
- Fehlerbehebung bei Übertragungskonfigurationen. Konfigurationsfehler im BigQuery Data Transfer Service für Quellen wie Amazon Simple Storage Service (Amazon S3), Salesforce, Google Ads und Cloud Storage beheben.
- Fehlerbehebung bei der BigQuery Storage API. Fehler bei der Streamingaufnahme, Fehler beim Einfügen auf Zeilenebene und Durchsatzkontingente für die BigQuery Storage Read API, die BigQuery Storage Write API (gRPC) und die BigQuery Storage Write API (REST) beheben.
- Schemafehler beheben Beheben Sie Fehler aufgrund von Schemadiskrepanzen bei Lade-, Abfrage-, Kopier- und Schemaaktualisierungsvorgängen (z. B. fehlende, doppelte oder inkompatible Spaltenänderungen) und Limits für die Verschachtelungstiefe von Schemas, Dateien und Routinen auf 15 Ebenen.
Pipelines und Datenherkunft
Diagnostizieren Sie Probleme mit BigQuery-Pipelineausführungen und der Datenherkunftsberichterstellung.
- Fehlerbehebung bei der Pipeline-Datenherkunft. Fehlende Herkunftsprozessknoten, Fehler bei Dienstkontoberechtigungen und Probleme mit dem Kontingent der Data Lineage API für Pipelines beheben.
Data-Warehouse-Migration
Diagnostizieren Sie Probleme beim Bewerten, Übersetzen oder Migrieren externer Data Warehouses zu BigQuery.
- Fehlerbehebung bei Migrationsproblemen Fehler bei der Migrationsbewertung, Probleme bei der interaktiven und Batch-SQL-Übersetzung sowie Fehler bei der Metadatenextraktion beheben.
Externe Datenquellen und föderierte Abfragen
Diagnostizieren Sie Verbindungs-, Authentifizierungs- und Ausführungsfehler, wenn Sie Daten außerhalb von BigQuery abfragen.
- Fehlerbehebung bei föderierten Cloud SQL-Abfragen. Verbindungszeitüberschreitungen, Probleme mit der Instanzkonfiguration und Fehler bei Anmeldedaten beheben.
Abweichungen bei Abrechnung und Kosten
Unerwartete Gebühren und Abrechnungsabweichungen bei Computing und Speicher untersuchen.
- Fehlerbehebung bei BigQuery-Kostenabweichungen Ermitteln Sie die Ursache unerwarteter Gebühren, analysieren Sie die in Rechnung gestellten On-Demand-Bytes und prüfen Sie die Nutzung von Kapazitätszusicherungen.
Datenverlust minimieren
Verwenden Sie die folgenden Tools für die Notfallwiederherstellung und Datenaufbewahrung, um geänderte oder gelöschte Verlaufsdaten wiederherzustellen oder die Geschäftskontinuität während eines regionalen Ausfalls aufrechtzuerhalten:
- Daten wiederherstellen Tabellendaten abfragen oder wiederherstellen, die innerhalb des Zeitreisefensters geändert oder gelöscht wurden. Weitere Informationen finden Sie unter Daten wiederherstellen.
- Zeitreise. Aktualisierte oder gelöschte Daten in einem Dataset für einen konfigurierten Aufbewahrungszeitraum aufbewahren, um sie vor versehentlichen Änderungen zu schützen. Weitere Informationen finden Sie unter Zeitreisen.
- Regionales Failover. Sekundäres Replikat während eines regionalen Ausfalls bei Verwendung der von BigQuery verwalteten Notfallwiederherstellung zur primären Rolle hochstufen. Weitere Informationen finden Sie unter Regionales Failover.
APIs verwenden
Wenn Sie programmatisch mit BigQuery interagieren, verwenden Sie die folgenden Ressourcen, um die Anfragelatenz zu optimieren und Upload-Workflows zu verwalten:
- API-Leistungstipps Befolgen Sie die Best Practices für API-Aufrufe, z. B. das Verwalten von Verbindungspools, das Verwenden von Batchvorgängen und das Verarbeiten von Wiederholungsversuchen. Weitere Informationen finden Sie unter API-Leistungstipps.
- API-Uploads: Fehlerbehebung und Verwaltung der Datenaufnahme mithilfe von fortsetzbaren und mehrteiligen Uploadanfragen der REST API. Weitere Informationen finden Sie unter API-Uploads.
Authentifizierung und ADC
Hilfe zur Behebung häufiger Probleme, die bei der Verwendung von Standardanmeldedaten für Anwendungen (Application Default Credentials, ADC) auftreten können, finden Sie unter Fehlerbehebung bei der ADC-Einrichtung.
Nächste Schritte
- Weitere Informationen zum Monitoring von BigQuery
- BigQuery-
INFORMATION_SCHEMA-Referenz - Wenden Sie sich an den Cloud Customer Care, wenn Sie Unterstützung bei anhaltenden oder kritischen Produktionsproblemen benötigen.