BigQuery-Übersicht

BigQuery ist eine vollständig verwaltete, KI-fähige Datenplattform, mit der Sie Ihre Daten mit integrierten Funktionen wie maschinellem Lernen, Suche, raumbezogenen Analysen und Business Intelligence verwalten und analysieren können. Dank der serverlosen Architektur von BigQuery können Sie mithilfe von Sprachen wie SQL und Python die größten Fragen Ihrer Organisation ohne Infrastrukturverwaltung beantworten.

BigQuery bietet eine einheitliche Möglichkeit, sowohl mit strukturierten als auch mit unstrukturierten Daten zu arbeiten, und unterstützt offene Tabellenformate wie Apache Iceberg, Delta und Hudi. BigQuery-Streaming unterstützt die kontinuierliche Datenerfassung und -analyse. Mit der skalierbaren, verteilten Analyse-Engine von BigQuery können Sie Terabyte in Sekunden und Petabyte in Minuten abfragen.

Die Architektur von BigQuery besteht aus zwei Teilen: einer Speicherebene, die Daten aufnimmt, speichert und optimiert, und einer Rechenebene, die Analysefunktionen bietet. Diese Rechen- und Speicherebenen funktionieren dank des Petabit-Netzwerks von Google, das die erforderliche Kommunikation zwischen ihnen ermöglicht, effizient unabhängig voneinander.

Legacy-Datenbanken müssen in der Regel Ressourcen für Lese- und Schreibvorgänge sowie für analytische Vorgänge gemeinsam nutzen. Dies kann zu Ressourcenkonflikten führen und Abfragen verlangsamen, während Daten in den Speicher geschrieben oder aus diesem gelesen werden. Freigegebene Ressourcenpools können weiter überlastet werden, wenn Ressourcen für Datenbankverwaltungsaufgaben wie das Zuweisen oder Widerrufen von Berechtigungen erforderlich sind. Durch die Trennung von Computing- und Speicherebenen in BigQuery kann jede Ebene Ressourcen dynamisch zuweisen, ohne die Leistung oder Verfügbarkeit der anderen Ebene zu beeinträchtigen.

Dieses Prinzip der Trennung ermöglicht eine schnellere Innovation von BigQuery, da Speicher- und Computing-Verbesserungen unabhängig voneinander ohne Ausfallzeiten oder negative Auswirkungen auf die Systemleistung bereitgestellt werden können. Außerdem ist es wichtig, ein vollständig verwaltetes serverloses Data Warehouse anzubieten, in dem das BigQuery-Entwicklerteam Updates und Wartungen durchführt. Dadurch müssen Sie keine Ressourcen bereitstellen oder manuell skalieren, sodass Sie sich auf die Wertschöpfung statt auf herkömmliche Datenbankverwaltungsaufgaben konzentrieren können.

Zu den BigQuery-Schnittstellen gehören die Cloud de Confiance Console-Oberfläche und das BigQuery-Befehlszeilentool. Entwickler und Data Scientists können Clientbibliotheken mit vertrauter Programmierung wie Python, Java, JavaScript und Go sowie die REST API und RPC API von BigQuery zum Transformieren und Verwalten von Daten verwenden. ODBC- und JDBC-Treiber ermöglichen die Interaktion mit vorhandenen Anwendungen, einschließlich Tools und Dienstprogrammen von Drittanbietern.

Als Data Analyst, Data Engineer, Data Warehouse Administrator oder Data Scientist können Sie mit BigQuery Daten laden, verarbeiten und analysieren, um wichtige Geschäftsentscheidungen zu treffen.

Jetzt mit BigQuery starten

Sie können in wenigen Minuten anfangen, BigQuery kennenzulernen.

• Cloud de Confiance -Console-Kurzanleitung: Machen Sie sich mit der Leistungsfähigkeit von BigQuery Studio vertraut.

BigQuery kennenlernen

Mit der serverlosen Infrastruktur von BigQuery können Sie sich auf Ihre Daten statt auf die Ressourcenverwaltung konzentrieren. BigQuery kombiniert ein cloudbasiertes Data Warehouse mit leistungsstarken Analysetools.

BigQuery-Speicher

BigQuery speichert Daten in einem spaltenorientierten Format, das für analytische Abfragen optimiert ist. BigQuery stellt Daten in Tabellen, Zeilen und Spalten bereit und bietet vollständige Unterstützung für die Semantik von Datenbanktransaktionen (ACID). Der BigQuery-Speicher wird automatisch über mehrere Standorte repliziert, um eine hohe Verfügbarkeit zu ermöglichen.

• Erfahren Sie mehr über gängige Muster zum Organisieren von BigQuery-Ressourcen im Data Warehouse und in Data-Marts.
• Weitere Informationen zu Datasets, dem übergeordneten Container von BigQuery für Tabellen und Ansichten.
• Laden Sie Daten in BigQuery mit:
  • Stream-Daten mit der Storage Write API.
  • Im Batch geladenen Daten aus lokalen Dateien oder Cloud Storage mit Formaten wie Avro, Parquet, ORC, CSV, JSON.

Weitere Informationen finden Sie unter BigQuery-Speicher.

BigQuery-Analysen

Deskriptive und präskriptive Analysen umfassen Business Intelligence, Ad-hoc-Analysen, Raumbezogene Analysen und maschinelles Lernen. Sie können in BigQuery gespeicherte Daten abfragen oder Abfragen für Daten an deren Speicherort ausführen, indem Sie externe Tabellen oder föderierte Abfragen verwenden, einschließlich Cloud Storage.

• ANSI-Standard-SQL-Abfragen (SQL:2011-Unterstützung), einschließlich Unterstützung für Joins, verschachtelte und wiederkehrende Felder, Analyse- und Aggregationsfunktionen, Abfragen mit mehreren Anweisungen und einer Vielzahl von räumlichen Funktionen mit raumbezogenen Analysen – geografische Informationssysteme.
• Ansichten erstellen, um Ihre Analyse freizugeben.
• Unterstützung von Business Intelligence-Tools, einschließlich Drittanbietertools, die die Simba ODBC- und JDBC-Treiber für BigQuery verwenden
• BigQuery ML bietet maschinelles Lernen und Analysen zu Prognosezwecken.
• BigQuery Studio erleichtert die Ausführung von Datenanalyse- und ML-Workflows (Machine Learning) in BigQuery.
• Daten außerhalb von BigQuery mit externen Tabellen abfragen.

Weitere Informationen finden Sie unter BigQuery-Analysen.

BigQuery-Verwaltung

BigQuery bietet eine zentrale Verwaltung von Daten- und Rechenressourcen und Identity and Access Management (IAM) unterstützt Sie dabei, diese Ressourcen mithilfe des Zugriffsmodells zu schützen, das in Cloud de Confiance by S3NSverwendet wird.

• Die Einführung in die Datensicherheit und Governance hilft Ihnen, die Data Governance zu verstehen und zu steuern, welche Kontrollen Sie für die Sicherung von BigQuery-Ressourcen benötigen könnten.
• Jobs sind Aktionen, die BigQuery für Sie ausführt, um Daten zu laden, zu exportieren, abzufragen oder zu kopieren.
• Mit Reservierungen können Sie zwischen On-Demand-Preisen und kapazitätsbasierten Preisen wechseln.

Weitere Informationen finden Sie unter Einführung in BigQuery.

BigQuery-Ressourcen

Sehen Sie sich die BigQuery-Ressourcen an:

• Versionshinweise enthalten Änderungslogs mit Features, Änderungen und verworfenen Funktionen.
• Stack Overflow hostet eine interessierte Community von Entwicklern und Analysten, die mit BigQuery arbeiten.
• Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale von Valliappa Lakshmanan und Jordan Tigani erläutert, wie BigQuery funktioniert, und bietet eine ausführliche Anleitung zur Nutzung des Dienstes.

APIs, Tools und Referenzen

Referenzmaterialien für BigQuery-Entwickler und -Analysten:

• Die BigQuery API und die Clientbibliotheken bieten einen Überblick über die Features von BigQuery und deren Verwendung.
• Mit der Syntax von DMLkönnen Sie BigQuery-Daten verwalten und transformieren.
• In der bq-Befehlszeilentool-Referenz werden die Syntax, Befehle, Flags und Argumente für die bq-Befehlszeile dokumentiert.
• ODBC/JDBC-Integration verbindet BigQuery mit Ihren vorhandenen Tools und Infrastrukturen.

BigQuery-Rollen und -Ressourcen

BigQuery erfüllt die Anforderungen von Datenexperten in den folgenden Rollen und Verantwortlichkeiten.

Nächste Schritte

• Informationen zu BigQuery-Unterschieden in Cloud de Confiance im Vergleich zu Google Cloud

• Eine Übersicht über BigQuery-Speicher finden Sie in der Übersicht über BigQuery-Speicher.
• Eine Übersicht über BigQuery-Abfragen finden Sie unter BigQuery-Analysen.
• Eine Übersicht über die BigQuery-Verwaltung finden Sie unter Einführung in die BigQuery-Verwaltung.
• Eine Übersicht über die BigQuery-Sicherheit finden Sie unter Datensicherheit und Data Governance.