Notebooks und programmatische Analysetools

SQL ist zwar eine leistungsstarke Abfragesprache, doch bieten Programmiersprachen wie Python, Java oder R Syntaxen und statistische Funktionen, die für Datenanalyseaufgaben aussagekräftiger sein können. Notebook-Umgebungen bieten eine sehr flexible Alternative zu Tabellenkalkulationen für komplexe Datenanalyse- und Machine-Learning-Workflows (ML).

BigQuery bietet eine integrierte Notebook-Integration sowie Unterstützung für mehrere andere programmatische Analyselösungen.

Colab Enterprise-Notebooks

Sie können Colab Enterprise-Notebooks in BigQuery verwenden, um End-to-End-Data-Science- und ML-Workflows über eine einzige, integrierte Schnittstelle auszuführen. Im Gegensatz zu Standard-SQL-Editoren können Sie in Notebooks SQL-Abfragen mit Python-Code, Rich-Text und Visualisierungen kombinieren, um Ihre Daten umfassend darzustellen. Colab Enterprise-Notebooks eignen sich ideal für die folgenden Anwendungsfälle:

  • End-to-End-ML-Workflows:BigQuery ML-Modelle lassen sich über eine einzige Benutzeroberfläche erstellen, bewerten und bereitstellen.
  • Datenanalyse:Bereinigen und analysieren Sie große Datasets mit BigQuery DataFrames.
  • Gemeinsame Forschung: Mit Identity and Access Management (IAM) können Sie den Versionsverlauf nachverfolgen und Notebooks für Kollegen freigeben.

Colab Enterprise-Notebooks bieten folgende Vorteile:

  • KI-basierte Entwicklung:Nutzen Sie die Gemini Enterprise Agent Platform für die unterstützende Codeentwicklung.
  • Nahtlose Python-Integration:Sie können die BigQuery DataFrames API ohne zusätzliche Einrichtung verwenden.
  • Vertraute Editorfunktionen:Nutzen Sie die automatische Vervollständigung von SQL-Code, die Sie vom BigQuery-SQL-Editor kennen.
  • Integrierte Visualisierungen:Sie können interaktive DataFrame-Visualisierungen oder Bibliotheken wie matplotlib und seaborn direkt in Ihrem Workflow verwenden.
  • SQL-Python-Interoperabilität:Führen Sie SQL in Zellen aus, die auf Python-Variablen verweisen.

Die Notebook-Galerie ist ein zentraler Hub zum Auffinden und Verwenden von vorgefertigten Notebook-Vorlagen. Sie enthält grundlegende Vorlagen für SQL, Python, Apache Spark und DataFrames, mit denen Sie häufige Aufgaben wie die Vorbereitung, Analyse und Visualisierung von Daten ausführen können.

Laufzeitverwaltung und Sicherheit

In Notebooks werden Colab Enterprise-Laufzeiten verwendet. Das sind virtuelle Compute Engine-Maschinen, die einem bestimmten Nutzer zugewiesen sind, um die Codeausführung zu ermöglichen. Der Zugriff auf Notebooks wird über IAM-Rollen gesteuert. Wenn Sie Sicherheitslücken in den in Ihren Notebooks verwendeten Python-Paketen erkennen möchten, können Sie den Notebook Security Scanner installieren und verwenden.

Monitoring und Regionen

Alle Code-Assets in BigQuery Studio werden in einer Standardregion gespeichert. Wenn Sie diese Einstellung aktualisieren, wird die Region für alle neu erstellten Code-Assets geändert. Colab Enterprise-Notebooks sind in allen Regionen verfügbar, in denen BigQuery Studio verfügbar ist.

Wenn Sie die Nutzung von Notebook-Slots überwachen möchten, können Sie Ihren Cloud Billing-Bericht aufrufen und einen Filter für das Label goog-bq-feature-type mit dem Wert BQ_STUDIO_NOTEBOOK anwenden.

Notebook-Funktionen sind nur in der Cloud de Confiance Console verfügbar.

Preise

Preisinformationen zu Colab Enterprise-Notebooks finden Sie unter Preise für Notebook-Laufzeiten.

BigQuery DataFrames

BigQuery DataFrames besteht aus einer Reihe von Open-Source-Python-Bibliotheken, mit denen Sie die BigQuery-Datenverarbeitung mithilfe vertrauter Python APIs nutzen können. BigQuery DataFrames implementiert die pandas- und scikit-learn-APIs, indem die Verarbeitung durch SQL-Konvertierung an BigQuery übertragen wird. Mit diesem Design können Sie BigQuery verwenden, um Terabyte an Daten zu untersuchen und zu verarbeiten und um ML-Modelle zu trainieren – alles mit Python APIs.

BigQuery DataFrames bietet folgende Vorteile:

  • Mehr als 750 Pandas- und Scikit-Learn-APIs, die durch eine transparente SQL-Konvertierung in BigQuery- und BigQuery ML-APIs implementiert werden.
  • Verzögerte Ausführung von Abfragen für verbesserte Leistung.
  • Datentransformationen mit benutzerdefinierten Python-Funktionen erweitern, um Daten in der Cloud zu verarbeiten. Diese Funktionen werden automatisch als BigQuery-Remote-Funktionen bereitgestellt.
  • Einbindung in die Gemini Enterprise Agent Platform, damit Sie Gemini-Modelle für die Textgenerierung verwenden können.

Andere Lösungen für programmatische Analysen

Neben Colab Enterprise und BigQuery DataFrames lässt sich BigQuery in verschiedene andere programmatische Lösungen einbinden:

  • Jupyter-Notebooks und JupyterLab:Sie können direkt über Jupyter-Notebooks mit BigQuery interagieren. Verwenden Sie dazu magische IPython-Befehle für BigQuery oder BigQuery-Clientbibliotheken. Sie können Ihre Umgebungen auf Cloud de Confiance by S3NS mit Vertex AI Workbench-Instanzen oder Managed Service for Apache Spark bereitstellen.
  • Apache Zeppelin:Sie können webbasierte Apache Zeppelin-Notebooks für die Datenanalyse bereitstellen, indem Sie die optionale Zeppelin-Komponente in Managed Service for Apache Spark installieren.
  • Apache Hadoop, Spark und Hive:Der Managed Service for Apache Spark lässt sich in Open-Source-BigQuery-Connectors einbinden. Diese Connectors verwenden die BigQuery Storage API, um Daten direkt von BigQuery über gRPC parallel zu streamen.
  • Apache Beam und Dataflow:Apache Beam ist ein Open-Source-Framework, das eine Vielzahl von Windowing- und Sitzungsanalyse-Primitiven sowie ein Ökosystem von Connectors, einschließlich eines für BigQuery, bietet. Dataflow ist ein vollständig verwalteter Dienst, mit dem Sie diese Apache Beam-Jobs in großem Maßstab ausführen können.

Andere Ressourcen

BigQuery bietet mehrere Clientbibliotheken in Sprachen wie Java, Go, Python, JavaScript, PHP und Ruby. Bestimmte Datenanalyse-Frameworks wie pandas bieten Plug-ins, die direkt mit BigQuery interagieren. Für Nutzer, die Shell-Umgebungen bevorzugen, ist das bq-Befehlszeilentool verfügbar.