Notebooks y herramientas de análisis programático

Si bien SQL es un lenguaje de consulta potente, los lenguajes de programación como Python, Java o R proporcionan sintaxis y funciones estadísticas que pueden ser más expresivas para las tareas de análisis de datos. Los entornos de notebooks ofrecen una alternativa muy flexible a las hojas de cálculo para la exploración de datos complejos y los flujos de trabajo de aprendizaje automático (AA).

BigQuery proporciona integración de notebooks integrada y compatibilidad con varias otras soluciones de análisis programático.

Notebooks de Colab Enterprise

Puedes usar notebooks de Colab Enterprise en BigQuery para realizar flujos de trabajo de ciencia de datos y AA de extremo a extremo en una sola interfaz integrada. A diferencia de los editores de SQL estándar, los notebooks te permiten combinar consultas en SQL con código de Python, texto enriquecido y visualizaciones para contar una historia integral con tus datos. Los notebooks de Colab Enterprise son ideales para los siguientes casos de uso:

  • Flujos de trabajo de AA de extremo a extremo: Compila, evalúa y, luego, implementa modelos de BigQuery ML en una sola interfaz.
  • Exploración de datos: Limpia y analiza grandes conjuntos de datos con BigQuery DataFrames.
  • Investigación colaborativa: Haz un seguimiento del historial de versiones y comparte notebooks con colegas a través de Identity and Access Management (IAM).

Los notebooks de Colab Enterprise ofrecen los siguientes beneficios:

  • Desarrollo potenciado por IA: Aprovecha Gemini Enterprise Agent Platform para el desarrollo de código asistivo.
  • Integración perfecta con Python: Usa la API de BigQuery DataFrames sin configuración adicional.
  • Funciones conocidas del editor: Aprovecha el autocompletado de SQL similar al editor de SQL de BigQuery.
  • Visualizaciones integradas: Usa visualizaciones interactivas de DataFrame o bibliotecas como matplotlib y seaborn directamente en tu flujo de trabajo.
  • Interoperabilidad entre SQL y Python: Ejecuta SQL en celdas que hacen referencia a variables de Python.

La galería de notebooks es un centro para descubrir y usar plantillas de notebooks prediseñadas. Incluye plantillas fundamentales para SQL, Python, Apache Spark y DataFrames que te ayudan a realizar tareas comunes, como la preparación, el análisis y la visualización de datos.

Administración y seguridad del entorno de ejecución

Los notebooks usan entornos de ejecución de Colab Enterprise, que son máquinas virtuales de Compute Engine asignadas a un usuario específico para habilitar la ejecución de código. El acceso a los notebooks se controla con roles de IAM. Para detectar vulnerabilidades en los paquetes de Python que se usan en tus notebooks, puedes instalar y usar Notebook Security Scanner.

Supervisión y regiones

Todos los recursos de código en BigQuery Studio se almacenan en una región predeterminada, y actualizar este parámetro de configuración cambia la región de cualquier recurso de código creado recientemente. Los notebooks de Colab Enterprise están disponibles en todas las regiones en las que BigQuery Studio está disponible.

Para supervisar el uso de ranuras de notebooks, puedes ver tu informe de Facturación de Cloud y aplicar un filtro para la etiqueta goog-bq-feature-type con el valor BQ_STUDIO_NOTEBOOK.

Las funciones del notebook solo están disponibles en la consola de Cloud de Confiance .

Precios

Para obtener información sobre los precios de los notebooks de Colab Enterprise, consulta Precios del tiempo de ejecución de notebooks.

Permite trabajar con BigQuery DataFrames.

BigQuery DataFrames es un conjunto de bibliotecas de Python de código abierto que te permiten aprovechar el procesamiento de datos de BigQuery mediante APIs de Python conocidas. BigQuery DataFrames implementa las APIs de Pandas y scikit-learn mediante el envío del procesamiento a BigQuery a través de la conversión de SQL. Este diseño te permite usar BigQuery para explorar y procesar terabytes de datos, y entrenar modelos de AA, todo con las APIs de Python.

BigQuery DataFrames ofrece los siguientes beneficios:

  • Más de 750 APIs de Pandas y scikit-learn implementadas a través de la conversión de SQL transparente a las APIs de BigQuery y BigQuery ML.
  • Aplazamiento de la ejecución de las consultas para mejorar el rendimiento
  • Extensión de las transformaciones de datos con funciones de Python definidas por el usuario para que puedas procesar datos en la nube. Estas funciones se implementan de forma automática como funciones remotas de BigQuery.
  • Integración con Gemini Enterprise Agent Platform para permitirte usar modelos de Gemini para la generación de texto.

Otras soluciones de análisis programático

Además de Colab Enterprise y BigQuery DataFrames, BigQuery se integra con otras soluciones programáticas:

Otros recursos

BigQuery ofrece varias bibliotecas cliente en lenguajes como Java, Go, Python, JavaScript, PHP y Ruby. Algunos marcos de trabajo de análisis de datos, como Pandas, proporcionan complementos para interactuar directamente con BigQuery, y para quienes prefieren los entornos de shell, está disponible la herramienta de línea de comandos de bq.