Resumen de BigQuery
BigQuery es una plataforma de datos totalmente gestionada y preparada para la IA que te ayuda a gestionar y analizar tus datos con funciones integradas como el aprendizaje automático, la búsqueda, el análisis geoespacial y la inteligencia empresarial. La arquitectura sin servidor de BigQuery te permite usar lenguajes como SQL y Python para responder a las preguntas más importantes de tu organización sin necesidad de gestionar la infraestructura.
BigQuery ofrece una forma uniforme de trabajar con datos estructurados y sin estructurar, y admite formatos de tabla abiertos como Apache Iceberg, Delta y Hudi. El streaming de BigQuery admite la ingestión y el análisis continuos de datos, mientras que el motor de análisis escalable y distribuido de BigQuery te permite consultar terabytes en segundos y petabytes en minutos.
La arquitectura de BigQuery consta de dos partes: una capa de almacenamiento que ingiere, almacena y optimiza datos, y una capa de computación que proporciona funciones analíticas. Estas capas de computación y almacenamiento funcionan de forma eficiente e independiente entre sí gracias a la red a escala de petabits de Google, que permite la comunicación necesaria entre ellas.
Las bases de datos antiguas suelen tener que compartir recursos entre operaciones de lectura y escritura, así como operaciones analíticas. Esto puede provocar conflictos de recursos y ralentizar las consultas mientras se escriben o leen datos del almacenamiento. Los grupos de recursos compartidos pueden verse aún más presionados cuando se necesitan recursos para tareas de gestión de bases de datos, como asignar o revocar permisos. La separación de las capas de computación y almacenamiento de BigQuery permite que cada capa asigne recursos de forma dinámica sin que afecte al rendimiento ni a la disponibilidad de la otra.
Este principio de separación permite a BigQuery innovar más rápido, ya que las mejoras de almacenamiento y de computación se pueden implementar de forma independiente, sin tiempo de inactividad ni repercusiones negativas en el rendimiento del sistema. También es fundamental para ofrecer un almacén de datos sin servidor totalmente gestionado en el que el equipo de ingeniería de BigQuery se encarga de las actualizaciones y el mantenimiento. De esta forma, no tendrás que aprovisionar ni escalar recursos manualmente, por lo que podrás centrarte en ofrecer valor en lugar de en las tareas tradicionales de gestión de bases de datos.
Las interfaces de BigQuery incluyen la interfaz de la consola y la herramienta de línea de comandos de BigQuery. Cloud de Confiance Los desarrolladores y los científicos de datos pueden usar bibliotecas de cliente con lenguajes de programación conocidos, como Python, Java, JavaScript y Go, así como la API REST y la API RPC de BigQuery para transformar y gestionar datos. Los controladores ODBC y JDBC permiten interactuar con aplicaciones, herramientas y utilidades de terceros.
Si eres analista de datos, ingeniero de datos, administrador de almacén de datos o científico de datos, BigQuery te ayuda a cargar, procesar y analizar datos para tomar decisiones empresariales cruciales.
Empieza a usar BigQuery
Puedes empezar a explorar BigQuery en cuestión de minutos.
- Cloud de Confiance Guía de inicio rápido de la consola: familiarízate con las funciones de BigQuery Studio.
Descubrir BigQuery
La infraestructura sin servidor de BigQuery te permite centrarte en tus datos en lugar de en la gestión de recursos. BigQuery combina un almacén de datos basado en la nube con potentes herramientas analíticas.
Almacenamiento de BigQuery
BigQuery almacena los datos con un formato de almacenamiento en columnas optimizado para las consultas analíticas. BigQuery presenta los datos en tablas, filas y columnas, y ofrece compatibilidad total con la semántica de las transacciones de bases de datos (ACID). El almacenamiento de BigQuery se replica automáticamente en varias ubicaciones para ofrecer una alta disponibilidad.
- Consulta información sobre los patrones habituales para organizar los recursos de BigQuery en el almacén de datos y los mercados de datos.
- Consulta información sobre los conjuntos de datos, el contenedor de nivel superior de tablas y vistas de BigQuery.
- Carga datos en BigQuery mediante:
- Transmite datos con la API Storage Write.
- Carga datos por lotes desde archivos locales o de Cloud Storage con formatos como: Avro, Parquet, ORC, CSV, JSON.
Para obtener más información, consulta la información general sobre el almacenamiento de BigQuery.
Analíticas de BigQuery
Entre los usos del análisis descriptivo y prescriptivo se incluyen la inteligencia empresarial, el análisis ad hoc, la analítica geoespacial y el aprendizaje automático. Puedes consultar los datos almacenados en BigQuery o ejecutar consultas sobre los datos allí donde se encuentren mediante tablas externas o consultas federadas, incluido Cloud Storage.
- Consultas SQL estándar ANSI (compatibilidad con SQL:2011), incluida la compatibilidad con combinaciones, campos anidados y repetidos, funciones analíticas y de agregación, consultas de varias instrucciones y una variedad de funciones espaciales con analíticas geoespaciales (sistemas de información geográfica).
- Crea vistas para compartir tu análisis.
- Compatibilidad con herramientas de inteligencia empresarial, incluidas herramientas de terceros que usan los controladores ODBC y JDBC de Simba para BigQuery
- BigQuery ML ofrece aprendizaje automático y analíticas predictivas.
- BigQuery Studio te facilita completar tus flujos de trabajo de análisis de datos y aprendizaje automático (ML) en BigQuery.
- Consulta datos fuera de BigQuery con tablas externas.
Para obtener más información, consulta la descripción general de las analíticas de BigQuery.
Administración de BigQuery
BigQuery ofrece una gestión centralizada de los recursos de datos y de computación, mientras que Gestión de Identidades y Accesos (IAM) te ayuda a proteger esos recursos con el modelo de acceso que se usa en todo Cloud de Confiance by S3NS.
- Introducción a la seguridad y el gobierno de datos te ayuda a entender el gobierno de datos y los controles que puedes necesitar para proteger los recursos de BigQuery.
- Las tareas son acciones que BigQuery ejecuta en tu nombre para cargar, exportar, consultar o copiar datos.
- Reservas te permite cambiar entre precios bajo demanda y precios basados en la capacidad.
Para obtener más información, consulta la introducción a la administración de BigQuery.
Recursos de BigQuery
Consulta los recursos de BigQuery:
- Las notas de la versión proporcionan registros de cambios de funciones, modificaciones y obsolescencias.
- Stack Overflow alberga una comunidad activa de desarrolladores y analistas que trabajan con BigQuery.
- Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale de Valliappa Lakshmanan y Jordan Tigani explica cómo funciona BigQuery y ofrece una guía completa sobre cómo usar el servicio.
APIs, herramientas y referencias
Materiales de referencia para desarrolladores y analistas de BigQuery:
- La API de BigQuery y las bibliotecas de cliente ofrecen información general sobre las funciones de BigQuery y su uso.
- La sintaxis de DML te permite gestionar y transformar tus datos de BigQuery.
- La referencia de la herramienta de línea de comandos bq
documenta la sintaxis, los comandos, las marcas y los argumentos de la interfaz de línea de comandos
bq. - Integración de ODBC y JDBC: conecta BigQuery con tu infraestructura y tus herramientas actuales.
Roles y recursos de BigQuery
BigQuery satisface las necesidades de los profesionales de datos en los siguientes puestos y responsabilidades.
Analista de datos
Guía de tareas para ayudarte si necesitas hacer lo siguiente:
- Consultar datos de BigQuery con consultas interactivas o por lotes mediante la sintaxis de consultas SQL
- Consulta las funciones, los operadores y las expresiones condicionales de SQL para consultar datos.
Usa herramientas para analizar y visualizar datos de BigQuery, como Hojas de cálculo de Google.
Usa las analíticas geoespaciales para analizar y visualizar datos geoespaciales con los sistemas de información geográfica de BigQuery.
Optimizar el rendimiento de las consultas con lo siguiente:
- Tablas con particiones: recorta tablas grandes en función de intervalos de tiempo o de números enteros.
- Vistas materializadas: define vistas almacenadas en caché para optimizar las consultas o proporcionar resultados persistentes.
Administrador de datos
Guía de tareas para ayudarte si necesitas hacer lo siguiente:
- Gestiona los costes con reservas para equilibrar los precios en función de la demanda y de la capacidad.
- Conocer la seguridad y el gobierno de los datos para proteger los datos por conjunto de datos, tabla, columna, fila o vista
- Crea copias de seguridad de los datos con capturas de tablas para conservar el contenido de una tabla en un momento concreto.
- Consulta INFORMATION_SCHEMA de BigQuery para conocer los metadatos de los conjuntos de datos, los trabajos, el control de acceso, las reservas, las tablas y más.
- Usa tareas para que BigQuery cargue, exporte, consulte o copie datos en tu nombre.
- Monitoriza los registros y los recursos para comprender BigQuery y las cargas de trabajo.
Para obtener más información, consulta la introducción a la administración de BigQuery.
Científico de datos
Guía de tareas para ayudarte si necesitas usar el aprendizaje automático de BigQuery ML para hacer lo siguiente:
- Conocer el recorrido de usuario completo de los modelos de aprendizaje automático
- Gestionar el control de acceso de BigQuery ML
- Crea y entrena modelos de BigQuery ML
incluyendo lo siguiente:
- Previsión con regresión lineal
- Clasificaciones de regresión logística binaria y logística multiclase
- Agrupamiento K-medias para la segmentación de datos
- Previsión de series temporales con modelos Arima+
Desarrollador de datos
Guía de tareas para ayudarte si necesitas hacer lo siguiente:
- Carga datos en BigQuery con:
- Carga de datos por lotes para los formatos Avro, Parquet, ORC, CSV, JSON
- API Storage Write de BigQuery
Usa la biblioteca de códigos de ejemplo, que incluye lo siguiente:
Cloud de Confiance Navegador de ejemplos (con ámbito de BigQuery)
Siguientes pasos
- Para obtener una descripción general del almacenamiento de BigQuery, consulta Información general sobre el almacenamiento de BigQuery.
- Para ver una descripción general de las consultas de BigQuery, consulta Descripción general de los análisis de BigQuery.
- Para obtener una descripción general de la administración de BigQuery, consulta el artículo Introducción a la administración de BigQuery.
- Para obtener una descripción general de la seguridad de BigQuery, consulta Descripción general de la seguridad y la gestión de datos.