Supervisa trabajos

Como administrador de BigQuery, puedes supervisar los trabajos de tu organización a través de un explorador de trabajos administrativos en la Cloud de Confiance consola. El explorador de trabajos proporciona filtros y opciones de orden para identificar, comparar y solucionar problemas de trabajos problemáticos. No es necesario que escribas consultas de INFORMATION_SCHEMA para ver los detalles del trabajo, como el propietario, el proyecto, el uso de las ranuras, la duración y mucho más.

Con el explorador de trabajos, puedes hacer lo siguiente:

  • Filtrar e identificar trabajos. Busca consultas específicas en tu organización aplicando filtros basados en criterios como el estado del trabajo, la duración, el propietario o el uso de las ranuras.
  • Solucionar problemas de trabajos. Selecciona trabajos individuales para ver sus gráficos de ejecución de consultas , el texto de SQL y el historial de ejecución en la página Detalles del trabajo (vista previa).
  • Comparar el rendimiento. Compara trabajos (vista previa) para destacar las diferencias significativas en las métricas y abordar posibles problemas de rendimiento
  • Obtener asistencia con IA. Usa Gemini Code Assist directamente desde el explorador de trabajos (vista previa) para analizar las estadísticas de los trabajos o explicar las consultas de ejecución lenta.

BigQuery proporciona los detalles y las estadísticas de los trabajos de las siguientes vistas de INFORMATION_SCHEMA:

Antes de comenzar

Para usar Gemini Code Assist para solucionar problemas de trabajos en BigQuery (vista previa), consulta Configura Gemini Code Assist para habilitar la API y otorgar los roles necesarios.

Roles obligatorios

Para obtener los permisos que necesitas para usar el explorador de trabajos y supervisar los trabajos, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para usar el explorador de trabajos y supervisar los trabajos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para usar el explorador de trabajos y supervisar los trabajos:

  • Ver trabajos a nivel del proyecto: bigquery.jobs.listAll en el proyecto
  • Ver trabajos a nivel de la organización: bigquery.jobs.listAll en la organización
  • Filtrar por reservas en tu organización: bigquery.reservations.list en la organización

También puedes obtener estos permisos con roles personalizados o otros roles predefinidos.

Para usar Gemini Code Assist para solucionar problemas de trabajos, consulta los requisitos adicionales de IAM para usar Gemini Code Assist.

Filtrar trabajos

Para filtrar trabajos de las consultas que contienen vistas INFORMATION_SCHEMA.JOBS*, haz lo siguiente:

  1. En la Cloud de Confiance consola de, ve a la página BigQuery.

    Ir a BigQuery

  2. En el menú de navegación, haz clic en Explorador de trabajos.

  3. En la lista Ubicación, selecciona la ubicación de los trabajos que debes ver.

  4. Aplica los Filtros opcionales según sea necesario:

    • Alcance del trabajo: Filtra los trabajos según su nivel de visibilidad, por ejemplo, el proyecto actual, la organización y tus trabajos. Puedes elegir ver los trabajos del proyecto actual, de toda tu organización o solo los trabajos que iniciaste.
    • Estado: Filtra los trabajos según su estado de ejecución actual, por ejemplo, completado, error, activo y en cola. Esto te ayuda a identificar trabajos activos o fallidos.
    • Categoría del trabajo: Filtra los trabajos según el tipo de operación realizada, como las consultas de SQL estándar o las consultas continuas que se usan para el procesamiento de datos en tiempo real.
    • Motivo de creación del trabajo: Filtra los trabajos según el motivo por el que BigQuery los creó, por ejemplo, cuando una consulta excede un tiempo de espera o produce resultados demasiado grandes para una sola respuesta.
    • Prioridad del trabajo: filtra los trabajos según su prioridad de ejecución, como los trabajos interactivos o por lotes.
    • ID del trabajo: Filtra un trabajo específico por su identificador alfanumérico único.
    • Propietario: Filtra los trabajos según la dirección de correo electrónico del usuario o la cuenta de servicio que inició el trabajo.
    • ID del proyecto: Filtra los trabajos que se ejecutaron en un proyecto específico. Este filtro solo está disponible cuando el Alcance del trabajo se establece en Organización.
    • ID de la reserva: Filtra los trabajos que usaron ranuras de una reserva específica. Esto te ayuda a supervisar cómo las diferentes cargas de trabajo consumen la capacidad reservada.
    • Tiempo de ranura superior a: Filtra los trabajos que consumieron más de una cantidad especificada de milisegundos de ranura. Esta es una métrica clave para identificar consultas que consumen muchos recursos.
    • Duración superior a: Filtra los trabajos que tardaron más de una cantidad especificada en completarse. Usa esta opción para encontrar consultas que se ejecuten más lento de lo esperado.
    • Bytes procesados superior a: Filtra los trabajos que analizaron más de una cantidad especificada de datos. Esto te ayuda a identificar las consultas que podrían contribuir a los altos costos de procesamiento de datos.
    • Estadísticas de consultas: Filtra los trabajos que BigQuery identificó como que tienen problemas de rendimiento específicos, como la contención de ranuras, la capacidad de Shuffle de memoria excedida y el cambio en la escala de entrada de datos.
    • Hash de consulta: Filtra los trabajos con un hash de consulta específico. Un hash de consulta identifica la lógica de una consulta, ignora las diferencias en los comentarios, los valores de los parámetros, las UDF y los literales, lo que te ayuda a encontrar todas las ejecuciones de la misma lógica de consulta. Este campo aparece para las consultas correctas de GoogleSQL que no son aciertos de caché.
    • Etiquetas: Filtra los trabajos según las etiquetas de metadatos personalizadas que tú o tu organización les hayan adjuntado. Esto te permite categorizar y hacer un seguimiento de los trabajos por departamento o aplicación.

Soluciona problemas de rendimiento de los trabajos

Para diagnosticar y solucionar problemas de consultas, puedes ver las métricas de ejecución, el texto de SQL y las variaciones históricas de rendimiento en la página Detalles del trabajo.

Visualiza los detalles de los trabajos

Para ver los detalles de un trabajo y analizar su ejecución de consultas, haz lo siguiente:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Para acotar los trabajos que se muestran, filtra los trabajos.

  3. Haz clic en el ID del trabajo que deseas investigar. En el caso de las consultas que no crean un trabajo, aparece el ID de la consulta y el vínculo está inhabilitado. Si haces clic en un ID de trabajo válido, se abre la página Detalles del trabajo con la pestaña Rendimiento que se muestra de forma predeterminada.

Información de consulta disponible

Para ayudarte a diagnosticar el rendimiento de las consultas, la pestaña Rendimiento en los detalles del trabajo compila la siguiente información y métricas, cuando corresponda:

  • Detalles del trabajo: Información sobre el trabajo, incluido el ID del trabajo, la hora de creación , los bytes procesados y el uso de las ranuras. Para obtener más información, consulta Visualiza los detalles de los trabajos.
  • Historial de ejecución: Una lista de las ejecuciones históricas de la consulta, agrupadas por hash de consulta. Puedes seleccionar un trabajo de esta lista para compararlo directamente con tu trabajo actual. Para obtener más información, consulta Compara trabajos.

  • Gráfico de ejecución: Una representación visual de las etapas de ejecución de la consulta. Expande la sección Gráfico de ejecución para inspeccionar la contención de ranuras, la capacidad de Shuffle y la escala de entrada de datos. Para obtener más información, consulta Obtén estadísticas de rendimiento de las consultas.

    En el siguiente ejemplo, se muestra un gráfico de ejecución con la asignación de texto de SQL habilitada:

    Gráfico de ejecución para trabajos.

  • Carga del sistema durante la ejecución: Un resumen de los recursos de procesamiento y la configuración de reserva asignados durante la ejecución del trabajo.

Diagnostica las regresiones de rendimiento comparando trabajos y sistemas

La herramienta de comparación de rendimiento te permite analizar las diferencias de rendimiento entre dos trabajos de consulta o en dos intervalos del sistema. El análisis muestra los detalles de la consulta, los cambios en el uso de recursos y la configuración del entorno del sistema que difieren significativamente entre tus entornos de referencia y de destino.

Comprende el análisis de comparación

La herramienta de comparación evalúa el rendimiento en las métricas a nivel de la consulta y los factores a nivel del sistema. Puedes activar el botón de activación Mostrar solo las diferencias significativas para limitar la vista a las métricas con una varianza superior al 20%.

Las diferencias significativas están codificadas por color para ayudarte a buscar problemas:

  • Verde: la métrica mejoró (por ejemplo, una duración de consulta más corta en la ejecución de destino).
  • Amarillo: La métrica se degradó en menos del 20%.
  • Rojo: La métrica se degradó en más del 20%.

Compara dos trabajos

Para comparar un trabajo de referencia con una ejecución de trabajo de destino, haz lo siguiente:

  1. Abre la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Para acotar los trabajos que se muestran, filtra los trabajos.

  3. Haz clic en el ID del trabajo de referencia para abrir la página Detalles del trabajo y selecciona la pestaña Rendimiento.

  4. En el menú Acciones, haz clic en Comparar trabajo.

  5. En el campo Trabajo uno (trabajo de referencia), haz clic en Explorar para abrir el panel Trabajos comparables similares.

  6. Selecciona el trabajo de destino que deseas comparar con tu referencia y haz clic en Comparar.

  7. Opcional: Para enfocarte en las regresiones de rendimiento principales, activa Mostrar solo las diferencias significativas. Esto limita la vista a las métricas con una varianza superior al 20%.

Para cambiar los trabajos que se comparan en cualquier momento, haz clic en Explorar en los campos de trabajo de referencia o de destino y selecciona un trabajo nuevo de la lista de trabajos comparables.

Análisis a nivel de la consulta

Después de comparar dos trabajos, puedes ver la sección Análisis a nivel de la consulta , que compara dos ejecuciones de trabajos en tres pestañas:

  • Métricas: Compara las métricas principales de la consulta, como la duración del trabajo, el tiempo de ranura, los bytes procesados y los aceleradores sin usar.
  • Texto de SQL: Muestra las instrucciones de SQL para ambos trabajos y destaca las diferencias de texto.
  • Gráfico de ejecución: Compara los gráficos de ejecución de ambos trabajos etapa por etapa para identificar dónde se produjeron los cuellos de botella.

Compara dos intervalos del sistema

Los administradores y los analistas pueden analizar métricas de entorno más amplias ejecutando una comparación del rendimiento del sistema. Esta herramienta te permite comparar intervalos históricos en reservas y proyectos específicos para comprender los cambios en el uso y aislar si la degradación del rendimiento se originó de forma interna o externa a tu carga de trabajo.

Puedes navegar a la vista de comparación del rendimiento del sistema de cualquiera de las siguientes maneras:

  • En la página Detalles del trabajo, después de comparar dos trabajos, haz clic en Ver más en la sección Resultados a nivel del sistema para ver los detalles de la comparación del sistema.
  • Si usas Gemini Cloud Assist para realizar una comparación del sistema, Gemini Cloud Assist genera un vínculo que abre los resultados de la comparación del sistema.

Para realizar una comparación a nivel del sistema en períodos separados, haz lo siguiente:

  1. En la vista Comparación del rendimiento del sistema, haz clic en Sistema.
  2. Selecciona el sistema en el que deseas analizar el rendimiento haciendo clic en Explorar y seleccionando un alcance de reserva o proyecto.
  3. Define los períodos de comparación:
    • Intervalo de destino: selecciona la ventana de fecha y hora del período que experimenta problemas de rendimiento y haz clic en Aplicar.
    • Intervalo de referencia: Selecciona la ventana de fecha y hora de referencia para que actúe como tu comparativa de rendimiento y haz clic en Aplicar.

Análisis a nivel del sistema

Después de comparar los intervalos, la vista asigna los cambios en el uso, las variaciones de simultaneidad y las diferencias de configuración en el entorno seleccionado con su grupo superior. Esto te ayuda a determinar si la contención de ranuras o las regresiones de configuración afectan tu carga de trabajo. Los datos se generan en tres bloques:

  • Proyecto: Compara la simultaneidad de trabajos, la simultaneidad en cola y el uso total de ranuras a nivel del proyecto.
  • Reserva: Compara el uso de la reserva, el uso compartido de ranuras inactivas y la simultaneidad de proyectos en las reservas compartidas.
  • Análisis de configuración: Compara la configuración de administración de cargas de trabajo entre las dos ejecuciones, como los límites máximos de tamaño de reserva y las reglas de préstamo de ranuras inactivas.

Usa estadísticas de solución de problemas de rendimiento de agentes

Para enviar comentarios o solicitar asistencia para esta función, envía un correo electrónico a bq-performance-troubleshooting+feedback@google.com.

Cuando supervisas las tareas de administración o evalúas las comparaciones de rendimiento, BigQuery integra los diagnósticos de observabilidad subyacentes con Gemini Cloud Assist para convertir el panel de chat en un asistente activo para la solución de problemas mientras solucionas anomalías a nivel del trabajo y del sistema.

El acceso a las estadísticas está controlado; sin los permisos suficientes, las estadísticas que recibas podrían ser limitadas. Para obtener más información sobre los permisos, consulta Controla el acceso a los recursos con la IAM.

Soluciona problemas de rendimiento en el chat

Para inicializar la solución de problemas contextual y actuar sobre las estadísticas de rendimiento, haz lo siguiente:

  1. Para abrir el panel de chat de Gemini Cloud Assist y cargar automáticamente el contexto relevante del trabajo o del sistema, haz una de las siguientes acciones:
    • En las páginas Explorador de trabajos o Historial de trabajos, coloca el cursor sobre un trabajo y haz clic en el ícono de spark Gemini en esa fila de la tabla.
    • En la página Administración de capacidad, coloca el cursor sobre una reserva y haz clic en spark Gemini en esa fila de la tabla.
    • En Studio, Monitoring o Explorador de trabajos, haz clic en el ícono de Gemini.spark
  2. Envía una instrucción en lenguaje natural. Por ejemplo, pídele a Gemini que explique por qué un trabajo se ejecuta lento, analice estadísticas de trabajos específicas, analice el rendimiento de reservas específicas, solucione problemas de rendimiento del sistema o compare las varianzas de rendimiento entre dos trabajos históricos similares.
  3. Si se supera un umbral a nivel de la organización o de la reserva, como una cola de ranuras grave debido a un aumento inesperado en la simultaneidad de proyectos activos, revisa el informe de Estadísticas de rendimiento generado. En este informe, se detallan los cuellos de botella críticos, como los siguientes:
    • Aumento de la simultaneidad en cola: Aumentos repentinos en las demandas de consultas simultáneas que exceden los límites de simultaneidad flexibles o las asignaciones de ranuras de reserva.
    • Aumento de la simultaneidad de proyectos: Seguimiento de los proyectos exactos de alta simultaneidad o las cuentas de usuario principales que impulsan la carga del sistema en las reservas compartidas o las cuotas a pedido.
  4. Observa la tabla Comparación de métricas clave para rastrear diferencias numéricas precisas, como cambios en la simultaneidad promedio de proyectos, las ranuras de cola o los límites máximos de ranuras de reserva.

  5. Ejecuta soluciones intercaladas directamente a través de vínculos de transferencia prácticos generados por Gemini Cloud Assist. Estos accesos directos te redireccionan a herramientas específicas del producto con contexto prepropagado para responder tus preguntas y resolver problemas:

    • Editar reserva: Abre el panel lateral de administración de cargas de trabajo para ajustar los tamaños máximos de reserva o activar las capacidades de escalamiento avanzadas.
    • Ver el rendimiento del trabajo en el Explorador de trabajos: Abre la pestaña de detalles de rendimiento del trabajo en particular.
    • Comparar el rendimiento del trabajo en el Explorador de trabajos: Compara el rendimiento de dos trabajos en paralelo.

Precios

El explorador de trabajos está disponible sin costo adicional. Las consultas que se usan para propagar estos gráficos no se facturan y no usan ranuras en reservas de usuarios. Se agota el tiempo de espera de las consultas que procesan demasiados datos.

¿Qué sigue?