Prepara datos con Gemini

En este documento, se explica cómo limpiar y transformar tus datos en las preparaciones de datos de BigQuery con sugerencias de código SQL de Gemini.

Para obtener más información, consulta Descripción general de la preparación de datos de BigQuery.

Antes de comenzar

• Configura Gemini en BigQuery.

• Otorga los roles y permisos de Identity and Access Management (IAM) necesarios.

Inicia una sesión de preparación de datos

Abre el editor de preparación de datos de BigQuery creando una preparación de datos nueva, iniciando una desde una tabla existente o un archivo de Cloud Storage o Google Drive, o abriendo una preparación de datos existente. Para obtener más información sobre lo que sucede cuando creas una preparación de datos, consulta Puntos de entrada de la preparación de datos.

En la página de BigQuery, puedes ir al editor de preparación de datos de las siguientes maneras:

Agrega pasos de preparación de datos

Los datos se preparan en pasos. Puedes obtener una vista previa de los pasos que sugiere Gemini o aplicarlos. También puedes mejorar las sugerencias o aplicar tus propios pasos.

Aplica y mejora las sugerencias de Gemini

Cuando abres el editor de preparación de datos para tu tabla, Gemini inspecciona los datos y el esquema de la tabla que cargaste y genera sugerencias de filtros y transformaciones. Las sugerencias aparecen en tarjetas en la lista Pasos.

En la siguiente imagen, se muestra dónde puedes aplicar y mejorar los pasos sugeridos por Gemini:

Para aplicar una sugerencia de Gemini como un paso de preparación de datos, haz lo siguiente:

1. En la vista de datos, haz clic en el nombre de una columna o en una celda en particular. Gemini genera sugerencias para filtrar y transformar los datos.

2. Opcional: Para mejorar las sugerencias, edita los valores de una a tres celdas en la tabla para demostrar cómo deberían verse los valores de una columna. Por ejemplo, ingresa una fecha con el formato que quieras aplicar a todas las fechas. Gemini genera sugerencias nuevas en función de tus cambios.

   En la siguiente imagen, se muestra cómo puedes editar los valores para mejorar los pasos que sugiere Gemini:

   

3. Selecciona una tarjeta de sugerencia.

   1. Opcional: Para obtener una vista previa del resultado de la tarjeta de sugerencia, haz clic en Vista previa.
   2. Opcional: Para modificar la tarjeta de sugerencia con lenguaje natural, haz clic en Editar.

4. Haz clic en Aplicar.

Agrega pasos con lenguaje natural o expresiones de SQL

Si las sugerencias existentes no satisfacen tus necesidades, agrega un paso. Elige columnas o un tipo de paso y, luego, describe lo que quieres con lenguaje natural.

Agrega una transformación

1. En la vista de datos o de esquema, elige la opción Transformar. También puedes elegir columnas o agregar ejemplos para ayudar a Gemini a comprender tu transformación de datos.
2. En el campo Descripción, ingresa una instrucción, como Convert the state column to uppercase.

3. Haz clic en Enviar Enviar.

   Gemini genera una expresión de SQL y una descripción nueva según tu instrucción.

4. En la lista Columna de destino, selecciona o ingresa un nombre de columna.

5. Opcional: Para actualizar la expresión de SQL, revisa la instrucción y haz clic en enviar Enviar, o ingresa una expresión de SQL de forma manual.

6. Opcional: Haz clic en Vista previa y revisa el paso.

7. Haz clic en Aplicar.

Compacta columnas JSON

Para que sea más fácil acceder a los pares clave-valor y analizarlos, reduce las columnas JSON. Por ejemplo, si tienes una columna JSON llamada user_properties que contiene las claves country y device_type, la compactación de esta columna extrae country y device_type en sus propias columnas de nivel superior para que puedas usarlas directamente en tu análisis.

Gemini para BigQuery sugiere operaciones que extraen campos solo del nivel superior del JSON. Si estos campos extraídos contienen más objetos JSON, puedes simplificarlos en pasos adicionales para acceder a su contenido.

1. En la vista de datos de una tabla de origen JSON, elige una columna o celdas.
2. Haz clic en Aplanar para generar sugerencias.
3. Opcional: Para actualizar la expresión de SQL, puedes ingresar una expresión de SQL de forma manual.
4. Opcional: Haz clic en Vista previa y revisa el paso.
5. Haz clic en Aplicar.

La compactación tiene los siguientes comportamientos:

• La opción Aplanar aparece en la vista de datos después de seleccionar celdas o columnas que contienen JSON. No aparece de forma predeterminada cuando haces clic en Agregar paso.
• Si una clave JSON no está presente en las filas seleccionadas, la sugerencia generada no contiene esa clave. Este problema puede provocar que se omitan algunas columnas cuando se simplifican los datos.
• Si los nombres de las columnas entran en conflicto durante la compactación, los nombres de las columnas repetidas terminan en este formato: _<i>. Por ejemplo, si ya existe una columna llamada address, el nombre de la nueva columna compactada será address_1.
• Los nombres de las columnas compactadas siguen las convenciones de nombres de columnas de BigQuery.
• Si dejas vacío el campo de clave JSON, el formato predeterminado del nombre de la columna es f<i>_.

Aplanar columnas RECORD o STRUCT

Para que los campos anidados sean más fáciles de acceder y analizar, reduce las columnas con el tipo de datos RECORD o STRUCT. Por ejemplo, si tienes un registro event_log que contiene los campos timestamp y action, cuando se compacta este registro, se extraen timestamp y action en sus propias columnas de nivel superior para que puedas transformarlos directamente.

Este proceso extrae todas las columnas anidadas del registro, hasta 10 niveles de profundidad, y crea una columna nueva para cada una. Los nombres de las columnas nuevas se crean combinando el nombre de la columna superior con el nombre del campo anidado, separados por un guion bajo (por ejemplo, PARENT-COLUMN-NAME_FIELD-NAME). Se descarta la columna original. Para conservar la columna original, puedes borrar el paso Drop column de la lista Applied steps.

Para compactar registros, sigue estos pasos:

1. En la vista de datos de una tabla de origen, elige una columna de registro.
2. Haz clic en Aplanar para generar sugerencias.
3. Opcional: Para actualizar la expresión de SQL, puedes ingresar una expresión de SQL de forma manual.
4. Opcional: Haz clic en Vista previa y revisa el paso.
5. Haz clic en Aplicar.

Desanidar arrays

La anulación de anidamiento expande cada elemento de un array en su propia fila y duplica los demás valores de la columna original en cada fila nueva. Esta acción es útil para analizar columnas que contienen arrays con una cantidad variable de elementos, como listas de respuestas de la API.

Puedes anular la anidación de los siguientes tipos de columnas:

• Tipo de datos ARRAY: Se desanida en elementos del tipo base del array. Por ejemplo, una anulación de anidamiento de ARRAY<STRUCT<...>> genera elementos de tipo STRUCT.
• Columnas JSON: Desanida los arrays JSON dentro de la columna en elementos de tipo JSON.

Cuando anulas la anidación de un array, se crea una columna nueva que contiene los elementos sin anidar. De forma predeterminada, se quita la columna de array original. Para conservar la columna original, borra el paso Quitar columna de la lista Pasos aplicados.

Para anular el anidamiento de arrays, sigue estos pasos:

1. En la vista de datos de una tabla de origen, elige una columna ARRAY.
2. Haz clic en Anular anidamiento para generar sugerencias.
3. Opcional: Para actualizar la expresión de SQL, puedes ingresar una expresión de SQL de forma manual.
4. Opcional: Haz clic en Vista previa y revisa el paso.
5. Haz clic en Aplicar.

Filtra filas

Para agregar un filtro que quite filas, sigue estos pasos:

1. En la vista de datos o de esquema, elige la opción Filtrar. También puedes elegir columnas para ayudar a Gemini a comprender tu filtro de datos.
2. En el campo Descripción, ingresa una instrucción, como Column ID should not be NULL.

3. Haz clic en Generar. Gemini genera una expresión de SQL y una descripción nueva según tu instrucción.

4. Opcional: Para actualizar la expresión de SQL, revisa la instrucción y haz clic en enviar Enviar o ingresa una expresión de SQL de forma manual.

5. Opcional: Haz clic en Vista previa y revisa el paso.

6. Haz clic en Aplicar.

Formato de la expresión de filtro

Las expresiones de SQL para los filtros conservan las filas que coinciden con la condición especificada. Esto equivale a una sentencia SELECT … WHERE SQL_EXPRESSION.

Por ejemplo, para conservar los registros en los que la columna year sea mayor o igual que 2000, la condición es year >= 2000.

Las expresiones deben seguir la sintaxis de SQL de BigQuery para la cláusula WHERE.

anular los datos duplicados

Para quitar las filas duplicadas de tus datos, sigue estos pasos:

1. En la vista de datos o de esquema, elige la opción Deduplicar. Gemini proporciona una sugerencia inicial de desduplicación.
2. Opcional: Para definir mejor la sugerencia, ingresa una descripción nueva y haz clic en enviar Enviar.
3. Opcional: Para configurar de forma manual el paso de anulación de duplicación, usa las siguientes opciones:
   • En la lista Selección de registros, selecciona una de las siguientes estrategias:
     • Primero: Para cada grupo de filas con los mismos valores de clave de anulación de duplicación, esta estrategia elige la primera fila según la expresión ORDER BY y quita el resto.
     • Última: Para cada grupo de filas con los mismos valores de clave de anulación de duplicación, esta estrategia elige la última fila según la expresión ORDER BY y quita el resto.
     • Cualquiera: Para cada grupo de filas con los mismos valores de clave de anulación de duplicación, esta estrategia elige cualquier fila de ese grupo y quita el resto.
     • Distinct: Quita todas las filas duplicadas en todas las columnas de la tabla.
   • En el campo Claves de anulación de duplicación, elige una o más columnas o expresiones para identificar las filas duplicadas. Este campo se aplica cuando la estrategia de elección de registros es Primero, Último o Cualquiera.
   • En el campo Ordenar por expresión, ingresa una expresión que defina el orden de las filas. Por ejemplo, para elegir la fila más reciente, ingresa datetime DESC. Para elegir la primera fila alfabéticamente por nombre, ingresa un nombre de columna como last_name. La expresión sigue las mismas reglas que la cláusula ORDER BY estándar en BigQuery. Este campo solo se aplica cuando la estrategia de elección de registros es Primero o Último.
4. Opcional: Haz clic en Vista previa y revisa el paso.
5. Haz clic en Aplicar.

Borra una columna

Para borrar una o más columnas de una preparación de datos, sigue estos pasos:

1. En la vista de datos o de esquema, selecciona las columnas que deseas quitar.
2. Haz clic en Drop. Se agrega un nuevo paso aplicado para las columnas borradas.

Agrega una operación de unión con Gemini

Para agregar un paso de operación de unión entre dos fuentes en tu preparación de datos, sigue estos pasos:

1. En la vista de datos de un nodo de tu preparación de datos, ve a la lista Sugerencias y haz clic en la opción Unir.
2. En el cuadro de diálogo Agregar unión, haz clic en Explorar y, luego, selecciona la otra tabla involucrada en la operación de unión (denominada lado derecho de la unión).
3. Opcional: Selecciona el tipo de operación de unión que deseas realizar, como Unión interna.

4. Revisa la información de la clave de unión generada por Gemini en los siguientes campos:

   • Descripción de la unión: Es la descripción en lenguaje natural de la expresión de SQL para la operación de unión. Cuando editas esta descripción y haces clic en enviar Enviar, Gemini sugiere nuevas condiciones de combinación de SQL.

   • Condiciones de unión: Son las expresiones de SQL dentro de la cláusula ON para la operación de unión. Puedes usar los calificadores L y R para hacer referencia a las tablas de origen izquierda y derecha, respectivamente. Por ejemplo, para unir la columna customer_id de la tabla izquierda a la columna customer_id de la tabla derecha, ingresa L.customerId = R.customerId. Estos calificadores no distinguen mayúsculas de minúsculas.

5. Opcional: Para definir mejor las sugerencias de Gemini, edita el campo Descripción de la unión y, luego, haz clic en enviar Enviar.

6. Opcional: Para obtener una vista previa de la configuración de la operación de unión de tu preparación de datos, haz clic en Vista previa.

7. Haz clic en Aplicar.

   Se crea el paso de la operación de unión. La tabla de origen que seleccionaste (el lado derecho de la unión) y la operación de unión se reflejan en la lista de pasos aplicados y en los nodos de la vista de grafo de la preparación de datos.

Datos agregados

1. En la vista de datos o de esquema, elige la opción Agregación.
2. En el campo Descripción, ingresa una instrucción, como Find the total revenue for a region.

3. Haz clic en Enviar.

   Gemini genera claves de agrupamiento y expresiones de agregación en función de tu instrucción.

4. Opcional: Edita las claves de agrupación o las expresiones de agregación generadas, si es necesario.

5. Opcional: Puedes agregar claves de agrupación y expresiones de agregación de forma manual.

   • En el campo Claves de agrupación, ingresa un nombre de columna o una expresión. Si lo dejas en blanco, la tabla resultante tendrá una fila. Si ingresas una expresión, debe tener un alias (una cláusula AS), por ejemplo, EXTRACT(YEAR FROM order_date) AS order_year. No se permiten duplicados.
   • En el campo Expresiones de agregación, ingresa una expresión de agregación que tenga un alias (una cláusula AS), por ejemplo, SUM(quantity) AS total_quantity. Puedes ingresar varias expresiones separadas por comas. No se permiten duplicados. Para obtener una lista de las expresiones de agregación admitidas, consulta Funciones de agregación.

6. Opcional: Haz clic en Vista previa y revisa el paso.

7. Haz clic en Aplicar.

Configura la tabla de errores y agrega una regla de validación

Puedes agregar un filtro que cree una regla de validación, que envíe errores a una tabla de errores o que falle la ejecución de la preparación de datos.

Configura la tabla de errores

Para configurar tu tabla de errores, sigue estos pasos:

1. En el editor de preparación de datos, ve a la barra de herramientas y haz clic en Más > Tabla de errores.
2. Haz clic en Habilitar tabla de errores.
3. Define la ubicación de la tabla.
4. Opcional: Define una duración máxima para mantener los errores.
5. Haz clic en Guardar.

Agrega una regla de validación

Para agregar una regla de validación, sigue estos pasos:

1. En la vista de datos o de esquema, haz clic en la opción Filtrar. También puedes elegir columnas para ayudar a Gemini a comprender tu filtro de datos.
2. Ingresa una descripción para el paso.
3. Ingresa una expresión de SQL en forma de cláusula WHERE.
4. Opcional: Si quieres que la expresión de SQL actúe como una regla de validación, selecciona la casilla de verificación Las filas de validación con errores se envían a la tabla de errores. También puedes cambiar un filtro a una validación en la barra de herramientas de preparación de datos haciendo clic en Más > Tabla de errores.
5. Opcional: Haz clic en Vista previa y revisa el paso.
6. Haz clic en Aplicar.

Agrega o cambia una tabla de destino

Se requiere una tabla de destino para ejecutar o programar la preparación de datos. Para agregar o cambiar una tabla de destino para el resultado de la preparación de datos, sigue estos pasos:

1. En la vista de datos o de esquema, haz clic en Destino en la lista Sugerencias.
2. Selecciona el proyecto en el que se almacena la tabla de destino.
3. Selecciona uno de los conjuntos de datos o carga uno nuevo.
4. Ingresa una tabla de destino. Si la tabla no existe, la preparación de datos crea una tabla nueva en la primera ejecución. Para obtener más información, consulta Modo de escritura.
5. Selecciona tu conjunto de datos como el conjunto de datos de destino.
6. Haz clic en Guardar.

Visualiza la muestra de datos y el esquema de un paso aplicado

Para ver los detalles de la muestra y del esquema en un paso específico de la preparación de datos, haz lo siguiente:

1. En el editor de preparación de datos, ve a la lista Pasos y haz clic en Pasos aplicados.
2. Selecciona un paso. Aparecerán las pestañas Datos y Esquema, que muestran la muestra de datos y el esquema de este paso en particular.

Editar un paso aplicado

Para editar un paso aplicado, haz lo siguiente:

1. En el editor de preparación de datos, ve a la lista Pasos y haz clic en Pasos aplicados.
2. Selecciona un paso.
3. Junto al paso, haz clic en more_vert Menú > Editar.
4. En el cuadro de diálogo Editar paso aplicado, puedes hacer lo siguiente:
   • Edita la descripción del paso.
   • Para obtener sugerencias de Gemini, edita la descripción y haz clic en enviar Enviar.
   • Edita la expresión de SQL.
5. En el campo Columna de destino, selecciona una columna.
6. Opcional: Haz clic en Vista previa y revisa el paso.
7. Haz clic en Aplicar.

Cómo borrar un paso aplicado

Para borrar un paso aplicado, haz lo siguiente:

1. En el editor de preparación de datos, ve a la lista Pasos y haz clic en Pasos aplicados.
2. Selecciona un paso.
3. Haz clic en more_vert Menú > Borrar.

Ejecuta la preparación de datos

Después de agregar los pasos de preparación de datos, configurar el destino y corregir los errores de validación, puedes realizar ejecuciones de prueba en una muestra de los datos o implementar los pasos y programar las ejecuciones de preparación de datos. Para obtener más información, consulta Programa preparaciones de datos.

Actualiza las muestras de preparación de datos

Los datos de la muestra no se actualizan automáticamente. Si los datos de las tablas de origen para la preparación de datos cambiaron, pero los cambios no se reflejan en la muestra de datos de la preparación, haz clic en Más > Actualizar muestra.

¿Qué sigue?

• Obtén información para programar preparaciones de datos.
• Obtén información para administrar preparaciones de datos.
• Revisa los precios de Gemini en BigQuery.