Referencia de administración de extremos del modelo

En esta página, se enumeran los parámetros de las diferentes funciones que proporciona Cloud SQL para registrar y administrar extremos de modelos. En la página, también se enumeran los secretos que puedes administrar con la administración de extremos del modelo.

Modelos

Usa esta referencia para comprender los parámetros de las funciones que te permiten administrar los extremos del modelo.

mysql.ml_create_model_registration()

A continuación, se muestra cómo usar la función mysql.ml_create_model_registration() para registrar metadatos del extremo del modelo:

  CALL
    mysql.ml_create_model_registration(
      'MODEL_ID',
      'REQUEST_URL',
      'PROVIDER_ID',
      'MODEL_TYPE',
      'MODEL_QUALIFIED_NAME',
      'AUTH_TYPE',
      'AUTH_ID',
      'GENERATE_HEADER_FUNCTION',
      'INPUT_TRANSFORM_FUNCTION',
      'OUTPUT_TRANSFORM_FUNCTION');

mysql.ml_alter_model_registration()

A continuación, se muestra cómo llamar a la función de SQL mysql.ml_alter_model_registration() que se usa para actualizar los metadatos del extremo del modelo:

    CALL
    mysql.ml_alter_model_registration(
      'MODEL_ID',
      'REQUEST_URL',
      'PROVIDER_ID',
      'MODEL_TYPE',
      'MODEL_QUALIFIED_NAME',
      'AUTH_TYPE',
      'AUTH_ID',
      'GENERATE_HEADER_FUNCTION',
      'INPUT_TRANSFORM_FUNCTION',
      'OUTPUT_TRANSFORM_FUNCTION');

mysql.ml_drop_model_registration()

A continuación, se muestra cómo llamar a la función de SQL mysql.ml_drop_model_registration() que se usa para descartar un extremo del modelo:

  CALL mysql.ml_drop_model_registration('MODEL_ID');

mysql.ml_list_registered_model()

A continuación, se muestra cómo llamar a la función de SQL mysql.ml_list_registered_model() que se usa para enumerar la información del extremo del modelo:

  SELECT mysql.ml_list_registered_model('MODEL_ID');

mysql.cloudsql_ml_models

A continuación, se muestra cómo consultar la tabla mysql.cloudsql_ml_models que se usa para enumerar la información del extremo del modelo para todos los extremos del modelo:

  SELECT * FROM mysql.cloudsql_ml_models;

Secrets

Usa esta referencia para comprender los parámetros de las funciones que te permiten administrar secretos.

mysql.ml_create_sm_secret_registration()

A continuación, se muestra cómo llamar a la función mysql.ml_create_sm_secret_registration() de SQL que se usa para agregar el secreto creado en Secret Manager:

    CALL
    mysql.ml_create_sm_secret_registration(
      'SECRET_ID',
      'projects/PROJECT_ID/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

mysql.ml_alter_sm_secret_registration()

A continuación, se muestra cómo llamar a la función mysql.ml_alter_sm_secret_registration() de SQL que se usa para actualizar la información secreta:

  CALL
    mysql.ml_alter_sm_secret_registration(
      'SECRET_ID',
      'projects/PROJECT_ID/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

mysql.ml_drop_sm_secret_registration()

A continuación, se muestra cómo llamar a la función SQL mysql.ml_drop_sm_secret_registration() que se usa para descartar un secreto:

  CALL mysql.ml_drop_sm_secret_registration('SECRET_ID');

Funciones de predicción

Usa esta referencia para comprender los parámetros de las funciones que te permiten generar incorporaciones o invocar predicciones.

mysql.ml_embedding()

En el siguiente ejemplo, se muestra cómo generar incorporaciones:

SELECT
  mysql.ml_embedding(
    'MODEL_ID',
    'CONTENT');

Para ver ejemplos de consultas en SQL para generar embeddings de texto, consulta Ejemplos.

mysql.ml_predict_row()

A continuación, se muestra cómo invocar predicciones:

SELECT
  mysql.ml_predict_row(
    'MODEL_ID',
    'REQUEST_BODY');

Para ver ejemplos de consultas en SQL para invocar predicciones, consulta Ejemplos.

Funciones de transformación

Usa esta referencia para comprender los parámetros de las funciones de transformación de entrada y salida.

Función de transformación de entrada

A continuación, se muestra la firma de la función de predicción para los extremos del modelo de incorporación de texto:

  CREATE FUNCTION IF NOT EXISTS
  INPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), input_text TEXT) RETURNS JSON DETERMINISTIC;

Función de transformación de salida

A continuación, se muestra la firma de la función de predicción para los extremos del modelo de incorporación de texto:

  CREATE FUNCTION IF NOT EXISTS
  OUTPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), response_json JSON) RETURNS BLOB DETERMINISTIC;

Ejemplo de funciones de transformación

Para comprender mejor cómo crear funciones de transformación para el extremo de tu modelo, considera un extremo de modelo de incorporación de texto alojado de forma personalizada que requiera entrada y salida JSON.

En el siguiente ejemplo de solicitud de curl, se crean incorporaciones basadas en la instrucción y el extremo del modelo:

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
    -H "Content-Type: application/json"
    -d '{"prompt": ["Cloud SQL Embeddings"]}'

Se muestra la siguiente respuesta de ejemplo:

[[ 0.3522231  -0.35932037  0.10156056  0.17734447 -0.11606089 -0.17266059
   0.02509351  0.20305622 -0.09787305 -0.12154685 -0.17313677 -0.08075467
   0.06821183 -0.06896557  0.1171584  -0.00931572  0.11875633 -0.00077482
   0.25604948  0.0519384   0.2034983  -0.09952664  0.10347155 -0.11935943
  -0.17872004 -0.08706985 -0.07056875 -0.05929353  0.4177883  -0.14381726
   0.07934926  0.31368294  0.12543282  0.10758053 -0.30210832 -0.02951015
   0.3908268  -0.03091059  0.05302926 -0.00114946 -0.16233777  0.1117468
  -0.1315904   0.13947351 -0.29569918 -0.12330773 -0.04354299 -0.18068913
   0.14445548  0.19481727]]

Según esta entrada y respuesta, puedes inferir lo siguiente:

• El modelo espera una entrada JSON a través del campo prompt. Este campo acepta un array de entradas. Como la función mysql.ml_embedding() es una función a nivel de la fila, espera una entrada de texto a la vez. Por lo tanto, debes crear una función de transformación de entrada que cree un array con un solo elemento.

• La respuesta del modelo es un array de embeddings, uno para cada entrada de instrucción al modelo. Como la función mysql.ml_embedding() es una función a nivel de la fila, muestra una sola entrada a la vez. Por lo tanto, debes crear una función de transformación de salida que se pueda usar para extraer la incorporación del array.

En el siguiente ejemplo, se muestran las funciones de transformación de entrada y salida que se usan para este extremo del modelo cuando se registra con la administración de extremos del modelo:

DELIMITER $$
CREATE FUNCTION IF NOT EXISTS cymbal_text_input_transform(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
DETERMINISTIC

BEGIN
  RETURN JSON_OBJECT('prompt', JSON_ARRAY(input_text));
END $$

CREATE FUNCTION IF NOT EXISTS cymbal_text_output_transform(model_id VARCHAR(100), response_json JSON)
RETURNS BLOB
DETERMINISTIC

BEGIN
  RETURN STRING_TO_VECTOR(
         JSON_EXTRACT(
              content,
              '$.predictions[0].embeddings.values'
            )
    );

END $$
DELIMITER ;

HTTP header generation function

The following shows signature for the header generation function that can be used with the `mysql.ml_embedding()` prediction function when registering other text embedding model endpoints.

  CREATE FUNCTION IF NOT EXISTS GENERATE_HEADERS(model_id VARCHAR(100), input_text TEXT) RETURNS JSON DETERMINISTIC;

For the mysql.ml_predict_row() prediction function, the signature is as follows:

CREATE FUNCTION IF NOT EXISTS GENERATE_HEADERS(model_id TEXT, input JSON) RETURNS JSON DETERMINISTIC;

Header generation function example

To better understand how to create a function that generates output in JSON key value pairs that are used as HTTP headers, consider a custom-hosted text embedding model endpoint.

The following example curl request passes the version HTTP header, which is used by the model endpoint:

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
      -H "Content-Type: application/json" \
      -H "version: 2024-01-01" \
      -d '{"prompt": ["Cloud SQL Embeddings"]}'

The model expects text input through the version field and returns the version value in JSON format. The following example shows the header generation function that is used for this text embedding model endpoint when it is registered with model endpoint management:

DELIMITER $$
CREATE FUNCTION IF NOT EXISTS header_gen_fn(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
DETERMINISTIC
BEGIN
  RETURN JSON_OBJECT('version', '2024-01-01');
END;
$$
DELIMITER ;