Documentation de référence sur la gestion des points de terminaison de modèle

Cette page liste les paramètres des différentes fonctions fournies par Cloud SQL pour enregistrer et gérer les points de terminaison de modèles. La page liste également les secrets que vous pouvez gérer à l'aide de la gestion des points de terminaison de modèle.

Modèles

Utilisez cette référence pour comprendre les paramètres des fonctions qui vous permettent de gérer les points de terminaison des modèles.

mysql.ml_create_model_registration()

L'exemple suivant montre comment utiliser la fonction mysql.ml_create_model_registration() pour enregistrer les métadonnées du point de terminaison du modèle :

  CALL
    mysql.ml_create_model_registration(
      'MODEL_ID',
      'REQUEST_URL',
      'PROVIDER_ID',
      'MODEL_TYPE',
      'MODEL_QUALIFIED_NAME',
      'AUTH_TYPE',
      'AUTH_ID',
      'GENERATE_HEADER_FUNCTION',
      'INPUT_TRANSFORM_FUNCTION',
      'OUTPUT_TRANSFORM_FUNCTION');

mysql.ml_alter_model_registration()

L'exemple suivant montre comment appeler la fonction SQL mysql.ml_alter_model_registration() utilisée pour mettre à jour les métadonnées du point de terminaison du modèle :

    CALL
    mysql.ml_alter_model_registration(
      'MODEL_ID',
      'REQUEST_URL',
      'PROVIDER_ID',
      'MODEL_TYPE',
      'MODEL_QUALIFIED_NAME',
      'AUTH_TYPE',
      'AUTH_ID',
      'GENERATE_HEADER_FUNCTION',
      'INPUT_TRANSFORM_FUNCTION',
      'OUTPUT_TRANSFORM_FUNCTION');

mysql.ml_drop_model_registration()

L'exemple suivant montre comment appeler la fonction SQL mysql.ml_drop_model_registration() utilisée pour supprimer un point de terminaison de modèle :

  CALL mysql.ml_drop_model_registration('MODEL_ID');

mysql.ml_list_registered_model()

L'exemple suivant montre comment appeler la fonction SQL mysql.ml_list_registered_model() utilisée pour lister les informations sur les points de terminaison de modèle :

  SELECT mysql.ml_list_registered_model('MODEL_ID');

mysql.cloudsql_ml_models

L'exemple suivant montre comment interroger la table mysql.cloudsql_ml_models utilisée pour lister les informations des points de terminaison de modèle pour tous les points de terminaison de modèle :

  SELECT * FROM mysql.cloudsql_ml_models;

Secrets

Utilisez cette référence pour comprendre les paramètres des fonctions qui vous permettent de gérer les secrets.

mysql.ml_create_sm_secret_registration()

L'exemple suivant montre comment appeler la fonction SQL mysql.ml_create_sm_secret_registration() utilisée pour ajouter le secret créé dans Secret Manager :

    CALL
    mysql.ml_create_sm_secret_registration(
      'SECRET_ID',
      'projects/PROJECT_ID/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

mysql.ml_alter_sm_secret_registration()

L'exemple suivant montre comment appeler la fonction SQL mysql.ml_alter_sm_secret_registration() utilisée pour mettre à jour les informations de secret :

  CALL
    mysql.ml_alter_sm_secret_registration(
      'SECRET_ID',
      'projects/PROJECT_ID/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

mysql.ml_drop_sm_secret_registration()

L'exemple suivant montre comment appeler la fonction SQL mysql.ml_drop_sm_secret_registration() utilisée pour supprimer un secret :

  CALL mysql.ml_drop_sm_secret_registration('SECRET_ID');

Fonctions de prédiction

Utilisez cette référence pour comprendre les paramètres des fonctions qui vous permettent de générer des embeddings ou d'appeler des prédictions.

mysql.ml_embedding()

Voici comment générer des embeddings :

SELECT
  mysql.ml_embedding(
    'MODEL_ID',
    'CONTENT');

Pour obtenir des exemples de requêtes SQL permettant de générer des embeddings textuels, consultez Exemples.

mysql.ml_predict_row()

Voici comment appeler des prédictions :

SELECT
  mysql.ml_predict_row(
    'MODEL_ID',
    'REQUEST_BODY');

Pour obtenir des exemples de requêtes SQL permettant d'appeler des prédictions, consultez Exemples.

Fonctions de transformation

Utilisez cette référence pour comprendre les paramètres des fonctions de transformation d'entrée et de sortie.

Fonction de transformation d'entrée

Vous trouverez ci-dessous la signature de la fonction de prédiction pour les points de terminaison des modèles d'embeddings textuels :

  CREATE FUNCTION IF NOT EXISTS
  INPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), input_text TEXT) RETURNS JSON DETERMINISTIC;

Fonction de transformation de sortie

Vous trouverez ci-dessous la signature de la fonction de prédiction pour les points de terminaison des modèles d'embeddings textuels :

  CREATE FUNCTION IF NOT EXISTS
  OUTPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), response_json JSON) RETURNS BLOB DETERMINISTIC;

Exemples de fonctions de transformation

Pour mieux comprendre comment créer des fonctions de transformation pour le point de terminaison de votre modèle, prenons l'exemple d'un point de terminaison de modèle d'embedding textuel personnalisé et hébergé, qui nécessite des entrées et des sorties JSON.

L'exemple de requête curl suivant crée des embeddings en fonction du prompt et du point de terminaison du modèle :

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
    -H "Content-Type: application/json"
    -d '{"prompt": ["Cloud SQL Embeddings"]}'

La réponse suivante est renvoyée :

[[ 0.3522231  -0.35932037  0.10156056  0.17734447 -0.11606089 -0.17266059
   0.02509351  0.20305622 -0.09787305 -0.12154685 -0.17313677 -0.08075467
   0.06821183 -0.06896557  0.1171584  -0.00931572  0.11875633 -0.00077482
   0.25604948  0.0519384   0.2034983  -0.09952664  0.10347155 -0.11935943
  -0.17872004 -0.08706985 -0.07056875 -0.05929353  0.4177883  -0.14381726
   0.07934926  0.31368294  0.12543282  0.10758053 -0.30210832 -0.02951015
   0.3908268  -0.03091059  0.05302926 -0.00114946 -0.16233777  0.1117468
  -0.1315904   0.13947351 -0.29569918 -0.12330773 -0.04354299 -0.18068913
   0.14445548  0.19481727]]

Sur la base de cette entrée et de cette réponse, vous pouvez déduire les éléments suivants :

• Le modèle s'attend à une entrée JSON via le champ prompt. Ce champ accepte un tableau d'entrées. Comme la fonction mysql.ml_embedding() est une fonction au niveau de la ligne, elle s'attend à une entrée de texte à la fois. Vous devez donc créer une fonction de transformation d'entrée qui crée un tableau avec un seul élément.

• La réponse du modèle est un tableau d'embeddings, un pour chaque prompt envoyé au modèle. Comme la fonction mysql.ml_embedding() est une fonction au niveau de la ligne, elle renvoie une seule entrée à la fois. Vous devez donc créer une fonction de transformation de sortie qui peut être utilisée pour extraire l'embedding du tableau.

L'exemple suivant montre les fonctions de transformation d'entrée et de sortie utilisées pour ce point de terminaison de modèle lorsqu'il est enregistré auprès de la gestion des points de terminaison de modèle :

DELIMITER $$
CREATE FUNCTION IF NOT EXISTS cymbal_text_input_transform(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
DETERMINISTIC

BEGIN
  RETURN JSON_OBJECT('prompt', JSON_ARRAY(input_text));
END $$

CREATE FUNCTION IF NOT EXISTS cymbal_text_output_transform(model_id VARCHAR(100), response_json JSON)
RETURNS BLOB
DETERMINISTIC

BEGIN
  RETURN STRING_TO_VECTOR(
         JSON_EXTRACT(
              content,
              '$.predictions[0].embeddings.values'
            )
    );

END $$
DELIMITER ;

HTTP header generation function

The following shows signature for the header generation function that can be used with the `mysql.ml_embedding()` prediction function when registering other text embedding model endpoints.

  CREATE FUNCTION IF NOT EXISTS GENERATE_HEADERS(model_id VARCHAR(100), input_text TEXT) RETURNS JSON DETERMINISTIC;

For the mysql.ml_predict_row() prediction function, the signature is as follows:

CREATE FUNCTION IF NOT EXISTS GENERATE_HEADERS(model_id TEXT, input JSON) RETURNS JSON DETERMINISTIC;

Header generation function example

To better understand how to create a function that generates output in JSON key value pairs that are used as HTTP headers, consider a custom-hosted text embedding model endpoint.

The following example curl request passes the version HTTP header, which is used by the model endpoint:

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
      -H "Content-Type: application/json" \
      -H "version: 2024-01-01" \
      -d '{"prompt": ["Cloud SQL Embeddings"]}'

The model expects text input through the version field and returns the version value in JSON format. The following example shows the header generation function that is used for this text embedding model endpoint when it is registered with model endpoint management:

DELIMITER $$
CREATE FUNCTION IF NOT EXISTS header_gen_fn(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
DETERMINISTIC
BEGIN
  RETURN JSON_OBJECT('version', '2024-01-01');
END;
$$
DELIMITER ;