Documentation de référence sur la gestion des points de terminaison de modèle

Cette page liste les paramètres des différentes fonctions fournies par l'extension google_ml_integration pour enregistrer et gérer les points de terminaison de modèles. La page liste également les secrets que vous pouvez gérer à l'aide de la gestion des points de terminaison de modèle. Pour utiliser des modèles d'IA dans des environnements de production, consultez Créer des applications d'IA générative à l'aide de Cloud SQL.

Modèles

Utilisez cette référence pour comprendre les paramètres des fonctions qui vous permettent de gérer les points de terminaison des modèles.

google_ml.create_model()

L'exemple suivant montre comment appeler la fonction SQL google_ml.create_model() utilisée pour enregistrer les métadonnées du point de terminaison du modèle :

  CALL
    google_ml.create_model(
      model_id => 'MODEL_ID',
      model_request_url => 'REQUEST_URL',
      model_provider => 'PROVIDER_ID',
      model_type => 'MODEL_TYPE',
      model_qualified_name => 'MODEL_QUALIFIED_NAME',
      model_auth_type => 'AUTH_TYPE',
      model_auth_id => 'AUTH_ID',
      generate_headers_fn => 'GENERATE_HEADER_FUNCTION',
      model_in_transform_fn => 'INPUT_TRANSFORM_FUNCTION',
      model_out_transform_fn => 'OUTPUT_TRANSFORM_FUNCTION');

google_ml.alter_model()

L'exemple suivant montre comment appeler la fonction SQL google_ml.alter_model() utilisée pour mettre à jour les métadonnées du point de terminaison du modèle :

    CALL
    google_ml.alter_model(
      model_id => 'MODEL_ID',
      model_request_url => 'REQUEST_URL',
      model_provider => 'PROVIDER_ID',
      model_type => 'MODEL_TYPE',
      model_qualified_name => 'MODEL_QUALIFIED_NAME',
      model_auth_type => 'AUTH_TYPE',
      model_auth_id => 'AUTH_ID',
      generate_headers_fn => 'GENERATE_HEADER_FUNCTION',
      model_in_transform_fn => 'INPUT_TRANSFORM_FUNCTION',
      model_out_transform_fn => 'OUTPUT_TRANSFORM_FUNCTION');

google_ml.drop_model()

L'exemple suivant montre comment appeler la fonction SQL google_ml.drop_model() utilisée pour supprimer un point de terminaison de modèle :

  CALL google_ml.drop_model('MODEL_ID');

google_ml.list_model()

L'exemple suivant montre comment appeler la fonction SQL google_ml.list_model() utilisée pour lister les informations sur les points de terminaison de modèle :

  SELECT google_ml.list_model('MODEL_ID');

google_ml.model_info_view

L'exemple suivant montre comment appeler la vue google_ml.model_info_view utilisée pour lister les informations des points de terminaison de modèle pour tous les points de terminaison de modèle :

  SELECT * FROM google_ml.model_info_view;

Secrets

Utilisez cette référence pour comprendre les paramètres des fonctions qui vous permettent de gérer les secrets.

google_ml.create_sm_secret()

L'exemple suivant montre comment appeler la fonction SQL google_ml.create_sm_secret() utilisée pour ajouter le secret créé dans Secret Manager :

    CALL
    google_ml.create_sm_secret(
      secret_id => 'SECRET_ID',
      secret_path => 'projects/PROJECT_ID/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

google_ml.alter_sm_secret()

L'exemple suivant montre comment appeler la fonction SQL google_ml.alter_sm_secret() utilisée pour mettre à jour les informations de secret :

  CALL
    google_ml.alter_sm_secret(
      secret_id => 'SECRET_ID',
      secret_path => 'projects/PROJECT_ID/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

google_ml.drop_sm_secret()

L'exemple suivant montre comment appeler la fonction SQL google_ml.drop_sm_secret() utilisée pour supprimer un secret :

  CALL google_ml.drop_sm_secret('SECRET_ID');

Fonctions de prédiction

Utilisez cette référence pour comprendre les paramètres des fonctions qui vous permettent de générer des embeddings ou d'appeler des prédictions.

google_ml.embedding()

Voici comment générer des embeddings :

SELECT
  google_ml.embedding(
    model_id => 'MODEL_ID',
    contents => 'CONTENT');

Pour obtenir des exemples de requêtes SQL permettant de générer des embeddings textuels, consultez Exemples.

google_ml.predict_row()

Voici comment appeler des prédictions :

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Pour obtenir des exemples de requêtes SQL permettant d'appeler des prédictions, consultez Exemples.

Fonctions de transformation

Utilisez cette référence pour comprendre les paramètres des fonctions de transformation d'entrée et de sortie.

Fonction de transformation d'entrée

Vous trouverez ci-dessous la signature de la fonction de prédiction pour les points de terminaison des modèles d'embeddings textuels :

  CREATE OR REPLACE FUNCTION INPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), input_text TEXT) RETURNS JSON;

Fonction de transformation de sortie

Vous trouverez ci-dessous la signature de la fonction de prédiction pour les points de terminaison des modèles d'embeddings textuels :

  CREATE OR REPLACE FUNCTION OUTPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), response_json JSON) RETURNS real[];

Exemples de fonctions de transformation

Pour mieux comprendre comment créer des fonctions de transformation pour le point de terminaison de votre modèle, prenons l'exemple d'un point de terminaison de modèle d'embedding textuel personnalisé et hébergé, qui nécessite des entrées et des sorties JSON.

L'exemple de requête curl suivant crée des embeddings en fonction du prompt et du point de terminaison du modèle :

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
    -H "Content-Type: application/json"
    -d '{"prompt": ["Cloud SQL Embeddings"]}'

La réponse suivante est renvoyée :

[[ 0.3522231  -0.35932037  0.10156056  0.17734447 -0.11606089 -0.17266059
   0.02509351  0.20305622 -0.09787305 -0.12154685 -0.17313677 -0.08075467
   0.06821183 -0.06896557  0.1171584  -0.00931572  0.11875633 -0.00077482
   0.25604948  0.0519384   0.2034983  -0.09952664  0.10347155 -0.11935943
  -0.17872004 -0.08706985 -0.07056875 -0.05929353  0.4177883  -0.14381726
   0.07934926  0.31368294  0.12543282  0.10758053 -0.30210832 -0.02951015
   0.3908268  -0.03091059  0.05302926 -0.00114946 -0.16233777  0.1117468
  -0.1315904   0.13947351 -0.29569918 -0.12330773 -0.04354299 -0.18068913
   0.14445548  0.19481727]]

Sur la base de cette entrée et de cette réponse, vous pouvez déduire les éléments suivants :

• Le modèle s'attend à une entrée JSON via le champ prompt. Ce champ accepte un tableau d'entrées. Comme la fonction google_ml.embedding() est une fonction au niveau de la ligne, elle s'attend à une entrée de texte à la fois. Vous devez donc créer une fonction de transformation d'entrée qui crée un tableau avec un seul élément.

• La réponse du modèle est un tableau d'embeddings, un pour chaque prompt envoyé au modèle. Comme la fonction google_ml.embedding() est une fonction au niveau de la ligne, elle renvoie une seule entrée à la fois. Vous devez donc créer une fonction de transformation de sortie qui peut être utilisée pour extraire l'embedding du tableau.

L'exemple suivant montre les fonctions de transformation d'entrée et de sortie utilisées pour ce point de terminaison de modèle lorsqu'il est enregistré auprès de la gestion des points de terminaison de modèle :

CREATE OR REPLACE FUNCTION cymbal_text_input_transform(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
LANGUAGE plpgsql
AS $$
DECLARE
  transformed_input JSON;
  model_qualified_name TEXT;
BEGIN
  SELECT json_build_object('prompt', json_build_array(input_text))::JSON INTO transformed_input;
  RETURN transformed_input;
END;
$$;

CREATE OR REPLACE FUNCTION cymbal_text_output_transform(model_id VARCHAR(100), response_json JSON)
RETURNS REAL[]
LANGUAGE plpgsql
AS $$
DECLARE
  transformed_output REAL[];
BEGIN
SELECT ARRAY(SELECT json_array_elements_text(response_json->0)) INTO transformed_output;
RETURN transformed_output;
END;
$$;

Fonction de génération d'en-tête HTTP

Vous trouverez ci-dessous la signature de la fonction de génération d'en-tête qui peut être utilisée avec la fonction de prédiction google_ml.embedding() lors de l'enregistrement d'autres points de terminaison de modèle d'embedding textuel.

  CREATE OR REPLACE FUNCTION GENERATE_HEADERS(model_id VARCHAR(100), input_text TEXT) RETURNS JSON;

Pour la fonction de prédiction google_ml.predict_row(), la signature se présente comme suit :

CREATE OR REPLACE FUNCTION GENERATE_HEADERS(model_id TEXT, input JSON) RETURNS JSON;

Exemple de fonction de génération d'en-tête

Pour mieux comprendre comment créer une fonction qui génère des résultats sous forme de paires clé/valeur JSON utilisées comme en-têtes HTTP, prenons l'exemple d'un point de terminaison de modèle d'embedding textuel personnalisé et hébergé.

L'exemple de requête curl suivant transmet l'en-tête HTTP version utilisé par le point de terminaison du modèle :

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
      -H "Content-Type: application/json" \
      -H "version: 2024-01-01" \
      -d '{"prompt": ["Cloud SQL Embeddings"]}'

Le modèle s'attend à recevoir une entrée de texte via le champ version et renvoie la valeur de la version au format JSON. L'exemple suivant montre la fonction de génération d'en-tête utilisée pour ce point de terminaison de modèle d'embedding textuel lorsqu'il est enregistré auprès de la gestion des points de terminaison du modèle :

Génération d'URL de requête

Utilisez la fonction de génération d'URL de requête pour créer les URL de requête pour les points de terminaison du modèle avec compatibilité intégrée. Vous trouverez ci-dessous la signature de cette fonction :

CREATE OR REPLACE FUNCTION GENERATE_REQUEST_URL(provider google_ml.model_provider, model_type google_ml.MODEL_TYPE, model_qualified_name VARCHAR(100), model_region VARCHAR(100) DEFAULT NULL)