Referensi pengelolaan endpoint model

Halaman ini mencantumkan parameter untuk berbagai fungsi yang disediakan oleh Cloud SQL untuk mendaftarkan dan mengelola endpoint model. Halaman ini juga mencantumkan secret yang dapat Anda kelola menggunakan pengelolaan endpoint model.

Model

Gunakan referensi ini untuk memahami parameter fungsi yang memungkinkan Anda mengelola endpoint model.

mysql.ml_create_model_registration()

Berikut cara menggunakan fungsi mysql.ml_create_model_registration() untuk mendaftarkan metadata endpoint model:

  CALL
    mysql.ml_create_model_registration(
      'MODEL_ID',
      'REQUEST_URL',
      'PROVIDER_ID',
      'MODEL_TYPE',
      'MODEL_QUALIFIED_NAME',
      'AUTH_TYPE',
      'AUTH_ID',
      'GENERATE_HEADER_FUNCTION',
      'INPUT_TRANSFORM_FUNCTION',
      'OUTPUT_TRANSFORM_FUNCTION');

mysql.ml_alter_model_registration()

Berikut cara memanggil fungsi SQL mysql.ml_alter_model_registration() yang digunakan untuk memperbarui metadata endpoint model:

    CALL
    mysql.ml_alter_model_registration(
      'MODEL_ID',
      'REQUEST_URL',
      'PROVIDER_ID',
      'MODEL_TYPE',
      'MODEL_QUALIFIED_NAME',
      'AUTH_TYPE',
      'AUTH_ID',
      'GENERATE_HEADER_FUNCTION',
      'INPUT_TRANSFORM_FUNCTION',
      'OUTPUT_TRANSFORM_FUNCTION');

mysql.ml_drop_model_registration()

Berikut cara memanggil fungsi SQL mysql.ml_drop_model_registration() yang digunakan untuk menghapus endpoint model:

  CALL mysql.ml_drop_model_registration('MODEL_ID');

mysql.ml_list_registered_model()

Berikut ini menunjukkan cara memanggil fungsi SQL mysql.ml_list_registered_model() yang digunakan untuk mencantumkan informasi endpoint model:

  SELECT mysql.ml_list_registered_model('MODEL_ID');

mysql.cloudsql_ml_models

Berikut ini cara membuat kueri tabel mysql.cloudsql_ml_models yang digunakan untuk mencantumkan informasi endpoint model untuk semua endpoint model:

  SELECT * FROM mysql.cloudsql_ml_models;

Rahasia

Gunakan referensi ini untuk memahami parameter fungsi yang memungkinkan Anda mengelola secret.

mysql.ml_create_sm_secret_registration()

Berikut cara memanggil fungsi SQL mysql.ml_create_sm_secret_registration() yang digunakan untuk menambahkan secret yang dibuat di Secret Manager:

    CALL
    mysql.ml_create_sm_secret_registration(
      'SECRET_ID',
      'projects/PROJECT_ID/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

mysql.ml_alter_sm_secret_registration()

Berikut cara memanggil fungsi SQL mysql.ml_alter_sm_secret_registration() yang digunakan untuk memperbarui informasi rahasia:

  CALL
    mysql.ml_alter_sm_secret_registration(
      'SECRET_ID',
      'projects/PROJECT_ID/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');

mysql.ml_drop_sm_secret_registration()

Berikut cara memanggil fungsi SQL mysql.ml_drop_sm_secret_registration() yang digunakan untuk menghapus rahasia:

  CALL mysql.ml_drop_sm_secret_registration('SECRET_ID');

Fungsi prediksi

Gunakan referensi ini untuk memahami parameter fungsi yang memungkinkan Anda membuat sematan atau memanggil prediksi.

mysql.ml_embedding()

Berikut cara membuat sematan:

SELECT
  mysql.ml_embedding(
    'MODEL_ID',
    'CONTENT');

Untuk contoh kueri SQL guna menghasilkan embedding teks, lihat Contoh.

mysql.ml_predict_row()

Berikut cara memanggil prediksi:

SELECT
  mysql.ml_predict_row(
    'MODEL_ID',
    'REQUEST_BODY');

Untuk contoh kueri SQL guna memanggil prediksi, lihat Contoh.

Fungsi transformasi

Gunakan referensi ini untuk memahami parameter fungsi transformasi input dan output.

Fungsi transformasi input

Berikut ini menunjukkan tanda tangan untuk fungsi prediksi untuk endpoint model penyematan teks:

  CREATE FUNCTION IF NOT EXISTS
  INPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), input_text TEXT) RETURNS JSON DETERMINISTIC;

Fungsi transformasi output

Berikut ini menunjukkan tanda tangan untuk fungsi prediksi untuk endpoint model penyematan teks:

  CREATE FUNCTION IF NOT EXISTS
  OUTPUT_TRANSFORM_FUNCTION(model_id VARCHAR(100), response_json JSON) RETURNS BLOB DETERMINISTIC;

Contoh fungsi transformasi

Untuk lebih memahami cara membuat fungsi transformasi untuk endpoint model Anda, pertimbangkan endpoint model penyematan teks yang dihosting kustom yang memerlukan input dan output JSON.

Contoh permintaan curl berikut membuat penyematan berdasarkan perintah dan endpoint model:

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
    -H "Content-Type: application/json"
    -d '{"prompt": ["Cloud SQL Embeddings"]}'

Contoh respons berikut ditampilkan:

[[ 0.3522231  -0.35932037  0.10156056  0.17734447 -0.11606089 -0.17266059
   0.02509351  0.20305622 -0.09787305 -0.12154685 -0.17313677 -0.08075467
   0.06821183 -0.06896557  0.1171584  -0.00931572  0.11875633 -0.00077482
   0.25604948  0.0519384   0.2034983  -0.09952664  0.10347155 -0.11935943
  -0.17872004 -0.08706985 -0.07056875 -0.05929353  0.4177883  -0.14381726
   0.07934926  0.31368294  0.12543282  0.10758053 -0.30210832 -0.02951015
   0.3908268  -0.03091059  0.05302926 -0.00114946 -0.16233777  0.1117468
  -0.1315904   0.13947351 -0.29569918 -0.12330773 -0.04354299 -0.18068913
   0.14445548  0.19481727]]

Berdasarkan input dan respons ini, Anda dapat menyimpulkan hal berikut:

• Model mengharapkan input JSON melalui kolom prompt. Kolom ini menerima array input. Karena fungsi mysql.ml_embedding() adalah fungsi tingkat baris, fungsi ini mengharapkan satu input teks dalam satu waktu. Oleh karena itu, Anda perlu membuat fungsi transformasi input yang membangun array dengan satu elemen.

• Respons dari model adalah array embedding, satu untuk setiap input perintah ke model. Karena fungsi mysql.ml_embedding() adalah fungsi tingkat baris, fungsi ini menampilkan satu input dalam satu waktu. Oleh karena itu, Anda perlu membuat fungsi transformasi output yang dapat digunakan untuk mengekstrak penyematan dari array.

Contoh berikut menunjukkan fungsi transformasi input dan output yang digunakan untuk endpoint model ini saat didaftarkan dengan pengelolaan endpoint model:

DELIMITER $$
CREATE FUNCTION IF NOT EXISTS cymbal_text_input_transform(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
DETERMINISTIC

BEGIN
  RETURN JSON_OBJECT('prompt', JSON_ARRAY(input_text));
END $$

CREATE FUNCTION IF NOT EXISTS cymbal_text_output_transform(model_id VARCHAR(100), response_json JSON)
RETURNS BLOB
DETERMINISTIC

BEGIN
  RETURN STRING_TO_VECTOR(
         JSON_EXTRACT(
              content,
              '$.predictions[0].embeddings.values'
            )
    );

END $$
DELIMITER ;

HTTP header generation function

The following shows signature for the header generation function that can be used with the `mysql.ml_embedding()` prediction function when registering other text embedding model endpoints.

  CREATE FUNCTION IF NOT EXISTS GENERATE_HEADERS(model_id VARCHAR(100), input_text TEXT) RETURNS JSON DETERMINISTIC;

For the mysql.ml_predict_row() prediction function, the signature is as follows:

CREATE FUNCTION IF NOT EXISTS GENERATE_HEADERS(model_id TEXT, input JSON) RETURNS JSON DETERMINISTIC;

Header generation function example

To better understand how to create a function that generates output in JSON key value pairs that are used as HTTP headers, consider a custom-hosted text embedding model endpoint.

The following example curl request passes the version HTTP header, which is used by the model endpoint:

  curl -m 100 -X POST https://cymbal.com/models/text/embeddings/v1 \
      -H "Content-Type: application/json" \
      -H "version: 2024-01-01" \
      -d '{"prompt": ["Cloud SQL Embeddings"]}'

The model expects text input through the version field and returns the version value in JSON format. The following example shows the header generation function that is used for this text embedding model endpoint when it is registered with model endpoint management:

DELIMITER $$
CREATE FUNCTION IF NOT EXISTS header_gen_fn(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
DETERMINISTIC
BEGIN
  RETURN JSON_OBJECT('version', '2024-01-01');
END;
$$
DELIMITER ;