Gere incorporações de texto usando um modelo aberto e a função ML.GENERATE_EMBEDDING

Este tutorial mostra como criar um modelo remoto com base no modelo de incorporação de texto de código aberto Qwen3-Embedding-0.6B e, em seguida, como usar esse modelo com a função ML.GENERATE_EMBEDDING para incorporar críticas de filmes da tabela pública bigquery-public-data.imdb.reviews.

Autorizações necessárias

Para executar este tutorial, precisa das seguintes funções de gestão de identidade e de acesso (IAM):

• Criar e usar conjuntos de dados, ligações e modelos do BigQuery: Administrador do BigQuery (roles/bigquery.admin).
• Conceda autorizações à conta de serviço da ligação: administrador do IAM do projeto (roles/resourcemanager.projectIamAdmin).
• Implementar e anular a implementação de modelos na Vertex AI: administrador da Vertex AI (roles/aiplatform.admin).

Estas funções predefinidas contêm as autorizações necessárias para realizar as tarefas descritas neste documento. Para ver as autorizações exatas necessárias, expanda a secção Autorizações necessárias:

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Custos

Neste documento, usa os seguintes componentes faturáveis do Cloud de Confiance by S3NS:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI model that's represented by the remote model.

Para mais informações acerca dos preços do BigQuery, consulte os preços do BigQuery na documentação do BigQuery.

Os modelos abertos que implementar no Vertex AI são cobrados por hora de máquina. Isto significa que a faturação começa assim que o ponto final estiver totalmente configurado e continua até o anular. Para mais informações sobre os preços do Vertex AI, consulte a página de preços do Vertex AI.

Antes de começar

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Cloud de Confiance project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crie o modelo remoto

Crie um modelo remoto que represente um modelo do Vertex AI alojado:

1. Na Cloud de Confiance consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

CREATE OR REPLACE MODEL `bqml_tutorial.qwen3_embedding_model`
  REMOTE WITH CONNECTION DEFAULT
  OPTIONS (
    HUGGING_FACE_MODEL_ID = 'Qwen/Qwen3-Embedding-0.6B'
);

A consulta demora até 20 minutos a ser concluída. Após este período, o modelo qwen3_embedding_model aparece no conjunto de dados bqml_tutorial no painel Explorador. Uma vez que a consulta usa uma declaração CREATE MODEL para criar um modelo, não existem resultados da consulta.

Realize a incorporação de texto

Realize a incorporação de texto em críticas cinematográficas do IMDB usando o modelo remoto e a função ML.GENERATE_EMBEDDING:

1. Na Cloud de Confiance consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, introduza a seguinte declaração para realizar a incorporação de texto em cinco críticas de filmes:

   SELECT
     *
   FROM
     ML.GENERATE_EMBEDDING(
       MODEL `bqml_tutorial.qwen3_embedding_model`,
       (
         SELECT
           review AS content,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       )
     );

   Os resultados incluem as seguintes colunas:

   • ml_generate_embedding_result: uma matriz de números de vírgula flutuante de precisão dupla para representar as incorporações geradas.
   • ml_generate_embedding_status: o estado da resposta da API para a linha correspondente. Se a operação tiver sido bem-sucedida, este valor está vazio.
   • content: o texto de entrada a partir do qual extrair incorporações.
   • Todas as colunas da tabela bigquery-public-data.imdb.reviews.

Anule a implementação do modelo

Se optar por não eliminar o projeto conforme recomendado, tem de anular a implementação do modelo de incorporação Qwen3 no Vertex AI para evitar a faturação contínua do mesmo. O BigQuery anula automaticamente a implementação do modelo após um período de inatividade especificado (6,5 horas por predefinição). Em alternativa, pode anular imediatamente a implementação do modelo através da declaração ALTER MODEL, conforme mostrado no exemplo seguinte:

ALTER MODEL `bqml_tutorial.qwen3_embedding_model`
SET OPTIONS (deploy_model = false);

Para mais informações, consulte o artigo Anulação da implementação automática ou imediata do modelo aberto.

Limpar

1. In the Cloud de Confiance console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

O que se segue?

• Saiba como usar incorporações de texto para pesquisa semântica e geração aumentada de recuperação (RAG).