Einige oder alle Informationen auf dieser Seite gelten möglicherweise nicht für Cloud de Confiance von S3NS. Weitere Informationen finden Sie unter Unterschiede zu Google Cloud.

Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Einbettungen mit Transformer-Modellen im ONNX-Format generieren

In dieser Anleitung verwenden Sie die Hugging Face Optimum CLI, um das sentence-transformers/all-MiniLM-L6-v2-Modell in das ONNX-Format (Open Neural Network Exchange) zu exportieren. Mit der Anweisung CREATE MODEL importieren Sie das ONNX-Modell in BigQuery. Schließlich verwenden Sie die Funktion ML.PREDICT, um mit dem importierten ONNX-Modell Einbettungen zu generieren.

In dieser Anleitung wird das sentence-transformers/all-MiniLM-L6-v2-Modell verwendet. Dieses Sentence-Transformer-Modell ist für seine schnelle und effektive Leistung beim Generieren von Satz-Embeddings bekannt. Satz-Einbettungen ermöglichen Aufgaben wie semantische Suche, Clustering und Satzähnlichkeit, indem sie die zugrunde liegende Bedeutung des Textes erfassen.

ONNX bietet ein einheitliches Format für die Darstellung von Frameworks für maschinelles Lernen (ML). Die BigQuery ML-Unterstützung für ONNX bietet folgende Möglichkeiten:

Trainieren eines Modells mit Ihrem bevorzugten Framework.
Konvertieren des Modells in das ONNX-Modellformat.
ONNX-Modell in BigQuery importieren und Vorhersagen mit BigQuery ML treffen.

Ziele

Exportieren Sie das sentence-transformers/all-MiniLM-L6-v2-Modell nach ONNX.
ONNX-Modell in BigQuery importieren
Verwenden Sie die Funktion ML.PREDICT, um Einbettungen mit dem importierten ONNX-Modell zu generieren.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Cloud de Confiance by S3NS:

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweis

In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
- Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Prüfen Sie, ob die Abrechnung für Ihr Cloud de Confiance -Projekt aktiviert ist.

Aktivieren Sie die BigQuery und Cloud Storage APIs, falls sie noch nicht aktiviert sind.
Rollen, die zum Aktivieren von APIs erforderlich sind
Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen
APIs aktivieren

Prüfen Sie, ob Sie die erforderlichen Berechtigungen haben, um die Aufgaben in diesem Dokument ausführen zu können.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, damit Sie die nötigen Berechtigungen für diese Anleitung haben:

Datasets, Tabellen und Modelle erstellen und BigQuery-Jobs ausführen: BigQuery Studio-Administrator (roles/bigquery.studioAdmin)
Cloud Storage-Bucket erstellen und Speicherobjekte erstellen (wenn Sie die Transformer-Modelldateien manuell in ONNX konvertieren): Storage-Administrator (roles/storage.admin)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie ein neues Projekt erstellen, sind Sie der Projektinhaber und erhalten alle erforderlichen IAM-Berechtigungen (Identity and Access Management), die Sie für diese Anleitung benötigen.

Weitere Informationen zu IAM-Berechtigungen in BigQuery finden Sie unter IAM-Berechtigungen.

Optional: Transformer-Modell-Dateien manuell in ONNX konvertieren

Wenn Sie das sentence-transformers/all-MiniLM-L6-v2-Modell und den Tokenizer manuell in ONNX konvertieren, folgen Sie der Anleitung in den folgenden Abschnitten. Alternativ können Sie die Beispieldateien im Cloud Storage-Bucket gs://cloud-samples-data verwenden. Die Dateien in diesem Bucket wurden bereits konvertiert. Wenn Sie die Beispieldateien verwenden, fahren Sie mit Dataset erstellen fort.

Wenn Sie die Dateien manuell konvertieren möchten, benötigen Sie eine lokale Befehlszeilenumgebung, in der Python installiert ist. Weitere Informationen zur Installation von Python finden Sie unter Python-Downloads.

Transformer-Modell nach ONNX exportieren

Verwenden Sie die Hugging Face Optimum-Befehlszeile, um das sentence-transformers/all-MiniLM-L6-v2-Modell nach ONNX zu exportieren. Weitere Informationen zum Exportieren von Modellen mit der Optimum-Befehlszeile finden Sie unter Modell mit optimum.exporters.onnx nach ONNX exportieren.

Öffnen Sie eine Befehlszeilenumgebung und führen Sie die folgenden Schritte aus, um das Modell zu exportieren:

Installieren Sie die Optimum-Befehlszeile:
```
pip install optimum[onnx]
```
Modell exportieren:
```
optimum-cli export onnx \
    --model sentence-transformers/all-MiniLM-L6-v2 \
    --task sentence-similarity \
    --opset 17 all-MiniLM-L6-v2/
```
Mit dem Argument --model wird die Hugging Face-Modell-ID angegeben. Das Argument --opset gibt die Version der ONNXRuntime-Bibliothek an und ist auf 17 festgelegt, um die Kompatibilität mit der von BigQuery unterstützten ONNXRuntime-Bibliothek aufrechtzuerhalten.

Die Modelldatei wird als model.onnx in das Verzeichnis all-MiniLM-L6-v2 exportiert.

Quantisierung auf das Transformer-Modell anwenden

Verwenden Sie die Optimum-Befehlszeile, um das exportierte Transformer-Modell zu quantisieren, um die Modellgröße zu reduzieren und die Inferenz zu beschleunigen. Weitere Informationen finden Sie unter Quantisierung.

Führen Sie den folgenden Befehl aus, um die Quantisierung auf das Modell anzuwenden:

optimum-cli onnxruntime quantize \
    --onnx_model all-MiniLM-L6-v2/ \
    --avx512_vnni -o all-MiniLM-L6-v2_quantized

Die quantisierte Modelldatei wird in das Verzeichnis all-MiniLM-L6-v2_quantized als model_quantized.onnx exportiert.

Tokenizer in ONNX konvertieren

Wenn Sie Einbettungen mit einem Transformer-Modell im ONNX-Format generieren möchten, verwenden Sie in der Regel einen Tokenizer, um zwei Eingaben für das Modell zu erzeugen: input_ids und attention_mask.

Konvertieren Sie den Tokenizer für das Modell sentence-transformers/all-MiniLM-L6-v2 mit der Bibliothek onnxruntime-extensions in das ONNX-Format, um diese Eingaben zu erzeugen. Nachdem Sie den Tokenizer konvertiert haben, können Sie die Tokenisierung direkt für Rohtexteingaben ausführen, um ONNX-Vorhersagen zu generieren.

So konvertieren Sie den Tokenizer in der Befehlszeile:

Installieren Sie die Optimum-Befehlszeile:
```
pip install optimum[onnx]
```
Erstellen Sie mit einem Texteditor Ihrer Wahl eine Datei mit dem Namen convert-tokenizer.py. Im folgenden Beispiel wird der Texteditor nano verwendet:
```
nano convert-tokenizer.py
```

Kopieren Sie das folgende Python-Script und fügen Sie es in die Datei convert-tokenizer.py ein:

from onnxruntime_extensions import gen_processing_models

# Load the Huggingface tokenizer
tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/all-MiniLM-L6-v2")

# Export the tokenizer to ONNX using gen_processing_models
onnx_tokenizer_path = "tokenizer.onnx"

# Generate the tokenizer ONNX model, and set the maximum token length.
# Ensure 'max_length' is set to a value less than the model's maximum sequence length, failing to do so will result in error during inference.
tokenizer_onnx_model = gen_processing_models(tokenizer, pre_kwargs={'max_length': 256})[0]

# Modify the tokenizer ONNX model signature.
# This is because certain tokenizers don't support batch inference.
tokenizer_onnx_model.graph.input[0].type.tensor_type.shape.dim[0].dim_value = 1

# Save the tokenizer ONNX model
with open(onnx_tokenizer_path, "wb") as f:
  f.write(tokenizer_onnx_model.SerializeToString())

Speichern Sie die Datei convert-tokenizer.py.
Führen Sie das Python-Skript aus, um den Tokenizer zu konvertieren:
```
python convert-tokenizer.py
```

Der konvertierte Tokenizer wird als tokenizer.onnx in das Verzeichnis all-MiniLM-L6-v2_quantized exportiert.

Konvertierte Modelldateien in Cloud Storage hochladen

Nachdem Sie das Transformer-Modell und den Tokenizer konvertiert haben, gehen Sie so vor:

Erstellen Sie einen Cloud Storage-Bucket, um die konvertierten Dateien zu speichern.
Laden Sie das konvertierte Transformer-Modell und die Tokenizer-Dateien in Ihren Cloud Storage-Bucket hoch.

Dataset erstellen

Wählen Sie eine der folgenden Optionen aus, um ein BigQuery-Dataset zu erstellen:

Console

Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

BigQuery aufrufen
Klicken Sie im linken Bereich auf Explorer:

Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf Linken Bereich maximieren, um ihn zu öffnen.
Maximieren Sie im Explorer Ihr Projekt und klicken Sie dann auf Datasets.
Klicken Sie auf der Seite Datasets auf Dataset erstellen.
Führen Sie im Bereich Dataset erstellen die folgenden Schritte aus:
- Geben Sie unter Dataset-ID bqml_tutorial ein.
- Wählen Sie unter Speicherort der Daten die Option USA aus.
Übernehmen Sie die anderen Standardeinstellungen.
Klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk --dataset.

Erstellen Sie ein Dataset mit dem Namen bqml_tutorial und dem Datenspeicherort US:

bq mk --dataset \
  --location=US \
  --description "BigQuery ML tutorial dataset." \
  bqml_tutorial

Prüfen Sie, ob das Dataset erstellt wurde:
```
bq ls
```

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

ONNX-Modelle in BigQuery importieren

Importieren Sie den konvertierten Tokenizer und die Sentence Transformer-Modelle als BigQuery ML-Modelle.

Wählen Sie eine der folgenden Optionen aus:

Console

Öffnen Sie in der Cloud de Confiance Console die Seite BigQuery Studio.

Zu Studio
Führen Sie im Abfrageeditor die folgende CREATE MODEL-Anweisung aus, um das Modell tokenizer zu erstellen:
```
 CREATE OR REPLACE MODEL `bqml_tutorial.tokenizer`
  OPTIONS (MODEL_TYPE='ONNX',
   MODEL_PATH='TOKENIZER_BUCKET_PATH');
```
Ersetzen Sie TOKENIZER_BUCKET_PATH durch den Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie TOKENIZER_BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx.

Wenn der Vorgang abgeschlossen ist, wird im Bereich Abfrageergebnisse eine Meldung angezeigt, die in etwa so aussieht: Successfully created model named tokenizer.
Klicken Sie auf Zum Modell, um den Bereich Details zu öffnen.
Sehen Sie sich den Abschnitt Feature-Spalten an, um die Modelleingaben und die Modellausgabe in der Label-Spalte aufzurufen:
Führen Sie im Abfrageeditor die folgende CREATE MODEL-Anweisung aus, um das Modell all-MiniLM-L6-v2 zu erstellen:
```
 CREATE OR REPLACE MODEL `bqml_tutorial.all-MiniLM-L6-v2`
  OPTIONS (MODEL_TYPE='ONNX',
   MODEL_PATH='TRANSFORMER_BUCKET_PATH');
```
Ersetzen Sie TRANSFORMER_BUCKET_PATH durch den Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie TRANSFORMER_BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx.

Wenn der Vorgang abgeschlossen ist, wird im Bereich Abfrageergebnisse eine Meldung wie diese angezeigt: Successfully created model named all-MiniLM-L6-v2.
Klicken Sie auf Zum Modell, um den Bereich Details zu öffnen.
Die Modelleingaben und die Modellausgaben in der Labelspalte finden Sie im Abschnitt Featurespalten:

bq

Führen Sie die Anweisung CREATE MODEL mit dem Befehl query des bq-Befehlszeilentools aus.

Erstellen Sie das Modell tokenizer:
```
bq query --use_legacy_sql=false \
"CREATE OR REPLACE MODEL
`bqml_tutorial.tokenizer`
OPTIONS
(MODEL_TYPE='ONNX',
  MODEL_PATH='TOKENIZER_BUCKET_PATH')"
```
Ersetzen Sie TOKENIZER_BUCKET_PATH durch den Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie TOKENIZER_BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx.

Wenn der Vorgang abgeschlossen ist, wird eine Meldung wie die folgende angezeigt: Successfully created model named tokenizer.
Erstellen Sie das Modell all-MiniLM-L6-v2:
```
bq query --use_legacy_sql=false \
"CREATE OR REPLACE MODEL
  `bqml_tutorial.all-MiniLM-L6-v2`
OPTIONS
  (MODEL_TYPE='ONNX',
    MODEL_PATH='TRANSFORMER_BUCKET_PATH')"
```
Ersetzen Sie TRANSFORMER_BUCKET_PATH durch den Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie TRANSFORMER_BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx.

Wenn der Vorgang abgeschlossen ist, wird eine Meldung wie diese angezeigt: Successfully created model named all-MiniLM-L6-v2.

Prüfen Sie nach dem Importieren der Modelle, ob sie im Dataset angezeigt werden.

bq ls -m bqml_tutorial

Die Ausgabe sieht etwa so aus:

tableId            Type
------------------------
tokenizer          MODEL
all-MiniLM-L6-v2   MODEL

API

Verwenden Sie die Methode jobs.insert, um die Modelle zu importieren. Füllen Sie den Parameter query der Ressource QueryRequest im Anfragetext mit der Anweisung CREATE MODEL aus.

Verwenden Sie zum Erstellen des tokenizer-Modells den folgenden query-Parameter:
```
{
  "query": "CREATE MODEL `PROJECT_ID :bqml_tutorial.tokenizer` OPTIONS(MODEL_TYPE='ONNX' MODEL_PATH='TOKENIZER_BUCKET_PATH')"
}
```
Ersetzen Sie Folgendes:
- PROJECT_ID: Ihre Projekt-ID.
- TOKENIZER_BUCKET_PATH: der Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie TOKENIZER_BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx.
Verwenden Sie zum Erstellen des all-MiniLM-L6-v2-Modells den folgenden query-Parameterwert:
```
{
  "query": "CREATE MODEL `PROJECT_ID :bqml_tutorial.all-MiniLM-L6-v2` OPTIONS(MODEL_TYPE='ONNX' MODEL_PATH='TRANSFORMER_BUCKET_PATH')"
}
```
Ersetzen Sie Folgendes:
- PROJECT_ID: Ihre Projekt-ID.
- TRANSFORMER_BUCKET_PATH: der Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie TRANSFORMER_BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx.

BigQuery DataFrames

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

Importieren Sie die Tokenizer- und Sentence-Transformer-Modelle mit dem ONNXModel-Objekt.

import bigframes
from bigframes.ml.imported import ONNXModel

bigframes.options.bigquery.project = PROJECT_ID

bigframes.options.bigquery.location = "US"

tokenizer = ONNXModel(
  model_path= "TOKENIZER_BUCKET_PATH"
)
imported_onnx_model = ONNXModel(
  model_path="TRANSFORMER_BUCKET_PATH"
)

Ersetzen Sie Folgendes:

PROJECT_ID: Ihre Projekt-ID.
TOKENIZER_BUCKET_PATH: der Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie TOKENIZER_BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx.
TRANSFORMER_BUCKET_PATH: der Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie TRANSFORMER_BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx.

Einbettungen mit den importierten ONNX-Modellen generieren

Verwenden Sie den importierten Tokenizer und die Satztransformator-Modelle, um Einbettungen basierend auf Daten aus dem öffentlichen Dataset bigquery-public-data.imdb.reviews zu generieren.

Wählen Sie eine der folgenden Optionen aus:

Console

Verwenden Sie die Funktion ML.PREDICT, um Einbettungen mit den Modellen zu generieren.

Die Abfrage verwendet einen verschachtelten ML.PREDICT-Aufruf, um Rohtext direkt über den Tokenizer und das Einbettungsmodell zu verarbeiten:

Tokenisierung (innere Abfrage): Der innere ML.PREDICT-Aufruf verwendet das bqml_tutorial.tokenizer-Modell. Die Spalte title aus dem öffentlichen Dataset bigquery-public-data.imdb.reviews wird als text-Eingabe verwendet. Das tokenizer-Modell wandelt die Rohtextstrings in die numerischen Token-Eingaben um, die das Hauptmodell benötigt, einschließlich der Eingaben input_ids und attention_mask.
Einbettungsgenerierung (äußere Abfrage): Der äußere ML.PREDICT-Aufruf verwendet das bqml_tutorial.all-MiniLM-L6-v2-Modell. Die Abfrage verwendet die Spalten input_ids und attention_mask aus der Ausgabe der inneren Abfrage als Eingabe.

Mit der SELECT-Anweisung wird die Spalte sentence_embedding abgerufen. Dies ist ein Array von FLOAT-Werten, die die semantische Einbettung des Texts darstellen.

So generieren Sie die Einbettungen:

Öffnen Sie in der Cloud de Confiance Console die Seite BigQuery Studio.

Zu Studio

Führen Sie im Abfrageeditor folgende Abfrage aus:

SELECT
sentence_embedding
FROM
ML.PREDICT (MODEL `bqml_tutorial.all-MiniLM-L6-v2`,
  (
  SELECT
    input_ids, attention_mask
  FROM
    ML.PREDICT(MODEL `bqml_tutorial.tokenizer`,
      (
      SELECT
        title AS text
      FROM
        `bigquery-public-data.imdb.reviews` limit 10))));

Das Ergebnis sieht etwa so aus:

+-----------------------+
| sentence_embedding    |
+-----------------------+
| -0.02361682802438736  |
| 0.02025664784014225   |
| 0.005168713629245758  |
| -0.026361213997006416 |
| 0.0655381828546524    |
| ...                   |
+-----------------------+

bq

Verwenden Sie den Befehl query des bq-Befehlszeilentools, um eine Abfrage auszuführen. In der Abfrage wird die Funktion ML.PREDICT verwendet, um Einbettungen mit den Modellen zu generieren.

Die Abfrage verwendet einen verschachtelten ML.PREDICT-Aufruf, um Rohtext direkt über den Tokenizer und das Einbettungsmodell zu verarbeiten:

Tokenisierung (innere Abfrage): Der innere ML.PREDICT-Aufruf verwendet das bqml_tutorial.tokenizer-Modell. Die Spalte title aus dem öffentlichen Dataset bigquery-public-data.imdb.reviews wird als text-Eingabe verwendet. Das tokenizer-Modell wandelt die Rohtextstrings in die numerischen Token-Eingaben um, die das Hauptmodell benötigt, einschließlich der Eingaben input_ids und attention_mask.
Einbettungsgenerierung (äußere Abfrage): Der äußere ML.PREDICT-Aufruf verwendet das bqml_tutorial.all-MiniLM-L6-v2-Modell. Die Abfrage verwendet die Spalten input_ids und attention_mask aus der Ausgabe der inneren Abfrage als Eingabe.

Mit der SELECT-Anweisung wird die Spalte sentence_embedding abgerufen. Dies ist ein Array von FLOAT-Werten, die die semantische Einbettung des Texts darstellen.

Führen Sie in der Befehlszeile den folgenden Befehl aus, um die Abfrage auszuführen.

bq query --use_legacy_sql=false \
'SELECT
sentence_embedding
FROM
ML.PREDICT (MODEL `bqml_tutorial.all-MiniLM-L6-v2`,
  (
  SELECT
    input_ids, attention_mask
  FROM
    ML.PREDICT(MODEL `bqml_tutorial.tokenizer`,
      (
      SELECT
        title AS text
      FROM
        `bigquery-public-data.imdb.reviews` limit 10))))'

Das Ergebnis sieht etwa so aus:

+-----------------------+
| sentence_embedding    |
+-----------------------+
| -0.02361682802438736  |
| 0.02025664784014225   |
| 0.005168713629245758  |
| -0.026361213997006416 |
| 0.0655381828546524    |
| ...                   |
+-----------------------+

BigQuery DataFrames

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

Verwenden Sie die Methode predict, um Einbettungen mit den ONNX-Modellen zu generieren.

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.imdb.reviews", max_results=10)
df_pred = df.rename(columns={"title": "text"})
tokens = tokenizer.predict(df_pred)
predictions = imported_onnx_model.predict(tokens)
predictions.peek(5)

Die Ausgabe sieht etwa so aus:

Ausgabe des Transformer-Modells.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

Console

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Wechseln Sie in der Cloud de Confiance -Console zur Seite Ressourcen verwalten.
Zur Seite „Ressourcen verwalten“
Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

gcloud

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Cloud de Confiance -Projekt löschen:

gcloud projects delete PROJECT_ID

Einzelne Ressourcen löschen

Alternativ können Sie das Projekt beibehalten und die in dieser Anleitung verwendeten Ressourcen löschen. Gehen Sie dazu so vor:

Öffnen Sie in der Cloud de Confiance Console die Seite BigQuery Studio.

Zu Studio
Maximieren Sie im linken Bereich Ihr Projekt und klicken Sie dann auf Datasets.
Klicken Sie für das Dataset bqml_tutorial auf Aktionen öffnen > Löschen.
Klicken Sie im Dialogfeld Dataset löschen auf Löschen, um den Vorgang zu bestätigen.
Wenn Sie die Schritte zum manuellen Konvertieren der Transformer-Modelldateien in ONNX ausgeführt haben, löschen Sie den Cloud Storage-Bucket.

Nächste Schritte

Texteinbettungen für die semantische Suche und Retrieval-Augmented Generation (RAG) verwenden
Weitere Informationen zum Konvertieren von Transformer-Modellen in ONNX finden Sie unter Modell mit optimum.exporters.onnx in ONNX exportieren.
Weitere Informationen zum Importieren von ONNX-Modellen finden Sie unter CREATE MODEL-Anweisung für ONNX-Modelle.
Weitere Informationen zum Ausführen von Vorhersagen finden Sie unter Die Funktion ML.PREDICT.
Einführung in BigQuery ML
Informationen zur Verwendung von BigQuery ML finden Sie unter Modelle für maschinelles Lernen in BigQuery ML erstellen.