Text mit der AI.TRANSLATE-Funktion übersetzen

Mit der Funktion AI.TRANSLATE können Sie Text direkt in BigQuery übersetzen. Sie können beispielsweise Produktkataloge lokalisieren, Kundenfeedback für globale Supportteams übersetzen oder mehrsprachige Umfrageantworten standardisieren, ohne separate Datenpipelines erstellen zu müssen. Die Funktion verbindet BigQuery über Ihre Endnutzer-Anmeldedaten mit der Cloud Translation API. Sie müssen also keine Verbindung oder kein Remote-Modell erstellen.

In dieser Anleitung erstellen Sie eine Beispieltabelle mit mehrsprachigem Kundenfeedback, übersetzen Text mit automatischer Spracherkennung ins Englische, prüfen Übersetzungsmetadaten und übersetzen Filmrezensionen mit dem Translation LLM-Modell ins Spanische.

Ziele

  • Erstellen Sie ein Dataset und eine Beispieltabelle mit mehrsprachigem Text.
  • Mehrsprachigen Text mit automatischer Spracherkennung ins Englische übersetzen.
  • Übersetzungsmetadaten und erkannte Ausgangssprachcodes zurückgeben.
  • Übersetzen Sie nuancierten Text mit dem Translation LLM-Modell.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Cloud de Confiance by S3NS:

  • BigQuery. You incur costs for the data that you process in BigQuery.
  • Cloud Translation. You incur costs for calls to the Cloud Translation API.

Weitere Informationen finden Sie unter BigQuery-Preise und Translation-Preise.

Hinweis

Console

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Cloud de Confiance project.

  3. Enable the BigQuery and Translation APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  4. Prüfen Sie, ob Sie die folgenden Rollen für das Projekt haben: BigQuery-Dateneditor, BigQuery-Jobnutzer, Cloud Translation API-Nutzer.

    Rollen prüfen

    1. Rufen Sie in der Cloud de Confiance Console die Seite IAM auf.

      IAM aufrufen
    2. Wählen Sie das Projekt aus.
    3. Suchen Sie in der Spalte Hauptkonto nach allen Zeilen, in denen Sie oder eine Gruppe, zu der Sie gehören, angegeben sind. Fragen Sie Ihren Administrator, zu welchen Gruppen Sie gehören.

    4. Prüfen Sie in allen Zeilen, in denen Sie angegeben oder enthalten sind, die Spalte Rolle, um zu sehen, ob die Liste der Rollen die erforderlichen Rollen enthält.

    Rollen zuweisen

    1. Rufen Sie in der Cloud de Confiance Console die Seite IAM auf.

      IAM aufrufen
    2. Wählen Sie das Projekt aus.
    3. Klicken Sie auf Zugriffsrechte erteilen.
    4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Bei einem Nutzer in einem Mitarbeiteridentitätspool ist dies in der Regel dessen Kennung. Weitere Informationen erhalten Sie unter Mitarbeiteridentitätspool-Nutzer in IAM-Richtlinien darstellen oder von Ihrem Administrator.

    5. Klicken Sie auf Rolle auswählen und suchen Sie dann nach der Rolle.
    6. Klicken Sie auf Weitere Rolle hinzufügen, wenn Sie weitere Rollen zuweisen möchten.
    7. Klicken Sie auf Speichern.

gcloud

  1. Installieren Sie die Google Cloud CLI.

  2. Konfigurieren Sie die gcloud CLI für die Verwendung Ihrer föderierten Identität.

    Weitere Informationen finden Sie unter Mit Ihrer föderierten Identität in der gcloud CLI anmelden.

  3. Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren:

    gcloud init
  4. Erstellen oder wählen Sie ein Cloud de Confiance -Projekt aus.

    Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts

    • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
    • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Project Creator“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Informationen zum Zuweisen von Rollen
    • Erstellen Sie ein Projekt in Cloud de Confiance :

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Projekt in Cloud de Confiance , das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Projekt in Cloud de Confiance aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch den Namen Ihres Projekts in Cloud de Confiance .

  5. Prüfen Sie, ob die Abrechnung für Ihr Cloud de Confiance -Projekt aktiviert ist.

  6. Aktivieren Sie die BigQuery API und die Translation API, falls sie noch nicht aktiviert sind:

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

    gcloud services enable bigquery.googleapis.com translate.googleapis.com
  7. Weisen Sie Ihrem Nutzerkonto Rollen zu. Führen Sie den folgenden Befehl für jede der folgenden IAM-Rollen einmal aus: roles/bigquery.dataEditor, roles/bigquery.jobUser, roles/cloudtranslate.user

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Ersetzen Sie Folgendes:

Dataset erstellen

Wählen Sie eine der folgenden Optionen aus, um ein BigQuery-Dataset zu erstellen:

Console

  1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Explorer:

    Hervorgehobener Button für den Explorer-Bereich.

    Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf Linken Bereich maximieren, um ihn zu öffnen.

  3. Maximieren Sie im Explorer Ihr Projekt und klicken Sie dann auf Datasets.

  4. Klicken Sie auf der Seite Datasets auf Dataset erstellen.

  5. Führen Sie im Bereich Dataset erstellen die folgenden Schritte aus:

    • Geben Sie unter Dataset-ID bqml_tutorial ein.

    • Wählen Sie unter Speicherort der Daten die Option USA aus.

    Übernehmen Sie die anderen Einstellungen.

  6. Klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk --dataset.

  1. Erstellen Sie ein Dataset mit dem Namen bqml_tutorial und dem Datenspeicherort US:

    bq mk --dataset \
      --location=US \
      --description "BigQuery ML tutorial dataset." \
      bqml_tutorial
  2. Prüfen Sie, ob das Dataset erstellt wurde:

    bq ls

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Beispieltabelle erstellen

Verwenden Sie die Anweisung CREATE TABLE, um im Dataset bqml_tutorial eine Tabelle mit mehrsprachigem Kundenfeedback zu erstellen:

  1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Führen Sie im Abfrageeditor folgende Abfrage aus:

    CREATE OR REPLACE TABLE `bqml_tutorial.customer_feedback` AS (
      SELECT
        *
      FROM
        UNNEST(
          [
            STRUCT<feedback_id INT64, feedback_text STRING>(
              1, 'El servicio de entrega fue rápido y confiable.'),
            (2, 'Je suis très satisfait de la qualité de ce produit.'),
            (3, 'Die Benutzeroberfläche der App ist sehr übersichtlich.'),
            (4, 'O suporte ao cliente resolveu meu problema com rapidez.')
          ])
    );

Mehrsprachigen Text übersetzen

Verwenden Sie die Funktion AI.TRANSLATE, um das Kundenfeedback ins Englische (en) zu übersetzen. Wenn Sie das Argument source_language weglassen, erkennt die Cloud Translation API automatisch die Ausgangssprache jeder Zeile und übersetzt den Text mit dem Standardmodell für neuronale maschinelle Übersetzung (NMÜ):

  1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Führen Sie im Abfrageeditor die folgende Anweisung aus, um das Feedback ins Englische zu übersetzen:

    SELECT
      feedback_id,
      feedback_text,
      AI.TRANSLATE(feedback_text, 'en') AS translated_text
    FROM
      `bqml_tutorial.customer_feedback`;

    Eine Liste der gültigen Zielsprachcodes finden Sie unter Unterstützte Sprachen.

    Die Ausgabe sieht etwa so aus:

    +-------------+-----------------------------+-----------------------------+
    | feedback_id | feedback_text               | translated_text             |
    +-------------+-----------------------------+-----------------------------+
    | 1           | El servicio de entrega fue  | The delivery service was    |
    |             | rápido y confiable.         | fast and reliable.          |
    +-------------+-----------------------------+-----------------------------+
    | 2           | Je suis très satisfait de   | I am very satisfied with    |
    |             | la qualité de ce produit.   | the quality of this         |
    |             |                             | product.                    |
    +-------------+-----------------------------+-----------------------------+
    | 3           | Die Benutzeroberfläche der  | The app's user interface is |
    |             | App ist sehr übersichtlich. | very clear.                 |
    +-------------+-----------------------------+-----------------------------+
    | 4           | O suporte ao cliente        | Customer support resolved   |
    |             | resolveu meu problema com   | my issue quickly.           |
    |             | rapidez.                    |                             |
    +-------------+-----------------------------+-----------------------------+
    

Übersetzungsdetails und erkannte Sprachen zurückgeben

Wenn Sie Text aus mehreren Regionen verarbeiten, sollten Sie die erkannte Ausgangssprache zusammen mit jeder Übersetzung aufzeichnen oder nach Fehlern pro Zeile suchen. Legen Sie return_details => TRUE in der Funktion AI.TRANSLATE fest, um einen STRUCT-Wert zurückzugeben, der den übersetzten Text, den Ausführungsstatus und die Metadaten der API-Antwort enthält:

  1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Führen Sie im Abfrageeditor die folgende Anweisung aus, um den erkannten Sprachcode, den übersetzten Text und den Status für jede Zeile zu extrahieren:

    WITH
      translations AS (
        SELECT
          feedback_id,
          AI.TRANSLATE(
            feedback_text,
            'en',
            return_details => TRUE) AS translation
        FROM
          `bqml_tutorial.customer_feedback`
      )
    SELECT
      feedback_id,
      STRING(translation.details.detected_language_code) AS detected_language,
      translation.result AS translated_text,
      translation.status
    FROM
      translations;

    Die Ausgabe sieht etwa so aus:

    +-------------+-------------------+-----------------------------+--------+
    | feedback_id | detected_language | translated_text             | status |
    +-------------+-------------------+-----------------------------+--------+
    | 1           | es                | The delivery service was    | OK     |
    |             |                   | fast and reliable.          |        |
    +-------------+-------------------+-----------------------------+--------+
    | 2           | fr                | I am very satisfied with    | OK     |
    |             |                   | the quality of this         |        |
    |             |                   | product.                    |        |
    +-------------+-------------------+-----------------------------+--------+
    | 3           | de                | The app's user interface is | OK     |
    |             |                   | very clear.                 |        |
    +-------------+-------------------+-----------------------------+--------+
    | 4           | pt                | Customer support resolved   | OK     |
    |             |                   | my issue quickly.           |        |
    +-------------+-------------------+-----------------------------+--------+
    

    Wenn return_details auf TRUE gesetzt ist, enthält die zurückgegebene STRUCT die folgenden Felder:

    • result: ein STRING-Wert, der den übersetzten Text enthält, oder NULL, wenn ein Fehler auftritt.
    • status: ein STRING-Wert, der OK enthält, wenn der Vorgang erfolgreich ist, oder eine Fehlermeldung, wenn ein Fehler auftritt.
    • details: ein JSON-Wert, der die Cloud Translation API-Antwort für die Zeile enthält, einschließlich detected_language_code, wenn die Ausgangssprache automatisch erkannt wird, oder Fehlerdetails, wenn ein Fehler auftritt.

Text mit dem Translation LLM übersetzen

Für Text, der informelle Sprache, Slang oder komplexe Stimmungen enthält, z. B. Kunden- oder Filmrezensionen, legen Sie model => 'translation-llm' in der AI.TRANSLATE-Funktion fest, um das Translation LLM-Modell anstelle des Standard-NMÜ-Modells zu verwenden. Wenn Sie die Sprache der Eingabespalte kennen, können Sie auch das Argument source_language angeben:

  1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Führen Sie im Abfrageeditor die folgende Anweisung aus, um fünf englische Filmrezensionen aus einem öffentlichen Dataset ins Spanische (es) zu übersetzen:

    SELECT
      review,
      AI.TRANSLATE(
        review,
        'es',
        source_language => 'en',
        model => 'translation-llm') AS translated_review
    FROM
      `bigquery-public-data.imdb.reviews`
    LIMIT 5;

    Die Ausgabe sieht etwa so aus:

    +------------------------------------+------------------------------------+
    | review                             | translated_review                  |
    +------------------------------------+------------------------------------+
    | Once again Mr. Costner has dragged | Una vez más, el Sr. Costner ha     |
    | out a movie for far longer than... | alargado una película mucho más... |
    +------------------------------------+------------------------------------+
    | This movie is amazing because the  | Esta película es increíble porque  |
    | fact that real people portray...   | las personas reales se...          |
    +------------------------------------+------------------------------------+
    | ...                                | ...                                |
    +------------------------------------+------------------------------------+
    

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

    Cloud de Confiance -Projekt löschen:

    gcloud projects delete PROJECT_ID

Einzelne Ressourcen löschen

Wenn Sie das Projekt wiederverwenden möchten, löschen Sie das Dataset, das Sie für diese Anleitung erstellt haben:

Console

  1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Löschen Sie das Dataset bqml_tutorial. Durch das Löschen des Datasets wird auch die Tabelle customer_feedback gelöscht:

    1. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie dann auf Datasets.

    2. Klicken Sie in der Liste Datasets auf das Dataset bqml_tutorial.

    3. Klicken Sie im Detailbereich auf Löschen.

    4. Klicken Sie im Dialogfeld Dataset löschen auf Löschen.

gcloud

  • Löschen Sie das Dataset bqml_tutorial und die Tabelle customer_feedback:
bq rm --dataset --recursive bqml_tutorial

Nächste Schritte