AI.TRANSLATE 함수를 사용하여 텍스트 번역하기

AI.TRANSLATE 함수를 사용하면 BigQuery에서 직접 언어 간에 텍스트를 번역할 수 있습니다. 예를 들어 별도의 데이터 파이프라인을 빌드하지 않고도 제품 카탈로그를 현지화하거나, 글로벌 지원팀을 위해 고객 의견을 번역하거나, 다국어 설문조사 응답을 표준화할 수 있습니다. 이 함수는 최종 사용자 인증 정보를 사용하여 BigQuery를 Cloud Translation API에 연결하므로 연결이나 원격 모델을 만들 필요가 없습니다.

이 튜토리얼에서는 다국어 고객 의견의 샘플 테이블을 만들고, 자동 언어 감지를 사용하여 텍스트를 영어로 번역하고, 번역 메타데이터를 검사하고, 번역 LLM 모델을 사용하여 영화 리뷰를 스페인어로 번역합니다.

목표

  • 다국어 텍스트의 데이터 세트와 샘플 테이블을 만듭니다.
  • 자동 언어 감지 기능을 사용하여 다국어 텍스트를 영어로 번역합니다.
  • 번역 메타데이터와 감지된 출발어 코드를 반환합니다.
  • 번역 LLM 모델을 사용하여 미묘한 뉘앙스가 있는 텍스트를 번역합니다.

비용

이 문서에서는 비용이 청구될 수 있는 Cloud de Confiance by S3NS구성요소를 사용합니다.

  • BigQuery. You incur costs for the data that you process in BigQuery.
  • Cloud Translation. You incur costs for calls to the Cloud Translation API.

자세한 내용은 BigQuery 가격 책정 및 Translation 가격 책정을 참조하세요.

시작하기 전에

콘솔

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Cloud de Confiance project.

  3. Enable the BigQuery and Translation APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  4. 프로젝트에 BigQuery 데이터 편집자, BigQuery 작업 사용자, Cloud Translation API 사용자 역할이 있는지 확인합니다.

    역할 확인

    1. Cloud de Confiance 콘솔에서 IAM 페이지로 이동합니다.

      IAM으로 이동
    2. 프로젝트를 선택합니다.
    3. 주 구성원 열에서 나 또는 내가 속한 그룹을 식별하는 모든 행을 찾습니다. 내가 속한 그룹을 알아보려면 관리자에게 문의하세요.

    4. 나를 지정하거나 포함하는 모든 행의 역할 열을 확인하여 역할 목록에 필요한 역할이 포함되어 있는지 확인합니다.

    역할 부여

    1. Cloud de Confiance 콘솔에서 IAM 페이지로 이동합니다.

      IAM으로 이동
    2. 프로젝트를 선택합니다.
    3. 액세스 권한 부여를 클릭합니다.
    4. 새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 직원 ID 풀의 사용자 식별자입니다. 자세한 내용은 IAM 정책에서 직원 풀 사용자 표현을 참조하거나 관리자에게 문의하세요.

    5. 역할 선택을 클릭한 후 역할을 검색합니다.
    6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
    7. 저장을 클릭합니다.

gcloud

  1. Google Cloud CLI를 설치합니다.

  2. gcloud CLI에서 제휴 ID를 사용하도록 구성합니다.

    자세한 내용은 제휴 ID로 gcloud CLI에 로그인을 참조하세요.

  3. gcloud CLI를 초기화하려면, 다음 명령어를 실행합니다.

    gcloud init
  4. Cloud de Confiance 프로젝트를 만들거나 선택합니다.

    프로젝트를 선택하거나 만드는 데 필요한 역할

    • 프로젝트 선택: 프로젝트를 선택하는 데 특정 IAM 역할이 필요하지 않습니다. 역할이 부여된 모든 프로젝트를 선택할 수 있습니다.
    • 프로젝트 만들기: 프로젝트를 만들려면 resourcemanager.projects.create 권한이 포함된 프로젝트 생성자 역할(roles/resourcemanager.projectCreator)이 필요합니다. 역할 부여 방법 알아보기
    • Cloud de Confiance 프로젝트를 만듭니다.

      gcloud projects create PROJECT_ID

      PROJECT_ID를 만들려는 Cloud de Confiance 프로젝트의 이름으로 바꿉니다.

    • 만든 Cloud de Confiance 프로젝트를 선택합니다.

      gcloud config set project PROJECT_ID

      PROJECT_ID을 Cloud de Confiance 프로젝트 이름으로 바꿉니다.

  5. Cloud de Confiance 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  6. BigQuery 및 Translation API가 아직 사용 설정되지 않은 경우 사용 설정합니다.

    API 사용 설정에 필요한 역할

    API를 사용 설정하려면 serviceusage.services.enable 권한이 필요합니다. 프로젝트를 만든 경우 소유자 역할(roles/owner)을 통해 이 권한이 이미 있을 수 있습니다. 그렇지 않으면 서비스 사용량 관리자 역할(roles/serviceusage.serviceUsageAdmin)을 통해 이 권한을 얻을 수 있습니다. 역할 부여 방법 알아보기

    gcloud services enable bigquery.googleapis.com translate.googleapis.com
  7. 사용자 계정에 역할을 부여합니다. 다음 각 IAM 역할에 대해 다음 명령어를 한 번씩 실행합니다. roles/bigquery.dataEditor, roles/bigquery.jobUser, roles/cloudtranslate.user

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • USER_IDENTIFIER: 사용자 계정의 식별자입니다. 계정 예시는 IAM 정책에서 직원 풀 사용자 표현을 참조하세요.
    • ROLE: 사용자 계정에 부여하는 IAM 역할입니다.

데이터 세트 만들기

BigQuery 데이터 세트를 만들려면 다음 옵션 중 하나를 선택합니다.

콘솔

  1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 탐색기를 클릭합니다.

    강조 표시된 탐색기 창 버튼

    왼쪽 창이 표시되지 않으면 왼쪽 창 펼치기를 클릭하여 창을 엽니다.

  3. 탐색기에서 프로젝트를 펼친 다음 데이터 세트를 클릭합니다.

  4. 데이터 세트 페이지에서 데이터 세트 만들기를 클릭합니다.

  5. 데이터 세트 만들기 창에서 다음을 수행합니다.

    • 데이터 세트 ID에 bqml_tutorial를 입력합니다.

    • 데이터 위치로 미국을 선택합니다.

    나머지 기본 설정은 그대로 둡니다.

  6. 데이터 세트 만들기를 클릭합니다.

bq

새 데이터 세트를 만들려면 bq mk --dataset 명령어를 사용합니다.

  1. 데이터 위치가 US로 설정된 bqml_tutorial 데이터 세트를 만듭니다.

    bq mk --dataset \
      --location=US \
      --description "BigQuery ML tutorial dataset." \
      bqml_tutorial
  2. 데이터 세트가 생성되었는지 확인합니다.

    bq ls

API

데이터 세트 리소스가 정의된 datasets.insert 메서드를 호출합니다.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

샘플 테이블 만들기

CREATE TABLE 문을 사용하여 bqml_tutorial 데이터 세트에 다국어 고객 의견 테이블을 만듭니다.

  1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 쿼리 편집기에서 다음 쿼리를 실행합니다.

    CREATE OR REPLACE TABLE `bqml_tutorial.customer_feedback` AS (
      SELECT
        *
      FROM
        UNNEST(
          [
            STRUCT<feedback_id INT64, feedback_text STRING>(
              1, 'El servicio de entrega fue rápido y confiable.'),
            (2, 'Je suis très satisfait de la qualité de ce produit.'),
            (3, 'Die Benutzeroberfläche der App ist sehr übersichtlich.'),
            (4, 'O suporte ao cliente resolveu meu problema com rapidez.')
          ])
    );

다국어 텍스트 번역

AI.TRANSLATE 함수를 사용하여 고객 의견을 영어(en)로 번역합니다. source_language 인수를 생략하면 Cloud Translation API가 각 행의 출발어를 자동으로 감지하고 기본 인공신경망 기계 번역(NMT) 모델을 사용하여 텍스트를 번역합니다.

  1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 쿼리 편집기에서 다음 문을 실행하여 의견을 영어로 번역합니다.

    SELECT
      feedback_id,
      feedback_text,
      AI.TRANSLATE(feedback_text, 'en') AS translated_text
    FROM
      `bqml_tutorial.customer_feedback`;

    유효한 도착어 코드 목록은 지원되는 언어를 참조하세요.

    출력은 다음과 비슷합니다.

    +-------------+-----------------------------+-----------------------------+
    | feedback_id | feedback_text               | translated_text             |
    +-------------+-----------------------------+-----------------------------+
    | 1           | El servicio de entrega fue  | The delivery service was    |
    |             | rápido y confiable.         | fast and reliable.          |
    +-------------+-----------------------------+-----------------------------+
    | 2           | Je suis très satisfait de   | I am very satisfied with    |
    |             | la qualité de ce produit.   | the quality of this         |
    |             |                             | product.                    |
    +-------------+-----------------------------+-----------------------------+
    | 3           | Die Benutzeroberfläche der  | The app's user interface is |
    |             | App ist sehr übersichtlich. | very clear.                 |
    +-------------+-----------------------------+-----------------------------+
    | 4           | O suporte ao cliente        | Customer support resolved   |
    |             | resolveu meu problema com   | my issue quickly.           |
    |             | rapidez.                    |                             |
    +-------------+-----------------------------+-----------------------------+
    

번역 세부정보 및 감지된 언어 반환

여러 리전의 텍스트를 처리할 때 각 번역과 함께 감지된 소스 언어를 기록하거나 행별 오류를 확인하는 것이 좋습니다. AI.TRANSLATE 함수에서 return_details => TRUE를 설정하여 번역된 텍스트, 실행 상태, API 응답 메타데이터가 포함된 STRUCT 값을 반환합니다.

  1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 쿼리 편집기에서 다음 문을 실행하여 각 행의 감지된 언어 코드, 번역된 텍스트, 상태를 추출합니다.

    WITH
      translations AS (
        SELECT
          feedback_id,
          AI.TRANSLATE(
            feedback_text,
            'en',
            return_details => TRUE) AS translation
        FROM
          `bqml_tutorial.customer_feedback`
      )
    SELECT
      feedback_id,
      STRING(translation.details.detected_language_code) AS detected_language,
      translation.result AS translated_text,
      translation.status
    FROM
      translations;

    출력은 다음과 비슷합니다.

    +-------------+-------------------+-----------------------------+--------+
    | feedback_id | detected_language | translated_text             | status |
    +-------------+-------------------+-----------------------------+--------+
    | 1           | es                | The delivery service was    | OK     |
    |             |                   | fast and reliable.          |        |
    +-------------+-------------------+-----------------------------+--------+
    | 2           | fr                | I am very satisfied with    | OK     |
    |             |                   | the quality of this         |        |
    |             |                   | product.                    |        |
    +-------------+-------------------+-----------------------------+--------+
    | 3           | de                | The app's user interface is | OK     |
    |             |                   | very clear.                 |        |
    +-------------+-------------------+-----------------------------+--------+
    | 4           | pt                | Customer support resolved   | OK     |
    |             |                   | my issue quickly.           |        |
    +-------------+-------------------+-----------------------------+--------+
    

    return_details가 TRUE로 설정된 경우 반환된 STRUCT에는 다음 필드가 포함됩니다.

    • result: 번역된 텍스트를 포함하는 STRING 값 또는 오류가 발생한 경우 NULL입니다.
    • status: 작업이 성공하면 OK가 포함된 STRING 값이고, 오류가 발생하면 오류 메시지입니다.
    • details: 출발어가 자동으로 감지될 때 detected_language_code를 포함한 행의 Cloud Translation API 응답 또는 오류가 발생할 경우 오류 세부정보가 포함된 JSON 값.

번역 LLM을 사용한 텍스트 번역

고객 또는 영화 리뷰와 같이 비격식 언어, 속어 또는 복잡한 감정이 포함된 텍스트의 경우 AI.TRANSLATE 함수에서 model => 'translation-llm'를 설정하여 기본 NMT 모델 대신 번역 LLM 모델을 사용합니다. 입력 열의 언어를 알고 있으면 source_language 인수를 지정할 수도 있습니다.

  1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 쿼리 편집기에서 다음 문을 실행하여 공개 데이터 세트의 영어 영화 리뷰 5개를 스페인어(es)로 번역합니다.

    SELECT
      review,
      AI.TRANSLATE(
        review,
        'es',
        source_language => 'en',
        model => 'translation-llm') AS translated_review
    FROM
      `bigquery-public-data.imdb.reviews`
    LIMIT 5;

    출력은 다음과 비슷합니다.

    +------------------------------------+------------------------------------+
    | review                             | translated_review                  |
    +------------------------------------+------------------------------------+
    | Once again Mr. Costner has dragged | Una vez más, el Sr. Costner ha     |
    | out a movie for far longer than... | alargado una película mucho más... |
    +------------------------------------+------------------------------------+
    | This movie is amazing because the  | Esta película es increíble porque  |
    | fact that real people portray...   | las personas reales se...          |
    +------------------------------------+------------------------------------+
    | ...                                | ...                                |
    +------------------------------------+------------------------------------+
    

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

프로젝트 삭제

    Cloud de Confiance 프로젝트 삭제:

    gcloud projects delete PROJECT_ID

개별 리소스 삭제

프로젝트를 재사용하려면 이 튜토리얼에서 만든 데이터 세트를 삭제합니다.

콘솔

  1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. bqml_tutorial 데이터 세트를 삭제합니다. 데이터 세트를 삭제하면 customer_feedback 테이블도 삭제됩니다.

    1. 탐색기 창에서 프로젝트를 펼친 후 데이터 세트를 클릭합니다.

    2. 데이터 세트 목록에서 bqml_tutorial 데이터 세트를 클릭합니다.

    3. 세부정보 창에서 삭제를 클릭합니다.

    4. 데이터 세트 삭제 대화상자에서 삭제를 클릭합니다.

gcloud

  • bqml_tutorial 데이터 세트와 customer_feedback 테이블을 삭제합니다.
bq rm --dataset --recursive bqml_tutorial

다음 단계