תמלול של קובצי אודיו באמצעות הפונקציה ML.TRANSCRIBE

במאמר הזה מוסבר איך להשתמש בפונקציה ML.TRANSCRIBE עם מודל מרוחק כדי לתמלל קובצי אודיו מטבלת אובייקטים.

מיקומים נתמכים

אתם צריכים ליצור את המודל המרוחק שמשמש בהליך הזה באחד מהמיקומים הבאים:

• asia-northeast1
• asia-south1
• asia-southeast1
• australia-southeast1
• eu
• europe-west1
• europe-west2
• europe-west3
• europe-west4
• northamerica-northeast1
• us
• us-central1
• us-east1
• us-east4
• us-west1

צריך להפעיל את הפונקציה ML.TRANSCRIBE באותו אזור שבו נמצא המודל המרוחק.

התפקידים הנדרשים

כדי ליצור מודל מרוחק ולתמלל קובצי אודיו, צריך את התפקידים הבאים בממשק לניהול הזהויות והרשאות הגישה (IAM) ברמת הפרויקט:

• יצירת כלי לזיהוי דיבור: Cloud Speech Editor (roles/speech.editor)
• יצירה ושימוש במערכי נתונים, בטבלאות ובמודלים של BigQuery: הכלי לעריכת נתונים ב-BigQuery‏ (roles/bigquery.dataEditor)

• יצירה, הקצאה ושימוש בחיבורים ל-BigQuery: ניהול חיבורים ל-BigQuery‏ (roles/bigquery.connectionsAdmin)

  אם לא הגדרתם חיבור ברירת מחדל, תוכלו ליצור חיבור ולהגדיר אותו כחלק מהרצת ההצהרה CREATE MODEL. כדי לעשות זאת, צריך להיות לכם תפקיד BigQuery Admin ‏(roles/bigquery.admin) בפרויקט. מידע נוסף מופיע במאמר בנושא הגדרת חיבור ברירת המחדל.

• הענקת הרשאות לחשבון השירות של החיבור: אדמין IAM של פרויקט (roles/resourcemanager.projectIamAdmin)

• יצירת משימות BigQuery: BigQuery Job User (שימוש במשימות BigQuery) (roles/bigquery.jobUser)

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לביצוע המשימות שמתוארות במסמך הזה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתוכלו לקבל את ההרשאות האלה גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

לפני שמתחילים

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Cloud de Confiance project.

3. Enable the BigQuery, BigQuery Connection API, and Speech-to-Text APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

יצירת רכיב לזיהוי דיבור

המרת דיבור לטקסט תומכת במשאבים שנקראים מזהים. רכיבי זיהוי מייצגים הגדרות זיהוי מאוחסנות וניתנות לשימוש חוזר. אתם יכולים ליצור רכיב לזיהוי כדי לקבץ באופן לוגי תמלילים או תנועה לאפליקציה שלכם.

יצירת מזהה דיבור היא אופציונלית. אם בוחרים ליצור מזהה דיבור, צריך לרשום את מזהה הפרויקט, המיקום ומזהה מזהה הדיבור כדי להשתמש בהם בהצהרה CREATE MODEL, כמו שמתואר במאמר SPEECH_RECOGNIZER. אם לא יוצרים מזהה דיבור, צריך לציין ערך recognition_config לארגומנט של הפונקציה ML.TRANSCRIBE.

אפשר להשתמש רק בערך chirp transcription model במזהה הדיבור או בערך recognition_config שאתם מספקים.

יצירת מערך נתונים

יוצרים מערך נתונים ב-BigQuery שיכיל את המשאבים:

יצירת חיבור

יוצרים קישור למשאבים ב-Cloud ומקבלים את חשבון השירות של הקישור. יוצרים את החיבור באותו מיקום של מערך הנתונים שיצרתם בשלב הקודם.

אם כבר הגדרתם חיבור ברירת מחדל או שיש לכם את תפקיד האדמין ב-BigQuery, אתם יכולים לדלג על השלב הזה.

import google.api_core.exceptions
from google.cloud import bigquery_connection_v1

client = bigquery_connection_v1.ConnectionServiceClient()


def create_connection(
    project_id: str,
    location: str,
    connection_id: str,
):
    """Creates a BigQuery connection to a Cloud Resource.

    Cloud Resource connection creates a service account which can then be
    granted access to other Google Cloud resources for federated queries.

    Args:
        project_id: The Google Cloud project ID.
        location: The location of the connection (for example, "us-central1").
        connection_id: The ID of the connection to create.
    """

    parent = client.common_location_path(project_id, location)

    connection = bigquery_connection_v1.Connection(
        friendly_name="Example Connection",
        description="A sample connection for a Cloud Resource.",
        cloud_resource=bigquery_connection_v1.CloudResourceProperties(),
    )

    try:
        created_connection = client.create_connection(
            parent=parent, connection_id=connection_id, connection=connection
        )
        print(f"Successfully created connection: {created_connection.name}")
        print(f"Friendly name: {created_connection.friendly_name}")
        print(
            f"Service Account: {created_connection.cloud_resource.service_account_id}"
        )

    except google.api_core.exceptions.AlreadyExists:
        print(f"Connection with ID '{connection_id}' already exists.")
        print("Please use a different connection ID.")
    except Exception as e:
        print(f"An unexpected error occurred while creating the connection: {e}")

const {ConnectionServiceClient} =
  require('@google-cloud/bigquery-connection').v1;
const {status} = require('@grpc/grpc-js');

const client = new ConnectionServiceClient();

/**
 * Creates a new BigQuery connection to a Cloud Resource.
 *
 * A Cloud Resource connection creates a service account that can be granted access
 * to other Google Cloud resources.
 *
 * @param {string} projectId The Google Cloud project ID. for example, 'example-project-id'
 * @param {string} location The location of the project to create the connection in. for example, 'us-central1'
 * @param {string} connectionId The ID of the connection to create. for example, 'example-connection-id'
 */
async function createConnection(projectId, location, connectionId) {
  const parent = client.locationPath(projectId, location);

  const connection = {
    friendlyName: 'Example Connection',
    description: 'A sample connection for a Cloud Resource',
    // The service account for this cloudResource will be created by the API.
    // Its ID will be available in the response.
    cloudResource: {},
  };

  const request = {
    parent,
    connectionId,
    connection,
  };

  try {
    const [response] = await client.createConnection(request);

    console.log(`Successfully created connection: ${response.name}`);
    console.log(`Friendly name: ${response.friendlyName}`);

    console.log(`Service Account: ${response.cloudResource.serviceAccountId}`);
  } catch (err) {
    if (err.code === status.ALREADY_EXISTS) {
      console.log(`Connection '${connectionId}' already exists.`);
    } else {
      console.error(`Error creating connection: ${err.message}`);
    }
  }
}

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

הענקת גישה לחשבון השירות

בוחרים באחת מהאפשרויות הבאות:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/speech.client' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None

אם לא תעניקו את ההרשאה, תוצג השגיאה Permission denied.

יצירת טבלת אובייקטים

יוצרים טבלת אובייקטים על קבוצה של קובצי אודיו ב-Cloud Storage. קבצי האודיו בטבלת האובייקטים צריכים להיות מסוג נתמך.

הקטגוריה של Cloud Storage שבה משתמשים בטבלת האובייקטים צריכה להיות באותו פרויקט שבו מתכננים ליצור את המודל ולקרוא לפונקציה ML.TRANSCRIBE. אם רוצים להפעיל את הפונקציה ML.TRANSCRIBE בפרויקט אחר מזה שמכיל את הקטגוריה של Cloud Storage שמשמשת את טבלת האובייקטים, צריך להעניק לחשבון השירות service-A@gcp-sa-aiplatform.s3ns-system.iam.gserviceaccount.com את התפקיד 'אדמין אחסון' ברמת הקטגוריה.

יצירת מודל

יצירת מודל מרוחק עם REMOTE_SERVICE_TYPE של CLOUD_AI_SPEECH_TO_TEXT_V2:

CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION {DEFAULT | `PROJECT_ID.REGION.CONNECTION_ID`}
OPTIONS (
  REMOTE_SERVICE_TYPE = 'CLOUD_AI_SPEECH_TO_TEXT_V2',
  SPEECH_RECOGNIZER = 'projects/PROJECT_NUMBER/locations/LOCATION/recognizers/RECOGNIZER_ID'
);

מחליפים את מה שכתוב בשדות הבאים:

• PROJECT_ID: מזהה הפרויקט.
• ‫DATASET_ID: המזהה של מערך הנתונים שאמור להכיל את המודל.
• ‫MODEL_NAME: שם המודל.
• ‫REGION: האזור שבו נעשה שימוש בחיבור.
• ‫CONNECTION_ID: מזהה החיבור, לדוגמה: myconnection.

  כשמציגים את פרטי החיבור במסוף Cloud de Confiance , מזהה החיבור הוא הערך בקטע האחרון של מזהה החיבור המלא שמוצג במזהה החיבור – לדוגמה, projects/myproject/locations/connection_location/connections/myconnection.

• ‫PROJECT_NUMBER: מספר הפרויקט שמכיל את הכלי לזיהוי דיבור. אפשר לראות את הערך הזה בכרטיס Project info בדף Dashboard במסוף Cloud de Confiance .
• ‫LOCATION: המיקום שבו נעשה שימוש במנגנון לזיהוי דיבור. אפשר לראות את הערך הזה בשדה מיקום בדף List recognizers במסוף Cloud de Confiance .
• ‫RECOGNIZER_ID: המזהה של מנגנון זיהוי הדיבור. אפשר למצוא את הערך הזה בשדה ID בדף List recognizers במסוף Cloud de Confiance .

  האפשרות הזו לא נדרשת. אם לא מציינים ערך, המערכת משתמשת במזהה ברירת מחדל. במקרה כזה, צריך לציין ערך לפרמטר recognition_config של הפונקציה ML.TRANSCRIBE כדי לספק הגדרה למזהה ברירת המחדל.

  אפשר להשתמש רק בchirp מודל התמלול בערך recognition_config שאתם מספקים.

תמלול של קובצי אודיו

תמלול של קובצי אודיו באמצעות הפונקציה ML.TRANSCRIBE:

SELECT *
FROM ML.TRANSCRIBE(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE `PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME`,
  RECOGNITION_CONFIG => ( JSON 'recognition_config')
);

מחליפים את מה שכתוב בשדות הבאים:

• PROJECT_ID: מזהה הפרויקט.
• ‫DATASET_ID: המזהה של מערך הנתונים שמכיל את המודל.
• ‫MODEL_NAME: שם המודל.
• ‫OBJECT_TABLE_NAME: השם של טבלת האובייקטים שמכילה את כתובות ה-URI של קובצי האודיו לעיבוד.
• ‫recognition_config: משאב RecognitionConfig בפורמט JSON.

  אם צוין מזהה עבור המודל המרוחק באמצעות האפשרות SPEECH_RECOGNIZER, אי אפשר לציין ערך recognition_config.

  אם לא צוין מזהה למודל המרוחק באמצעות האפשרות SPEECH_RECOGNIZER, צריך לציין ערך recognition_config. הערך הזה משמש להגדרת מזהה ברירת המחדל.

  אפשר להשתמש רק בערך chirp transcription model במאפיין recognition_config שאתם מציינים.

דוגמאות

דוגמה 1

בדוגמה הבאה מתבצעת תמלול של קובצי האודיו שמיוצגים על ידי הטבלה audio בלי לשנות את הגדרת ברירת המחדל של הכלי לזיהוי דיבור:

SELECT *
FROM ML.TRANSCRIBE(
  MODEL `myproject.mydataset.transcribe_model`,
  TABLE `myproject.mydataset.audio`
);

בדוגמה הבאה מתומללים קובצי האודיו שמיוצגים על ידי הטבלה audio, ומוצגת הגדרה למזהה ברירת המחדל:

SELECT *
FROM ML.TRANSCRIBE(
  MODEL `myproject.mydataset.transcribe_model`,
  TABLE `myproject.mydataset.audio`,
  recognition_config => ( JSON '{"language_codes": ["en-US" ],"model": "chirp","auto_decoding_config": {}}')
);

המאמרים הבאים

• מידע נוסף על הסקת מסקנות ממודלים ב-BigQuery ML זמין במאמר סקירה כללית על הסקת מסקנות ממודלים.
• מידע נוסף על שימוש בממשקי Cloud AI API לביצוע משימות AI זמין במאמר סקירה כללית על אפליקציות AI.
• מידע נוסף על פונקציות והצהרות SQL נתמכות למודלים של AI גנרטיבי זמין במאמר מסלולי משתמשים מקצה לקצה למודלים של AI גנרטיבי.