ドキュメント処理関数を選択する

このドキュメントでは、BigQuery ML で使用可能なドキュメント処理関数（ML.GENERATE_TEXT、ML.PROCESS_DOCUMENT）の比較を行います。

関数の機能が重複している場合は、このドキュメントの情報を使用して、使用する関数を決定できます。

概略を示すと、これらの関数の違いは次のとおりです。

  • ML.GENERATE_TEXT は、一部のコンテンツがドキュメントに存在する自然言語処理（NLP）タスクを実行する場合に適しています。この関数には次の利点があります。

    • コストの削減
    • 対応言語の追加
    • スループットの高速化
    • モデル チューニングの機能
    • マルチモーダル モデルの可用性

    このアプローチに適したドキュメント処理タスクの例については、Gemini API でドキュメント処理機能を試すをご覧ください。

  • ML.PROCESS_DOCUMENT は、ドキュメントの解析と事前定義および構造化されたレスポンスを必要とするドキュメント処理タスクを実行するのに適しています。

サポートされているモデル

サポートされているモデルは次のとおりです。

  • ML.GENERATE_TEXT: Vertex AI Gemini モデルのサブセットを使用してテキストを生成できます。サポートされているモデルの詳細については、ML.GENERATE_TEXT 構文をご覧ください。
  • ML.PROCESS_DOCUMENT: Document AI API のデフォルト モデルを使用します。Document AI API を使用すると、Invoice パーサー、Layout パーサー、Form パーサーなど、さまざまなドキュメント プロセッサにアクセスできます。これらのドキュメント プロセッサを使用することで、さまざまな構造の PDF ファイルを操作できます。

サポートされているタスク

サポートされているタスクは次のとおりです。

  • ML.GENERATE_TEXT: 入力がドキュメントである NLP タスクを実行できます。たとえば、企業の財務ドキュメントの場合、What is the quarterly revenue for each division? などのプロンプトを提供することで、ドキュメントの情報を取得できます。
  • ML.PROCESS_DOCUMENT: 請求書、税務フォーム、財務諸表など、さまざまなドキュメント タイプに特化したドキュメント処理を行うことができます。ドキュメント チャンキングも実行できます。このタスクで ML.PROCESS_DOCUMENT 関数を使用する方法については、検索拡張生成パイプラインで PDF を解析するをご覧ください。

料金

料金は次のとおりです。

  • ML.GENERATE_TEXT: この関数で使用する Vertex AI モデルの料金については、Vertex AI の料金をご覧ください。サポートされているモデルの教師ありチューニングに対しては、ノード時間あたりの料金で課金されます。詳細については、Vertex AI カスタム トレーニングの料金をご覧ください。
  • ML.PROCESS_DOCUMENT: この関数で使用する Cloud AI サービスの料金については、Document AI API の料金をご覧ください。

教師ありチューニング

教師ありチューニングのサポートは次のとおりです。

  • ML.GENERATE_TEXT: 一部のモデルで教師ありチューニングがサポートされています。
  • ML.PROCESS_DOCUMENT: 教師ありチューニングはサポートされていません。

1 分あたりのクエリ数（QPM）の上限

QPM の上限は次のとおりです。

  • ML.GENERATE_TEXT: gemini-1.5-pro モデルの場合はデフォルトの us-central1 リージョンで 60 QPM、gemini-1.5-flash モデルの場合はデフォルトの us-central1 リージョンで 200 QPM。詳細については、Vertex AI での生成 AI の割り当てをご覧ください。
  • ML.PROCESS_DOCUMENT: プロセッサ タイプごとに 120 QPM。プロジェクトごとの合計上限は 600 QPM。詳細については、割り当てリストをご覧ください。

割り当てを増やすには、割り当ての増加をリクエストするをご覧ください。

トークンの上限

トークンの上限は次のとおりです。

  • ML.GENERATE_TEXT: 700 個の入力トークンと 8,196 個の出力トークン。
  • ML.PROCESS_DOCUMENT: トークンの上限はありません。ただし、この関数には、使用しているプロセッサに応じて異なるページ数の上限があります。詳細については、上限をご覧ください。

サポートされている言語

サポートされている言語は次のとおりです。

  • ML.GENERATE_TEXT: Gemini と同じ言語をサポートします。
  • ML.PROCESS_DOCUMENT: サポートされる言語は、ドキュメント プロセッサのタイプによって異なります。ほとんどの場合、英語のみがサポートされています。詳細については、プロセッサのリストをご覧ください。

対象リージョン

ご利用対象のリージョンは次のとおりです。