Il est possible qu'une partie ou l'ensemble des informations de cette page ne s'appliquent pas au Cloud de confiance S3NS.
Choisir une fonction de traitement de documents
Ce document compare les fonctions de traitement de documents disponibles dans BigQuery ML, à savoir ML.GENERATE_TEXT et ML.PROCESS_DOCUMENT.
Vous pouvez utiliser les informations de ce document pour vous aider à choisir la fonction à utiliser lorsque les fonctions se chevauchent.
De manière générale, la différence entre ces fonctions est la suivante :
ML.GENERATE_TEXT est un bon choix pour effectuer des tâches de traitement du langage naturel (TLN) lorsque certains contenus se trouvent dans des documents. Cette fonction offre les avantages suivants :
- Réduction des coûts
- Plus de langues disponibles
- Débit plus rapide
- Fonctionnalité de réglage de modèle
- Disponibilité des modèles multimodaux
Pour obtenir des exemples de tâches de traitement de documents qui fonctionnent le mieux avec cette approche, consultez Explorer les capacités de traitement de documents avec l'API Gemini.
ML.PROCESS_DOCUMENT est un bon choix pour effectuer des tâches de traitement de documents qui nécessitent l'analyse de documents et une réponse structurée prédéfinie.
Modèles compatibles
Les modèles compatibles sont les suivants :
ML.GENERATE_TEXT : vous pouvez utiliser un sous-ensemble des modèles Vertex AI Gemini pour générer du texte. Pour en savoir plus sur les modèles compatibles, consultez la page Syntaxe ML.GENERATE_TEXT.ML.PROCESS_DOCUMENT : vous utilisez le modèle par défaut de l'API Document AI. L'API Document AI vous donne accès à de nombreux processeurs de documents différents, tels que l'analyseur de factures, l'analyseur de mise en page et l'analyseur de formulaires. Vous pouvez utiliser ces processeurs de documents pour travailler avec des fichiers PDF présentant de nombreuses structures différentes.
Tâches disponibles
Les tâches suivantes sont acceptées :
ML.GENERATE_TEXT : vous pouvez effectuer n'importe quelle tâche de traitement du langage naturel dont l'entrée est un document. Par exemple, à partir d'un document financier d'une entreprise, vous pouvez récupérer des informations sur le document en fournissant une requête telle que What is
the quarterly revenue for each division?.ML.PROCESS_DOCUMENT : vous pouvez effectuer un traitement spécialisé des documents pour différents types de documents, tels que les factures, les formulaires fiscaux et les états financiers. Vous pouvez également effectuer le découpage de documents. Pour en savoir plus sur l'utilisation de la fonction ML.PROCESS_DOCUMENT pour cette tâche, consultez Analyser des PDF dans un pipeline de génération augmentée de récupération.
Tarifs
Les tarifs sont les suivants :
Réglage supervisé
Voici les modèles compatibles avec le réglage supervisé :
ML.GENERATE_TEXT : le réglage supervisé est compatible avec certains modèles.ML.PROCESS_DOCUMENT : le réglage supervisé n'est pas compatible.
Limite de requêtes par minute (RPM)
Les limites de RPM sont les suivantes :
ML.GENERATE_TEXT : 60 RPM dans la région par défaut us-central1 pour les modèles gemini-1.5-pro et 200 RPM dans la région par défaut us-central1 pour les modèles gemini-1.5-flash. Pour en savoir plus, consultez Quotas de l'IA générative sur Vertex AI.ML.PROCESS_DOCUMENT : 120 RPM par type de processeur, avec une limite globale de 600 RPM par projet. Pour en savoir plus, consultez la liste des quotas.
Pour augmenter votre quota, consultez Demander un ajustement de quota.
Limite de jetons
Les limites de jetons sont les suivantes :
ML.GENERATE_TEXT : 700 jetons d'entrée et 8 196 jetons de sortie.ML.PROCESS_DOCUMENT : aucune limite de jetons. Cependant, cette fonction a des limites de pages différentes selon le processeur que vous utilisez. Pour en savoir plus, consultez Limites.
Langues disponibles
Les langues compatibles sont les suivantes :
ML.GENERATE_TEXT : prend en charge les mêmes langues que Gemini.ML.PROCESS_DOCUMENT : les langues acceptées dépendent du type de processeur de documents. La plupart n'acceptent que l'anglais. Pour en savoir plus, consultez la liste des sous-traitants.
Régions concernées
La disponibilité des régions est la suivante :
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/08/16 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Il n'y a pas l'information dont j'ai besoin","missingTheInformationINeed","thumb-down"],["Trop compliqué/Trop d'étapes","tooComplicatedTooManySteps","thumb-down"],["Obsolète","outOfDate","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Mauvais exemple/Erreur de code","samplesCodeIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/08/16 (UTC)."],[[["\u003cp\u003e\u003ccode\u003eML.GENERATE_TEXT\u003c/code\u003e is suitable for natural language processing tasks within documents, offering benefits like lower costs, broader language support, faster processing, model tuning, and multimodal model options.\u003c/p\u003e\n"],["\u003cp\u003e\u003ccode\u003eML.PROCESS_DOCUMENT\u003c/code\u003e excels in document processing tasks requiring structured responses and document parsing, and also supports working with different PDF file structures.\u003c/p\u003e\n"],["\u003cp\u003e\u003ccode\u003eML.GENERATE_TEXT\u003c/code\u003e uses a subset of Vertex AI Gemini models and supports a wide array of natural language processing tasks, while \u003ccode\u003eML.PROCESS_DOCUMENT\u003c/code\u003e utilizes the Document AI API, with specialized document processing for tasks like parsing invoices or tax forms.\u003c/p\u003e\n"],["\u003cp\u003e\u003ccode\u003eML.GENERATE_TEXT\u003c/code\u003e supports supervised tuning for certain models, while \u003ccode\u003eML.PROCESS_DOCUMENT\u003c/code\u003e does not have supervised tuning support.\u003c/p\u003e\n"],["\u003cp\u003e\u003ccode\u003eML.GENERATE_TEXT\u003c/code\u003e has higher language support and lower token limits, whereas \u003ccode\u003eML.PROCESS_DOCUMENT\u003c/code\u003e depends on the document processor for language support and has no token limit, only page limits.\u003c/p\u003e\n"]]],[],null,["# Choose a document processing function\n=====================================\n\nThis document provides a comparison of the document processing functions\navailable in BigQuery ML, which are\n[`ML.GENERATE_TEXT`](/bigquery/docs/reference/standard-sql/bigqueryml-syntax-generate-text)\nand\n[`ML.PROCESS_DOCUMENT`](/bigquery/docs/reference/standard-sql/bigqueryml-syntax-process-document).\n\nYou can use the information in this document to help you decide which function\nto use in cases where the functions have overlapping capabilities.\n\nAt a high level, the difference between these functions is as follows:\n\n- `ML.GENERATE_TEXT` is a good choice for performing natural\n language processing (NLP) tasks where some of the content resides in\n documents. This function offers the following benefits:\n\n - Lower costs\n - More language support\n - Faster throughput\n - Model tuning capability\n - Availability of multimodal models\n\n For examples of document processing tasks that work best with this\n approach, see\n [Explore document processing capabilities with the Gemini API](https://ai.google.dev/gemini-api/docs/document-processing).\n- `ML.PROCESS_DOCUMENT` is a good choice for performing document processing\n tasks that require document parsing and a predefined, structured response.\n\nSupported models\n----------------\n\nSupported models are as follows:\n\n- `ML.GENERATE_TEXT`: you can use a subset of the Vertex AI [Gemini](/vertex-ai/generative-ai/docs/learn/models#gemini-models) models to generate text. For more information on supported models, see the [`ML.GENERATE_TEXT` syntax](/bigquery/docs/reference/standard-sql/bigqueryml-syntax-generate-text#syntax).\n- `ML.PROCESS_DOCUMENT`: you use the default model of the [Document AI API](/document-ai). Using the Document AI API gives you access to many different document processors, such as the invoice parser, layout parser, and form parser. You can use these document processors to work with PDF files with many different structures.\n\nSupported tasks\n---------------\n\nSupported tasks are as follows:\n\n- `ML.GENERATE_TEXT`: you can perform any NLP task where the input is a document. For example, given a financial document for a company, you can retrieve document information by providing a prompt such as `What is\n the quarterly revenue for each division?`.\n- `ML.PROCESS_DOCUMENT`: you can perform specialized document processing for different document types, such as invoices, tax forms, and financial statements. You can also perform document chunking. For more information, on how to use the `ML.PROCESS_DOCUMENT` function fo this task, see [Parse PDFs in a retrieval-augmented generation pipeline](/bigquery/docs/rag-pipeline-pdf).\n\nPricing\n-------\n\nPricing is as follows:\n\n- `ML.GENERATE_TEXT`: For pricing of the Vertex AI models that you use with this function, see [Vertex AI pricing](/vertex-ai/generative-ai/pricing). Supervised tuning of supported models is charged at dollars per node hour. For more information, see [Vertex AI custom training pricing](/vertex-ai/pricing#custom-trained_models).\n- `ML.PROCESS_DOCUMENT`: For pricing of the Cloud AI service that you use with this function, see [Document AI API pricing](/document-ai/pricing).\n\nSupervised tuning\n-----------------\n\nSupervised tuning support is as follows:\n\n- `ML.GENERATE_TEXT`: [supervised tuning](/bigquery/docs/reference/standard-sql/bigqueryml-syntax-create-remote-model#supervised_tuning) is supported for some models.\n- `ML.PROCESS_DOCUMENT`: supervised tuning isn't supported.\n\nQueries per minute (QPM) limit\n------------------------------\n\nQPM limits are as follows:\n\n- `ML.GENERATE_TEXT`: 60 QPM in the default `us-central1` region for `gemini-1.5-pro` models, and 200 QPM in the default `us-central1` region for `gemini-1.5-flash` models. For more information, see [Generative AI on Vertex AI quotas](/vertex-ai/generative-ai/docs/quotas).\n- `ML.PROCESS_DOCUMENT`: 120 QPM per processor type, with an overall limit of 600 QPM per project. For more information, see [Quotas list](/document-ai/quotas#quotas_list).\n\nTo increase your quota, see\n[Request a quota adjustment](/docs/quotas/help/request_increase).\n\nToken limit\n-----------\n\nToken limits are as follows:\n\n- `ML.GENERATE_TEXT`: 700 input tokens, and 8196 output tokens.\n- `ML.PROCESS_DOCUMENT`: No token limit. However, this function does have different page limits depending on the processor you use. For more information, see [Limits](/document-ai/limits).\n\nSupported languages\n-------------------\n\nSupported languages are as follows:\n\n- `ML.GENERATE_TEXT`: supports the same languages as [Gemini](/vertex-ai/generative-ai/docs/learn/models#languages-gemini).\n- `ML.PROCESS_DOCUMENT`: language support depends on the document processor type; most only support English. For more information, see [Processor list](/document-ai/docs/processors-list).\n\nRegion availability\n-------------------\n\nRegion availability is as follows:\n\n- `ML.GENERATE_TEXT`: available in all Generative AI for Vertex AI [regions](/vertex-ai/generative-ai/docs/learn/locations#available-regions).\n- `ML.PROCESS_DOCUMENT`: available in the `EU` and `US` [multi-regions](/bigquery/docs/locations#multi-regions) for all processors. Some processors are also available in certain single regions. For more information, see [Regional and multi-regional support](/document-ai/docs/regions)."]]
