準備翻譯大型語言模型模型的監督式微調資料

本文說明如何為 Translation LLM 模型定義監督式微調資料集。您可以調整文字資料類型。

關於監督式微調資料集

監督式微調資料集可用於微調預先訓練模型，使其適用於特定領域。輸入資料應與模型在實際應用環境中遇到的資料類似。輸出標籤應代表每個輸入內容的正確答案或結果。

訓練資料集

如要調整模型，請提供訓練資料集。為獲得最佳結果，建議您先提供 100 個樣本。如有需要，您可以擴充至數千個範例。資料集的品質遠比數量重要。

限制：

每個範例的輸入和輸出詞元數量上限：1,000 個
訓練資料集檔案大小上限：JSONL 格式為 1 GB。

驗證資料集

強烈建議您提供驗證資料集。驗證資料集有助於評估微調作業的成效。

限制：

每個範例的輸入和輸出詞元數量上限：1,000 個
驗證資料集中的範例數量上限：1024
訓練資料集檔案大小上限：JSONL 格式為 1 GB。

資料集格式

模型調整資料集必須採用 JSON Lines (JSONL) 格式，其中每一行都包含一個調整範例。微調模型前，請務必將資料集上傳至 Cloud Storage 值區。請務必上傳至 us-central1。

{
  "contents": [
    {
      "role": string,
      "parts": [
        {
          "text": string,
        }
      ]
    }
  ]
}

參數

這個範例包含下列參數的資料：

參數

參數
`contents`	必填：`Content` 目前與模型對話的內容。如果是單輪查詢，這就是單一執行個體。

contents

必填：Content

目前與模型對話的內容。

如果是單輪查詢，這就是單一執行個體。

「`translation-llm-002`」的資料集範例

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "English: Hello. Spanish:",
        }
      ]
    }
    {
      "role": "model"",
      "parts": [
        {
          "text": "Hola.",
        }
      ]
    }
  ]
}

參數
`role`	選填：`string` 建立訊息的實體身分。支援的值如下： `user`：表示訊息是由真人傳送，通常是使用者產生的訊息。 `model`：表示訊息是由模型生成。
`parts`	`part` 組成單一郵件的排序部分清單。如要瞭解輸入內容的限制 (例如最多可輸入的權杖數或圖片數)，請參閱「Google 模型」頁面的模型規格。如要計算要求中的權杖數量，請參閱「取得權杖數量」。