ExecutionTemplate

ノートブック実行ワークロードの説明。

JSON 表現 
{
  "scaleTier": enum (ScaleTier),
  "masterType": string,
  "acceleratorConfig": {
    object (SchedulerAcceleratorConfig)
  },
  "labels": {
    string: string,
    ...
  },
  "inputNotebookFile": string,
  "containerImageUri": string,
  "outputNotebookFolder": string,
  "paramsYamlFile": string,
  "parameters": string,
  "serviceAccount": string,
  "jobType": enum (JobType),
  "kernelSpec": string,
  "tensorboard": string,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "dataprocParameters": {
    object (DataprocParameters)
  },
  "vertexAiParameters": {
    object (VertexAIParameters)
  }
  // End of mutually exclusive fields.
}
フィールド
scaleTier
(deprecated)

enum (ScaleTier)

必須。ノートブックの実行に使用されるハードウェアのスケールティア。非推奨。廃止されます。現時点では CUSTOM のみがサポートされています。
masterType

string

トレーニング ジョブのマスター ワーカーに使用する仮想マシンのタイプを指定します。scaleTier が CUSTOM に設定されている場合は、このフィールドを指定する必要があります。

このフィールドには、特定の Compute Engine マシンタイプを直接使用できます。次の型がサポートされています。

  • n1-standard-4
  • n1-standard-8
  • n1-standard-16
  • n1-standard-32
  • n1-standard-64
  • n1-standard-96
  • n1-highmem-2
  • n1-highmem-4
  • n1-highmem-8
  • n1-highmem-16
  • n1-highmem-32
  • n1-highmem-64
  • n1-highmem-96
  • n1-highcpu-16
  • n1-highcpu-32
  • n1-highcpu-64
  • n1-highcpu-96

または、次の従来のマシンタイプを使用できます。

  • standard
  • large_model
  • complex_model_s
  • complex_model_m
  • complex_model_l
  • standard_gpu
  • complex_model_m_gpu
  • complex_model_l_gpu
  • standard_p100
  • complex_model_m_p100
  • standard_v100
  • large_model_v100
  • complex_model_m_v100
  • complex_model_l_v100

最後に、トレーニングに TPU を使用する場合は、このフィールドに cloud_tpu を指定します。TPU を使用したトレーニングの特別な構成オプションについて学習する。
acceleratorConfig

object (SchedulerAcceleratorConfig)

ノートブック実行を実行するハードウェアの構成（数とアクセラレータ タイプ）。
labels

map (key: string, value: string)

実行のラベル。実行がスケジュールされている場合、含まれるフィールドは「nbs-scheduled」になります。それ以外の場合は、即時実行となり、含まれるフィールドは「nbs-immediate」になります。フィールドを使用して、さまざまなタイプの実行間で効率的にインデックス登録します。

"key": value ペアのリストを含むオブジェクト。例: { "name": "wrench", "mass": "1.3kg", "count": "3" }
inputNotebookFile

string

実行するノートブック ファイルのパス。Google Cloud Storage バケットに存在する必要があります。形式: gs://{bucket_name}/{folder}/{notebook_file_name} 例: gs://notebook_user/scheduled_notebooks/sentiment_notebook.ipynb
containerImageUri

string

DLVM のコンテナ イメージ URI の例: 'gcr.io/deeplearning-platform-release/base-cu100' その他の例については、https://cloud.google.com/ai-platform/deep-learning-containers/docs/choosing-container をご覧ください。
outputNotebookFolder

string

書き込み先のノートブック フォルダのパス。Google Cloud Storage バケットのパスにする必要があります。形式: gs://{bucket_name}/{folder} 例: gs://notebook_user/scheduled_notebooks
paramsYamlFile

string

実行中にノートブックでオーバーライドされるパラメータ。入力ノートブックでパラメータを指定し、YAML ファイルで渡す方法については、https://papermill.readthedocs.io/en/latest/usage-parameterize.html を参照してください。例: gs://notebook_user/scheduled_notebooks/sentiment_notebook_params.yaml
parameters

string

「inputNotebookFile」ノートブック内で使用されるパラメータ。
serviceAccount

string

実行時に使用するサービス アカウントのメールアドレス。指定されたサービス アカウントに対する iam.serviceAccounts.actAs 権限が必要です。
jobType

enum (JobType)

この実行で使用される Job のタイプ。
kernelSpec

string

使用するカーネル仕様の名前。実行ターゲットのカーネル仕様名が入力ノートブック ファイルの名前と一致しない場合は、これを指定する必要があります。
tensorboard

string

この実行で TensorBoard ログをアップロードする Vertex AI [Tensorboard] リソースの名前。形式: projects/{project}/locations/{location}/tensorboards/{tensorboard}
実行タイプのパラメータ。注: 現在、VertexAI ジョブに追加のパラメータはありません。以下は、相互に排他的なフィールドのリストです。レスポンスに設定されるフィールドは、最大 1 つです。
dataprocParameters

object (DataprocParameters)

Dataproc JobType 実行で使用されるパラメータ。
vertexAiParameters

object (VertexAIParameters)

Vertex AI JobType の実行で使用されるパラメータ。
相互に排他的なフィールドの終わり。

ScaleTier

必須。マシンタイプ、ワーカーとパラメータ サーバーのレプリカの数を指定します。

列挙型
SCALE_TIER_UNSPECIFIED スケール ティアが指定されていません。
BASIC 単一ワーカー インスタンス。この階層は、Cloud ML の使用方法を学習するため、および小さいデータセットを使用して新しいモデルを実験するために適しています。
STANDARD_1 多数のワーカーと少数のパラメータ サーバー。
PREMIUM_1 非常に多くのワーカーと多数のパラメータ サーバー。
BASIC_GPU K80 GPU を備えた 1 つのワーカー インスタンス。
BASIC_TPU Cloud TPU を備えた 1 つのワーカー インスタンス。
CUSTOM

CUSTOM 階層はあらかじめ設定された階層ではなく、独自のクラスタ仕様を使用するための階層です。この階層を使用するときは、処理クラスタを構成するための値を、以下のガイドラインに沿って設定します。

  • マスターノードに使用するマシンのタイプを指定するために ExecutionTemplate.masterType を設定する必要があります。これが唯一の必須の設定です。

SchedulerAcceleratorConfig

ハードウェア アクセラレータの定義。type と coreCount のすべての組み合わせが有効であるわけではありません。有効な組み合わせについては、Compute Engine の GPU をご覧ください。TPU はサポートされていません。

JSON 表現 
{
  "type": enum (SchedulerAcceleratorType),
  "coreCount": string
}
フィールド
type

enum (SchedulerAcceleratorType)

このアクセラレータのタイプ。
coreCount

string (int64 format)

このアクセラレータのコア数。

SchedulerAcceleratorType

AI Platform Training ジョブのハードウェア アクセラレータ タイプ。

列挙型
SCHEDULER_ACCELERATOR_TYPE_UNSPECIFIED 未指定のアクセラレータ タイプ。デフォルトは GPU なしです。
NVIDIA_TESLA_K80 Nvidia Tesla K80 GPU.
NVIDIA_TESLA_P100 Nvidia Tesla P100 GPU.
NVIDIA_TESLA_V100 Nvidia Tesla V100 GPU.
NVIDIA_TESLA_P4 Nvidia Tesla P4 GPU.
NVIDIA_TESLA_T4 Nvidia Tesla T4 GPU.
NVIDIA_TESLA_A100 Nvidia Tesla A100 GPU。
TPU_V2 TPU v2.
TPU_V3 TPU v3.

JobType

この実行に使用されたバックエンド。

列挙型
JOB_TYPE_UNSPECIFIED タイプが指定されていません。
VERTEX_AI aiplatform.googleapis.com のカスタムジョブ。実行のデフォルト値。
DATAPROC Dataproc をジョブとして使用してクラスタで実行を実行します。https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs

DataprocParameters

Dataproc JobType 実行で使用されるパラメータ。

JSON 表現 
{
  "cluster": string
}
フィールド
cluster

string

Dataproc 実行の実行に使用されるクラスタの URI。形式: projects/{PROJECT_ID}/regions/{REGION}/clusters/{CLUSTER_NAME}

VertexAIParameters

Vertex AI JobType の実行で使用されるパラメータ。

JSON 表現 
{
  "network": string,
  "env": {
    string: string,
    ...
  }
}
フィールド
network

string

ジョブをピアリングする Compute Engine ネットワークのフルネーム。例: projects/12345/global/networks/myVPC形式は projects/{project}/global/networks/{network} の形式です。ここで、{project} は 12345 などのプロジェクト番号、{network} はネットワーク名です。

このネットワークに対して、プライベート サービス アクセスがすでに構成されている必要があります。このパラメータを指定しない場合、ジョブはどのネットワークともピアリングされません。
env

map (key: string, value: string)

環境変数。指定できる環境変数は最大 100 個で、一意である必要があります。例: GCP_BUCKET=gs://my-bucket/samples/

"key": value ペアのリストを含むオブジェクト。例: { "name": "wrench", "mass": "1.3kg", "count": "3" }