單一租戶節點叢集

您可以在 Compute Engine 單一租戶節點上建立 Managed Service for Apache Spark 叢集。單一租戶節點是專門用來託管專案 VM 的 Compute Engine 伺服器。在這類節點上建立 Managed Service for Apache Spark 叢集，可確保叢集的 VM 實體位置與其他專案的 VM 不同。叢集的功能與標準 Managed Service for Apache Spark 叢集相同，但另外提供硬體隔離功能，可以解決安全性和法規遵循問題。

Managed Service for Apache Spark 單一租戶節點叢集會建立在使用者指定的「單一租戶節點群組」中。每個叢集的主要、worker 和次要 worker 執行個體，也都會建立在這個群組中。

開始步驟

  1. 參閱事前準備。

  2. 建立單一租戶節點範本。

  3. 建立單一租戶節點群組。

    • 如要在單一租戶節點群組中建立自動調度資源叢集，請使用自動調度資源節點群組。

      節點群組自動調度資源建議：

      • 請確認節點群組的 max-nodes 足夠，可以滿足您要在單一租戶節點群組中建立的叢集 maxInstances。
      • 採用預設或 migrate-within-node-group 節點群組維護政策；如果採用 restart-in-place 政策，可能會有最多 1 小時無法使用 VM。

建立單一租戶叢集

gcloud 指令

建立單一租戶叢集時，請將 --node-group 旗標傳遞至 gcloud dataproc clusters create 指令。

旗標附註：

  • --region (必要)：必須與單一租戶群組的區域相符。
  • --node-group (必要)：可以指定單一租戶節點群組的名稱 (「node-group-name」)，或是單一租戶節點群組的資源 URI (「projects/project-id/zones/zone/nodeGroups/node-group-name」)。
  • --zone (必要)：叢集可用區必須與單一租戶節點群組的可用區相符。
gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone=zone \
    --node-group=node group resource name or URI \
    ... other args

REST API

透過指定單一租戶節點群組 NodeGroupAffinity.nodeGroupUri 的 clusters.create 要求，建立單一租戶叢集。

注意：zoneUri 欄位指定的叢集可用區，必須與單一租戶節點群組的可用區相符。

控制台

目前 Cloud de Confiance 主控台不支援建立單一租戶 Managed Service for Apache Spark 叢集。