Managed Service for Apache Spark 效能提升

本文說明如何啟用 Managed Service for Apache Spark 的 Spark 效能強化功能,讓 Managed Service for Apache Spark 工作在更短時間內處理更多資料,同時降低成本。

Managed Service for Apache Spark 的效能強化功能包括:

  • Spark 最佳化工具強化功能:
    • 為改善 Spark 方案而編寫的最佳化工具規則
    • 提升在 Spark 工作中使用 Managed Service for Apache Spark BigQuery 連接器時的效能
  • Spark 執行強化功能:
    • Spark 執行引擎改善項目

其他 Managed Service for Apache Spark 效能改善項目:請參閱 Managed Service for Apache Spark 叢集快取,這項功能有助於減少存取 Cloud Storage 資料所需的時間。

您可以在叢集或 Spark 工作上啟用 Spark 效能強化功能:

  • 根據預設,在叢集上啟用 Spark 效能強化功能後,該功能會套用至在叢集上執行的所有 Spark 工作,無論是提交至 Managed Service for Apache Spark,還是直接提交至叢集。

  • 您也可以在提交至 Managed Service for Apache Spark 的工作上啟用或停用 Spark 效能強化功能。套用至工作的 Spark 效能提升設定,會覆寫叢集層級設定的任何衝突設定,但僅限於指定工作。

定價

Spark 效能強化功能不會產生額外費用。適用標準 Managed Service for Apache Spark 定價。

注意事項

Spark 效能強化功能會調整 Spark 屬性,包括下列屬性:

  • spark.sql.shuffle.partitions:Spark 效能強化功能會將 2.2 圖片集錦叢集的這項屬性設為 1000。這項設定可能會降低小型工作的執行速度。
  • spark.dataproc.sql.catalog.file.index.stats.enabled:如果 Hive 分區數量過多,這項設定可能會導致驅動程式 OOM (記憶體不足)。停用這項屬性可修正 OOM 狀況。

在建立叢集時啟用強化功能

使用 2.0.69 以上、2.1.17 以上、2.2.0 以上和更新版本的映像檔建立 Managed Service for Apache Spark 叢集時,您可以使用 Cloud de Confiance 控制台、Google Cloud CLI 和 Dataproc API,啟用 Managed Service for Apache Spark 效能強化功能。

控制台

  1. 在 Cloud de Confiance 控制台,開啟「Create cluster」(建立叢集) 頁面。
  2. 按一下「其他設定」展開該部分。
  3. 編輯「自訂與其他」。
  4. 在「叢集屬性」部分,新增下列屬性:
    • 如要啟用 Spark 最佳化強化功能:
      1. 按一下「+ 新增屬性」。
      2. 在「Prefix」(前置字元) 清單中選取「spark」。
      3. 在「Key」(鍵) 欄位中輸入 spark.dataproc.enhanced.optimizer.enabled,在「Value」(值) 欄位中輸入 true。
    • 如要啟用 Spark 執行強化功能,請按照下列步驟操作:
      1. 按一下「+ 新增屬性」。
      2. 在「Prefix」(前置字元) 清單中選取「spark」。
      3. 在「Key」(鍵) 欄位中輸入 spark.dataproc.enhanced.execution.enabled,在「Value」(值) 欄位中輸入 true。
  5. 填寫其他叢集欄位,然後按一下「建立叢集」。

gcloud

  1. 在本機的終端機視窗或 Cloud Shell 中,執行下列 gcloud dataproc clusters create 指令。

    gcloud dataproc clusters create CLUSTER_NAME \
        --project=PROJECT_ID \
        --region=REGION \
        --image-version=IMAGE \
        --properties=PROPERTIES
    

    注意:

    • CLUSTER_NAME:叢集名稱,在專案內不得重複。名稱開頭須為小寫英文字母,最多包含 51 個小寫英文字母、數字和連字號,而且結尾不得為連字號。可以重複使用已刪除叢集的名稱。
    • PROJECT_ID:要與叢集建立關聯的專案。
    • REGION:叢集所在的 Compute Engine 區域,例如 us-central1。
      • 您可以新增選用的 --zone=ZONE 旗標,指定所選區域內的可用區,例如 us-central1-a。如未指定可用區,Managed Service for Apache Spark 的自動可用區放置功能會選取指定區域中的可用區。
    • IMAGE:Managed Service for Apache Spark 最佳化工具和執行效能強化功能,適用於 Managed Service for Apache Spark 映像檔版本 2.0.69+ 和 2.1.17+ 及後續版本。如果省略這個旗標,Managed Service for Apache Spark 會為叢集選取預設 Managed Service for Apache Spark 映像檔的最新子次要版本 (請參閱「預設 Managed Service for Apache Spark 映像檔版本」)。
    • PROPERTIES:

      • 如要啟用 Spark 最佳化強化功能,請指定:
      spark:spark.dataproc.enhanced.optimizer.enabled=true
      
      • 如要啟用 Spark 執行強化功能,請指定:
      spark:spark.dataproc.enhanced.execution.enabled=true
      
      • 如要啟用 Spark 最佳化和執行強化功能,請指定:
      spark:spark.dataproc.enhanced.optimizer.enabled=true,spark:spark.dataproc.enhanced.execution.enabled=true
      

API

  1. 在 clusters.create 要求中指定下列 SoftwareConfig.properties:

    • 如要啟用 Spark 最佳化強化功能,請指定:
    "spark:spark.dataproc.enhanced.optimizer.enabled": "true"
    
    • 如要啟用 Spark 執行強化功能,請指定:
    "spark:spark.dataproc.enhanced.execution.enabled": "true"
    
    • 如要啟用 Spark 最佳化和執行強化功能,請指定:
    "spark:spark.dataproc.enhanced.optimizer.enabled": "true","spark:spark.dataproc.enhanced.execution.enabled": "true"
    

在提交工作時啟用或停用強化功能

您可以使用 Cloud de Confiance 控制台、Google Cloud CLI 和 Dataproc API,為提交至 Managed Service for Apache Spark 的 Spark 工作啟用或停用 Spark 效能強化功能。

控制台

  1. 在 Cloud de Confiance 控制台中,開啟「Jobs」(工作) 頁面。
  2. 在「Jobs」(工作) 頁面中,按一下「Submit job」(提交工作),然後捲動至工作「Properties」(屬性) 區段。
    1. 如要啟用 Spark 最佳化強化功能,請按照下列步驟操作:
      1. 按一下「+ 新增資源」。 在「Key」(索引鍵) 欄位中新增「spark.dataproc.enhanced.optimizer.enabled」,並在「Value」(值) 欄位中新增「true」。
    2. 如要啟用 Spark 執行強化功能,請按照下列步驟操作:
      1. 按一下「+ 新增屬性」。
      2. 在「Key」(索引鍵) 欄位中新增「spark.dataproc.enhanced.execution.enabled」,並在「Value」(值) 欄位中新增「true」。
  3. 填寫或確認其他工作提交欄位,然後按一下「Submit」(提交)。

gcloud

  1. 在本機的終端機視窗或 Cloud Shell 中,執行下列 gcloud dataproc jobs submit 指令。

    gcloud dataproc jobs submit SPARK_JOB_TYPE \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --properties=PROPERTIES
    

    注意:

    • SPARK_JOB_TYPE:指定 spark、pyspark、spark-sql 或 spark-r。
    • CLUSTER_NAME:要執行工作的名稱。
    • REGION:叢集所在的區域。
    • PROPERTIES:

      • 如要啟用 Spark 最佳化強化功能,請指定:
      spark.dataproc.enhanced.optimizer.enabled=true
      
      • 如要啟用 Spark 執行強化功能,請指定:
      spark.dataproc.enhanced.execution.enabled=true
      
      • 如要啟用 Spark 最佳化和執行強化功能,請指定:
      spark.dataproc.enhanced.optimizer.enabled=true,spark.dataproc.enhanced.execution.enabled=true
      

API

  1. 在 jobs.submit 要求中,為 SparkJob、PySparkJob、SparkSqlJob 或 SparkRJob 指定下列 properties:

    • 如要啟用 Spark 最佳化強化功能,請指定:
    "spark.dataproc.enhanced.optimizer.enabled=true"
    
    • 如要啟用 Spark 執行強化功能,請指定:
    "spark.dataproc.enhanced.execution.enabled=true"
    
    • 如要啟用 Spark 最佳化和執行強化功能,請指定:
    "spark.dataproc.enhanced.execution.enabled=true,spark.dataproc.enhanced.optimizer.enabled=true"