Grupos de nós de driver do Managed Service for Apache Spark

Um recurso NodeGroup do Serviço Gerenciado para Apache Spark é um grupo de nós de cluster do Serviço Gerenciado para Apache Spark que executam um papel atribuído. Nesta página, descrevemos o grupo de nós de driver, que é um grupo de VMs do Compute Engine que recebem o papel Driver para executar drivers de jobs no cluster do Managed Service for Apache Spark.

Quando usar grupos de nós do driver

  • Use grupos de nós de driver somente quando precisar executar muitos jobs simultâneos em um cluster compartilhado.
  • Aumente os recursos do nó mestre antes de usar grupos de nós do driver para evitar limitações de grupos de nós do driver.

Como os nós de driver ajudam a executar jobs simultâneos

O Serviço Gerenciado para Apache Spark inicia um processo de driver de job em um nó mestre do cluster do Serviço Gerenciado para Apache Spark para cada job. O processo do driver, por sua vez, executa um driver de aplicativo, como spark-submit, como o processo filho. No entanto, o número de jobs simultâneos em execução no mestre é limitado pelos recursos disponíveis no nó mestre. Como os nós mestre do Serviço Gerenciado para Apache Spark não podem ser escalonados, um job pode falhar ou ser limitado quando os recursos do nó mestre são insuficientes para executá-lo.

Os grupos de nós do driver são grupos de nós especiais gerenciados pelo YARN, portanto, a simultaneidade de jobs não é limitada pelos recursos do nó mestre. Em clusters com um grupo de nós do driver, os drivers de aplicativos são executados em nós do driver. Cada nó do driver pode executar vários drivers de aplicativo se o nó tiver recursos suficientes.

Vantagens

Usar um cluster do Serviço Gerenciado para Apache Spark com um grupo de nós do driver permite:

  • Escalonar horizontalmente os recursos do driver de jobs para executar mais jobs simultâneos
  • Escalonar recursos de driver separadamente dos recursos de worker
  • Reduza a escala vertical mais rapidamente em clusters de imagem do Serviço Gerenciado para Apache Spark 2.0+ e versões mais recentes. Nesses clusters, o mestre do app é executado em um driver do Spark em um grupo de nós do driver (o spark.yarn.unmanagedAM.enabled é definido como true por padrão).
  • Personalizar a inicialização do nó do driver. É possível adicionar {ROLE} == 'Driver' em um script de inicialização para que o script execute ações para um grupo de nós do driver na seleção de nós.

Limitações

  • Os grupos de nós não são compatíveis com os modelos de fluxo de trabalho do Serviço Gerenciado para Apache Spark.
  • Não é possível interromper, reiniciar ou escalonar automaticamente os clusters de grupos de nós.
  • O mestre do app MapReduce é executado em nós de trabalho. A reduzir escala vertical dos nós de trabalho pode ser lenta se você ativar a desativação otimizada.
  • A simultaneidade de jobs é afetada pela propriedade de cluster dataproc:agent.process.threads.job.max. Por exemplo, com três mestres e essa propriedade definida como o valor padrão de 100, a simultaneidade máxima de jobs no nível do cluster é 300.

Grupo de nós do driver em comparação com o modo de cluster do Spark

Recurso Modo de cluster do Spark Grupo de nós do driver
Reduzir escala vertical vertical do nó de trabalho Os drivers de longa duração são executados nos mesmos nós de trabalho que os contêineres de curta duração, o que torna lenta a reduzir escala vertical de workers usando a desativação otimizada. Os nós de trabalho reduzir escala vertical mais rapidamente quando os drivers são executados em grupos de nós.
Saída do driver transmitida Requer pesquisa nos registros do YARN para encontrar o nó em que o driver foi programado. A saída do driver é transmitida para o Cloud Storage e pode ser visualizada no console do Cloud de Confiance e na saída do comando gcloud dataproc jobs wait depois que um job é concluído.

Permissões do IAM do grupo de nós do driver

As permissões do IAM a seguir estão associadas às ações relacionadas ao grupo de nós do Serviço Gerenciado para Apache Spark.

Permissão Ação
dataproc.nodeGroups.create Criar grupos de nós do Serviço Gerenciado para Apache Spark. Se um usuário tiver dataproc.clusters.create no projeto, essa permissão será concedida.
dataproc.nodeGroups.get Receba os detalhes de um grupo de nós do Serviço Gerenciado para Apache Spark.
dataproc.nodeGroups.update Redimensionar um grupo de nós do Serviço Gerenciado para Apache Spark.

Operações do grupo de nós do driver

Use a CLI gcloud e a API Serviço Gerenciado para Apache Spark para criar, receber, redimensionar, excluir e enviar um job para um grupo de nós do driver do Serviço Gerenciado para Apache Spark.

Criar um cluster de grupo de nós do driver

Um grupo de nós de driver está associado a um cluster do Managed Service para Apache Spark. Você cria um grupo de nós como parte da criação de um cluster do Serviço Gerenciado para Apache Spark. Use a CLI gcloud ou a API REST do Serviço Gerenciado para Apache Spark para criar um cluster do Serviço Gerenciado para Apache Spark com um grupo de nós do driver.

gcloud

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --driver-pool-size=SIZE \
    --driver-pool-id=NODE_GROUP_ID

Flags obrigatórias:

  • CLUSTER_NAME: o nome do cluster, que precisa ser exclusivo em um projeto. O nome precisa começar com uma letra minúscula e pode conter até 51 letras minúsculas, números e hifens. Não pode terminar com um hífen. O nome de um cluster excluído pode ser reutilizado.
  • REGION: a região em que o cluster será localizado.
  • SIZE: o número de nós do driver no grupo de nós. O número de nós necessários depende da carga do job e do tipo de máquina do pool de drivers. O número mínimo de nós do grupo de drivers é igual à memória total ou às vCPUs exigidas pelos drivers de jobs divididas pela memória ou pelas vCPUs da máquina de cada pool de drivers.
  • NODE_GROUP_ID: opcional e recomendado. O ID precisa ser exclusivo no cluster. Use esse ID para identificar o grupo de drivers em operações futuras, como o redimensionamento do grupo de nós. Se não for especificado, o Serviço Gerenciado para Apache Spark vai gerar o ID do grupo de nós.

Sinalização recomendada:

  • --enable-component-gateway: adicione essa flag para ativar o gateway de componentes do Serviço Gerenciado para Apache Spark, que fornece acesso à interface da Web do YARN. As páginas "Aplicativo" e "Programador" da interface do YARN mostram o status do cluster e do job, a memória da fila de aplicativos, a capacidade do núcleo e outras métricas.

Sinalizações adicionais: as seguintes sinalizações opcionais de driver-pool podem ser adicionadas ao comando gcloud dataproc clusters create para personalizar o grupo de nós.

Flag Valor padrão
--driver-pool-id Um identificador de string, gerado pelo serviço se não for definido pela flag. Esse ID pode ser usado para identificar o grupo de nós ao realizar operações futuras no pool de nós, como redimensionar o grupo de nós.
--driver-pool-machine-type n1-standard-4
--driver-pool-accelerator Sem padrão. Ao especificar um acelerador, o tipo de GPU é obrigatório, mas o número de GPUs é opcional.
--num-driver-pool-local-ssds Sem padrão
--driver-pool-local-ssd-interface Sem padrão
--driver-pool-boot-disk-type pd-standard
--driver-pool-boot-disk-size 1000 GB
--driver-pool-min-cpu-platform AUTOMATIC

REST

Preencha um AuxiliaryNodeGroup como parte de uma solicitação de API cluster.create do Serviço Gerenciado para Apache Spark.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: obrigatório. ID do projeto do Google Cloud.
  • REGION: obrigatório. Região do cluster do Dataproc.
  • CLUSTER_NAME: obrigatório. O nome do cluster, que precisa ser exclusivo em um projeto. O nome precisa começar com uma letra minúscula e pode conter até 51 letras minúsculas, números e hifens. Ele não pode terminar com um hífen. O nome de um cluster excluído pode ser reutilizado.
  • SIZE: obrigatório. Número de nós no grupo.
  • NODE_GROUP_ID: opcional e recomendado. O ID precisa ser exclusivo no cluster. Use esse ID para identificar o grupo de drivers em operações futuras, como o redimensionamento do grupo de nós. Se não for especificado, o Serviço Gerenciado para Apache Spark vai gerar o ID do grupo de nós.

Outras opções: consulte NodeGroup.

Método HTTP e URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/clusters

Corpo JSON da solicitação:

{
  "clusterName":"CLUSTER_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion":""
    },
    "endpointConfig": {
      "enableHttpPortAccess": true
    },
    "auxiliaryNodeGroups": [{
        "nodeGroup":{
            "roles":["DRIVER"],
            "nodeGroupConfig": {
                "numInstances": SIZE
             }
         },
        "nodeGroupId": "NODE_GROUP_ID"
    }]
  }
}

Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    ...
    "auxiliaryNodeGroups": [
      {
        "nodeGroup": {
"name": "projects/PROJECT_ID/regions/REGION/clusters/CLUSTER_NAME/nodeGroups/NODE_GROUP_ID",
          "roles": [
            "DRIVER"
          ],
          "nodeGroupConfig": {
            "numInstances": SIZE,
            "instanceNames": [
              "CLUSTER_NAME-np-q1gp",
              "CLUSTER_NAME-np-xfc0"
            ],
            "imageUri": "https://www.googleapis.com/compute/v1/projects/cloud-dataproc-ci/global/images/dataproc-2-0-deb10-...-rc01",
            "machineTypeUri": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/REGION-a/machineTypes/n1-standard-4",
            "diskConfig": {
              "bootDiskSizeGb": 1000,
              "bootDiskType": "pd-standard"
            },
            "managedGroupConfig": {
              "instanceTemplateName": "dataproc-2a8224d2-...",
              "instanceGroupManagerName": "dataproc-2a8224d2-..."
            },
            "minCpuPlatform": "AUTOMATIC",
            "preemptibility": "NON_PREEMPTIBLE"
          }
        },
        "nodeGroupId": "NODE_GROUP_ID"
      }
    ]
  },
}

Receber metadados do cluster do grupo de nós do driver

Use o comando gcloud dataproc node-groups describe ou a API do Serviço Gerenciado para Apache Spark para receber metadados do grupo de nós do driver.

gcloud

gcloud dataproc node-groups describe NODE_GROUP_ID \
    --cluster=CLUSTER_NAME \
    --region=REGION

Flags obrigatórias:

  • NODE_GROUP_ID: execute gcloud dataproc clusters describe CLUSTER_NAME para listar o ID do grupo de nós.
  • CLUSTER_NAME: o nome do cluster.
  • REGION: a região do cluster.

REST

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: obrigatório. ID do projeto do Google Cloud.
  • REGION: obrigatório. A região do cluster.
  • CLUSTER_NAME: obrigatório. O nome do cluster.
  • NODE_GROUP_ID: obrigatório. Execute gcloud dataproc clusters describe CLUSTER_NAME para listar o ID do grupo de nós.

Método HTTP e URL:

GET https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/clusters/CLUSTER_NAMEnodeGroups/Node_GROUP_ID

Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/regions/REGION/clusters/CLUSTER_NAME/nodeGroups/NODE_GROUP_ID",
  "roles": [
    "DRIVER"
  ],
  "nodeGroupConfig": {
    "numInstances": 5,
    "imageUri": "https://www.googleapis.com/compute/v1/projects/cloud-dataproc-ci/global/images/dataproc-2-0-deb10-...-rc01",
    "machineTypeUri": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/REGION-a/machineTypes/n1-standard-4",
    "diskConfig": {
      "bootDiskSizeGb": 1000,
      "bootDiskType": "pd-standard"
    },
    "managedGroupConfig": {
      "instanceTemplateName": "dataproc-driver-pool-mcia3j656h2fy",
      "instanceGroupManagerName": "dataproc-driver-pool-mcia3j656h2fy"
    },
    "minCpuPlatform": "AUTOMATIC",
    "preemptibility": "NON_PREEMPTIBLE"
  }
}

Redimensionar um grupo de nós do driver

Use o comando gcloud dataproc node-groups resize ou a API do Serviço Gerenciado para Apache Spark para adicionar ou remover nós do driver de um grupo de nós do driver de cluster.

gcloud

gcloud dataproc node-groups resize NODE_GROUP_ID \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --size=SIZE

Flags obrigatórias:

  • NODE_GROUP_ID: execute gcloud dataproc clusters describe CLUSTER_NAME para listar o ID do grupo de nós.
  • CLUSTER_NAME: o nome do cluster.
  • REGION: a região do cluster.
  • SIZE: especifique o novo número de nós do driver no grupo de nós.

Sinalização opcional:

  • --graceful-decommission-timeout=TIMEOUT_DURATION: ao reduzir escala vertical um grupo de nós, é possível adicionar essa flag para especificar uma desativação otimizada TIMEOUT_DURATION para evitar o encerramento imediato dos drivers de jobs. Recomendação: defina uma duração de tempo limite que seja pelo menos igual à duração do job mais longo em execução no grupo de nós (não há suporte para a recuperação de drivers com falha).

Exemplo: comando de escalonar verticalmente da CLI gcloud NodeGroup:

gcloud dataproc node-groups resize NODE_GROUP_ID \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --size=4

Exemplo: comando de reduzir escala vertical da CLI gcloud NodeGroup:

gcloud dataproc node-groups resize NODE_GROUP_ID \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --size=1 \
    --graceful-decommission-timeout="100s"

REST

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: obrigatório. ID do projeto do Google Cloud.
  • REGION: obrigatório. A região do cluster.
  • NODE_GROUP_ID: obrigatório. Execute gcloud dataproc clusters describe CLUSTER_NAME para listar o ID do grupo de nós.
  • SIZE: obrigatório. Novo número de nós no grupo de nós.
  • TIMEOUT_DURATION: opcional. Ao reduzir escala vertical um grupo de nós, é possível adicionar um gracefulDecommissionTimeout ao corpo da solicitação para evitar o encerramento imediato dos drivers de jobs. Recomendação: defina uma duração de tempo limite que seja pelo menos igual à duração do job mais longo em execução no grupo de nós. A recuperação de drivers com falha não é compatível.

    Exemplo:

    { "size": SIZE,
      "gracefulDecommissionTimeout": "TIMEOUT_DURATION"
    }
       

Método HTTP e URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/clusters/CLUSTER_NAME/nodeGroups/Node_GROUP_ID:resize

Corpo JSON da solicitação:

{
  "size": SIZE,
}

Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/regions/REGION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.dataproc.v1.NodeGroupOperationMetadata",
    "nodeGroupId": "NODE_GROUP_ID",
    "clusterUuid": "CLUSTER_UUID",
    "status": {
      "state": "PENDING",
      "innerState": "PENDING",
      "stateStartTime": "2022-12-01T23:34:53.064308Z"
    },
    "operationType": "RESIZE",
    "description": "Scale "up or "down" a GCE node pool to SIZE nodes."
  }
}

Excluir um cluster de grupo de nós do driver

Quando você exclui um cluster do Serviço Gerenciado para Apache Spark, os grupos de nós associados a ele são excluídos.

Envie um job

Use o comando gcloud dataproc jobs submit ou a API do Serviço Gerenciado para Apache Spark para enviar um job a um cluster com um grupo de nós do driver.

gcloud

gcloud dataproc jobs submit JOB_COMMAND \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --driver-required-memory-mb=DRIVER_MEMORY \
    --driver-required-vcores=DRIVER_VCORES \
    DATAPROC_FLAGS \
    -- JOB_ARGS

Flags obrigatórias:

  • JOB_COMMAND: especifique o comando do job.
  • CLUSTER_NAME: o nome do cluster.
  • DRIVER_MEMORY: quantidade de memória de drivers de job em MB necessária para executar um job (consulte Controles de memória do Yarn).
  • DRIVER_VCORES: o número de vCPUs necessárias para executar um job.

Sinalizações adicionais:

  • DATAPROC_FLAGS: adicione outras sinalizações gcloud dataproc jobs submit relacionadas ao tipo de serviço.
  • JOB_ARGS: adicione argumentos (depois de --) para transmitir ao job.

Exemplos: execute os exemplos a seguir em uma sessão de terminal SSH em um cluster de grupo de nós do driver do Serviço Gerenciado para Apache Spark.

  • Job do Spark para estimar o valor de pi:

    gcloud dataproc jobs submit spark \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --driver-required-memory-mb=2048 \
        --driver-required-vcores=2 \
        --class=org.apache.spark.examples.SparkPi \
        --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
        -- 1000
    
  • Job de contagem de palavras do Spark:

    gcloud dataproc jobs submit spark \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --driver-required-memory-mb=2048 \
        --driver-required-vcores=2 \
        --class=org.apache.spark.examples.JavaWordCount \
        --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
        -- 'gs://apache-beam-samples/shakespeare/macbeth.txt'
    
  • Job do PySpark para estimar o valor de pi:

    gcloud dataproc jobs submit pyspark \
        file:///usr/lib/spark/examples/src/main/python/pi.py \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --driver-required-memory-mb=2048 \
        --driver-required-vcores=2 \
        -- 1000
    
  • Job MapReduce do Hadoop TeraGen:

    gcloud dataproc jobs submit hadoop \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --driver-required-memory-mb=2048 \
        --driver-required-vcores=2 \
        --jar file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
        -- teragen 1000 \
        hdfs:///gen1/test
    

REST

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: obrigatório. ID do projeto do Google Cloud.
  • REGION: obrigatório. Região do cluster do Dataproc
  • CLUSTER_NAME: obrigatório. O nome do cluster, que precisa ser exclusivo em um projeto. O nome precisa começar com uma letra minúscula e pode conter até 51 letras minúsculas, números e hifens. Ele não pode terminar com um hífen. O nome de um cluster excluído pode ser reutilizado.
  • DRIVER_MEMORY: obrigatório. Quantidade de memória de drivers de job em MB necessária para executar um job (consulte Controles de memória do Yarn).
  • DRIVER_VCORES: obrigatório. O número de vCPUs necessárias para executar um job.
Campos adicionais: adicione outros campos relacionados ao tipo de job e aos argumentos do job (o exemplo de solicitação inclui os campos necessários para enviar um job do Spark que estima o valor de pi).

Método HTTP e URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/jobs:submit

Corpo JSON da solicitação:

{
  "job": {
    "placement": {
    "clusterName": "CLUSTER_NAME",
    },
    "driverSchedulingConfig": {
      "memoryMb]": DRIVER_MEMORY,
      "vcores": DRIVER_VCORES
    },
    "sparkJob": {
      "jarFileUris": "file:///usr/lib/spark/examples/jars/spark-examples.jar",
      "args": [
        "10000"
      ],
      "mainClass": "org.apache.spark.examples.SparkPi"
    }
  }
}


Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "reference": {
    "projectId": "PROJECT_ID",
    "jobId": "job-id"
  },
  "placement": {
    "clusterName": "CLUSTER_NAME",
    "clusterUuid": "cluster-Uuid"
  },
  "sparkJob": {
    "mainClass": "org.apache.spark.examples.SparkPi",
    "args": [
      "1000"
    ],
    "jarFileUris": [
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ]
  },
  "status": {
    "state": "PENDING",
    "stateStartTime": "start-time"
  },
  "jobUuid": "job-Uuid"
}

Python

  1. Instalar a biblioteca de cliente
  2. Configurar as credenciais padrão do aplicativo
  3. Executar o código
    • Job do Spark para estimar o valor de pi:
      
      import re
      
      from google.cloud import dataproc_v1 as dataproc
      from google.cloud import storage
      
      
      def submit_job(project_id: str, region: str, cluster_name: str) -> None:
          """Submits a Spark job to the specified Dataproc cluster with a driver node group and prints the output.
      
          Args:
              project_id: The Google Cloud project ID.
              region: The Dataproc region where the cluster is located.
              cluster_name: The name of the Dataproc cluster.
          """
          # Create the job client.
          with dataproc.JobControllerClient(
              client_options={"api_endpoint": f"{region}-dataproc.googleapis.com:443"}
          ) as job_client:
      
              driver_scheduling_config = dataproc.DriverSchedulingConfig(
                  memory_mb=2048,  # Example memory in MB
                  vcores=2,  # Example number of vcores
              )
      
              # Create the job config. 'main_jar_file_uri' can also be a
              # Google Cloud Storage URL.
              job = {
                  "placement": {"cluster_name": cluster_name},
                  "spark_job": {
                      "main_class": "org.apache.spark.examples.SparkPi",
                      "jar_file_uris": ["file:///usr/lib/spark/examples/jars/spark-examples.jar"],
                      "args": ["1000"],
                  },
                  "driver_scheduling_config": driver_scheduling_config
              }
      
              operation = job_client.submit_job_as_operation(
                  request={"project_id": project_id, "region": region, "job": job}
              )
      
              response = operation.result()
      
              # Dataproc job output gets saved to the Cloud Storage bucket
              # allocated to the job. Use a regex to obtain the bucket and blob info.
              matches = re.match("gs://(.*?)/(.*)", response.driver_output_resource_uri)
              if not matches:
                  print(f"Error: Could not parse driver output URI: {response.driver_output_resource_uri}")
                  raise ValueError
      
              output = (
                  storage.Client()
                  .get_bucket(matches.group(1))
                  .blob(f"{matches.group(2)}.000000000")
                  .download_as_bytes()
                  .decode("utf-8")
              )
      
              print(f"Job finished successfully: {output}")
      
    • Job do PySpark para imprimir "hello world":
      
      import re
      
      from google.cloud import dataproc_v1 as dataproc
      from google.cloud import storage
      
      
      def submit_job(project_id, region, cluster_name):
          """Submits a PySpark job to a Dataproc cluster with a driver node group.
      
          Args:
              project_id (str): The ID of the Google Cloud project.
              region (str): The region where the Dataproc cluster is located.
              cluster_name (str): The name of the Dataproc cluster.
          """
          # Create the job client.
          job_client = dataproc.JobControllerClient(
              client_options={"api_endpoint": f"{region}-dataproc.googleapis.com:443"}
          )
      
          driver_scheduling_config = dataproc.DriverSchedulingConfig(
              memory_mb=2048,  # Example memory in MB
              vcores=2,  # Example number of vcores
          )
      
          # Create the job config. The main Python file URI points to the script in
          # a Google Cloud Storage bucket.
          job = {
              "placement": {"cluster_name": cluster_name},
              "pyspark_job": {
                  "main_python_file_uri": "gs://dataproc-examples/pyspark/hello-world/hello-world.py"
              },
              "driver_scheduling_config": driver_scheduling_config,
          }
      
          operation = job_client.submit_job_as_operation(
              request={"project_id": project_id, "region": region, "job": job}
          )
          response = operation.result()
      
          # Dataproc job output gets saved to the Google Cloud Storage bucket
          # allocated to the job. Use a regex to obtain the bucket and blob info.
          matches = re.match("gs://(.*?)/(.*)", response.driver_output_resource_uri)
          if not matches:
              raise ValueError(
                  f"Unexpected driver output URI: {response.driver_output_resource_uri}"
              )
      
          output = (
              storage.Client()
              .get_bucket(matches.group(1))
              .blob(f"{matches.group(2)}.000000000")
              .download_as_bytes()
              .decode("utf-8")
          )
      
          print(f"Job finished successfully: {output}")
      
      

Ver registros do job

Para conferir o status do job e ajudar a depurar problemas, use a CLI gcloud ou o console do Cloud de Confiance para acessar os registros do driver.

gcloud

Os registros do driver de job são transmitidos para a saída da CLI gcloud ou para o console doCloud de Confiance durante a execução do job. Os registros do driver persistem no bucket de preparo do cluster do Serviço Gerenciado para Apache Spark no Cloud Storage.

Execute o seguinte comando da CLI gcloud para listar o local dos registros do driver no Cloud Storage:

gcloud dataproc jobs describe JOB_ID \
    --region=REGION
   

O local do Cloud Storage dos registros do driver é listado como driverOutputResourceUri na resposta ao comando no seguinte formato:

driverOutputResourceUri: gs://CLUSTER_STAGING_BUCKET/google-cloud-dataproc-metainfo/CLUSTER_UUID/jobs/JOB_ID

Console

Para ver os registros de cluster do grupo de nós:

  1. Ativar o Logging.

  2. Use o seguinte formato de consulta da Análise de registros para encontrar registros:

    resource.type="cloud_dataproc_cluster"
    resource.labels.project_id="PROJECT_ID"
    resource.labels.cluster_name="CLUSTER_NAME"
    log_name="projects/PROJECT_ID/logs/LOG_TYPE>"
    
    Substitua:

    • PROJECT_ID: o ID do projeto do Cloud de Confiance .
    • CLUSTER_NAME: o nome do cluster.
    • LOG_TYPE:
      • Registros de usuário do Yarn: yarn-userlogs
      • Registros do gerenciador de recursos do Yarn: hadoop-yarn-resourcemanager
      • Registros do gerenciador de nós do Yarn: hadoop-yarn-nodemanager

Monitorar as métricas

Os drivers de job do grupo de nós do Serviço Gerenciado para Apache Spark são executados em uma fila filha dataproc-driverpool-driver-queue em uma partição dataproc-driverpool.

Métricas do grupo de nós do driver

A tabela a seguir lista as métricas associadas ao nó do driver do grupo, que são coletadas por padrão para grupos de nós do driver.

Métrica do grupo de nós do driver Descrição
yarn:ResourceManager:DriverPoolsQueueMetrics:AvailableMB A quantidade de memória disponível em mebibytes em dataproc-driverpool-driver-queue na partição dataproc-driverpool.
yarn:ResourceManager:DriverPoolsQueueMetrics:PendingContainers O número de contêineres pendentes (na fila) em dataproc-driverpool-driver-queue na partição dataproc-driverpool.

Métricas da fila filha

A tabela a seguir lista as métricas de fila filha. As métricas são coletadas por padrão para grupos de nós do driver e podem ser ativadas para coleta em qualquer cluster do Serviço Gerenciado para Apache Spark.

Métrica de fila filha Descrição
yarn:ResourceManager:ChildQueueMetrics:AvailableMB A quantidade de memória disponível em mebibytes nessa fila na partição padrão.
yarn:ResourceManager:ChildQueueMetrics:PendingContainers Número de contêineres pendentes (em fila) nesta fila na partição padrão.
yarn:ResourceManager:ChildQueueMetrics:running_0 O número de jobs com um ambiente de execução entre 0 e 60 minutos nessa fila em todas as partições.
yarn:ResourceManager:ChildQueueMetrics:running_60 O número de jobs com um ambiente de execução entre 60 e 300 minutos nessa fila em todas as partições.
yarn:ResourceManager:ChildQueueMetrics:running_300 O número de jobs com um ambiente de execução entre 300 e 1440 minutos nessa fila em todas as partições.
yarn:ResourceManager:ChildQueueMetrics:running_1440 O número de jobs com um tempo de execução maior que 1440 minutos nessa fila em todas as partições.
yarn:ResourceManager:ChildQueueMetrics:AppsSubmitted Número de aplicativos enviados para essa fila em todas as partições.

Para ver YARN ChildQueueMetrics e DriverPoolsQueueMetrics no console doCloud de Confiance :

Depurar o driver de job do grupo de nós

Nesta seção, apresentamos as condições e os erros do grupo de nós do driver com recomendações para corrigir a condição ou o erro.

Condições

  • Condição: yarn:ResourceManager:DriverPoolsQueueMetrics:AvailableMB está se aproximando de 0. Isso indica que a fila de pools de drivers do cluster está ficando sem memória.

    Recomendação: aumente o tamanho do pool de drivers.

  • Condição: yarn:ResourceManager:DriverPoolsQueueMetrics:PendingContainers é maior que 0. Isso pode indicar que a fila de pools de drivers do cluster está ficando sem memória e o YARN está colocando jobs na fila.

    Recomendação: aumente o tamanho do pool de drivers.

Erros

  • Erro: Cluster <var>CLUSTER_NAME</var> requires driver scheduling config to run SPARK job because it contains a node pool with role DRIVER. Positive values are required for all driver scheduling config values.

    Recomendação: defina driver-required-memory-mb e driver-required-vcores com números positivos.

  • Erro: Container exited with a non-zero exit code 137.

    Recomendação: aumente driver-required-memory-mb para o uso da memória do job.