Crea un cluster Managed Service for Apache Spark
Requisiti:
Nome: il nome del cluster deve iniziare con una lettera minuscola seguita da un massimo di 51 lettere minuscole, numeri e trattini e non può terminare con un trattino.
Regione del cluster: devi specificare una regione di Compute Engine per il cluster, ad esempio
us-east1oeurope-west1, per isolare le risorse del cluster, come le istanze VM e i metadati del cluster archiviati in Cloud Storage, all'interno della regione.- Per saperne di più sulle regioni di Compute Engine, consulta Regione del cluster.
- Per informazioni sulla selezione di una regione, consulta Regioni e zone disponibili. Puoi anche eseguire il comando
gcloud compute regions listper visualizzare un elenco delle regioni disponibili.
Connettività: le istanze di macchine virtuali Compute Engine (VM) in un cluster Managed Service for Apache Spark, costituito da VM master e VM worker, richiedono una connettività incrociata completa della rete IP interna. La rete VPC
defaultfornisce questa connettività (consulta Configurazione di rete del cluster Managed Service for Apache Spark).
Console
Apri la pagina Crea un cluster di Managed Service for Apache Spark nella console Cloud de Confiance nel browser, quindi fai clic su Crea nella riga Compute Engine del cluster nella pagina Crea un cluster Dataproc su Compute Engine. Viene selezionato il riquadro Configura cluster con i campi compilati con i valori predefiniti. Puoi selezionare ogni riquadro e confermare o modificare i valori predefiniti per personalizzare il cluster.
Fai clic su Crea per creare il cluster. Il nome del cluster viene visualizzato nella pagina Cluster e il suo stato viene aggiornato a In esecuzione dopo il provisioning del cluster. Fai clic sul nome del cluster per aprire la pagina dei dettagli del cluster, dove puoi esaminare job, istanze e impostazioni di configurazione del cluster e connetterti alle interfacce web in esecuzione sul cluster.
gcloud
Per creare un cluster Managed Service for Apache Spark dalla riga di comando, esegui il comando gcloud dataproc clusters create localmente in una finestra del terminale o in Cloud Shell.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION
Il comando crea un cluster con le impostazioni predefinite di Managed Service for Apache Spark per le istanze di macchine virtuali master e worker, le dimensioni e i tipi di disco, il tipo di rete, la regione e la zona in cui viene eseguito il deployment del cluster e altre impostazioni del cluster. Consulta il comando gcloud dataproc clusters create per informazioni sull'utilizzo dei flag della riga di comando per personalizzare le impostazioni del cluster.
Crea un cluster con un file YAML
- Esegui questo comando
gcloudper esportare la configurazione di un cluster Managed Service for Apache Spark esistente in un filecluster.yaml.gcloud dataproc clusters export EXISTING_CLUSTER_NAME \ --region=REGION \ --destination=cluster.yaml
- Crea un nuovo cluster importando la configurazione del file YAML.
gcloud dataproc clusters import NEW_CLUSTER_NAME \ --region=REGION \ --source=cluster.yaml
Nota: durante l'operazione di esportazione, i campi specifici del cluster, come il nome del cluster, i campi di sola uscita e le etichette applicate automaticamente, vengono filtrati. Questi campi non sono consentiti nel file YAML importato utilizzato per creare un cluster.
REST
Questa sezione mostra come creare un cluster con i valori richiesti e la configurazione predefinita (1 master, 2 worker).
Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:
- CLUSTER_NAME: il nome del cluster
- PROJECT: Cloud de Confiance by S3NS ID progetto
- REGION: una regione di Compute Engine disponibile in cui verrà creato il cluster.
- ZONE: una zona facoltativa all'interno della regione selezionata in cui verrà creato il cluster.
- MASTER_MACHINE_TYPE: (consigliato) il tipo di macchina per il nodo master (ad esempio,
n4-standard-4). - WORKER_MACHINE_TYPE: (Consigliato) Il tipo di macchina per i nodi worker (ad esempio,
n4-standard-4).
Metodo HTTP e URL:
POST https://dataproc.googleapis.com/v1/projects/PROJECT/regions/REGION/clusters
Corpo JSON della richiesta:
{
"project_id":"PROJECT",
"cluster_name":"CLUSTER_NAME",
"config":{
"master_config":{
"num_instances":1,
"machine_type_uri":"MASTER_MACHINE_TYPE",
"image_uri":""
},
"softwareConfig": {
"imageVersion": "",
"properties": {},
"optionalComponents": []
},
"worker_config":{
"num_instances":2,
"machine_type_uri":"WORKER_MACHINE_TYPE",
"image_uri":""
},
"gce_cluster_config":{
"zone_uri":"ZONE"
}
}
}
Per inviare la richiesta, espandi una di queste opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{
"name": "projects/PROJECT/regions/REGION/operations/b5706e31......",
"metadata": {
"@type": "type.googleapis.com/google.cloud.dataproc.v1.ClusterOperationMetadata",
"clusterName": "CLUSTER_NAME",
"clusterUuid": "5fe882b2-...",
"status": {
"state": "PENDING",
"innerState": "PENDING",
"stateStartTime": "2019-11-21T00:37:56.220Z"
},
"operationType": "CREATE",
"description": "Create cluster with 2 workers",
"warnings": [
"For PD-Standard without local SSDs, we strongly recommend provisioning 1TB ...""
]
}
}