I cluster single-node sono cluster Managed Service for Apache Spark con un solo nodo. Questo singolo nodo funge da master e worker per il tuo cluster Managed Service for Apache Spark. Sebbene i cluster a nodo singolo abbiano un solo nodo, la maggior parte dei concetti e delle funzionalità di Managed Service for Apache Spark si applica comunque, ad eccezione di quelli elencati di seguito.
Esistono diverse situazioni in cui i cluster Managed Service for Apache Spark a nodo singolo possono essere utili, tra cui:
- Prova nuove versioni di Spark e Hadoop o di altri componenti open source
- Creazione di dimostrazioni di proof of concept (PoC)
- Data science leggera
- Trattamento dati non critico su piccola scala
- Formazione relativa all'ecosistema Spark e Hadoop
Semantica dei cluster a nodo singolo
Le seguenti semantiche si applicano ai cluster Managed Service for Apache Spark a nodo singolo:
- I cluster a nodo singolo sono configurati allo stesso modo dei cluster Managed Service for Apache Spark multi-nodo e includono servizi come HDFS e YARN.
- I cluster a nodo singolo vengono segnalati come nodi master per le azioni di inizializzazione.
- I cluster a nodo singolo mostrano 0 worker, poiché il nodo singolo funge sia da master che da worker.
- Ai cluster con un singolo nodo vengono assegnati nomi host che seguono il pattern
clustername-m. Puoi utilizzare questo nome host per connetterti tramite SSH o a una UI web sul nodo. - Non è possibile eseguire l'upgrade dei cluster a nodo singolo a cluster multinodo. Una volta creati, i cluster a nodo singolo sono limitati a un nodo. Allo stesso modo, non è possibile fare lo scale down dei cluster multi-nodo a cluster a nodo singolo.
Limitazioni
I cluster a nodo singolo non sono consigliati per l'elaborazione parallela dei dati su larga scala. Se superi le risorse di un cluster a nodo singolo, ti consigliamo di utilizzare un cluster Managed Service for Apache Spark a più nodi.
I cluster a nodo singolo non sono disponibili con l'alta affidabilità, poiché nel cluster è presente un solo nodo.
I cluster a nodo singolo non possono utilizzare VM preemptible.
Crea un cluster a nodo singolo
Console
- Apri la pagina Crea cluster.
- Nella sezione Definisci la forma del cluster, seleziona Sviluppo.
- In Configurazione aggiuntiva, modifica Nodo driver, deseleziona la casella di controllo Imposta il nodo driver come il worker primario, quindi conferma o modifica le impostazioni del nodo driver.
Comando g-cloud
Puoi creare un cluster Managed Service for Apache Spark a nodo singolo utilizzando lo strumento a riga di comando gcloud. Per creare un cluster a nodo singolo, passa il flag --single-node al comando gcloud dataproc clusters create.
gcloud dataproc clusters create cluster-name \ --region=region \ --single-node \ ... other args
API REST
Puoi creare un cluster a nodo singolo tramite l'API REST Dataproc utilizzando una richiesta clusters.create. Quando effettui questa richiesta, devi:
- Aggiungi la proprietà
"dataproc:dataproc.allow.zero.workers":"true"a SoftwareConfig della richiesta del cluster. - Non inviare valori per
workerConfigesecondaryWorkerConfig(vedi ClusterConfig).