Oltre a utilizzare le VM di Compute Engine standard come worker di Managed Service for Apache Spark (chiamati worker "principali"), i cluster Managed Service for Apache Spark possono utilizzare i worker secondary.
Le seguenti caratteristiche si applicano a tutti i worker secondari di un cluster Managed Service for Apache Spark:
Solo elaborazione: i worker secondari non archiviano dati. Funzionano solo come nodi di elaborazione. Pertanto, puoi utilizzare i worker secondari per scalare il calcolo senza scalare lo spazio di archiviazione.
Solo worker secondari: puoi creare un cluster con scalabilità zero solo con worker secondari. Tuttavia, se crei un cluster standard e specifichi solo i worker secondari (non specifichi il numero di worker primari), Managed Service for Apache Spark aggiunge due worker primari al cluster.
Tipo di macchina: per impostazione predefinita, i worker secondari utilizzano il tipo di macchina dei worker primari del cluster. Ad esempio, se crei un cluster con worker primari che utilizzano tipi di macchine
n1-standard-4, per impostazione predefinita anche tutti i worker secondari aggiunti al cluster utilizzeranno macchinen1-standard-4.Anziché utilizzare il tipo di macchina worker primario predefinito per i worker secondari, puoi specificare uno o più elenchi classificati di tipi di macchina per i worker secondari. Per saperne di più, consulta VM flessibili di Managed Service for Apache Spark.
Dimensione del Persistent Disk: per impostazione predefinita, i worker secondari vengono creati con la dimensione minore tra 1000 GB e la dimensione del disco di avvio del worker primario. Questo spazio su disco viene utilizzato per la memorizzazione dei dati nella cache locale e non è disponibile tramite HDFS. Puoi eseguire l'override della dimensione predefinita del disco con il comando
gcloud dataproc clusters create --secondary-worker-boot-disk-sizeal momento della creazione del cluster. Puoi specificare questo flag anche se il cluster non avrà worker secondari al momento della creazione.Creazione asincrona: quando aggiungi worker secondari creando o scalando un cluster, è possibile che i worker secondari non vengano sottoposti a provisioning entro il termine dell'operazione di creazione o aggiornamento. Questo perché Managed Service for Apache Spark gestisce i worker secondari utilizzando i gruppi di istanze gestite (MIG), che creano VM in modo asincrono non appena possono essere sottoposte a provisioning (vedi Controllo dello stato delle istanze gestite).
Worker secondari preemptible e non preemptible
Esistono tre tipi di worker secondari: VM spot, VM preemptible standard e VM non preemptible. Il tipo di worker secondario predefinito di Managed Service for Apache Spark è la VM prerilasciabile standard. Puoi specificare una combinazione di worker secondari Spot e non preemptible.
Esempio: se selezioni tre worker secondari durante la creazione di un cluster, puoi specificare tre VM spot, tre VM preemptible, tre VM non preemptible o una combinazione di worker spot e non preemptible.
Worker preemptible
Sebbene la potenziale rimozione dei worker preemptible possa influire sulla stabilità dei job, puoi decidere di utilizzare istanze preemptible per ridurre i costi di computing orari per il trattamento dati non critico o per creare cluster molto grandi a un costo totale inferiore (puoi utilizzare il Calcolatore prezzi di Google Cloud per stimare i costi).
Per ottenere risultati ottimali, il numero di worker preemptible nel cluster deve essere inferiore al 50% del numero totale di tutti i worker (worker principali e tutti i worker secondari) nel cluster.
Quando utilizzi worker preemptible, è molto probabile che i tuoi job riscontrino un numero maggiore di errori temporanei delle attività dei singoli worker rispetto ai job eseguiti su worker non preemptible. Per aumentare la tolleranza dei job agli errori delle attività di basso livello, puoi impostare valori delle proprietà del cluster simili ai valori delle proprietà predefiniti utilizzati con i cluster con scalabilità automatica per aumentare il numero massimo di nuovi tentativi delle attività ed evitare errori dei job.
Una considerazione sul risparmio sui costi: l'utilizzo di VM preemptible non sempre consente di risparmiare sui costi, poiché i prerilasci possono causare un'esecuzione più lunga dei job, con conseguenti costi più elevati. Sebbene l'utilizzo della modalità di flessibilità avanzata (EFM) con le VM preemptible possa contribuire a mitigare questo risultato, i risparmi complessivi sui costi delle VM preemptible variano a seconda del caso d'uso. In genere, i job di breve durata sono più adatti all'utilizzo di VM prerilasciabile, poiché la probabilità di prerilasci durante l'esecuzione del job sarà inferiore. Prova diverse opzioni di job, ad esempio senza VM preemptible e con VM preemptible con EFM, per stimare i costi e trovare la soluzione migliore.
Worker non preemptible
- Puoi creare un cluster con worker secondari non preemptible per scalare il calcolo senza sacrificare la stabilità dei job. Per farlo, specifica
non-preemptiblecome tipo di worker secondario. Puoi combinare worker secondari non preemptible con worker secondari spot.
Seleziona i worker secondari
Puoi specificare il numero e il tipo di worker secondari quando crei un cluster utilizzando la consoleCloud de Confiance , gcloud CLI o l'API Dataproc.
- Puoi combinare worker secondari spot con worker secondari non preemptible.
- Puoi aggiornare il cluster dopo la creazione per modificare il numero, ma non il tipo, di worker secondari nel cluster.
- Gli aggiornamenti delle etichette vengono propagati a tutti i worker secondari preemptible entro 24 ore. Gli aggiornamenti delle etichette non vengono propagati ai worker secondari non preemptible esistenti. Gli aggiornamenti delle etichette vengono propagati a tutti i worker aggiunti a un cluster dopo l'aggiornamento di un'etichetta. Ad esempio, se esegui lo scale up del cluster, tutti i nuovi worker principali e secondari avranno le nuove etichette.
Console
Puoi specificare il numero di worker secondari durante la creazione di un cluster Managed Service for Apache Spark dalla console Cloud de Confiance . Dopo aver creato un cluster, puoi aggiungere e rimuovere worker secondari modificando la configurazione del cluster dalla consoleCloud de Confiance .
Crea un cluster con worker secondari
- Apri la pagina Crea cluster.
- Fai clic su Configurazione aggiuntiva per espandere la sezione.
- Modifica i worker secondari.
- Nel riquadro che si apre, specifica il numero, il tipo e altre impostazioni dei worker secondari.
Aggiorna un cluster con istanze secondarie
Per aggiornare il numero di worker secondari in un cluster, fai clic sul nome del cluster nella pagina Cluster della console Cloud de Confiance . Nella pagina Dettagli cluster. Fai clic sulla scheda Configurazione, poi su Modifica e aggiorna il numero nel campo Nodi worker secondari.
Rimuovi tutte le istanze secondarie da un cluster
Per rimuovere tutti i worker secondari da un cluster, aggiorna la configurazione del cluster come spiegato in precedenza, specificando 0 nel campo Nodi worker secondari.
Comando gcloud CLI
Utilizza il comando gcloud dataproc clusters create per aggiungere worker secondari a un cluster al momento della creazione.
Dopo aver creato un cluster, puoi aggiungere o rimuovere worker secondari al o dal cluster con il comando gcloud dataproc clusters update (è possibile aggiornare il numero, ma non il tipo di worker secondari).
Crea un cluster con worker secondari
Per creare un cluster con worker secondari, utilizza il comando gcloud dataproc clusters create con l'argomento --num-secondary-workers. I worker secondari sono VM preemptible standard per impostazione predefinita. Puoi specificare worker secondari non preemptible o
spot quando crei un cluster
impostando il flag --secondary-worker-type su "non-preemptible"
o "spot". I seguenti esempi mostrano come creare un cluster con ogni
tipo di worker secondario: "preemptible" (predefinito), spot (preemptible)
e non preemptible. Puoi utilizzare flag aggiuntivi per combinare worker secondari spot con worker secondari non preemptible.
Il seguente comando crea "cluster1" con due worker secondari preemptible standard (tipo predefinito).
gcloud dataproc clusters create cluster1 \ --num-secondary-workers=2 \ --region=us-central1
Il seguente comando utilizza il flag secondary-worker-type per creare "cluster2" con due worker secondari spot (preemptible).
gcloud dataproc clusters create cluster2 \ --num-secondary-workers=2 \ --secondary-worker-type=spot \ --region=us-central1
Esempio 3
Il seguente comando utilizza il flag secondary-worker-type per creare "cluster3" con due worker secondari non preemptible.
gcloud dataproc clusters create cluster3 \ --num-secondary-workers=2 \ --secondary-worker-type=non-preemptible \ --region=us-central1
Modifica le dimensioni del disco di avvio dei worker secondari.
Per impostazione predefinita, tutti i worker secondari vengono creati con la dimensione minore tra 1000 GB o la dimensione del disco di avvio del worker primario. Questo spazio su disco viene utilizzato per la memorizzazione nella cache locale dei dati e non è disponibile tramite HDFS. Puoi eseguire l'override della dimensione predefinita del disco con il comando gcloud dataproc clusters create --secondary-worker-boot-disk-size al momento della creazione del cluster. Questo flag può essere specificato anche se il cluster non ha worker secondari al momento della creazione.
Consenti alla console Cloud de Confiance di creare la richiesta di creazione del cluster. Nella parte inferiore della pagina Crea cluster, fai clic su Riga di comando equivalente o REST equivalente per fare in modo che la console Cloud de Confiance crei un comando gcloud CLI o una richiesta API REST equivalente.
Aggiorna un cluster con worker secondari
Per aggiornare un cluster in modo da aggiungere o rimuovere worker secondari, utilizza il comando gcloud dataproc clusters update con il flag --num-secondary-workers.
Il comando seguente aggiorna example-cluster in modo che utilizzi quattro worker secondari (del tipo predefinito o del tipo specificato al momento della creazione del cluster).
gcloud dataproc clusters update example-cluster \ --num-secondary-workers=4 \ --region=us-central1
Rimuovi tutti i worker secondari da un cluster
Per rimuovere tutti i worker secondari da un cluster, utilizza il comando
gcloud dataproc clusters update
con --num-secondary-workers impostato su 0.
Il comando seguente rimuove tutti i worker secondari da "example-cluster".
gcloud dataproc clusters update example-cluster \ --num-secondary-workers=0 \ --region=us-central1
API REST
Crea un cluster con worker secondari
Utilizza l'API clusters.create di Managed Service for Apache Spark per aggiungere worker secondari a un cluster al momento della creazione. I seguenti esempi mostrano come creare un cluster con ogni tipo di worker secondario: preemptible (predefinito), spot (preemptible) e non-preemptible. Puoi utilizzare campi aggiuntivi per combinare worker secondari spot con worker secondari non preemptible.
La seguente richiesta POST crea un "cluster1" con due worker VM preemptible standard (tipo predefinito).
POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters
{
"clusterName": "cluster1",
"config": {
"secondaryWorkerConfig": {
"numInstances": 2
}
}
}
Esempio 2
La seguente richiesta POST crea un "cluster2" con due worker VM spot (preemptible).
POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters
{
"clusterName": "cluster2",
"config": {
"secondaryWorkerConfig": {
"numInstances": 2,
"preemptibility": "SPOT"
}
}
}
Esempio 3
La seguente richiesta POST crea "cluster3" con due worker secondari non preemptible.
POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters
{
"clusterName": "cluster3",
"config": {
"secondaryWorkerConfig": {
"numInstances": 2,
"preemptibility": "NON_PREEMPTIBLE"
}
}
}
Aggiorna un cluster con worker secondari
Utilizza l'API clusters.patch di Managed Service for Apache Spark per aggiungere e rimuovere worker secondari.
EsempioLa seguente richiesta PATCH aggiorna un cluster in modo che abbia quattro worker secondari (del tipo predefinito o del tipo specificato al momento della creazione del cluster).
PATCH /v1/projects/project-id/regions/region/clusters/cluster-name?updateMask=config.secondary_worker_config.num_instances
{
"config": {
"secondaryWorkerConfig": {
"numInstances": 4
}
}
}
Consenti alla console Cloud de Confiance di creare la richiesta di creazione del cluster. Nella parte inferiore della pagina Crea cluster, fai clic su Riga di comando equivalente o REST equivalente per fare in modo che la console Cloud de Confiance crei un comando gcloud CLI o una richiesta API REST equivalente.
Risolvi i problemi relativi ai worker secondari
Problemi relativi alle autorizzazioni del service account: i worker secondari vengono creati tramite un gruppo di istanze gestite. Se si verifica un problema di autorizzazione, i log di Managed Service for Apache Spark non segnalano l'errore di creazione dei worker secondari, ma i worker con errori sono elencati nella scheda Istanze VM della pagina Dettagli cluster nella consoleCloud de Confiance senza un segno di spunta verde. Per visualizzare l'elenco, apri la pagina Cluster di Managed Service for Apache Spark, quindi fai clic sul nome del cluster per aprire la pagina Dettagli cluster del cluster.
Problemi relativi alle autorizzazioni dei gruppi di istanze gestite: per verificare se esiste un problema con le autorizzazioni dei gruppo di istanze gestite:
- Trova il nome del gruppo di istanze gestite (
instanceGroupManagerName).ConsoleCloud de Confiance
- Apri la pagina Cluster, quindi fai clic sul nome del cluster per aprire la pagina Dettagli cluster per il cluster.
- Fai clic su REST equivalente nella parte inferiore della pagina, quindi visualizza il valore
config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.
gcloud CLI
Esegui il comando
gcloud dataproc clusters describecon il flag--formatper visualizzareinstanceGroupManagerName.gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION \ --format='value(config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName)'
API REST
Invia una richiesta
clusters.getper restituire il valore diconfig.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName. - Visualizza i log in Esplora log.
Seleziona il tipo di risorsa
Google Compute Engine Instance Groupe filtra in base al nome del gruppo di istanze gestite.In alternativa, puoi applicare un filtro di logging per `resource.type="gce_instance_group" e
resource.labels.instance_group_name=INSTANCE_GROUP_MANAGER_NAME.
- Trova il nome del gruppo di istanze gestite (
Combina worker secondari Spot e non preemptible
Puoi specificare una combinazione di worker secondari spot e non preemptible quando crei un cluster Managed Service for Apache Spark.
Impostazioni dei worker secondari per combinare worker secondari spot e non preemptible
Utilizza le seguenti impostazioni dei worker secondari quando crei un cluster Managed Service for Apache Spark per ottenere un livello minimo di capacità dei worker secondari con la possibilità di aumentarla quando sono disponibili VM spot:
secondary worker number: il numero totale di worker secondari di cui eseguire il provisioning.
secondary worker type:
spotè il tipo di worker secondario quando si combinano worker secondari spot e non preemptible.standardCapacityBase: il numero di worker secondari non preemptible (standard) di cui eseguire il provisioning. Il provisioning dei worker secondari non preemptible viene eseguito prima di altri tipi di worker secondari.
standardCapacityPercentAboveBase: dopo aver raggiunto il numero
standardCapacityBasedi worker secondari, il numero rimanente di worker secondari necessari per soddisfare il numero totale di worker secondari richiesti viene completato con una combinazione di VM non preemptible e VM spot, come segue:standardCapacityPercentAboveBase: la percentuale di worker secondari rimanenti da riempire con VM non preemptible.- Il numero rimanente necessario per soddisfare il numero totale di worker secondari richiesti viene completato con VM spot.
Esempio:
- Numero di worker secondari: 15
standardCapacityBase: 5standardCapacityPercentAboveBase30%
Risultato:
- Non preemptible: 8 = 5 (
standardCapacityBase) + 3 (30% dei 10 rimanenti) - Spot: 7 (70% dei 10 rimanenti)
- Totale = 15
Crea un cluster con un mix di worker secondari spot e non preemptible
Puoi utilizzare gcloud CLI o l'API Dataproc per combinare worker secondari spot e non preemptible durante la creazione di un cluster.
gcloud
Esegui il comando seguente localmente o in Cloud Shell per creare un cluster con un mix di worker secondari spot e non preemptible.
gcloud dataproc clusters create CLUSTER_NAME \ --project=PROJECT_ID \ --region=REGION \ --secondary-worker-type=spot \ --num-secondary-workers=NUMBER_SECONDARY_WORKERS \ --secondary-worker-standard-capacity-base=STANDARD_CAPACITY_BASE \ --secondary-worker-standard-capacity-percent-above-base=STANDARD_CAPACITY_PERCENT_ABOVE_BASE \ OTHER_FLAGS_AS_NEEDED
Note:
- CLUSTER_NAME: il nome del nuovo cluster.
- PROJECT_ID: l'ID progetto Cloud de Confiance by S3NS . Gli ID progetto sono elencati nella sezione Informazioni sul progetto della dashboard della console Cloud de Confiance .
- REGION: una regione di Compute Engine disponibile per eseguire il workload.
--secondary-worker-type: quando combini worker secondari spot e non preemptible, specifica il tipo di worker secondario comespot.- STANDARD_CAPACITY_BASE e STANDARD_CAPACITY_PERCENT_ABOVE_BASE: consulta Impostazioni dei worker secondari per combinare worker secondari spot e non preemptible.
- OTHER_FLAGS_AS_NEEDED: consulta gcloud dataproc clusters create.
API
Per combinare worker secondari spot con worker secondari non preemptible, imposta i campi dell'API Managed Service for Apache Spark preemptibility, standardCapacityBase e standardCapacityPercentAboveBase nell'ambito di una richiesta cluster.create, come mostrato nell'esempio JSON seguente:
{
"clusterName": "CLUSTER_NAME",
"config": {
"secondaryWorkerConfig": {
"numInstances": 15,
**"preemptibility": "spot"**,
"instanceFlexibilityPolicy": {
"provisioningModelMix": {
**"standardCapacityBase": STANDARD_CAPACITY_BASE**
**"standardCapacityPercentAboveBase": STANDARD_CAPACITY_PERCENT_ABOVE_BASE**
}
}
}
}
}
Note:
- CLUSTER_NAME: il nome del nuovo cluster.
preemptibility: quando combini worker secondari spot e non preemptible, specificaspot.- STANDARD_CAPACITY_BASE e STANDARD_CAPACITY_PERCENT_ABOVE_BASE: consulta Impostazioni dei worker secondari per combinare worker secondari spot e non preemptible.
Combina la combinazione di worker secondari con le VM flessibili
Puoi combinare worker secondari spot e non preemptible e specificare forme di VM flessibili per i worker secondari quando crei un cluster.
Esempio di gcloud CLI:
gcloud dataproc clusters create cluster-name \ --project=project-id \ --region=us-central1 \ --secondary-worker-type=spot \ --num-secondary-workers=15 \ --secondary-worker-standard-capacity-base=5 \ --secondary-worker-standard-capacity-percent-above-base=30 \ --secondary-worker-machine-types="type=n2-standard-8,rank=0" \ --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1" ...other flags as needed
Caratteristiche di combinazione dei worker secondari
Questa sezione descrive alcuni dei comportamenti e delle caratteristiche associati alla combinazione di worker secondari spot e non preemptible.
Preferenza dei worker secondari
Managed Service for Apache Spark non dà la preferenza alle VM spot o non preemptible quando pianifica le applicazioni sui worker secondari.
Scalabilità dei worker secondari
Quando i worker secondari vengono scalati tramite scalabilità automatica o scalabilità manuale, Managed Service for Apache Spark mantiene il rapporto richiesto tra worker spot e non preemptible quando aggiunge worker secondari.
Aggiornamento delle impostazioni di combinazione dei worker secondari
Puoi specificare la combinazione di worker secondari spot e non preemptible quando crei un cluster Managed Service for Apache Spark. Non puoi modificare le impostazioni della combinazione di worker secondari dopo aver creato il cluster.
Prerilascio dei worker secondari Spot
- Managed Service for Apache Spark non controlla i tempi di prerilascio delle VM spot (consulta Prerilascio delle VM spot).
- Quando si verifica il prerilascio di VM spot, il gruppo di worker secondari può funzionare temporaneamente con una capacità ridotta finché Compute Engine non esegue il provisioning delle VM prerilasciate.
- Managed Service for Apache Spark non aggiungerà capacità a un gruppo di worker secondari oltre alle impostazioni iniziali del gruppo.