Questa pagina spiega come creare e gestire le VM spot, tra cui:
- Come creare, avviare e identificare le VM Spot
- Come rilevare, gestire e testare il prerilascio delle VM spot
- Best practice per le VM spot
Le VM spot sono istanze di macchina virtuale (VM) con il modello di provisioning spot. Le VM spot sono disponibili con uno sconto fino al 91% rispetto al prezzo predefinito delle VM standard. Tuttavia, Compute Engine potrebbe recuperare le risorse prerilasciando le VM spot in qualsiasi momento. Le VM spot sono consigliate solo per i carichi di lavoro a tolleranza di errore che possono sopportare il prerilascio delle VM. Prima di decidere di creare VM spot, assicurati che il tuo workload possa gestire il prerilascio.
Se vuoi creare e gestire VM spot con TPU, consulta la documentazione di Cloud TPU per le VM spot.
Prima di iniziare
- Leggi la documentazione concettuale relativa alle VM spot:
- Esamina le limitazioni e i prezzi delle VM spot.
- Per evitare che le VM spot consumino le quote per le CPU, le GPU e i dischi delle VM standard, ti consigliamo di richiedere una quota preemptible per le VM spot.
-
Se non l'hai ancora fatto, configura l'autenticazione.
L'autenticazione verifica la tua identità per l'accesso ad API e servizi Cloud de Confiance by S3NS . Per eseguire
codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su
Compute Engine selezionando una delle seguenti opzioni:
Seleziona la scheda relativa a come intendi utilizzare i campioni in questa pagina:
Console
Quando utilizzi la console Cloud de Confiance per accedere ai servizi Cloud de Confiance by S3NS e alle API, non devi configurare l'autenticazione.
gcloud
-
Installa Google Cloud CLI, quindi accedi a gcloud CLI con la tua identità federata. Dopo aver eseguito l'accesso, inizializza Google Cloud CLI eseguendo il comando seguente:
gcloud init
-
- Imposta una regione e una zona predefinite.
-
Installa Google Cloud CLI.
-
Configura gcloud CLI per utilizzare la tua identità federata.
Per ulteriori informazioni, vedi Accedi a gcloud CLI con la tua identità federata.
-
Crea le credenziali di autenticazione locali per il tuo account utente:
gcloud auth application-default login
Se viene restituito un errore di autenticazione e utilizzi un provider di identità (IdP) esterno, verifica di aver acceduto a gcloud CLI con la tua identità federata.
Terraform
Per utilizzare gli esempi di Terraform in questa pagina in un ambiente di sviluppo locale, installa e inizializza gcloud CLI, quindi configura Credenziali predefinite dell'applicazione con le tue credenziali utente.
Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
REST
Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.
Installa Google Cloud CLI, quindi accedi a gcloud CLI con la tua identità federata.
Per saperne di più, consulta Autenticati per usare REST nella documentazione sull'autenticazione di Cloud de Confiance .
Crea una VM Spot
Una VM spot è qualsiasi VM configurata per utilizzare il modello di provisioning spot:
- Modello di provisioning delle VM impostato su Spot nella console Cloud de Confiance
--provisioning-model=SPOTin gcloud CLI"provisioningModel": "SPOT"nell'API Compute Engine
Per scoprire come creare una VM spot, seleziona uno dei seguenti metodi in base a come vuoi gestire il prerilascio:
- Crea una VM spot con 120 secondi per la gestione del prerilascio (anteprima)
- Crea una VM spot con un massimo di 30 secondi per la gestione del prerilascio (impostazione predefinita)
In alternativa, per creare più VM spot con le stesse proprietà, puoi creare un template di istanza e utilizzare il template per creare un gruppo di istanze gestite (MIG). Per ulteriori informazioni, consulta le best practice.
Crea una VM spot con 120 secondi per la gestione del prerilascio
Prima di creare una VM spot con una notifica di prerilascio di 120 secondi, assicurati di gestire il prerilascio all'interno del tuo workload.
gcloud
Per creare una VM spot con una durata di notifica di preempt di 120 secondi da gcloud CLI, utilizza il
comando gcloud beta compute instances create
e includi il flag --preemption-notice-duration=120s. Per creare
VM spot, devi includere il flag --provisioning-model=SPOT.
Se vuoi, puoi specificare un'azione di terminazione per le VM spot includendo anche il flag --instance-termination-action.
gcloud beta compute instances create VM_NAME \
--provisioning-model=SPOT \
--preemption-notice-duration=120s \
--instance-termination-action=TERMINATION_ACTION
Sostituisci quanto segue:
VM_NAME: il nome della nuova VM.TERMINATION_ACTION: (Facoltativo) specifica l'azione di terminazione da intraprendere quando Compute Engine esegue il prerilascio della VM,STOP(comportamento predefinito) oDELETE.
Per ulteriori informazioni sulle opzioni che puoi specificare durante la creazione di una VM, consulta Opzioni di configurazione durante la creazione dell'istanza. Ad esempio, per creare VM spot con un tipo di macchina e un'immagine specificati, utilizza il seguente comando:
gcloud beta compute instances create VM_NAME \
--provisioning-model=SPOT \
--preemption-notice-duration=120s \
[--image=IMAGE | --image-family=IMAGE_FAMILY] \
--image-project=IMAGE_PROJECT \
--machine-type=MACHINE_TYPE \
--instance-termination-action=TERMINATION_ACTION
Sostituisci quanto segue:
VM_NAME: il nome della nuova VM.IMAGE: specifica una delle seguenti opzioni:IMAGE: una versione specifica di un'immagine pubblica o della famiglia di immagini. Ad esempio, un'immagine specifica è--image=debian-10-buster-v20200309.- Una famiglia di immagini.
In questo modo, la VM viene creata dall'immagine sistema operativo più recente e non deprecata.
Ad esempio, se specifichi
--image-family=debian-10, Compute Engine crea una VM dall'ultima versione dell'immagine sistema operativo nella famiglia di immagini Debian 10.
IMAGE_PROJECT: il progetto contenente l'immagine. Ad esempio, se specifichidebian-10come famiglia di immagini, specificadebian-cloudcome progetto immagine.MACHINE_TYPE: il tipo di macchina predefinito o personalizzato per la nuova VM.Per ottenere un elenco dei tipi di macchine disponibili in una zona, utilizza il comando
gcloud compute machine-types listcon il flag--zones.TERMINATION_ACTION: (Facoltativo) specifica l'azione di terminazione da intraprendere quando Compute Engine esegue il prerilascio della VM,STOP(comportamento predefinito) oDELETE.
REST
Per creare una VM spot con una durata di preavviso di preempt di 120 secondi dall'API Compute Engine, utilizza il metodo instances.insert beta e includi il campo "preemptionNoticeDuration": { "seconds": 120 }.
Devi specificare un tipo di macchina e un nome per la VM. Facoltativamente, puoi
anche specificare un'immagine per il disco di avvio.
Per creare VM spot, devi includere il campo "provisioningModel": spot.
Facoltativamente, puoi anche specificare un'azione di terminazione per le VM spot includendo
anche il campo "instanceTerminationAction".
POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/zones/ZONE/instances { "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE", "name": "VM_NAME", "disks": [ { "initializeParams": { "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE" }, "boot": true } ], "scheduling": { "provisioningModel": "SPOT", "preemptionNoticeDuration": { "seconds": 120 }, "instanceTerminationAction": "TERMINATION_ACTION" } }
Sostituisci quanto segue:
PROJECT_ID: l' ID progetto del progetto in cui creare la VM.ZONE: la zona in cui creare la VM. La zona deve supportare anche il tipo di macchina da utilizzare per la nuova VM.MACHINE_TYPE: il tipo di macchina predefinito o personalizzato per la nuova VM.VM_NAME: il nome della nuova VM.IMAGE_PROJECT: il progetto contenente l'immagine. Ad esempio, se specifichifamily/debian-10come famiglia di immagini, specificadebian-cloudcome progetto immagine.IMAGE: specifica una delle seguenti opzioni:- Una versione specifica di un'immagine pubblica. Ad esempio, un'immagine specifica è
"sourceImage": "projects/debian-cloud/global/images/debian-10-buster-v20200309"dovedebian-cloudèIMAGE_PROJECT. - Una famiglia di immagini.
In questo modo, la VM viene creata dall'immagine sistema operativo più recente e non deprecata.
Ad esempio, se specifichi
"sourceImage": "projects/debian-cloud/global/images/family/debian-10"dovedebian-cloudèIMAGE_PROJECT, Compute Engine crea una VM dall'ultima versione dell'immagine sistema operativo nella famiglia di immagini Debian 10.
- Una versione specifica di un'immagine pubblica. Ad esempio, un'immagine specifica è
TERMINATION_ACTION: (Facoltativo) specifica l'azione di terminazione da intraprendere quando Compute Engine esegue il prerilascio della VM,STOP(comportamento predefinito) oDELETE.
Per ulteriori informazioni sulle opzioni che puoi specificare durante la creazione di una VM, consulta Opzioni di configurazione durante la creazione dell'istanza.
Crea una VM spot con un massimo di 30 secondi per la gestione del prerilascio (impostazione predefinita)
Per impostazione predefinita, una VM spot riceve una notifica di prerilascio all'inizio del periodo di arresto di 30 secondi con il criterio del "best effort" e devi gestire il prerilascio all'interno di uno script di arresto.
Console
Nella console Cloud de Confiance , vai alla pagina Crea un'istanza.
Nel riquadro Configurazione macchina, aperto per impostazione predefinita, completa i seguenti passaggi:
- Nella sezione Modello di provisioning, seleziona Spot dall'elenco Modello di provisioning delle VM.
(Facoltativo) Per selezionare l'azione di terminazione che si verifica quando Compute Engine esegue il prerilascio della VM, completa i seguenti passaggi:
- Espandi la sezione Impostazioni avanzate del modello di provisioning delle VM.
- Nell'elenco Alla terminazione della VM, seleziona una delle seguenti
opzioni:
- Per arrestare la VM durante il prerilascio, seleziona Arresta (valore predefinito).
- Per eliminare la VM durante il prerilascio, seleziona Elimina.
Nel menu di navigazione, fai clic su Avanzate. Nel riquadro Avanzate che viene visualizzato, completa i seguenti passaggi:
- Nella sezione Metadati, fai clic su Aggiungi elemento.
- Nel campo Chiave, inserisci
shutdown-scriptper la chiave dei metadati. - Nel campo Valore, aggiungi i contenuti di uno script di arresto che gestisce la preemption. Per un esempio di script di arresto, consulta la sezione Gestisci il prerilascio in questo documento.
(Facoltativo) Specifica altre opzioni di configurazione. Per ulteriori informazioni, consulta Opzioni di configurazione durante la creazione dell'istanza.
Per creare e avviare la VM, fai clic su Crea.
gcloud
Per creare una VM da gcloud CLI, utilizza il
comando gcloud compute instances create.
Per creare VM spot, devi includere il
flag --provisioning-model=SPOT. Per gestire il prerilascio, includi il
flag --metadata shutdown-script per specificare uno script di arresto. Se vuoi,
puoi specificare un'azione di terminazione per le VM spot includendo anche il
flag --instance-termination-action.
gcloud compute instances create VM_NAME \
--provisioning-model=SPOT \
--metadata shutdown-script=SHUTDOWN_SCRIPT \
--instance-termination-action=TERMINATION_ACTION
Sostituisci quanto segue:
VM_NAME: il nome della nuova VM.SHUTDOWN_SCRIPT: uno script di arresto, che puoi formattare come mostrato in Esegui gli script di arresto. Per un esempio di script di arresto, consulta la sezione Gestisci il prerilascio in questo documento.TERMINATION_ACTION: (Facoltativo) specifica l'azione di terminazione da intraprendere quando Compute Engine esegue il prerilascio della VM,STOP(comportamento predefinito) oDELETE.
Per ulteriori informazioni sulle opzioni che puoi specificare durante la creazione di una VM, consulta Opzioni di configurazione durante la creazione dell'istanza. Ad esempio, per creare VM spot con un tipo di macchina e un'immagine specificati, utilizza il seguente comando:
gcloud compute instances create VM_NAME \
--provisioning-model=SPOT \
--metadata shutdown-script=SHUTDOWN_SCRIPT \
[--image=IMAGE | --image-family=IMAGE_FAMILY] \
--image-project=IMAGE_PROJECT \
--machine-type=MACHINE_TYPE \
--instance-termination-action=TERMINATION_ACTION \
Sostituisci quanto segue:
VM_NAME: il nome della nuova VM.SHUTDOWN_SCRIPT: uno script di arresto che gestisce il preempt. Per saperne di più su come formattare e specificare uno script di arresto, consulta Esecuzione di script di arresto. Per un esempio di script di arresto, consulta la sezione Gestisci il prerilascio in questo documento.IMAGE: specifica una delle seguenti opzioni:IMAGE: una versione specifica di un'immagine pubblica o della famiglia di immagini. Ad esempio, un'immagine specifica è--image=debian-10-buster-v20200309.- Una famiglia di immagini.
In questo modo, la VM viene creata dall'immagine sistema operativo più recente e non deprecata.
Ad esempio, se specifichi
--image-family=debian-10, Compute Engine crea una VM dall'ultima versione dell'immagine sistema operativo nella famiglia di immagini Debian 10.
IMAGE_PROJECT: il progetto contenente l'immagine. Ad esempio, se specifichidebian-10come famiglia di immagini, specificadebian-cloudcome progetto immagine.MACHINE_TYPE: il tipo di macchina predefinito o personalizzato per la nuova VM.Per ottenere un elenco dei tipi di macchine disponibili in una zona, utilizza il comando
gcloud compute machine-types listcon il flag--zones.TERMINATION_ACTION: (Facoltativo) specifica l'azione di terminazione da intraprendere quando Compute Engine esegue il prerilascio della VM,STOP(comportamento predefinito) oDELETE.
Terraform
Puoi utilizzare una risorsa
Terraform
per creare una VM spot utilizzando il blocco scheduling, come mostrato
nell'esempio seguente.
Per aggiungere uno script di arresto per la gestione del prerilascio, aggiungi anche un blocco metadata
come mostrato in
Esecuzione di script di arresto.
Per un esempio di script di arresto, consulta la sezione
Gestisci il prerilascio in questo documento.
REST
Per creare una VM dall'API Compute Engine, utilizza il
metodo instances.insert.
Devi specificare un tipo di macchina e un nome per la VM. Facoltativamente, puoi
anche specificare un'immagine per il disco di avvio.
Per creare VM spot, devi includere il campo "provisioningModel": spot.
Per gestire il prerilascio, includi anche il campo "metadata" e specifica uno script di arresto.
Facoltativamente, puoi specificare un'azione di terminazione per le VM spot includendo
anche il campo "instanceTerminationAction".
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances { "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE", "name": "VM_NAME", "disks": [ { "initializeParams": { "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE" }, "boot": true } ], "scheduling": { "provisioningModel": "SPOT", "instanceTerminationAction": "TERMINATION_ACTION" }, "metadata": { "items": [ { "key": "shutdown-script", "value": "SHUTDOWN_SCRIPT" } ] } }
Sostituisci quanto segue:
PROJECT_ID: l' ID progetto del progetto in cui creare la VM.ZONE: la zona in cui creare la VM. La zona deve supportare anche il tipo di macchina da utilizzare per la nuova VM.MACHINE_TYPE: il tipo di macchina predefinito o personalizzato per la nuova VM.VM_NAME: il nome della nuova VM.IMAGE_PROJECT: il progetto contenente l'immagine. Ad esempio, se specifichifamily/debian-10come famiglia di immagini, specificadebian-cloudcome progetto immagine.IMAGE: specifica una delle seguenti opzioni:- Una versione specifica di un'immagine pubblica. Ad esempio, un'immagine specifica è
"sourceImage": "projects/debian-cloud/global/images/debian-10-buster-v20200309"dovedebian-cloudèIMAGE_PROJECT. - Una famiglia di immagini.
In questo modo, la VM viene creata dall'immagine sistema operativo più recente e non deprecata.
Ad esempio, se specifichi
"sourceImage": "projects/debian-cloud/global/images/family/debian-10"dovedebian-cloudèIMAGE_PROJECT, Compute Engine crea una VM dall'ultima versione dell'immagine sistema operativo nella famiglia di immagini Debian 10.
- Una versione specifica di un'immagine pubblica. Ad esempio, un'immagine specifica è
TERMINATION_ACTION: (Facoltativo) specifica l'azione di terminazione da intraprendere quando Compute Engine esegue il prerilascio della VM,STOP(comportamento predefinito) oDELETE.SHUTDOWN_SCRIPT: uno script di arresto che gestisce il preempt. Per saperne di più su come formattare e specificare uno script di arresto, consulta Esecuzione di script di arresto. Per un esempio di script di arresto, consulta la sezione Gestisci il prerilascio in questo documento.
Per ulteriori informazioni sulle opzioni che puoi specificare durante la creazione di una VM, consulta Opzioni di configurazione durante la creazione dell'istanza.
Go
L'esempio seguente crea una VM spot senza uno script di arresto per la gestione del prerilascio. Per ulteriori informazioni su come specificare uno script di arresto per una VM nuova o esistente, consulta Esecuzione di script di arresto. Per un esempio di script di arresto, consulta Gestire il prerilascio in questo documento.
Java
L'esempio seguente crea una VM spot senza uno script di arresto per la gestione del prerilascio. Per ulteriori informazioni su come specificare uno script di arresto per una VM nuova o esistente, consulta Esecuzione di script di arresto. Per un esempio di script di arresto, consulta Gestire il prerilascio in questo documento.
Python
L'esempio seguente crea una VM spot senza uno script di arresto per la gestione del prerilascio. Per ulteriori informazioni su come specificare uno script di arresto per una VM nuova o esistente, consulta Esecuzione di script di arresto. Per un esempio di script di arresto, consulta Gestire il prerilascio in questo documento.
Avvia le VM spot
Come le altre VM, le VM spot vengono avviate al momento della creazione. Analogamente, se
le VM spot sono arrestate, puoi
riavviarle per riprendere lo stato RUNNING.
Puoi arrestare e riavviare le VM spot prerilasciate
tutte le volte che vuoi, a condizione che vi sia capacità disponibile.
Per ulteriori informazioni, consulta
Ciclo di vita delle istanze VM.
Se Compute Engine arresta una o più VM spot in un gruppo di istanze gestite (MIG) con scalabilità automatica o in un cluster Google Kubernetes Engine (GKE), il gruppo riavvia le VM quando le risorse diventano di nuovo disponibili.
Identifica il modello di provisioning e l'azione di terminazione di una VM
Identifica il modello di provisioning di una VM per capire se si tratta di una VM standard, una VM spot o una VM preemptible. Per una VM spot, puoi anche identificare l'azione di terminazione. Puoi identificare il modello di provisioning e l'azione di terminazione di una VM utilizzando la consoleCloud de Confiance , gcloud CLI o l'API Compute Engine.
Console
Vai alla pagina Istanze VM.
Fai clic sul nome della VM che vuoi identificare. Viene visualizzata la pagina Dettagli istanza VM.
Vai alla sezione Gestione nella parte inferiore della pagina. Nella sottosezione Policy di disponibilità, seleziona le seguenti opzioni:
- Se il modello di provisioning della VM è impostato su Spot, la VM è una
VM spot.
- Informazioni sulla terminazione delle VM indica quale azione intraprendere quando Compute Engine prerilascia la VM, ovvero arrestare o eliminare la VM.
- Altrimenti, se il modello di provisioning della VM è impostato su Standard
o —:
- Se l'opzione Prerilasciabilità è impostata su On, la VM è preemptible.
- In caso contrario, la VM è una VM standard.
- Se il modello di provisioning della VM è impostato su Spot, la VM è una
VM spot.
gcloud
Per descrivere una VM da gcloud CLI, utilizza il
comando gcloud compute instances describe:
gcloud compute instances describe VM_NAME
dove VM_NAME è il
nome della VM
che vuoi controllare.
Nell'output, controlla il campo scheduling per identificare la VM:
Se l'output include il campo
provisioningModelimpostato suSPOT, simile al seguente, la VM è una VM spot.... scheduling: ... provisioningModel: SPOT instanceTerminationAction: TERMINATION_ACTION ...
dove
TERMINATION_ACTIONindica l'azione da intraprendere quando Compute Engine prerilascia la VM, ovvero arrestare (STOP) o eliminare (DELETE) la VM. Se il campoinstanceTerminationActionnon è presente, il valore predefinito èSTOP.Altrimenti, se l'output include il campo
provisioningModelimpostato sustandardo se l'output omette il campoprovisioningModel:- Se l'output include il campo
preemptibleimpostato sutrue, la VM è preemptible. - In caso contrario, la VM è una VM standard.
- Se l'output include il campo
REST
Per descrivere una VM dall'API Compute Engine, utilizza il
metodo instances.get.
GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME
Sostituisci quanto segue:
PROJECT_ID: l'ID progetto del progetto in cui si trova la VM.ZONE: la zona in cui si trova la VMVM_NAME: il nome della VM che vuoi controllare
Nell'output, controlla il campo scheduling per identificare la VM:
Se l'output include il campo
provisioningModelimpostato suSPOT, simile al seguente, la VM è una VM spot.{ ... "scheduling": { ... "provisioningModel": "SPOT", "instanceTerminationAction": "TERMINATION_ACTION" ... }, ... }dove
TERMINATION_ACTIONindica l'azione da intraprendere quando Compute Engine prerilascia la VM, ovvero arrestare (STOP) o eliminare (DELETE) la VM. Se il campoinstanceTerminationActionnon è presente, il valore predefinito èSTOP.Altrimenti, se l'output include il campo
provisioningModelimpostato sustandardo se l'output omette il campoprovisioningModel:- Se l'output include il campo
preemptibleimpostato sutrue, la VM è preemptible. - In caso contrario, la VM è una VM standard.
- Se l'output include il campo
Go
Java
Python
Gestisci il prerilascio di una VM spot
Per scoprire come gestire il prerilascio di una VM spot, esamina le seguenti sezioni:
- Gestisci il prerilascio.
- Rileva lil prerilascio delle VM spot.
- Testa le impostazioni di prerilascio.
Gestire il prerilascio
Quando Compute Engine inizia a prerilasciare una VM spot, puoi provare a eseguire azioni di pulizia prima che la VM termini l'arresto. La gestione del preempt può includere l'interruzione controllata di un processo in esecuzione e il trasferimento dello stato del workload.
Puoi utilizzare i seguenti metodi per gestire il prerilascio di una VM spot:
- Gestisci la preemption all'interno del tuo workload. Consigliamo questo metodo per le VM spot con una durata della notifica di prerilascio di 120 secondi (anteprima). Nello specifico, all'interno del carico di lavoro, configura il codice per la gestione del preemptive in modo che attenda l'inizio del preemptive come spiegato in Rilevare il preemptive all'interno di una VM. Il codice per la gestione del prerilascio viene eseguito durante la durata dell'avviso di prerilascio. (Facoltativamente, queste VM possono anche specificare uno script di arresto, che viene eseguito durante un periodo di arresto.)
- Gestisci il prerilascio all'interno di uno script di arresto. Consigliamo questo metodo per le VM spot senza una durata di preavviso di preempt, che è la configurazione predefinita. Nello specifico, configura il codice per la gestione della preemption all'interno di uno script di arresto come mostrato nell'esempio seguente. Lo script di arresto viene eseguito automaticamente per un massimo di 30 secondi durante il periodo di arresto secondo il criterio "best effort" per qualsiasi tipo di arresto. Di conseguenza, potresti voler configurare il codice per la gestione del prerilascio in modo che venga eseguito solo se la VM viene prerilasciata, come spiegato in Rilevare il prerilascio all'interno di una VM.
L'esempio seguente mostra come gestire il preempt caricando un file
checkpoint in un bucket Cloud Storage all'interno di uno
script di arresto e come aggiungere uno script di arresto durante la creazione o l'aggiornamento di una
VM spot. Questo script viene eseguito quando la VM inizia l'arresto,
prima che il normale comando kill del sistema operativo interrompa tutti i processi
rimanenti. Dopo aver arrestato normalmente un programma specificato, lo script esegue un caricamento
parallelo di un file di checkpoint in un bucket Cloud Storage.
#!/bin/bash
MY_PROGRAM="PROGRAM_NAME" # For example, "apache2" or "nginx"
MY_USER="LOCAL_USER"
CHECKPOINT="/home/$MY_USER/checkpoint.out"
BUCKET_NAME="BUCKET_NAME" # For example, "my-checkpoint-files" (without gs://)
echo "Shutting down! Seeing if ${MY_PROGRAM} is running."
# Find the newest copy of $MY_PROGRAM
PID="$(pgrep -n "$MY_PROGRAM")"
if [[ "$?" -ne 0 ]]; then
echo "${MY_PROGRAM} not running, shutting down immediately."
exit 0
fi
echo "Sending SIGINT to $PID"
kill -2 "$PID"
# Portable waitpid equivalent
while kill -0 "$PID"; do
sleep 1
done
echo "$PID is done, copying ${CHECKPOINT} to gs://${BUCKET_NAME} as ${MY_USER}"
su "${MY_USER}" -c "gcloud storage cp $CHECKPOINT gs://${BUCKET_NAME}/"
echo "Done uploading, shutting down."
Questo script presuppone quanto segue:
La VM è stata creata con almeno l'accesso in lettura/scrittura a Cloud Storage. Per istruzioni su come creare una VM con gli ambiti appropriati, consulta la documentazione sull'autenticazione.
Hai un bucket Cloud Storage esistente e l'autorizzazione per scrivere al suo interno.
Per aggiungere questo script a una VM, configuralo in modo che funzioni con il carico di lavoro sulla tua VM e aggiungilo ai metadati della VM.
Copia o scarica lo script di arresto:
Copia lo script di arresto precedente dopo aver sostituito quanto segue:
PROGRAM_NAMEè il nome del processo o del programma che vuoi arrestare. Ad esempio,apache2onginx.LOCAL_USERè il nome utente con cui hai eseguito l'accesso alla macchina virtuale.BUCKET_NAMEè il nome del bucket Cloud Storage in cui vuoi salvare il file di checkpoint del programma. Tieni presente che in questo caso il nome del bucket non inizia congs://.
Scarica lo script di arresto sulla tua workstation locale, quindi sostituisci le seguenti variabili nel file:
[PROGRAM_NAME]è il nome del processo o del programma che vuoi arrestare. Ad esempio,apache2onginx.[LOCAL_USER]è il nome utente con cui hai eseguito l'accesso alla macchina virtuale.[BUCKET_NAME]è il nome del bucket Cloud Storage in cui vuoi salvare il file di checkpoint del programma. Tieni presente che in questo caso il nome del bucket non inizia congs://.
Aggiungi lo script di arresto a una nuova VM o a una VM esistente.
Rileva il prerilascio delle VM spot
Le sezioni seguenti spiegano i metodi che puoi utilizzare per rilevare il prerilascio delle VM spot.
- Rileva il prerilascio all'interno di una VM: ad esempio, utilizza questo metodo per verificare il prerilascio all'interno di uno script di arresto o per attivare la gestione del prerilascio per le VM spot con una durata di notifica del prerilascio di 120 secondi (anteprima).
- Visualizza le operazioni di prerilascio: ad esempio, utilizza questo metodo quando vuoi determinare perché le VM spot vengono arrestate.
Rilevare il prerilascio all'interno di una VM
Per rilevare se una VM è in fase di preemption dall'interno della VM stessa, controlla il
server dei metadati per il valore preempted nei
metadati predefiniti della VM. Ad esempio, utilizza i seguenti metodi:
Controlla il valore attuale di
preempted. Puoi eseguire il seguente comandocurldall'interno della VM per ottenere il valore corrente dipreempted:curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted" -H "Metadata-Flavor: Google" TRUESe questo valore è
TRUE, la VM è stata prerilasciata da Compute Engine, altrimenti èFALSE. Ad esempio, utilizza questo comando all'interno di uno script di arresto per verificare se l'arresto è stato causato dal prerilascio o meno.Attendi fino alle ore
preempted, quandoTRUE. Per attendere chepreemptedsiaTRUE, puoi aggiungere?wait_for_change=trueall'URL del comando precedente. Questo comando esegue una richiesta HTTP GET in sospeso che restituisce un risultato solo quando i metadati sono stati modificati e la VM è stata prerilasciata.curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted?wait_for_change=true" -H "Metadata-Flavor: Google" TRUEQuesto comando è utile quando vuoi attivare la gestione del prerilascio al di fuori di uno script di arresto. Ad esempio, utilizza questo metodo per attivare la gestione del prerilascio per le VM spot con una durata della notifica di prerilascio di 120 secondi (anteprima).
Visualizza le operazioni di preemptive
Puoi visualizzare le operazioni di prerilascio da Compute Engine utilizzando la Cloud de Confiance console, gcloud CLI o l'API Compute Engine.
Console
Puoi verificare se una VM è stata prerilasciata controllando i log delle attività di sistema.
Nella console Cloud de Confiance , vai alla pagina Log.
Seleziona il progetto e fai clic su Continua.
Aggiungi
compute.instances.preemptedal campo Filtra per etichetta o Ricerca testuale.Se vuoi visualizzare le operazioni di prerilascio per una VM specifica, puoi anche inserire un nome VM.
Premi Invio per applicare i filtri specificati. La console Cloud de Confiance aggiorna l'elenco dei log in modo da mostrare solo le operazioni in cui è stata prerilasciata una VM.
Seleziona un'operazione dall'elenco per visualizzare i dettagli della VM che è stata prerilasciata.
gcloud
Utilizza il comando gcloud compute operations list
con un parametro filtro per
ottenere un elenco di eventi di prerilascio nel progetto.
gcloud compute operations list \
--filter="operationType=compute.instances.preempted"
Se vuoi, puoi utilizzare parametri di filtro aggiuntivi per restringere ulteriormente l'ambito dei risultati. Ad esempio, per visualizzare gli eventi di prerilascio solo per le istanze all'interno di un gruppo di istanze gestite, utilizza il seguente comando:
gcloud compute operations list \
--filter="operationType=compute.instances.preempted AND targetLink:instances/BASE_INSTANCE_NAME"
dove BASE_INSTANCE_NAME è il nome di base
specificato come prefisso per i nomi di tutte le VM in questo
gruppo di istanze gestite.
L'output è simile al seguente:
NAME TYPE TARGET HTTP_STATUS STATUS TIMESTAMP systemevent-xxxxxxxx compute.instances.preempted us-central1-f/instances/example-instance-xxx 200 DONE 2015-04-02T12:12:10.881-07:00
Un tipo di operazione compute.instances.preempted indica che
l'istanza VM è stata prerilasciata. Puoi utilizzare il
comando gcloud compute operations describe
per ottenere ulteriori informazioni su un'operazione di prerilascio specifica.
gcloud compute operations describe SYSTEM_EVENT \
--zone=ZONE
Sostituisci quanto segue:
SYSTEM_EVENT: l'evento di sistema proveniente dall'output del comandogcloud compute operations list, ad esempiosystemevent-xxxxxxxxZONE: la zona dell'evento di sistema, ad esempious-central1-f
L'output è simile al seguente:
... operationType: compute.instances.preempted progress: 100 selfLink: https://compute.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/operations/systemevent-xxxxxxxx startTime: '2015-04-02T12:12:10.881-07:00' status: DONE statusMessage: Instance was preempted. ...
REST
Per ottenere un elenco delle operazioni di sistema recenti per un progetto e una zona specifici,
utilizza il metodo zoneOperations.get.
GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/operations
Sostituisci quanto segue:
PROJECT_ID: un ID progetto.ZONE: una zona
Se vuoi limitare la risposta in modo da mostrare solo le operazioni di prerilascio, puoi aggiungere un filtro alla richiesta API:
operationType="compute.instances.preempted"
In alternativa, per visualizzare le operazioni di prerilascio
per una VM specifica, aggiungi un parametro targetLink al filtro:
operationType="compute.instances.preempted" AND targetLink="https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME
Sostituisci quanto segue:
+ PROJECT_ID: l'
ID progetto.
+ ZONE: la zona.
+ VM_NAME: il nome di una VM specifica in questa
zona e in questo progetto.
La risposta contiene un elenco di operazioni recenti. Ad esempio, un prerilascio è simile a quanto segue:
{
"kind": "compute#operation",
"id": "15041793718812375371",
"name": "systemevent-xxxxxxxx",
"zone": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f",
"operationType": "compute.instances.preempted",
"targetLink": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/instances/example-instance",
"targetId": "12820389800990687210",
"status": "DONE",
"statusMessage": "Instance was preempted.",
...
}
Testa le impostazioni di prerilascio
Puoi eseguire eventi di manutenzione simulati sulle tue VM spot per forzarne il prerilascio. Utilizza questa funzionalità per verificare come i tuoi workload rilevano e gestiscono il preempt. Per scoprire come testare gli eventi di manutenzione sulle tue istanze, consulta Simulare un evento di manutenzione dell'host.
Best practice
Ecco alcune best practice per aiutarti a ottenere il massimo dalle VM spot.
Utilizza i template di istanza. Anziché creare le VM spot una alla volta, puoi utilizzare i template di istanza per creare più VM spot con le stesse proprietà. I template di istanza sono obbligatori per l'utilizzo dei MIG. In alternativa, puoi anche creare più VM spot utilizzando l'API per le istanze in blocco.
Utilizza i MIG per distribuire a livello di regione e ricreare automaticamente le VM spot. Utilizza i MIG per rendere i workload sulle VM spot più flessibili e resilienti. Ad esempio, utilizza i MIG a livello di regione per distribuire le VM in più zone, il che contribuisce a mitigare gli errori di disponibilità delle risorse. Inoltre, utilizza la riparazione automatica per ricreare automaticamente le VM spot dopo che sono state prerilasciate.
Scegli tipi di macchine più piccoli. Le risorse per le VM spot provengono dalla capacità in eccesso e di backup della Cloud de Confiance by S3NS . La capacità per le VM spot è spesso più facile da ottenere per i tipi di macchina più piccoli, ovvero tipi di macchina con meno risorse come vCPU e memoria. Potresti trovare più capacità per le VM spot selezionando un tipo di macchina personalizzata più piccolo, ma la capacità è ancora più probabile per i tipi di macchine predefinite più piccoli. Ad esempio, rispetto alla capacità del tipo di macchina predefinita
n2-standard-32, la capacità del tipo di macchina personalizzatan2-custom-24-96è più probabile, ma la capacità del tipo di macchina predefinitan2-standard-16è ancora più probabile.Esegui grandi cluster di VM spot durante periodi diversi da quelli di picco. Il carico sui data center Cloud de Confiance by S3NS varia in base alla località e all'ora del giorno, ma in genere è minimo nelle ore notturne e nei fine settimana. Di conseguenza, le notti e i fine settimana sono i momenti migliori per eseguire grandi cluster di VM spot.
Progetta i tuoi carichi di lavoro in modo che siano tolleranti agli errori e al prerilascio. È importante essere preparati al fatto che le sequenze di prerilascio possono cambiare in momenti diversi. Ad esempio, se una zona subisce un'interruzione parziale del servizio, un numero elevato di VM spot potrebbe essere prerilasciata per fare spazio alle VM standard che devono essere spostate nell'ambito del recupero. In questo breve lasso di tempo, il tasso di prerilascio sarà molto diverso rispetto a qualsiasi altro giorno. Se il tuo carico di lavoro presuppone che i prerilasci vengano sempre eseguiti in piccoli gruppi, potrebbe non essere preparato per un evento di questo tipo.
Riprova a creare le VM spot che sono state prerilasciate. Se le VM spot sono state prerilasciate, prova a creare nuove VM spot una o due volte prima di tornare alle VM standard. A seconda dei tuoi requisiti, potrebbe essere una buona idea combinare VM standard e spot nei tuoi cluster per assicurarti che il lavoro proceda a un ritmo adeguato.
Utilizza gli script di arresto. Gestisci le notifiche di arresto e prerilascio con uno script di arresto che può salvare l'avanzamento di un job in modo da riprendere da dove avevi interrotto, anziché ricominciare da capo.
Passaggi successivi
- Connettiti all'istanza VM
- Scopri di più sugli script di arresto.
- Scopri di più su come limitare il runtime di una VM.
- Scopri di più sui template di istanza.
- Scopri di più sui MIG.