Some or all of the information on this page might not apply to Cloud de Confiance by S3NS. See Differences from Google Cloud for more details.

Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Memorizzazione in cache del cluster

Quando abiliti la memorizzazione nella cache del cluster Managed Service for Apache Spark, il cluster memorizza nella cache i dati Cloud Storage a cui accedono di frequente i job Spark.

Vantaggi

Prestazioni migliorate:la memorizzazione nella cache può migliorare le prestazioni dei job riducendo il tempo trascorso a recuperare i dati dallo spazio di archiviazione.
Costi di archiviazione ridotti:poiché i dati attivi vengono memorizzati nella cache sul disco locale, vengono effettuate meno chiamate API all'archiviazione per recuperare i dati.
Applicabilità del job Spark: quando la memorizzazione nella cache del cluster è abilitata su un cluster, si applica a tutti i job Spark eseguiti sul cluster, indipendentemente dal fatto che siano inviati a Managed Service for Apache Spark o eseguiti in modo indipendente sul cluster.

Limitazioni e requisiti

La memorizzazione nella cache si applica solo ai job Managed Service for Apache Spark.
Vengono memorizzati nella cache solo i dati di Cloud Storage.
La memorizzazione nella cache si applica solo ai cluster che soddisfano i seguenti requisiti:
- Il cluster ha un master e n worker (i cluster ad alta affidabilità (HA) e a singolo nodo non sono supportati).
- Questa funzionalità è disponibile nelle versioni delle immagini 2.0.72+, 2.1.20+ e 2.2.0+ di Managed Service for Apache Spark.
- Ogni nodo del cluster deve avere SSD locali collegati con l'interfaccia NVME (Non-Volatile Memory Express) (i dischi permanenti non sono supportati). I dati vengono memorizzati nella cache solo su SSD locali NVME.
- Il cluster utilizza il service account VM predefinito per l'autenticazione. I service account VM personalizzati non sono supportati.

Abilita la memorizzazione nella cache del cluster

Puoi attivare la memorizzazione nella cache del cluster quando crei un cluster Managed Service for Apache Spark utilizzando la console Cloud de Confiance , Google Cloud CLI o l'API Dataproc.

ConsoleCloud de Confiance

Apri la console Cloud de Confiance pagina Crea cluster.
Fai clic su Configurazione aggiuntiva per espandere la sezione.
Modifica Personalizzazione e altro.
Nel riquadro che si apre, nella sezione Proprietà cluster, fai clic su + Aggiungi proprietà.
Seleziona dataproc nell'elenco Prefisso, quindi aggiungi la chiave dataproc.cluster.caching.enabled e il valore true.

gcloud CLI

Esegui il comando gcloud dataproc clusters create localmente in una finestra del terminale o in Cloud Shell utilizzando la dataproc:dataproc.cluster.caching.enabled=true proprietà del cluster.

Esempio:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...

API REST

Imposta SoftwareConfig.properties in modo da includere la proprietà del cluster "dataproc:dataproc.cluster.caching.enabled": "true" come parte di una richiesta clusters.create.