Descrizione: scopri la configurazione di rete del cluster Dataproc. Implementare route VPC, regole firewall, accesso privato Google e VPC condiviso per deployment sicuri solo con IP interni.
Questa pagina spiega i requisiti e le opzioni di configurazione di rete del cluster Managed Service for Apache Spark.
Requisiti di connettività di Managed Service for Apache Spark
Il cluster Managed Service for Apache Spark deve trovarsi in una rete Virtual Private Cloud che soddisfi i requisiti di route e firewall per accedere in modo sicuro alle API di Google e ad altre risorse.
Requisiti della route
Per stabilire la comunicazione tra l'agente Managed Service for Apache Spark in esecuzione sulle VM del cluster e l'API di controllo Dataproc, la rete VPC del cluster deve avere una route verso il gateway internet. Questo è necessario anche per i cluster solo con IP interno.
Per impostazione predefinita, i cluster con versione immagine di Managed Service for Apache Spark 2.2 e successive eseguono il provisioning di VM con indirizzi solo IP interni. Managed Service for Apache Spark attiva automaticamente l'accesso privato Google (PGA) sulla subnet del cluster per consentire alle VM del cluster con indirizzi IP interni di raggiungere le API di Google e i servizi utilizzando una route predefinita generata dal sistema verso il gateway internet predefinito.
| Regola | Tipo | Intervallo IP di destinazione | Priorità | Limiti di ambito | Hop successivo |
|---|---|---|---|---|---|
default-route-[id] |
Statico | 0.0.0.0/0 |
1000 |
- | Gateway Internet predefinito |
L'accesso privato Google garantisce che il traffico del cluster non attraversi la rete internet pubblica e non esca dai data center di Google (consulta il diagramma di esempio dell'accesso privato Google).
L'eliminazione della route predefinita verso il gateway internet non è consigliata. Se vuoi controllare l'accesso di rete a internet, utilizza le regole o le policy firewall.
Se hai eliminato la route predefinita verso il gateway internet, devi aggiungere una route predefinita. L'intervallo IP di destinazione deve essere 0.0.0.0/0, poiché gli intervalli IP per l'API di controllo di Dataproc non sono statici.
Requisiti del firewall
La rete VPC del cluster Managed Service for Apache Spark deve consentire esplicitamente il seguente traffico:
Traffico avviato dalle VM del cluster Managed Service for Apache Spark all'API di controllo di Dataproc e ad altre VM del cluster Managed Service for Apache Spark. Questo traffico è consentito per impostazione predefinita dalla regola implicita allow-all in uscita della rete VPC. Se hai aggiunto regole firewall per negare il traffico in uscita, crea una regola firewall per consentire il traffico in uscita.
Il traffico di risposta dall'API di controllo di Dataproc alle VM del cluster Managed Service for Apache Spark è consentito per impostazione predefinita, a causa della statefulness del firewall della rete VPC.
Traffico ricevuto dalle VM del cluster Managed Service for Apache Spark da altre VM del cluster Managed Service for Apache Spark. Questo traffico verrà negato per impostazione predefinita dalla regola firewall implicita per negare tutto il traffico in entrata della rete VPC. Devi creare una regola firewall di autorizzazione in entrata.
- Utilizza i tag di rete per le VM del cluster Managed Service for Apache Spark in modo da limitare l'applicabilità delle regole firewall richieste solo alle VM del cluster Managed Service for Apache Spark. Se non utilizzi i tag di rete, puoi specificare i target in base al account di servizio utilizzato per le VM del cluster. In caso contrario, puoi configurare le regole firewall in modo che vengano applicate a tutte le VM nella rete VPC.
- Per un accesso e una connettività di rete più sicuri, utilizza i tag sicuri anziché i tag di rete per definire le origini e le destinazioni delle regole firewall.
Crea una regola firewall di autorizzazione in entrata
Se tu o l'amministratore della rete o della sicurezza create una regola firewall in entrata da applicare a una rete VPC del cluster Managed Service for Apache Spark, questa deve avere le seguenti caratteristiche:
Il parametro sources specifica le origini dei pacchetti. Tutte le VM del cluster Managed Service for Apache Spark devono essere in grado di comunicare tra loro. Puoi identificare le VM nel cluster in base all'intervallo di indirizzi IP (l'intervallo principale della subnet del cluster Managed Service for Apache Spark), ai tag di rete o ai service account associati alle VM.
Le destinazioni della regola devono identificare le VM del cluster. Le destinazioni possono essere tutte le VM nella rete VPC oppure puoi identificare le VM in base al tag di rete di destinazione o al account di servizio di destinazione.
La regola deve includere i seguenti protocolli e porte:
- TCP (tutte le porte, da 0 a 65535)
- UDP (tutte le porte, da 0 a 65535)
- ICMP
Managed Service for Apache Spark utilizza servizi che vengono eseguiti su più porte. La specifica di tutte le porte consente ai servizi di funzionare correttamente.
La priorità della regola deve essere superiore alla priorità di qualsiasi regola firewall "Nega" in entrata applicata alle stesse origini e destinazioni.
Crea una regola firewall di autorizzazione in uscita
Se tu o l'amministratore della rete o della sicurezza create una regola firewall in uscita da applicare a una rete VPC del cluster Managed Service for Apache Spark, deve avere le seguenti caratteristiche:
Il parametro destinations specifica le destinazioni dei pacchetti. Tutte le VM del cluster Managed Service for Apache Spark devono essere in grado di avviare il traffico tra loro e con l'API di controllo di Dataproc. Poiché gli indirizzi IP dell'API di controllo non sono statici, la destinazione deve essere specificata dall'intervallo IP
0.0.0.0/0.Le destinazioni della regola devono identificare le VM del cluster. Le destinazioni possono essere tutte le VM nella rete VPC oppure puoi identificare le VM in base al tag di rete di destinazione o al account di servizio di destinazione.
La regola deve includere i seguenti protocolli e porte:
- TCP (tutte le porte, da 0 a 65535)
- UDP (tutte le porte, da 0 a 65535)
- ICMP
Managed Service for Apache Spark utilizza servizi che vengono eseguiti su più porte. La specifica di tutte le porte consente ai servizi di funzionare correttamente.
La priorità della regola deve essere superiore alla priorità di qualsiasi regola firewall di negazione del traffico in uscita che si applica alle stesse destinazioni e agli stessi target.
Diagnostica le regole firewall della rete VPC
Per controllare i pacchetti non elaborati dalle regole firewall con priorità più alta, puoi creare le seguenti due regole firewall di negazione con priorità bassa (65534). A differenza delle regole firewall implicite, puoi attivare il logging delle regole firewall su ciascuna di queste regole con priorità bassa:
Una regola di negazione in entrata (origini
0.0.0.0/0, tutti i protocolli, tutte le destinazioni nella rete VPC)Una regola di negazione in uscita (destinazioni
0.0.0.0/0, tutti i protocolli, tutte le destinazioni nella rete VPC)
Con queste regole a bassa priorità e il logging delle regole firewall, puoi registrare i pacchetti non elaborati da regole firewall con priorità più alta e potenzialmente più specifiche. Queste due regole a bassa priorità sono inoltre in linea con le best practice di sicurezza, in quanto implementano una strategia di "eliminazione finale dei pacchetti".
Esamina i log delle regole firewall per determinare se vuoi creare o modificare regole con priorità più alta per consentire i pacchetti. Ad esempio, se i pacchetti inviati tra le VM del cluster Managed Service for Apache Spark vengono ignorati, potrebbe essere un segnale che le regole firewall devono essere modificate.
Crea una rete VPC
Anziché utilizzare la rete VPC default, puoi creare la tua rete VPC in modalità automatica o personalizzata. Quando crei il cluster, lo associ alla tua rete.
Ambiente Assured Workloads: quando utilizzi un ambiente Assured Workloads per la conformità legale, il cluster, la relativa rete VPC e i relativi bucket Cloud Storage devono essere contenuti nell'ambiente Assured Workloads.
Crea un cluster che utilizza la tua rete VPC
ConsoleCloud de Confiance
Per configurare la rete:
- Apri la pagina Crea cluster.
- Fai clic su Configurazione aggiuntiva per espandere la sezione.
- Modifica la configurazione di rete.
- Nel riquadro che si apre, seleziona la rete e la subnet. La casella di controllo Solo IP interni è selezionata per impostazione predefinita.
gcloud CLI
Utilizza gcloud dataproc clusters create con il flag ‑‑network o ‑‑subnet per creare un cluster su una subnet della tua rete.
Se utilizzi il flag --network, il cluster utilizzerà una subnet con lo stesso nome della rete specificata nella regione in cui viene creato il cluster.
--network example. Poiché le reti automatiche vengono create con subnet in ogni regione e a ogni subnet viene assegnato il nome della rete, puoi passare il nome della rete VPC in modalità automatica al flag ‑‑network.
Il cluster utilizzerà la subnet VPC in modalità automatica nella regione specificata con il flag --region.
gcloud dataproc clusters create CLUSTER_NAME \ --network NETWORK_NAME \ --region=REGION \ ... other args ...
--subnet example. Puoi utilizzare il flag ‑‑subnet per creare un cluster che utilizza una subnet di rete VPC in modalità automatica o personalizzata nella regione del cluster. Specifica il percorso completo della risorsa della subnet.
gcloud dataproc clusters create CLUSTER_NAMEW \ --subnet projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \ --region=REGION \ ... other args ...
API REST
Puoi specificare il campo networkUri o subnetworkUri GceClusterConfig nell'ambito di una richiesta clusters.create.
Esempio
POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
"projectId": "PROJECT_ID",
"clusterName": CLUSTER_NAME,
"config": {
"configBucket": "",
"gceClusterConfig": {
"subnetworkUri": SUBNET_NAME,
},
...
Crea un cluster che utilizza una rete VPC in un altro progetto
Un cluster Managed Service for Apache Spark può utilizzare una rete VPC condivisa definita in un progetto host. Il progetto in cui viene creato il cluster Managed Service for Apache Spark è denominato progetto di servizio.
Trova il numero di progetto del cluster Managed Service for Apache Spark:
- Apri la pagina Impostazioni di IAM e amministrazione nella consoleCloud de Confiance . Seleziona il progetto in cui creerai il cluster Managed Service for Apache Spark. Copia l'ID progetto.
Un'entità con il ruolo Amministratore VPC condiviso deve eseguire i passaggi seguenti. Per informazioni di base, consulta le istruzioni per la configurazione del VPC condiviso.
Assicurati che il progetto host del VPC condiviso sia abilitato.
Collega il progetto con il cluster Managed Service for Apache Spark al progetto host.
Configura il service account dell'agente di servizio Managed Service for Apache Spark (
service-[project-number]@dataproc-accounts.s3ns-system.iam.gserviceaccount.com) in modo che disponga del ruolo Utente di rete per il progetto host:Apri la pagina IAM e amministrazione nella console Cloud de Confiance .
Utilizza il selettore di progetti per selezionare il nuovo progetto host.
Fai clic su Concedi l'accesso.
Compila il modulo Concedi l'accesso:
Aggiungi entità: inserisci il account di servizio.
Assegna i ruoli: inserisci "Compute Network" nella casella di filtro, quindi seleziona il ruolo Compute Network User.
Fai clic su Salva.
Dopo che il account di servizio ha il ruolo
Network Userper il progetto host, crea un cluster che utilizza la rete VPC condiviso.
Crea un cluster che utilizza una subnet VPC in un altro progetto
Un cluster Managed Service for Apache Spark può utilizzare una subnet VPC condivisa definita in un progetto host. Il progetto in cui viene creato il cluster Managed Service for Apache Spark è denominato progetto di servizio.
Trova il numero di progetto del cluster Managed Service for Apache Spark:
- Apri la pagina Impostazioni di IAM e amministrazione nella consoleCloud de Confiance . Seleziona il progetto in cui creerai il cluster Managed Service for Apache Spark. Copia l'ID progetto.
Un'entità con il ruolo Amministratore VPC condiviso deve eseguire i passaggi seguenti. Per informazioni di base, consulta le istruzioni per la configurazione del VPC condiviso.
Assicurati che il progetto host del VPC condiviso sia abilitato.
Collega il progetto con il cluster Managed Service for Apache Spark al progetto host.
Configura il service account dell'agente di servizio Managed Service for Apache Spark (
service-[project-number]@dataproc-accounts.s3ns-system.iam.gserviceaccount.com) in modo che disponga del ruolo Utente di rete per il progetto host:Apri la pagina Reti VPC nella console Cloud de Confiance .
Utilizza il selettore di progetti per selezionare il progetto host.
Fai clic sulla rete che contiene la subnet che verrà utilizzata dal cluster Managed Service for Apache Spark.
Nella pagina Dettagli rete VPC, fai clic sulla casella di controllo accanto al nome della subnet che verrà utilizzata dal cluster.
Se il riquadro informazioni non è aperto, fai clic su Mostra riquadro informazioni.
Esegui questi passaggi per ogni account di servizio:
Nel riquadro informazioni, fai clic su Aggiungi entità.
Compila il modulo Concedi l'accesso:
Aggiungi entità: inserisci il account di servizio.
Assegna i ruoli: inserisci "Compute Network" nella casella di filtro, quindi seleziona il ruolo Compute Network User.
Fai clic su Salva.
Dopo che il account di servizio ha il ruolo
Network Userper il progetto host, crea un cluster che utilizza la subnet del VPC condiviso.
Crea un cluster solo con IP interno
Questa sezione si applica ai cluster con versioni immagine precedenti alla 2.2. Le VM del cluster con indirizzi solo IP interni sono abilitate per impostazione predefinita quando crei cluster Managed Service for Apache Spark con versioni immagine 2.2 e successive.
Puoi utilizzare la console Cloud de Confiance , gcloud CLI o l'API Dataproc per creare un cluster solo con indirizzi IP interni. Tieni presente che Managed Service for Apache Spark attiva automaticamente l'accesso privato Google sulla subnet regionale del cluster quando è abilitato l'accesso solo con IP interno per consentire le connessioni alle API e ai servizi di Google.
ConsoleCloud de Confiance
Per configurare solo indirizzi IP interni:
- Apri la pagina Crea cluster.
- Fai clic su Configurazione aggiuntiva per espandere la sezione.
- Modifica la configurazione di rete.
- Nel riquadro che si apre, seleziona la rete e la subnet. Seleziona la casella di controllo Solo IP interni.
gcloud CLI
Puoi creare un cluster con solo indirizzi IP interni utilizzando il comando gcloud dataproc clusters create con il flag ‑‑no-address.
gcloud dataproc clusters create CLUSTER_NAME \ --no-address \ --network NETWORK_NAME \ --region=REGION \ ... other args ...
Poiché le reti automatiche vengono create con subnet in ogni regione con lo stesso nome della rete automatica, puoi passare il nome della rete automatica a ‑‑network flag per creare un cluster che utilizzerà la subnet automatica nella regione del cluster.
In alternativa, puoi utilizzare il flag ‑‑subnet per creare un cluster che utilizzerà una subnet automatica o personalizzata nella regione in cui verrà creato il cluster. Passa il flag ‑‑subnet
il percorso completo della risorsa della subnet.
gcloud dataproc clusters create cluster-name \ --no-address \ --subnet projects/project-id/regions/region/subnetworks/subnetwork-name \ --region=region \ ... other args ...
API REST
Puoi utilizzare il campo GceClusterConfig.internalIpOnly come parte di una richiesta clusters.create per creare un cluster e abilitare solo gli indirizzi IP interni.
Esempio:
POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
"projectId": "my-project-id",
"clusterName": "example-cluster",
"config": {
"configBucket": "",
"gceClusterConfig": {
"subnetworkUri": "custom-subnet-1",
"zoneUri": "us-central1-b",
"internalIpOnly": true
},
...
Scarica le dipendenze con i cluster solo IP interno
Per impostazione predefinita, i cluster solo con IP interno non hanno accesso a internet. Pertanto, i job che scaricano dipendenze da internet, ad esempio i job che scaricano pacchetti di dipendenze Spark da Maven Central, non andranno a buon fine. Esistono diverse soluzioni alternative per evitare il problema:
Utilizza Cloud NAT per consentire al cluster di accedere a internet.
Crea un'immagine personalizzata che includa le dipendenze (ad esempio, i pacchetti di dipendenze Spark in
/usr/lib/spark/jars/).Carica le dipendenze in un bucket Cloud Storage, quindi utilizza un'azione di inizializzazione per scaricare le dipendenze dal bucket durante la creazione del cluster.
Reti Managed Service for Apache Spark e Controlli di servizio VPC
Con Controlli di servizio VPC, gli amministratori possono definire un perimetro di sicurezza intorno alle risorse dei servizi gestiti da Google per controllare le comunicazioni con quei servizi.
Tieni presente le seguenti limitazioni e strategie quando utilizzi le reti dei Controlli di servizio VPC con i cluster Managed Service for Apache Spark:
Per installare i componenti all'esterno del perimetro dei Controlli di servizio VPC, crea un'immagine personalizzata di Managed Service for Apache Spark che preinstalla i componenti, quindi crea il cluster utilizzando l'immagine personalizzata.
Passaggi successivi
- Per risolvere i problemi relativi alla creazione del cluster Managed Service for Apache Spark, consulta Risolvi i problemi di creazione del cluster.