O Private Service Connect com o Serviço Gerenciado para Apache Spark permite conectar cargas de trabalho de cluster a APIs do Google e serviços gerenciados usando endereços IP privados na sua rede de nuvem privada virtual (VPC). Essa abordagem mantém o tráfego de dados fora da Internet pública e protege a comunicação com endpoints compatíveis.
Se as cargas de trabalho precisarem de acesso a fontes de dados em outras redes VPC ou ambientes locais, combine o Private Service Connect com o peering de VPC, o Cloud VPN ou o Cloud Interconnect. Entender como o Private Service Connect se compara ao Acesso Privado do Google e ao Cloud NAT ajuda você a escolher a configuração de rede certa para seus clusters do Spark.
Nesta página, mostramos como configurar a Conectividade de rede para clusters do Serviço Gerenciado para Apache Spark ao usar o Private Service Connect. Ele explica a interação entre o Private Service Connect e o peering de nuvem privada virtual para diferentes casos de uso do Serviço Gerenciado para Apache Spark. Ele também resume as semelhanças e diferenças de recursos entre o Acesso privado do Google, o Private Service Connect e o Cloud NAT.
Visão geral
Os clusters do Serviço Gerenciado para Apache Spark exigem conectividade de rede com as APIs e os serviços doCloud de Confiance by S3NS , como a API Dataproc, o Cloud Storage e o Cloud Logging, e com os recursos do usuário, como fontes de dados em outras redes VPC ou ambientes locais.
Por padrão, os clusters do Serviço Gerenciado para Apache Spark criados com as versões de imagem 2.2 e posteriores têm apenas endereços IP internos. O serviço gerenciado para Apache Spark ativa automaticamente o Acesso privado do Google na sub-rede regional usada pelo cluster somente de IP interno para permitir conexões com APIs e serviços do Google sem se conectar à Internet pública.
Para fornecer um controle de rede mais granular, é possível configurar um cluster para usar o Private Service Connect, que encaminha o tráfego para APIs e serviços do Google compatíveis por um endpoint particular na sua rede VPC. Isso pode ser útil para segurança e compliance.
Opções comuns de rede privada
Nesta seção, descrevemos os recursos e as diferenças do Acesso Privado do Google, do Private Service Connect e do Cloud NAT.
O Acesso privado do Google é um caminho unidirecional para as VMs acessarem os serviços públicos do Google sem usar a Internet. É como uma saída especial do seu bairro (sub-rede VPC) que leva diretamente ao shopping de serviços do Google, sem passar por vias públicas. Todos no bairro podem usá-lo. O Serviço Gerenciado para Apache Spark ativa automaticamente o Acesso Privado do Google na sub-rede regional usada pelos clusters do Serviço Gerenciado para Apache Spark criados com a versão de imagem
2.2e posteriores.O Private Service Connect cria um endpoint particular bidirecional para um serviço localizado na sua rede VPC. É semelhante a um caminho particular dedicado do seu local (rede VPC) diretamente para um serviço. Ele tem um endereço no seu local (um endereço IP interno na sua rede VPC) e só pode ser usado por você.
O Cloud NAT permite que VMs com endereços IP privados acessem a Internet.
Recursos e diferenças
| Recurso | Acesso privado do Google (PGA) | Private Service Connect (PSC) |
|---|---|---|
| Como funciona | Direciona o tráfego de uma VM para um intervalo de endereços IP especial do Google (private.googleapis.com). |
Cria uma regra de encaminhamento (endpoint) na rede VPC que representa o serviço do Google. |
| Endereço IP | A VM se conecta a um endereço IP do Google. | Sua VM se conecta a um endereço IP interno que pertence a você na sua rede VPC. |
| Direção | Somente saída: sua VM inicia uma conexão com o Google. | Bidirecional: sua VM se conecta ao serviço, que pode iniciar o tráfego de retorno. |
| Escopo | Ativado ou desativado para uma sub-rede inteira. | Implantado como um recurso de endpoint específico. |
| Serviços | Conecta-se apenas a APIs do Google, como Cloud Storage, BigQuery ou API Dataproc. | Conecta-se a APIs do Google, serviços de outras empresas e seus próprios serviços. |
Para o Serviço Gerenciado para Apache Spark, o Acesso Privado do Google é o método mais simples e frequentemente usado para permitir que as VMs do cluster entrem em contato com o plano de controle do Serviço Gerenciado para Apache Spark. O Private Service Connect é uma abordagem mais recente e flexível que oferece controle granular, principalmente em redes complexas ou de vários locatários.
Por que usar o Private Service Connect? Mesmo que o cluster do Serviço Gerenciado para Apache Spark
tenha apenas endereços IP internos com o Acesso privado do Google
ativado (a configuração padrão para clusters de versão de imagem 2.2+),
o Private Service Connect oferece as seguintes vantagens:
Em vez de usar o conjunto compartilhado de endpoints do Acesso privado do Google para se conectar às APIs e aos serviços do Google, o Private Service Connect permite criar um endpoint particular com um endereço IP interno dentro da rede VPC que é mapeado diretamente para um serviço específico do Google.
É possível criar regras de firewall que permitam o tráfego apenas para o endereço IP do endpoint do Private Service Connect. Por exemplo, é possível configurar uma regra que permita o tráfego de saída das VMs do cluster do Serviço Gerenciado para Apache Spark exclusivamente para o endereço IP interno do endpoint do Private Service Connect para o BigQuery, enquanto nega todo o outro tráfego de saída. Essa é uma abordagem mais segura do que criar regras de firewall mais amplas com o Acesso Privado do Google.
O uso do endpoint do Private Service Connect na sua rede VPC torna o caminho de rede explícito e mais fácil de auditar para segurança e conformidade, já que o tráfego para um serviço como o Cloud Storage não compartilha um caminho com outro tráfego de API.
Caminhos privados e públicos
O Acesso privado do Google, o Private Service Connect
e o Cloud NAT permitem que hosts com
endereços RFC 1918 acessem
os serviços doCloud de Confiance by S3NS . Eles também permitem que os recursos do Cloud de Confiance by S3NS com endereços RFC 1918 particulares iniciem conexões com os serviços do Cloud de Confiance by S3NS .
Uma distinção importante a ser feita ao avaliar diferentes opções de conexão é se o tráfego que usa a conexão permanece privado ou se ele passa pela Internet pública.
O Acesso Privado do Google e o Private Service Connect mantêm o tráfego na rede privada do Google. Os dados não passam pela Internet pública para chegar aos serviços do Cloud de Confiance by S3NS , o que é ideal para segurança e desempenho previsível.
O Cloud NAT alcança um serviço do Cloud de Confiance by S3NS ao se conectar a um endpoint público do serviço. O tráfego sai da rede VPC pelo gateway NAT e viaja pela Internet.
Como cada opção funciona
Confira os detalhes de cada mecanismo de conexão:
| Método | Caminho para o serviço | Endpoint de destino | Caso de uso principal |
|---|---|---|---|
| Acesso privado do Google | Rede privada do Google | Endereços IP especiais do Google (private.googleapis.com) |
Acesso simples no nível da sub-rede para que as VMs acessem as APIs do Google de forma privada. |
| Private Service Connect | Rede privada do Google | Um endpoint de endereço IP particular na sua rede VPC | Acesso granular e seguro às APIs do Google, de terceiros ou aos seus próprios serviços. |
| Cloud NAT | Internet pública | Endereço IP público do serviço | Acesso à Internet de saída de uso geral para VMs com endereços IP privados. |
Configure o Private Service Connect
Para usar o Private Service Connect com o cluster do Serviço Gerenciado para Apache Spark, configure os endpoints do Private Service Connect e o DNS necessários na rede VPC para todas as APIs do Google de que o Serviço Gerenciado para Apache Spark depende. Para instruções sobre como configurar sua sub-rede e o DNS, consulte Sobre como acessar APIs do Google por endpoints.
Ativar o peering, se necessário
Embora o Private Service Connect forneça acesso particular a muitos serviços do Google, talvez você também precise ativar o peering de VPC, especialmente nos seguintes cenários:
Outras redes VPC: o Private Service Connect se conecta a serviços gerenciados pelo Google, não diretamente a outras redes VPC de clientes. Se as fontes de dados, os aplicativos personalizados ou outros serviços estiverem localizados em uma rede VPC diferente do cluster do Serviço Gerenciado para Apache Spark, geralmente é necessário o peering de VPC para permitir a comunicação privada entre essas redes.
Redes locais: se o cluster do Serviço Gerenciado para Apache Spark acessar dados ou serviços no ambiente local, você vai precisar de uma conexão do Cloud VPN ou do Cloud Interconnect com a rede local, geralmente combinada com o peering de VPC.
Comunicação interna abrangente com os serviços do Google: embora o Private Service Connect forneça acesso particular aos serviços do Google configurados, como o Cloud Storage e o BigQuery, as comunicações internas do plano de controle ou recursos específicos do Serviço Gerenciado para Apache Spark podem exigir peering de VPC com uma rede com ampla acessibilidade aos serviços do Google para acessar a infraestrutura do Google ou outras APIs do Google.
Acesso a fontes de dados em outras redes VPC: se os jobs do Serviço Gerenciado para Apache Spark lerem ou gravarem em fontes de dados, como o Cloud SQL, bancos de dados autogerenciados e aplicativos personalizados, que estão localizados em uma rede VPC diferente, é necessário estabelecer o peering de VPC entre a rede VPC do cluster do Serviço Gerenciado para Apache Spark e a rede VPC que contém essas fontes de dados. O Private Service Connect não fornece comunicação de rede entre VPCs entre redes de propriedade do cliente.
Conectividade híbrida: para implantações de nuvem híbrida em que os clusters do Managed Service para Apache Spark precisam interagir com recursos em um data center local, o peering de VPC é essencial para conectar sua rede local à rede VPC do Cloud de Confiance usando o Cloud VPN ou o Cloud Interconnect.
Resolver problemas do Private Service Connect
Se o cluster do Serviço Gerenciado para Apache Spark com o Private Service Connect (sem peering de VPC) não for criado ou tiver problemas de conectividade, use as seguintes etapas para ajudar a resolver problemas e solucionar o problema:
Confirme o acesso necessário à API:
- Verifique se todas as APIs do Google necessárias estão ativadas no projeto do Cloud de Confiance .
Verifique a configuração do endpoint do Private Service Connect:
Verifique se um endpoint do Private Service Connect está configurado corretamente para todas as APIs do Google que o cluster exige, como
dataproc.googleapis.com,storage.googleapis.com,logging.googleapis.com,bigquery.googleapis.com,compute.googleapis.com.Use ferramentas como
digounslookupde uma VM na sub-rede da VPC para confirmar se os registros DNS dos serviços necessários são resolvidos corretamente para os endereços IP particulares na rede VPC usando o endpoint do Private Service Connect.
Verifique as regras de firewall:
Verifique se as regras de firewall na sua rede VPC permitem conexões de saída das instâncias de cluster do Serviço Gerenciado para Apache Spark para endpoints do Private Service Connect.
Se você estiver usando uma VPC compartilhada, verifique se as regras de firewall apropriadas estão configuradas no projeto host.
Analise os registros do cluster do Serviço Gerenciado para Apache Spark:
- Analise os registros de criação de cluster no Logging para ver se há erros relacionados à rede, como
connection refused,timeoutouunreachable host. Esses erros podem indicar uma rota ausente ou uma regra de firewall incorreta. Analise os registros do console serial das instâncias do cluster.
- Analise os registros de criação de cluster no Logging para ver se há erros relacionados à rede, como
Avalie a necessidade de peering de VPC:
Com base nas dependências da carga de trabalho, se o cluster do Serviço Gerenciado para Apache Spark exigir conectividade com recursos que não são gerenciados pelo Google, como bancos de dados em uma rede VPC separada e servidores locais, estabeleça o peering de VPC.
Analise os requisitos de rede dos serviços doCloud de Confiance com que o cluster do Serviço Gerenciado para Apache Spark interage. Alguns serviços podem ter requisitos de peering específicos, mesmo quando usados com o Private Service Connect.
Seguir as práticas recomendadas
Planejamento abrangente da arquitetura de rede: antes de implantar o Serviço Gerenciado para Apache Spark com o Private Service Connect, projete cuidadosamente sua arquitetura de rede, considerando todas as dependências implícitas e explícitas e os caminhos de fluxo de dados. Isso inclui identificar todas as APIs do Google com que o cluster do Serviço Gerenciado para Apache Spark interage durante o provisionamento e a operação.
Teste a conectividade: teste minuciosamente a conectividade de rede do cluster do Serviço Gerenciado para Apache Spark com todos os serviços e fontes de dados necessários durante as fases de desenvolvimento e preparo.
Use o Network Intelligence Center: use as ferramentas do Cloud de Confiance Network Intelligence Center, como os Testes de conectividade, para diagnosticar e resolver problemas de conectividade de rede.
A seguir
- Saiba mais sobre o Private Service Connect.
- Entender o peering de rede VPC.
- Conheça a configuração de rede do cluster do Serviço Gerenciado para Apache Spark.