Managed Service for Apache Spark no Cloud de Confiance e no Google Cloud

A implantação de cluster do Serviço gerenciado para Apache Spark é um serviço Spark e Hadoop gerenciado que permite aproveitar ferramentas de dados de código aberto para processamento em lote, consultas, streaming e machine learning. Nesta página, descrevemos as diferenças entre as versões do Cloud de Confiance e do Google Cloud do Serviço Gerenciado para Apache Spark.

Para mais informações sobre o Serviço Gerenciado para Apache Spark, consulte a visão geral do Serviço Gerenciado para Apache Spark e o restante da documentação desse serviço.

principais diferenças

Há algumas diferenças entre a versão do Cloud de Confiance do Serviço Gerenciado para Apache Spark e a versão do Google Cloud. Algumas diferenças importantes são:

  • O Serviço Gerenciado para Apache Spark sem servidor (antes conhecido como Cloud de Confiance by S3NS para Serverless para Apache Spark) não está disponível em Cloud de Confiance.
  • Os componentes opcionais de OSS do cluster do Serviço Gerenciado para Apache Spark não estão disponíveis em Cloud de Confiance.
  • O escalonamento automático de clusters do Serviço Gerenciado para Apache Spark não está disponível em Cloud de Confiance.

O restante desta seção fornece uma lista mais detalhada das diferenças. Se você já conhece o Google Cloud, recomendamos que analise essas diferenças com atenção, principalmente antes de criar um aplicativo para ser executado no Cloud de Confiance. Recomendamos ainda analisar as diferenças gerais entre o Cloud de Confiance e o Google Cloud.

Se você quiser usar um recurso específico do Serviço Gerenciado para Apache Spark que não está disponível no momento no Cloud de Confiance, entre em contato com o suporte doCloud de Confiance . Para receber notificações quando novos recursos forem lançados no Cloud de Confiance, inscreva-se para receber as notas da versão. Exceto quando indicado, recursos em pré-lançamento não estão disponíveis em Cloud de Confiance.

Hardware e SO

Tipos de máquina Somente os tipos de máquina m3, c3-highcpu, c3-highmem, c3-standard e a3 são compatíveis.
GPUs Há suporte apenas para GPUs NVIDIA H100 SXM.
Workers secundários As VMs preemptivas e spot não são compatíveis.
VMs flexíveis As VMs flexíveis não são compatíveis.
Unidades de estado sólido locais Os SSDs locais não são compatíveis.
Discos de inicialização permanentes Apenas discos de inicialização de hiperdisco são compatíveis.
Versões de imagens do cluster Apenas versões de imagem 2.3 ou mais recentes são compatíveis.
Clusters do Kubernetes Clusters do Kubernetes não são compatíveis.

Integrações

Componentes opcionais de OSS Os componentes opcionais de OSS do cluster do Serviço Gerenciado para Apache Spark e as propriedades relacionadas a esses componentes não são compatíveis.
Notebooks Notebooks, como o Jupyter, não são compatíveis.
Knowledge Catalog O Knowledge Catalog, incluindo a linhagem de dados, está indisponível.
Pub/Sub Lite O Pub/Sub Lite Lite não é compatível.

Segurança e controle de acesso

CMEK A CMEK (chaves de criptografia gerenciadas pelo cliente) é compatível, mas não pode ser usada com dados de modelos de fluxo de trabalho, já que eles não são compatíveis.
Criptografia na memória A criptografia de memória não é compatível.
Autenticação de cluster pessoal A autenticação de cluster pessoal não é compatível.
IAM granular O IAM granular não é compatível.
Clusters multilocatários seguros Não é possível proteger clusters multitenant usando contas de serviço ou Kerberos.

Rede

Rede padrão Uma rede padrão não é criada automaticamente em um projeto. Os usuários precisam criar uma rede VPC em um projeto.

Workflows e ferramentas

Ações de inicialização As ações de inicialização não são compatíveis.
Escalonamento automático O escalonamento automático não é aceito.
Gateway de componentes O Gateway de componentes do Serviço Gerenciado para Apache Spark está indisponível. Não é possível se conectar às interfaces da Web do cluster pelo Gateway de componentes do Serviço Gerenciado para Apache Spark. O acesso da força de trabalho ao Gateway de componentes do Serviço Gerenciado para Apache Spark não é compatível.
Orquestração de fluxos de trabalho O Serviço Gerenciado para Apache Airflow é compatível sem modelos de fluxo de trabalho, e outras ferramentas de fluxo de trabalho, como modelos de fluxo de trabalho do Serviço Gerenciado para Apache Spark, Cloud Scheduler e Cloud Functions, são indisponíveis.
Restrições personalizadas Não há suporte para restrições personalizadas em políticas da organização. O gerenciamento de frota com políticas personalizadas da organização e restrições personalizadas não é compatível.
Servidor de histórico permanente O servidor de histórico persistente (PHS) não é compatível.
Modo de flexibilidade aprimorado O modo de flexibilidade aprimorada (EFM) não é compatível.
Servidor MCP O servidor MCP não é compatível.

Insights e observabilidade

Métricas de cluster do Serviço Gerenciado para Apache Spark As métricas dataproc.googleapis estão disponíveis, mas as métricas personalizadas e sem servidor do Serviço Gerenciado para Apache Spark não estão.
Painéis e alertas de métricas Os painéis e alertas de métricas do Serviço Gerenciado para Apache Spark não estão disponíveis.

As informações a seguir também podem afetar o modo como você usa e cria o Serviço Gerenciado para Apache Spark em Cloud de Confiance by S3NS. Esses guias incluem informações gerais para trabalhar no Cloud de Confiance, incluindo documentação, segurança e controle de acesso, faturamento, ferramentas e uso do serviço.

Para detalhes sobre outros serviços e recursos na Cloud de Confiance e as diferenças deles em relação aos equivalentes do Google Cloud, consulte a lista de produtos.