O Serviço Gerenciado do Google para Apache Spark usa versões de imagem do Ubuntu, Debian e Rocky Linux para agrupar o sistema operacional, os componentes de Big Data e os conectores do Cloud de Confiance by S3NS em um pacote que é implantado em um cluster. Para mais informações, consulte Controle de versões do Serviço Gerenciado para Apache Spark.
Observações:
- As versões de imagem do Serviço Gerenciado para Apache Spark têm suporte por 24 meses após o lançamento inicial.
- Em geral, as versões de imagem do Serviço Gerenciado para Apache Spark ficam disponíveis por 24 meses após a data de fim do suporte, mas um período de disponibilidade pode ser reduzido se uma data de suporte de imagem for estendida.
Versão padrão da imagem do Serviço Gerenciado para Apache Spark
O Serviço Gerenciado para Apache Spark atualiza a versão de imagem padrão para a mais recente disponível para o Serviço Gerenciado para Apache Spark baseado em Debian após a data de lançamento da disponibilidade geral (GA).
Versões de imagem compatíveis do Serviço Gerenciado para Apache Spark
Imagens do Debian
As seguintes versões de imagem baseadas no Debian são compatíveis com os clusters do Serviço Gerenciado para Apache Spark. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
| Versão | Última atualização | Lançada em | Compatível até | Disponível até | Observações |
|---|---|---|---|---|---|
| 3.0-debian13 | 30/09/2026 | 15/07/2026 | 2028/07/15 | 2030/07/15 | Versão de disponibilidade geral. |
| 2.3-debian12 | 30/09/2026 | 09/06/2025 | 2027/06/09 | 2029/06/09 | Versão de disponibilidade geral. |
Imagens do Ubuntu
As seguintes versões de imagem baseadas no Ubuntu LTS são compatíveis com os clusters do Serviço Gerenciado para Apache Spark. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
| Versão | Última atualização | Lançada em | Compatível até | Disponível até | Observações |
|---|---|---|---|---|---|
| 3.0-ubuntu24 | 30/09/2026 | 15/07/2026 | 2028/07/15 | 2030/07/15 | Versão de disponibilidade geral. |
| 2.3-ubuntu22 | 30/09/2026 | 09/06/2025 | 2027/06/09 | 2029/06/09 | Versão de disponibilidade geral. |
Imagens do Rocky Linux
As seguintes versões de imagem baseadas no Rocky Linux são compatíveis com clusters do Serviço Gerenciado para Apache Spark. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
| Versão | Última atualização | Lançada em | Compatível até | Disponível até | Observações |
|---|---|---|---|---|---|
| 3.0-rocky9 | 30/09/2026 | 15/07/2026 | 2028/07/15 | 2030/07/15 | Versão de disponibilidade geral. |
| 2.3-rocky9 | 30/09/2026 | 09/06/2025 | 2027/06/09 | 2029/06/09 | Versão de disponibilidade geral. |
Versões de imagem do Serviço Gerenciado para Apache Spark não compatíveis
As seguintes versões do Serviço Gerenciado para Apache Spark não são compatíveis. O Serviço Gerenciado para Apache Spark não oferece atualizações nem suporte para clusters criados com essas versões. As versões 1.x e 2.0 vão chegar ao fim da vida útil em 25 de agosto de 2026. Se você estiver usando versões incompatíveis, faça upgrade dos clusters para imagens compatíveis.
| Versão | Inclui | Liberada em | Última atualização | Disponível até | Observações |
|---|---|---|---|---|---|
2.0-debian10/-ubuntu18/-rocky8 |
Apache Spark 3.1.3 Apache Hadoop 3.2.4 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.3 Conector do Cloud Storage 2.2.30-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/01/22:debian10/ubuntu18 2022/02/18:rocky8 |
2026/02/24 | 2026/08/25 | Sem suporte a partir de 24/02/2026. A versão 2.0.160-debian10/-ubuntu18/-rocky8 foi a última lançada. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Conector do Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | 2026/08/25 | Não tem suporte desde 01/02/2022. 2.0.30-centos8 foi a última versão de lançamento. |
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023/04/28 | 2026/08/25 | Sem suporte desde 28/04/2023. A versão 1.5.89-debian10/-ubuntu18/-rocky8 foi a última versão de lançamento. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 2022/02/01 | 2026/08/25 | Sem suporte desde 01/02/2022. A versão 1.5.56-centos8 foi a última versão de lançamento. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 2022/02/01 | 2026/08/25 | Sem suporte desde 01/02/2022. A versão 1.4.80-debian10/-ubuntu18 foi a última versão de lançamento. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | 2026/08/25 | Não compatível desde 10/07/2020. 1.4.33-debian9 era a versão de lançamento final. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 2021/12/22 | 2026/08/25 | Sem suporte desde 01/08/2021. A versão de lançamento 1.3.95-debian10/-ubuntu18 foi a última, com as vulnerabilidades do log4j2 corrigidas. Observação: as versões lançadas anteriormente são vulneráveis e precisam ser atualizadas. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | 2026/08/25 | Não compatível desde 10/07/2020. 1.3.62-debian9 era a versão de lançamento final. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
21/07/2017 | 10/07/2020 | Indisponível | Não compatível desde 10/07/2020. 1.2.102-debian9 era a versão de lançamento final. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | Indisponível | Não compatível desde de 01/10/2019. 1.1.121-debian9 é a versão final lançada. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Indisponível | Primeiro lançamento da imagem do GA. O suporte a partir de 1º/04/2019. 1.0.119-debian9 era a versão de lançamento final. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Indisponível | Imagem beta, segunda versão |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conector do Cloud Storage 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Indisponível | Versão Beta do Serviço Gerenciado para Apache Spark. O Spark 1.5 foi compilado em relação ao Hive 1.2. |