Otimize a performance e o custo do armazenamento com os pools de armazenamento do Hyperdisk

Provisionar um disco anexado do GKE em um pool de armazenamento de hiperdisco

Nesta seção, você aprenderá a fazer o seguinte:

• Crie um cluster do GKE com discos anexados provisionados em um pool de armazenamento.
• Crie uma StorageClass para provisionar dinamicamente um PersistentVolume (PV) quando um pod o solicita por um PersistentVolumeClaim (PVC). Para que um PV consuma os recursos compartilhados do pool de armazenamento, especifique o pool usando o parâmetro storage-pools na StorageClass. A StorageClass é usada em um PVC para provisionar o volume do Hyperdisk Balanced que será usado pelo pod.
• Crie um PVC para solicitar um PV, uma parte do armazenamento do hiperdisco, para um pod do cluster do GKE. Assim, você aproveita os recursos compartilhados do pool de armazenamento.
• Crie uma implantação que use um PVC para garantir que o aplicativo tenha acesso ao armazenamento permanente mesmo após reinicializações e reagendamentos de pods.

Criar um cluster do GKE

Antes de começar, leia as considerações sobre o provisionamento de um disco conectado.

gcloud container clusters create-auto CLUSTER_NAME --location=CONTROL_PLANE_LOCATION

gcloud container clusters create CLUSTER_NAME --location=CONTROL_PLANE_LOCATION --project=PROJECT_ID --machine-type=MACHINE_TYPE --disk-type="DISK_TYPE"

Criar um StorageClass

No Kubernetes, para indicar que você quer que seu PV seja criado em um pool de armazenamento, use um StorageClass. Para saber mais, consulte StorageClasses.

Para criar uma StorageClass com o nível de capacidade ou IOPS desejado:

• Use pd.csi.storage.gke.io no campo "provisionador".
• Especifique o tipo de armazenamento de hiperdisco balanceado.
• Especifique o parâmetro storage-pools com o valor como uma lista de pools de armazenamento específicos que você quer usar. Cada pool de armazenamento na lista precisa ser especificado no formato: projects/PROJECT_ID/zones/ZONE/storagePools/STORAGE_POOL_NAME.
• Se quiser, especifique os parâmetros de performance provisioned-throughput-on-create e provisioned-iops-on-create..

Cada tipo de Hyperdisk tem valores padrão para o desempenho determinado pelo tamanho inicial do disco provisionado. Ao criar uma StorageClass, é possível especificar os parâmetros a seguir, dependendo do tipo de Hyperdisk. Se você omitir esses parâmetros, o GKE usará os padrões do tipo de disco com base em capacidade.

Para orientações sobre os valores permitidos para capacidade ou IOPS, consulte Planejar o nível de desempenho do volume do Hyperdisk.

Use o manifesto a seguir para criar e aplicar um StorageClass chamado storage-pools-sc para provisionar dinamicamente um PV no pool de armazenamento projects/my-project/zones/us-east4-c/storagePools/pool-us-east4-c:

kubectl apply -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: storage-pools-sc
provisioner: pd.csi.storage.gke.io
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
parameters:
  type: hyperdisk-balanced
  provisioned-throughput-on-create: "140Mi"
  provisioned-iops-on-create: "3000"
  storage-pools: projects/my-project/zones/us-east4-c/storagePools/pool-us-east4-c
EOF

Ao usar o volumeBindingMode: WaitForFirstConsumer nessa StorageClass, a vinculação e o provisionamento de um PVC são adiados até que um pod usando o PVC seja criado. Essa abordagem garante que o PV não seja provisionado prematuramente e que haja correspondência de zona entre o PV e o pod que o consome. Se as zonas não corresponderem, o pod vai permanecer no estado Pending.

Criar um PersistentVolumeClaim (PVC)

Crie um PVC que faça referência à StorageClass storage-pools-sc criada.

Use o manifesto a seguir para criar um PVC chamado my-pvc, com 2.048 GiB como a capacidade de armazenamento desejada para o volume do Hyperdisk Balanced:

kubectl apply -f - <<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: my-pvc
spec:
  storageClassName: storage-pools-sc
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 2048Gi
EOF

Criar uma implantação que use o PVC

Para garantir que os pods possam ser programados em um pool de nós com uma série de máquinas compatível com o Hyperdisk Balanceado, configure uma implantação com o seletor de nós cloud.google.com/machine-family. Para mais informações, consulte Suporte a tipos de máquinas para hiperdiscos. Você usa a série de máquinas c3 na seguinte implantação de exemplo.

Crie e aplique o manifesto a seguir para configurar um pod para implantar um servidor da Web Postgres usando o PVC criado na seção anterior:

kubectl apply -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: postgres
spec:
  selector:
    matchLabels:
      app: postgres
  template:
    metadata:
      labels:
        app: postgres
    spec:
      nodeSelector:
        cloud.google.com/machine-family: c3
        cloud.google.com/compute-class: Performance
      containers:
      - name: postgres
        image: postgres:14-alpine
        args: [ "sleep", "3600" ]
        volumeMounts:
        - name: sdk-volume
          mountPath: /usr/share/data/
      volumes:
      - name: sdk-volume
        persistentVolumeClaim:
          claimName: my-pvc
EOF

kubectl apply -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: postgres
spec:
  selector:
    matchLabels:
      app: postgres
  template:
    metadata:
      labels:
        app: postgres
    spec:
      nodeSelector:
        cloud.google.com/machine-family: c3
      containers:
      - name: postgres
        image: postgres:14-alpine
        args: [ "sleep", "3600" ]
        volumeMounts:
        - name: sdk-volume
          mountPath: /usr/share/data/
      volumes:
      - name: sdk-volume
        persistentVolumeClaim:
          claimName: my-pvc
EOF

Confirme se a implantação foi criada:

  kubectl get deployment

Pode levar alguns minutos para que as instâncias do Hyperdisk concluam o provisionamento e mostrem um status READY.

Confirme se o disco anexado foi provisionado

1. Verifique se o PVC chamado my-pvc foi vinculado a um PV:

   kubectl get pvc my-pvc
   

   O resultado será assim:

   
   NAME          STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS       AGE
   my-pvc        Bound    pvc-1ff52479-4c81-4481-aa1d-b21c8f8860c6   2Ti        RWO            storage-pools-sc   2m24s
   

2. Verifique se o volume foi provisionado conforme especificado na StorageClass e no PVC:

   gcloud compute storage-pools list-disks pool-us-east4-c --zone=us-east4-c
   

   O resultado será assim:

   NAME                                      STATUS  PROVISIONED_IOPS  PROVISIONED_THROUGHPUT  SIZE_GB
   pvc-1ff52479-4c81-4481-aa1d-b21c8f8860c6  READY   3000              140                     2048
   

Criar snapshots e restaurar discos anexados em pools de armazenamento

Não é permitido mover discos para dentro ou fora de um pool de armazenamento. Para mover um disco para dentro ou fora de um pool de armazenamento, recrie o disco com base em um snapshot. Para mais informações, consulte Alterar o tipo de disco.

Nesta seção, você aprenderá a fazer o seguinte:

• Você grava um arquivo de teste no disco provisionado no seu pod.
• Crie um snapshot de volume e exclua o arquivo de teste desse disco.
• Restaure o snapshot para um novo disco no mesmo pool de armazenamento, recuperando os dados excluídos.

Criar um arquivo de teste

Para criar e verificar um arquivo de teste:

1. Consiga o nome do pod da implantação do Postgres:

   kubectl get pods -l app=postgres
   

   O resultado será assim:

   NAME                         READY   STATUS    RESTARTS   AGE
   postgres-78fc84c9ff-77vx6   1/1     Running   0          44s
   

2. Crie um arquivo de teste hello.txt no pod:

   kubectl exec postgres-78fc84c9ff-77vx6 \
     -- sh -c 'echo "Hello World!" > /usr/share/data/hello.txt'
   

3. Verifique se o arquivo de teste foi criado:

   kubectl exec postgres-78fc84c9ff-77vx6 \
     -- sh -c 'cat /usr/share/data/hello.txt'
   Hello World!
   

Criar um snapshot de volume e excluir o arquivo de teste

Para criar e verificar um snapshot:

1. Crie um VolumeSnapshotClass que especifique como o snapshot dos seus volumes deve ser feito e gerenciado:

   kubectl apply -f - <<EOF
   apiVersion: snapshot.storage.k8s.io/v1
   kind: VolumeSnapshotClass
   metadata:
     name: my-snapshotclass
   driver: pd.csi.storage.gke.io
   deletionPolicy: Delete
   EOF
   

2. Crie um VolumeSnapshot e faça o snapshot do volume vinculado ao my-pvc PersistentVolumeClaim:

   kubectl apply -f - <<EOF
   apiVersion: snapshot.storage.k8s.io/v1
   kind: VolumeSnapshot
   metadata:
     name: my-snapshot
   spec:
     volumeSnapshotClassName: my-snapshotclass
     source:
       persistentVolumeClaimName: my-pvc
   EOF
   

3. Verifique se o conteúdo do snapshot de volume foi criado:

   kubectl get volumesnapshotcontents
   

   O resultado será assim:

   NAME                                               READYTOUSE   RESTORESIZE     DELETIONPOLICY   DRIVER                  VOLUMESNAPSHOTCLASS   VOLUMESNAPSHOT   VOLUMESNAPSHOTNAMESPACE   AGE
   snapcontent-e778fde2-5f1c-4a42-a43d-7f9d41d093da   false        2199023255552   Delete           pd.csi.storage.gke.io   my-snapshotclass      my-snapshot      default                   33s
   

4. Confirme se o snapshot está pronto para uso:

   kubectl get volumesnapshot \
     -o custom-columns='NAME:.metadata.name,READY:.status.readyToUse'
   

   O resultado será assim:

   NAME          READY
   my-snapshot   true
   

5. Exclua o arquivo de teste original hello.txt que foi criado no pod postgres-78fc84c9ff-77vx6:

   kubectl exec postgres-78fc84c9ff-77vx6 \
       -- sh -c 'rm /usr/share/data/hello.txt'
   

Restaurar o snapshot do volume

Para restaurar o snapshot e os dados do volume, siga estas etapas:

1. Crie um novo PVC que restaure dados de um snapshot e garanta que o novo volume seja provisionado no mesmo pool de armazenamento (storage-pools-sc) do volume original. Aplique o seguinte manifesto:

   kubectl apply -f - <<EOF
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-restore
   spec:
     dataSource:
       name: my-snapshot
       kind: VolumeSnapshot
       apiGroup: snapshot.storage.k8s.io
     storageClassName: storage-pools-sc
     accessModes:
       - ReadWriteOnce
     resources:
       requests:
         storage: 2048Gi
   EOF
   

2. Atualize a implantação chamada postgres para que ela use o PVC restaurado que você acabou de criar. Aplique o seguinte manifesto:

   kubectl apply -f - <<EOF
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: postgres
   spec:
     selector:
       matchLabels:
         app: postgres
     template:
       metadata:
         labels:
           app: postgres
       spec:
         nodeSelector:
           cloud.google.com/machine-family: c3
         containers:
         - name: postgres
           image: google/cloud-sdk:slim
           args: [ "sleep", "3600" ]
           volumeMounts:
           - name: sdk-volume
             mountPath: /usr/share/data/
         volumes:
         - name: sdk-volume
           persistentVolumeClaim:
             claimName: pvc-restore
   EOF
   

3. Consiga o nome do pod recém-criado que faz parte da implantação postgres:

   kubectl get pods -l app=postgres
   

   O resultado será assim:

   NAME                         READY   STATUS        RESTARTS   AGE
   postgres-59f89cfd8c-42qtj   1/1     Running       0          40s
   

4. Verifique se o arquivo hello.txt, que foi excluído anteriormente, agora existe no novo pod (postgres-59f89cfd8c-42qtj) após a restauração do volume do snapshot:

   kubectl exec postgres-59f89cfd8c-42qtj \
    -- sh -c 'cat /usr/share/data/hello.txt'
   Hello World!
   

   Isso valida se o processo de snapshot e restauração foi concluído com sucesso e se os dados do snapshot foram restaurados para o novo PV acessível ao pod.

5. Confirme se o volume criado com base no snapshot está localizado no seu pool de armazenamento:

   kubectl get pvc pvc-restore
   

   O resultado será assim:

   NAME          STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS       AGE
   pvc-restore   Bound    pvc-b287c387-bc51-4100-a00e-b5241d411c82   2Ti        RWO            storage-pools-sc   2m24s
   

6. Verifique se o novo volume foi provisionado conforme especificado na StorageClass e no PVC:

   gcloud compute storage-pools list-disks pool-us-east4-c --zone=us-east4-c
   

   A saída é semelhante à seguinte, em que é possível ver o novo volume pvc-b287c387-bc51-4100-a00e-b5241d411c82 provisionado no mesmo pool de armazenamento.

   
   NAME                                      STATUS  PROVISIONED_IOPS  PROVISIONED_THROUGHPUT  SIZE_GB
   pvc-1ff52479-4c81-4481-aa1d-b21c8f8860c6  READY   3000              140                     2048
   pvc-b287c387-bc51-4100-a00e-b5241d411c82  READY   3000              140                     2048
   

   Isso garante que o volume restaurado se beneficie dos recursos e das capacidades compartilhados do pool.

Migrar volumes atuais para um pool de armazenamento

Use o snapshot e a restauração para migrar volumes que existem fora de um pool de armazenamento para um pool de armazenamento.

Verifique se as seguintes condições são atendidas:

• O novo PVC pvc-restore faz referência a um StorageClass que especifica o parâmetro storage-pools, apontando para o pool de armazenamento em que você quer mover o volume.
• O PV de origem que está sendo instantâneo precisa estar associado a um PVC com uma StorageClass que não especifica o parâmetro storage-pools.

Depois de restaurar de um snapshot para um novo volume, você pode excluir o PVC e o PV de origem.

Limpar

Para evitar cobranças na sua conta do Trusted Cloud by S3NS , exclua os recursos de armazenamento criados neste guia. Primeiro, exclua todos os discos do pool de armazenamento e, depois, o pool.

Excluir o disco de inicialização

Quando você exclui um nó (reduzindo o escalonamento do pool de nós) ou um pool de nós inteiro, os discos de inicialização associados são excluídos automaticamente. Também é possível excluir o cluster para excluir automaticamente os discos de inicialização de todos os pools de nós nele.

Veja mais informações em:

• Escalone um pool de nós.
• Excluir um pool de nós.
• Exclua um cluster.

Excluir o disco anexado

Para excluir o disco anexado provisionado em um pool de armazenamento de hiperdisco:

1. Exclua o pod que usa o PVC:

   kubectl delete deployments postgres
   

2. Exclua o PVC que usa a StorageClass do pool de armazenamento de hiperdisco.

   kubectl delete pvc my-pvc
   

   Confirme se o PVC pvc-1ff52479-4c81-4481-aa1d-b21c8f8860c6 foi excluído:

   gcloud compute storage-pools list-disks pool-us-east4-c --zone=us-east4-c
   

Excluir o pool de armazenamento de hiperdisco

Exclua o pool de armazenamento de hiperdisco com o seguinte comando:

gcloud compute storage-pools delete pool-us-east4-c --zone=us-east4-c --project=my-project

A seguir

• Consulte Solução de problemas de armazenamento no GKE.
• Leia mais sobre o driver CSI do Persistent Disk no GitHub.