Carregamentos compostos paralelos

Consola

A Trusted Cloud consola não faz carregamentos compostos em paralelo.

Linha de comandos

Pode configurar como e quando o gcloud storage cp realiza carregamentos compostos paralelos modificando as seguintes propriedades:

• storage/parallel_composite_upload_enabled: propriedade para ativar os carregamentos compostos paralelos. Se False, desative os carregamentos compostos paralelos. Se True ou None, faça carregamentos compostos paralelos para objetos que cumpram os critérios definidos nas outras propriedades. A predefinição é None.

• storage/parallel_composite_upload_compatibility_check: propriedade para ativar/desativar verificações de segurança. Se True, gcloud storage só faz carregamentos compostos paralelos quando todas as seguintes condições forem cumpridas:

  • A classe de armazenamento do objeto carregado é STANDARD.
  • O contentor de destino não tem uma política de retenção.
  • O contentor de destino não tem a opção retenções de objetos predefinidas ativada.

  Tenha em atenção que, para verificar estas condições, a CLI gcloud obtém os metadados do contentor de destino como parte do comando de carregamento.

  Se False, gcloud storage não executa nenhuma verificação. A predefinição é True.

• storage/parallel_composite_upload_threshold: o tamanho total mínimo do ficheiro para fazer um carregamento composto paralelo. A predefinição é de 150 MiB.

• storage/parallel_composite_upload_component_size: o tamanho máximo de cada objeto temporário. A propriedade é ignorada se o tamanho total do ficheiro for tão grande que exija mais de 32 blocos deste tamanho.

• storage/parallel_composite_upload_component_prefix: o prefixo usado ao atribuir nomes a objetos temporários. Esta propriedade pode ser definida como um caminho absoluto ou como um caminho relativo ao objeto final. Consulte a descrição da propriedade para mais informações. O prefixo predefinido é o caminho absoluto /gcloud/tmp/parallel_composite_uploads/see_gcloud_storage_cp_help_for_details.

Pode modificar estas propriedades criando uma configuração com nome e aplicando a configuração por comando através da --configuration flag ao nível do projeto ou para todos os comandos da CLI gcloud através do comando gcloud config set.

Não é necessário espaço adicional no disco local quando usa a CLI gcloud para fazer carregamentos compostos paralelos. Se um carregamento composto paralelo falhar antes da composição, execute novamente o comando da CLI gcloud para tirar partido dos carregamentos retomáveis para os objetos temporários que falharam. Todos os objetos temporários carregados com êxito antes da falha não são carregados novamente quando retoma o carregamento.

Os objetos temporários são denominados da seguinte forma:

TEMPORARY_PREFIX/RANDOM_VALUE_HEX_DIGEST_COMPONENT_ID

Onde:

• O TEMPORARY_PREFIX é controlado pela propriedade storage/parallel_composite_upload_component_prefix.
• RANDOM_VALUE é um valor numérico aleatório.
• HEX_DIGEST é um hash derivado do nome do recurso de origem.
• COMPONENT_ID é o número sequencial do componente.

Geralmente, os objetos temporários são eliminados no final de um carregamento composto paralelo, mas para evitar deixar objetos temporários, deve verificar o estado de saída do comando da CLI gcloud e eliminar manualmente todos os objetos temporários que foram carregados como parte de um carregamento anulado.

Bibliotecas cliente

import com.google.cloud.storage.transfermanager.ParallelUploadConfig;
import com.google.cloud.storage.transfermanager.TransferManager;
import com.google.cloud.storage.transfermanager.TransferManagerConfig;
import com.google.cloud.storage.transfermanager.UploadResult;
import java.io.IOException;
import java.nio.file.Path;
import java.util.List;

class AllowParallelCompositeUpload {

  public static void parallelCompositeUploadAllowed(String bucketName, List<Path> files)
      throws IOException {
    TransferManager transferManager =
        TransferManagerConfig.newBuilder()
            .setAllowParallelCompositeUpload(true)
            .build()
            .getService();
    ParallelUploadConfig parallelUploadConfig =
        ParallelUploadConfig.newBuilder().setBucketName(bucketName).build();
    List<UploadResult> results =
        transferManager.uploadFiles(files, parallelUploadConfig).getUploadResults();
    for (UploadResult result : results) {
      System.out.println(
          "Upload for "
              + result.getInput().getName()
              + " completed with status "
              + result.getStatus());
    }
  }
}

APIs REST

Tanto a API JSON como a API XML suportam o carregamento de partes de objetos em paralelo e a sua recombinação num único objeto através da operação compose.

Tenha em atenção o seguinte ao criar código para carregamentos compostos paralelos:

• Quando usa a operação compose, os objetos de origem não são afetados pelo processo de composição.

  Isto significa que, se se destinarem a ser temporários, tem de os eliminar explicitamente assim que concluir a composição com êxito. Caso contrário, os objetos de origem permanecem no seu contentor e são faturados em conformidade.

• Para se proteger contra alterações aos objetos de origem entre os pedidos de carregamento e de composição, deve fornecer um número de geração esperado para cada origem.