Apache Hive Metastore 테이블을Cloud de Confiance로 마이그레이션

이 문서에서는 Apache Hive Metastore에서 관리하는 Iceberg 및 Hive 테이블을Cloud de Confiance 로 마이그레이션하는 방법을 BigQuery Data Transfer Service를 사용하여 설명합니다.

BigQuery Data Transfer Service의 Apache Hive Metastore 마이그레이션 커넥터를 사용하면 Hive Metastore 테이블을 Cloud de Confiance 로 대규모로 원활하게 마이그레이션할 수 있습니다. 이 커넥터는 Cloudera 설정을 비롯한 온프레미스 설치 및 클라우드 환경의 Hive 및 Iceberg 테이블을 모두 지원합니다. Hive Metastore 이전 커넥터는 다음 데이터 소스에 저장된 파일을 지원합니다.

• Apache Hadoop 분산 파일 시스템(HDFS)
• Amazon Simple Storage Service(Amazon S3)
• Azure Blob Storage 또는 Azure Data Lake Storage Gen2

Hive Metastore 마이그레이션 커넥터를 사용하면 Cloud Storage를 파일 스토리지로 사용하고 다음 메타스토어 중 하나에 Hive Metastore 테이블을 등록할 수 있습니다.

• BigLake metastore Iceberg REST 카탈로그

  모든 Iceberg 데이터에 BigLake metastore Iceberg REST 카탈로그를 사용하는 것이 좋습니다.

  BigLake metastore Iceberg REST 카탈로그는 모든 Iceberg 데이터에 단일 소스를 제공하여 쿼리 엔진 간의 상호 운용성을 지원합니다. Apache Spark 및 기타 OSS 엔진 외에도 BigQuery를 사용하여 데이터를 쿼리할 수 있습니다. BigLake metastore Iceberg REST 카탈로그는 Iceberg 테이블 형식만 지원합니다.

• Dataproc Metastore

  Dataproc Metastore는 Hive 및 Iceberg 테이블 형식을 모두 지원합니다. Apache Spark 및 기타 OSS 엔진만 사용하여 Dataproc Metastore에서 데이터를 읽고 쓸 수 있습니다.

이 커넥터는 전체 전송과 메타데이터 전송을 모두 지원합니다. 전체 전송은 소스 테이블의 데이터와 메타데이터를 모두 타겟 메타스토어로 전송합니다. Cloud Storage에 이미 데이터가 있고 대상 Metastore에 데이터만 등록하려는 경우 메타데이터 전용 전송을 만들 수 있습니다.

다음 다이어그램은 마이그레이션 프로세스를 간략하게 보여줍니다.

제한사항

Hive Metastore 테이블 전송에는 다음과 같은 제한사항이 적용됩니다.

• Hive Metastore 전송은 예약된 실행 간에 최소 24시간이 필요합니다. 주문형 실행은 여전히 모든 간격으로 트리거할 수 있습니다.
• Hive 테이블을 이전하려면 Dataproc Metastore를 대상 메타스토어로 사용해야 합니다.
• 파일 이름은 Cloud Storage 객체 이름 지정 요구사항을 준수해야 합니다.
• Cloud Storage의 단일 객체 한도는 5TiB입니다. Hive Metastore 테이블 내 파일이 5TiB보다 크면 전송이 실패합니다.
• 전송이 진행되는 동안 소스에서 데이터가 변경되면 Storage Transfer Service는 특정 방식으로 작동합니다. 테이블이 활발하게 이전되는 동안에는 테이블에 쓰는 것이 좋지 않습니다. 기타 Storage Transfer Service 제한사항 목록은 알려진 제한사항을 참고하세요.

데이터 수집 옵션

다음 섹션에서는 Hive Metastore 전송을 구성하는 방법을 자세히 설명합니다.

증분 전송

반복 일정으로 전송 구성을 설정하면 후속 전송마다 소스 테이블에 적용된 최신 업데이트로 Cloud de Confiance by S3NS 의 테이블이 업데이트됩니다. 예를 들어 모든 데이터 업데이트와 스키마가 변경되는 모든 삽입, 삭제 또는 업데이트 작업은 전송될 때마다 Cloud de Confiance by S3NS 에 반영됩니다.

파티션 필터링

Cloud Storage에 저장된 맞춤 필터 JSON 파일을 제공하여 Hive 테이블에서 파티션의 하위 집합을 전송할 수 있습니다. 전송을 예약할 때 partition_filter_gcs_path 매개변수를 사용하여 이 JSON 파일의 전체 Cloud Storage 경로를 제공합니다.

다음은 필터 JSON 파일 구조의 예입니다.

{
  "filters": [
    {
      "table": "db1.table1", "condition": "IN", "partition":
      ["partition1=value1/partition2=value2"]
    },
    {
      "table": "db1.table2", "condition": "LESS_THAN", "partition":
      ["partition1;value1"]
    },
    {
      "table": "db1.table3", "condition": "GREATER_THAN", "partition":
      ["partition1;value1"]
    },
    {
      "table": "db1.table4", "condition": "RANGE", "partition":
      ["partition1;value1;value2"]
    }
  ]
}

필터 조건

JSON 파일의 condition 필드는 다음 값을 지원하며 각 값에는 partition 배열의 특정 형식이 있습니다.

• IN: 포함할 정확한 파티션 경로를 지정합니다. partition 배열에는 테이블 기본 경로 (예: ["partition_key1=value1/partition_key2=value2"])를 기준으로 파티션의 정확한 디렉터리 구조를 나타내는 문자열이 포함됩니다. 배열에 여러 경로를 지정할 수 있습니다.
• LESS_THAN: 기본 파티션 키 값이 지정된 값보다 작거나 같은 파티션을 포함합니다. partition 배열에는 ["<partition_key>;<value>"] 형식의 문자열이 하나 포함되어야 합니다.
• GREATER_THAN: 기본 파티션 키 값이 지정된 값보다 크거나 같은 파티션을 포함합니다. partition 배열에는 ["<partition_key>;<value>"] 형식의 문자열이 하나 포함되어야 합니다.
• RANGE: 기본 파티션 키 값이 지정된 범위 내에 있는 파티션을 포함합니다 (해당 값 포함). partition 배열에는 ["<partition_key>;<start_value>;<end_value>"] 형식의 단일 문자열이 포함되어야 합니다.

필터 조건에는 다음과 같은 규칙과 제한사항이 적용됩니다.

• 포함 값: GREATER_THAN, LESS_THAN, RANGE의 필터 조건에는 제공된 값이 포함됩니다. 예를 들어 값이 2023인 LESS_THAN 필터에는 2023까지의 파티션이 포함됩니다.
• 파티션 삭제: 기존 대상 파티션이 파티션 필터를 충족하고 더 이상 소스에 없으면 대상 메타스토어에서 삭제됩니다. 하지만 해당 파티션의 기본 데이터 파일은 Cloud Storage 대상 버킷에서 삭제되지 않습니다.
• 단일 표 제한사항:
  • 동일한 표에 여러 필터를 사용할 수는 없습니다.
  • 동일한 테이블에서 서로 다른 조건 유형 (예: GREATER_THAN 및 IN)을 혼합할 수 없습니다.
• 타겟 파티션 열: GREATER_THAN, LESS_THAN, RANGE과 같은 필터 조건은 기본 파티션 열을 타겟팅해야 합니다.
• 접두사 제한: 지정된 필터 조합이 테이블당 1,000개를 초과하는 접두사로 해석되면 안 됩니다. 예를 들어 year/month/day로 파티셔닝된 테이블에서 year>2020와 같은 필터를 사용하면 고유한 year= 접두사가 1, 000개 미만이어야 합니다.

시작하기 전에

Hive Metastore 전송을 예약하기 전에 이 섹션의 단계를 수행하세요.

API 사용 설정

Cloud de Confiance 프로젝트에서 다음 API를 사용 설정합니다.

• Data Transfer API
• Storage Transfer API

Data Transfer API를 사용 설정하면 서비스 에이전트가 생성됩니다.

권한 구성

Hive Metastore 전송 권한을 구성하려면 다음 섹션의 단계를 따르세요.

1. 전송을 만드는 사용자 또는 서비스 계정에는 BigQuery 관리자 역할 (roles/bigquery.admin)이 부여되어야 합니다. 서비스 계정을 사용하는 경우 전송을 만드는 데만 사용됩니다.

2. Data Transfer API를 사용 설정하면 서비스 에이전트(P4SA)가 생성됩니다.

   서비스 에이전트에 Hive Metastore 전송을 실행하는 데 필요한 권한이 있는지 확인하려면 관리자에게 프로젝트의 서비스 에이전트에 다음 IAM 역할을 부여해 달라고 요청하세요.

   • 스토리지 전송 관리자 (roles/storagetransfer.admin)
   • 서비스 사용량 소비자(roles/serviceusage.serviceUsageConsumer)
   • 스토리지 관리자(roles/storage.admin)
   • 메타데이터를 BigLake metastore Iceberg REST 카탈로그로 이전하려면 다음 단계를 따르세요. BigLake 관리자 (roles/biglake.admin)
   • 메타데이터를 Dataproc Metastore로 마이그레이션하려면 다음 단계를 따르세요. Dataproc Metastore 데이터 소유자 (roles/metastore.metadataOwner)

   역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

   관리자는 커스텀 역할이나 다른 사전 정의된 역할을 통해 서비스 에이전트에 필요한 권한을 부여할 수도 있습니다.

3. 서비스 계정을 사용하는 경우 다음 명령어를 사용하여 서비스 에이전트에 roles/iam.serviceAccountTokenCreator 역할을 부여합니다.

   gcloud iam service-accounts add-iam-policy-binding
   SERVICE_ACCOUNT --member
   serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com --role
   roles/iam.serviceAccountTokenCreator

4. 프로젝트에서 Storage Transfer Service 서비스 에이전트(project-PROJECT_NUMBER@storage-transfer-service.s3ns-system.iam.gserviceaccount.com)에 다음 역할을 부여합니다.

   • roles/storage.admin
   • 온프레미스/HDFS에서 이전하는 경우 roles/storagetransfer.serviceAgent 역할도 부여해야 합니다.

   더 상세한 권한을 구성할 수도 있습니다. 자세한 내용은 다음 가이드를 참고하세요.

   • HDFS 권한
   • Amazon S3 및 Microsoft Azure 권한

Apache Hive용 메타데이터 파일 생성

dwh-migration-dumper 도구를 실행하여 Apache Hive의 메타데이터를 추출합니다. 이 도구는 Cloud Storage 버킷에 업로드할 수 있는 hive-dumper-output.zip이라는 파일을 생성합니다. 이 Cloud Storage 버킷은 이 문서에서 DUMPER_BUCKET으로 참조됩니다.

스크립트를 사용하여 주기적인 업로드를 예약할 수도 있습니다. 자세한 내용은 cron 작업을 사용하여 덤퍼 도구 실행 자동화를 참고하세요.

Storage Transfer Service 구성

다음 옵션 중 하나를 선택합니다.

Hive Metastore 전송 예약

다음 옵션 중 하나를 선택합니다.

  bq mk --transfer_config
  --data_source=hadoop display_name='TRANSFER_NAME'
  --service_account_name='SERVICE_ACCOUNT'
  --project_id='PROJECT_ID' location='REGION'
  --params='{
    "transfer_strategy":"TRANSFER_STRATEGY",
    "table_name_patterns":"LIST_OF_TABLES",
    "table_metadata_path":"gs://DUMPER_BUCKET/hive-dumper-output.zip",
    "target_gcs_file_path":"gs://MIGRATION_BUCKET",
    "metastore":"METASTORE",
    "destination_dataproc_metastore":"DATAPROC_METASTORE_URL",
    "destination_bigquery_dataset":"BIGLAKE_METASTORE_DATASET",
    "translation_output_gcs_path":"gs://TRANSLATION_OUTPUT_BUCKET/metadata/config/default_database/",
    "storage_type":"STORAGE_TYPE",
    "agent_pool_name":"AGENT_POOL_NAME",
    "aws_access_key_id":"AWS_ACCESS_KEY_ID",
    "aws_secret_access_key":"AWS_SECRET_ACCESS_KEY",
    "azure_sas_token":"AZURE_SAS_TOKEN",
    "partition_filter_gcs_path":"FILTER_GCS_PATH"
    }'

cron 작업으로 덤퍼 도구 실행 자동화

cron 작업을 사용하여 dwh-migration-dumper 도구를 실행하면 증분 전송을 자동화할 수 있습니다. 후속 증분 전송 실행에 사용할 수 있는 데이터 소스의 최신 덤프를 확보하기 위해 메타데이터 추출을 자동화합니다.

시작하기 전에

이 자동화 스크립트를 사용하기 전에 다음을 수행해야 합니다.

1. dumper 도구의 모든 기본 요건을 완료합니다.

2. Google Cloud CLI를 설치합니다. 스크립트는 gsutil 명령줄 도구를 사용하여 덤퍼 출력을 Cloud Storage에 업로드합니다.

3. gsutil가 Cloud Storage에 파일을 업로드할 수 있도록 Cloud de Confiance 로 인증하려면 다음 명령어를 실행합니다.

   gcloud auth application-default login

자동화 예약

1. 다음 스크립트를 로컬 파일에 저장합니다. 이 스크립트는 cron 데몬이 구성하고 실행하여 덤퍼 출력의 추출 및 업로드 프로세스를 자동화하도록 설계되었습니다.

   #!/bin/bash
   
   # Exit immediately if a command exits with a non-zero status.
   set -e
   # Treat unset variables as an error when substituting.
   set -u
   # Pipelines return the exit status of the last command to exit with a non-zero status.
   set -o pipefail
   
   # These values are used if not overridden by command-line options.
   DUMPER_EXECUTABLE="DUMPER_PATH/dwh-migration-dumper"
   GCS_BASE_PATH="gs://PATH_TO_DUMPER_OUTPUT"
   LOCAL_BASE_DIR="LOCAL_BASE_DIRECTORY_PATH"
   
   # Optional arguments for cloud environments
   DUMPER_HOST=""
   DUMPER_PORT=""
   HIVE_KERBEROS_URL=""
   HIVEQL_RPC_PROTECTION=""
   KERBEROS_AUTHENTICATION="false"
   
   # Function to display usage information
   usage() {
     echo "Usage: $0 [options]"
     echo ""
     echo "Runs the dwh-migration-dumper tool and uploads its output to provided Cloud Storage path."
     echo ""
     echo "Required Options:"
     echo "  --dumper-executable   The full path to the dumper executable."
     echo "  --gcs-base-path       The base Cloud Storage folder to upload dumper output files to. The script generates timestamped ZIP files in this folder."
     echo "  --local-base-dir      The local base directory for logs and temp files."
     echo ""
     echo "Optional Hive connection options:"
     echo "  --host              The hostname for the dumper connection."
     echo "  --port              The port number for the dumper connection."
     echo ""
     echo "To use Kerberos authentication, include the following options."
     echo "If --kerberos-authentication is specified, then --host, --port,"
     echo "--hive-kerberos-url and --hiveql-rpc-protection are all required:"
     echo ""
     echo "  --kerberos-authentication   Enable Kerberos authentication."
     echo "  --hive-kerberos-url    The Hive Kerberos URL."
     echo "  --hiveql-rpc-protection "
     echo "                            The hiveql-rpc-protection level, equal to the value of"
     echo "                            'hadoop.rpc.protection' in '/etc/hadoop/conf/core-site.xml',"
     echo "                            with one of the following values:"
     echo "                            - authentication"
     echo "                            - integrity"
     echo "                            - privacy"
     echo ""
     echo "Other Options:"
     echo "  -h, --help                  Display this help message and exit."
     exit 1
   }
   
   # This loop processes command-line options and overrides the default configuration.
   while [[ "$#" -gt 0 ]]; do
     case $1 in
         --dumper-executable)
             DUMPER_EXECUTABLE="$2"
             shift # past argument
             shift # past value
             ;;
         --gcs-base-path)
             GCS_BASE_PATH="$2"
             shift
             shift
             ;;
         --local-base-dir)
             LOCAL_BASE_DIR="$2"
             shift
             shift
             ;;
         --host)
             DUMPER_HOST="$2"
             shift
             shift
             ;;
         --port)
             DUMPER_PORT="$2"
             shift
             shift
             ;;
         --hive-kerberos-url)
             HIVE_KERBEROS_URL="$2"
             shift
             shift
             ;;
         --hiveql-rpc-protection)
             HIVEQL_RPC_PROTECTION="$2"
             shift
             shift
             ;;
         --kerberos-authentication)
             KERBEROS_AUTHENTICATION="true"
             shift
             ;;
         -h|--help)
             usage
             ;;
         *)
             echo "Unknown option: $1"
             usage
             ;;
     esac
   done
   
   # This runs AFTER parsing arguments to ensure no placeholder values are left.
   if [[ "$DUMPER_EXECUTABLE" == "DUMPER_PATH"* || "$GCS_BASE_PATH" == "gs://PATH_TO_DUMPER_OUTPUT" || "$LOCAL_BASE_DIR" == "LOCAL_BASE_DIRECTORY_PATH" ]]; then
     echo "ERROR: One or more configuration variables have not been set. Please provide them as command-line arguments or edit the script." >&2
     echo "Run with --help for more information." >&2
     exit 1
   fi
   
   # If Kerberos authentication is enabled, check for required fields.
   if [[ "$KERBEROS_AUTHENTICATION" == "true" ]]; then
     if [[ -z "$DUMPER_HOST" || -z "$DUMPER_PORT" || -z "$HIVE_KERBEROS_URL" || -z "$HIVEQL_RPC_PROTECTION" ]]; then
         echo "ERROR: If --kerberos-authentication is enabled, --host, --port, --hive-kerberos-url and --hiveql-rpc-protection must be provided." >&2
         echo "Run with --help for more information." >&2
         exit 1
     fi
   fi
   
   # Remove trailing slashes from GCS_BASE_PATH, if any.
   GCS_BASE_PATH=$(echo "${GCS_BASE_PATH}" | sed 's:/*$::')
   
   # Create unique timestamp and directories for this run
   EPOCH=$(date +%s)
   LOCAL_LOG_DIR="${LOCAL_BASE_DIR}/logs"
   mkdir -p "${LOCAL_LOG_DIR}" # Ensures the base and logs directories exist
   
   # Define the unique log and zip file path for this run
   LOG_FILE="${LOCAL_LOG_DIR}/dumper_execution_${EPOCH}.log"
   ZIP_FILE_NAME="dts-cron-dumper-output_${EPOCH}.zip"
   LOCAL_ZIP_PATH="${LOCAL_BASE_DIR}/${ZIP_FILE_NAME}"
   
   echo "Script execution started. All subsequent output will be logged to: ${LOG_FILE}"
   
   # --- Helper Functions ---
   
   log() { echo "$(date '+%Y-%m-%d %H:%M:%S') - $@" >> "${LOG_FILE}"; }
   
   cleanup() {
     local path_to_remove="$1"
     log "Cleaning up local file/directory: ${path_to_remove}..."
     rm -rf "${path_to_remove}"
   }
   
   # This function is called when the script exits to ensure cleanup and logging happen reliably.
   handle_exit() {
     local exit_code=$?
     # Only run the failure logic if the script is exiting with an error
     if [[ ${exit_code} -ne 0 ]]; then
         log "ERROR: Script is exiting with a failure code (${exit_code})."
         local gcs_log_path_on_failure="${GCS_BASE_PATH}/logs/$(basename "${LOG_FILE}")"
         log "Uploading log file to ${gcs_log_path_on_failure} for debugging..."
         # Attempt to upload the log file on failure, but don't let this command cause the script to exit.
         gsutil cp "${LOG_FILE}" "${gcs_log_path_on_failure}" > /dev/null 2>&1 || log "WARNING: Failed to upload log file to Cloud Storage."
   
     else
         # SUCCESS PATH
         log "Script finished successfully. Now cleaning up local zip file...."
         # Clean up the local zip file ONLY on success
         cleanup "${LOCAL_ZIP_PATH}"
     fi
   
     log "*****Script End*****"
     exit ${exit_code}
   }
   
   # Trap the EXIT signal to run the handle_exit function, ensuring cleanup always happens.
   trap handle_exit EXIT
   
   # Validates the dumper log file based on a strict set of rules.
   validate_dumper_output() {
     local log_file_to_check="$1"
   
     # Check for the specific success message from the dumper tool.
     if grep -q "Dumper execution: SUCCEEDED" "${log_file_to_check}"; then
         log "Validation Successful: Found 'Dumper execution: SUCCEEDED' message."
         return 0 # Success
     else
         log "ERROR: Validation failed. The 'Dumper execution: SUCCEEDED' message was not found."
         return 1 # Failure
     fi
   }
   
   # --- Main Script Logic ---
   
   log "*****Script Start*****"
   log "Dumper Executable: ${DUMPER_EXECUTABLE}"
   log "Cloud Storage Base Path: ${GCS_BASE_PATH}"
   log "Local Base Directory: ${LOCAL_BASE_DIR}"
   
   # Use an array to build the command safely
   dumper_command_args=(
     "--connector" "hiveql"
     "--output" "${LOCAL_ZIP_PATH}"
   )
   
   # Add optional arguments if they are provided
   if [[ -n "${DUMPER_HOST}" ]]; then
   dumper_command_args+=("--host" "${DUMPER_HOST}")
   log "Using Host: ${DUMPER_HOST}"
   fi
   if [[ -n "${DUMPER_PORT}" ]]; then
   dumper_command_args+=("--port" "${DUMPER_PORT}")
   log "Using Port: ${DUMPER_PORT}"
   fi
   if [[ -n "${HIVE_KERBEROS_URL}" ]]; then
   dumper_command_args+=("--hive-kerberos-url" "${HIVE_KERBEROS_URL}")
   log "Using Hive Kerberos URL: ${HIVE_KERBEROS_URL}"
   fi
   if [[ -n "${HIVEQL_RPC_PROTECTION}" ]]; then
   dumper_command_args+=("-Dhiveql.rpc.protection=${HIVEQL_RPC_PROTECTION}")
   log "Using HiveQL RPC Protection: ${HIVEQL_RPC_PROTECTION}"
   fi
   
   log "Starting dumper tool execution..."
   log "COMMAND: JAVA_OPTS=\"-Djavax.security.auth.useSubjectCredsOnly=false\" ${DUMPER_EXECUTABLE} ${dumper_command_args[*]}"
   
   JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false" "${DUMPER_EXECUTABLE}" "${dumper_command_args[@]}" >> "${LOG_FILE}" 2>&1
   
   log "Dumper process finished."
   
   # Validate the output from the dumper execution for success or failure.
   validate_dumper_output "${LOG_FILE}"
   
   # Upload the ZIP file to Cloud Storage
   gcs_zip_path="${GCS_BASE_PATH}/${ZIP_FILE_NAME}"
   log "Uploading ${LOCAL_ZIP_PATH} to ${gcs_zip_path}..."
   
   if [ ! -f "${LOCAL_ZIP_PATH}" ]; then
     log "ERROR: Expected ZIP file ${LOCAL_ZIP_PATH} not found after dumper execution."
     # The script will exit here with an error code, and the trap will run.
     exit 1
   fi
   
   gsutil cp "${LOCAL_ZIP_PATH}" "${gcs_zip_path}" >> "${LOG_FILE}" 2>&1
   log "Upload to Cloud Storage successful."
   
   # The script will now exit with code 0. The trap will call cleanup and log the script end.

2. 스크립트를 실행 가능하게 만들려면 다음 명령어를 실행합니다.

   chmod +x PATH_TO_SCRIPT

3. crontab를 사용하여 스크립트를 예약하고 변수를 작업에 적합한 값으로 바꿉니다. 작업을 예약하는 항목을 추가합니다. 다음 예에서는 매일 오전 2시 30분에 스크립트를 실행합니다.

   Hive Metastore에 직접 액세스할 수 있고 Kerberos 인증이 필요하지 않은 호스트에서 실행하는 경우 다음 명령어를 실행합니다.

   # Run the Hive dumper daily at 2:30 AM for incremental BigQuery transfer.
   30 2 * * * PATH_TO_SCRIPT \
     --dumper-executable PATH_TO_DUMPER_EXECUTABLE \
     --gcs-base-path GCS_PATH_TO_UPLOAD_DUMPER_OUTPUT \
     --local-base-dir LOCAL_PATH_TO_SAVE_INTERMEDIARY_FILES

   Hive Metastore 인스턴스에 Kerberos 인증이 필요한 경우 다음 명령어를 실행합니다.

   # Run the Hive dumper daily at 2:30 AM for incremental BigQuery transfer with Kerberos authentication.
   30 2 * * * PATH_TO_SCRIPT \
     --dumper-executable PATH_TO_DUMPER_EXECUTABLE \
     --gcs-base-path GCS_PATH_TO_UPLOAD_DUMPER_OUTPUT \
     --local-base-dir LOCAL_PATH_TO_SAVE_INTERMEDIARY_FILES \
     --kerberos-authentication \
     --host HIVE_HOST \
     --port HIVE_PORT \
     --hive-kerberos-url HIVE_KERBEROS_URL \
     --hiveql-rpc-protection HIVEQL_RPC_PROTECTION

예약 고려사항

데이터가 오래되지 않도록 하려면 예약된 데이터 전송 전에 덤퍼 도구를 실행하세요.

스크립트를 수동으로 몇 번 실행하여 덤퍼 도구가 출력을 생성하는 데 걸리는 평균 시간을 확인하는 것이 좋습니다. 이 타이밍을 사용하여 전송 실행 전에 cron 작업 일정을 설정하여 데이터 최신 상태를 유지합니다.

전송 상태 모니터링 및 확인

개별 테이블의 리소스 수준 전송을 모니터링하여 진행 상황을 추적하고, 세부적인 오류 세부정보를 확인하고, 이전 중인 특정 리소스의 상태를 쿼리할 수 있습니다.

리소스의 진행 상황과 상태를 보려면 다음 옵션 중 하나를 선택합니다.

  GET https://bigquerydatatransfer.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/transferConfigs/CONFIG_ID/transferResources
  Example Response (abridged) (JSON):
  {
    "transferResources": [
      {
        "name": "projects/.../transferResources/table1",
        "latestStatusDetail": {
          "state": "RESOURCE_TRANSFER_SUCCEEDED",
          "completedPercentage": 100.0
        },
        "updateTime": "2026-02-03T22:42:06Z"
      }
    ]
  }
  

  curl -X GET 

  "https://bigquerydatatransfer.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/transferConfigs/CONFIG_ID/transferResources" 

  -H "Authorization: Bearer $(gcloud auth print-access-token)" 

  -H "Accept: application/json"
  

  GET https://bigquerydatatransfer.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/transferConfigs/CONFIG_ID/transferResources/RESOURCE_ID
  

  curl -X GET 

  "https://bigquerydatatransfer.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/transferConfigs/CONFIG_ID/transferResources/RESOURCE_ID" 

  -H "Authorization: Bearer $(gcloud auth print-access-token)" 

  -H "Accept: application/json"
  

할당량 및 동시 실행 제한

BigQuery Data Transfer Service가 실행될 때마다 Hive Metastore 커넥터는 테이블당 하나의 Storage Transfer Service 작업을 실행합니다.

할당량에 도달하면 추가 할당량이 제공될 때까지 전송이 대기합니다. Storage Transfer Service 작업은 고객 프로젝트에서 생성되며 Storage Transfer Service 할당량 및 한도가 적용됩니다.

가격 책정

Apache Hive Metastore 커넥터를 사용하여 데이터를 전송하는 데는 비용이 들지 않습니다. 데이터가 전송된 후 대상에 데이터를 저장하는 데는 요금이 청구됩니다. 자세한 내용은 다음을 참조하세요.

• BigLake
• Dataproc Metastore 가격 책정
• Cloud Storage 가격 책정