마이그레이션을 위해 Apache Hive에서 메타데이터 추출

Apache Hive

Apache Hive 섹션 데이터 웨어하우스에서 메타데이터 및 로그 쿼리 추출의 단계를 실행하여 Apache Hive 메타데이터를 추출합니다. 그런 다음 마이그레이션 파일이 포함된 Cloud Storage 버킷에 메타데이터를 업로드할 수 있습니다.

HDFS

다음 명령어를 실행하여 dwh-migration-dumper 도구를 사용하여 HDFS에서 메타데이터를 추출합니다.

dwh-migration-dumper \
  --connector hdfs \
  --host HDFS-HOST \
  --port HDFS-PORT \
  --output gs://MIGRATION-BUCKET/hdfs-dumper-output.zip \
  --assessment \

다음을 바꿉니다.

• HDFS-HOST: HDFS NameNode 호스트 이름입니다.
• HDFS-PORT: HDFS NameNode 포트 번호입니다. 기본 8020 포트를 사용하는 경우 이 인수를 생략할 수 있습니다.
• MIGRATION-BUCKET: 마이그레이션 파일을 저장하는 데 사용하는 Cloud Storage 버킷입니다.

이 명령어는 HDFS에서 메타데이터를 MIGRATION-BUCKET 디렉터리의 hdfs-dumper-output.zip이라는 파일로 추출합니다.

HDFS에서 메타데이터를 추출할 때는 다음과 같은 몇 가지 알려진 제한사항이 있습니다.

• 이 커넥터의 일부 태스크는 선택사항이고 실패할 수 있으며, 출력에 풀 스택 트레이드를 로깅합니다. 필수 태스크가 성공하고 hdfs-dumper-output.zip이 생성되면 HDFS 마이그레이션을 진행할 수 있습니다.
• 구성된 스레드 풀 크기가 너무 크면 추출 프로세스가 실패하거나 예상보다 느리게 실행될 수 있습니다. 이러한 문제가 발생하는 경우 명령줄 인수 --thread-pool-size를 사용하여 스레드 풀 크기를 줄이는 것이 좋습니다.

Apache Ranger

다음 명령어를 실행하여 dwh-migration-dumper 도구를 사용하여 Apache Ranger에서 메타데이터를 추출합니다.

dwh-migration-dumper \
  --connector ranger \
  --host RANGER-HOST \
  --port 6080 \
  --user RANGER-USER \
  --password RANGER-PASSWORD \
  --ranger-scheme RANGER-SCHEME \
  --output gs://MIGRATION-BUCKET/ranger-dumper-output.zip \
  --assessment \

다음을 바꿉니다.

• RANGER-HOST: Apache Ranger 인스턴스의 호스트 이름입니다.
• RANGER-USER: Apache Ranger 사용자의 사용자 이름입니다.
• RANGER-PASSWORD: Apache Ranger 사용자의 비밀번호입니다.
• RANGER-SCHEME: Apache Ranger가 http 또는 https를 사용하는지 지정합니다. 기본값은 http입니다.
• MIGRATION-BUCKET: 마이그레이션 파일을 저장하는 데 사용하는 Cloud Storage 버킷입니다.

또한 다음과 같은 선택적인 플래그를 포함할 수 있습니다.

• --kerberos-auth-for-hadoop: Apache Ranger가 기본 인증 대신 Kerberos로 보호되는 경우 --user 및 --password를 대체합니다. 이 플래그를 사용하려면 dwh-migration-dumper 도구 전에 kinit 명령어를 실행해야 합니다.
• --ranger-disable-tls-validation: API에서 사용하는 https 인증서가 자체 서명된 경우 이 플래그를 포함합니다. 예를 들어 Cloudera를 사용하는 경우입니다.

이 명령어는 Apache Ranger에서 메타데이터를 MIGRATION-BUCKET 디렉터리의 ranger-dumper-output.zip이라는 파일로 추출합니다.

Cloudera

다음 명령어를 실행하여 dwh-migration-dumper 도구를 사용하여 Cloudera에서 메타데이터를 추출합니다.

dwh-migration-dumper \
  --connector cloudera-manager \
  --url CLOUDERA-URL \
  --user CLOUDERA-USER \
  --password CLOUDERA-PASSWORD \
  --output gs://MIGRATION-BUCKET/cloudera-dumper-output.zip \
  --yarn-application-types APPLICATION-TYPES \
  --pagination-page-size PAGE-SIZE \
  --assessment \

다음을 바꿉니다.

• CLOUDERA-URL: Cloudera Manager의 URL입니다.
• CLOUDERA-USER: Cloudera 사용자의 사용자 이름입니다.
• CLOUDERA-PASSWORD: Cloudera 사용자의 비밀번호입니다.
• MIGRATION-BUCKET: 마이그레이션 파일을 저장하는 데 사용하는 Cloud Storage 버킷입니다.
• APPLICATION-TYPES: (선택사항) Hadoop YARN의 기존 애플리케이션 유형 목록입니다. 예를 들면 SPARK, MAPREDUCE입니다.
• PAGE-SIZE: Hadoop YARN API와 같은 서드 파티 서비스에서 가져오는 데이터의 양을 지정합니다(선택사항). 기본값은 1000이며, 이는 요청당 항목 1,000개를 나타냅니다.

이 명령어는 Cloudera에서 MIGRATION-BUCKET 디렉터리의 dwh-migration-cloudera.zip이라는 파일로 메타데이터를 추출합니다.

Apache Hive 쿼리 로그

Apache Hive 섹션의 hadoop-migration-assessment 로깅 후크를 사용하여 쿼리 로그 추출에 나온 단계를 따라 Apache Hive 쿼리 로그를 추출합니다. 그런 다음 마이그레이션 파일이 포함된 Cloud Storage 버킷에 로그를 업로드할 수 있습니다.