Metadaten aus Apache Hive für die Migration extrahieren

Apache Hive

Führen Sie die Schritte im Abschnitt „Apache Hive“ unter Metadaten und Abfragelogs aus Ihrem Data Warehouse extrahieren aus, um Ihre Apache Hive-Metadaten zu extrahieren. Anschließend können Sie die Metadaten in den Cloud Storage-Bucket hochladen, der Ihre Migrationsdateien enthält.

HDFS

Führen Sie den folgenden Befehl aus, um Metadaten aus HDFS zu extrahieren. Verwenden Sie dazu das Tool dwh-migration-dumper.

dwh-migration-dumper \
  --connector hdfs \
  --host HDFS-HOST \
  --port HDFS-PORT \
  --output gs://MIGRATION-BUCKET/hdfs-dumper-output.zip \
  --assessment \

Ersetzen Sie Folgendes:

• HDFS-HOST: der Hostname des HDFS-NameNode
• HDFS-PORT: die Portnummer des HDFS-NameNode. Sie können dieses Argument überspringen, wenn Sie den 8020-Standardport verwenden.
• MIGRATION-BUCKET: Der Cloud Storage-Bucket, den Sie zum Speichern der Migrationsdateien verwenden.

Mit diesem Befehl werden Metadaten aus HDFS in eine Datei mit dem Namen hdfs-dumper-output.zip im Verzeichnis MIGRATION-BUCKET extrahiert.

Beim Extrahieren von Metadaten aus HDFS gibt es einige bekannte Einschränkungen:

• Einige Aufgaben in diesem Connector sind optional und können fehlschlagen. In der Ausgabe wird dann ein vollständiger Stacktrace protokolliert. Solange die erforderlichen Aufgaben erfolgreich abgeschlossen wurden und die hdfs-dumper-output.zip generiert wurde, können Sie mit der HDFS-Migration fortfahren.
• Der Extraktionsprozess kann fehlschlagen oder langsamer als erwartet ausgeführt werden, wenn die konfigurierte Threadpoolgröße zu groß ist. Wenn diese Probleme auftreten, empfehlen wir, die Threadpool-Größe mit dem Befehlszeilenargument --thread-pool-size zu verringern.

Apache Ranger

Führen Sie den folgenden Befehl aus, um Metadaten aus Apache Ranger mit dem Tool dwh-migration-dumper zu extrahieren.

dwh-migration-dumper \
  --connector ranger \
  --host RANGER-HOST \
  --port 6080 \
  --user RANGER-USER \
  --password RANGER-PASSWORD \
  --ranger-scheme RANGER-SCHEME \
  --output gs://MIGRATION-BUCKET/ranger-dumper-output.zip \
  --assessment \

Ersetzen Sie Folgendes:

• RANGER-HOST: der Hostname der Apache Ranger-Instanz
• RANGER-USER: Der Nutzername des Apache Ranger-Nutzers
• RANGER-PASSWORD: Das Passwort des Apache Ranger-Nutzers.
• RANGER-SCHEME: Gibt an, ob Apache Ranger http oder https verwendet. Der Standardwert ist http.
• MIGRATION-BUCKET: Der Cloud Storage-Bucket, den Sie zum Speichern der Migrationsdateien verwenden.

Sie können auch die folgenden optionalen Flags einfügen:

• --kerberos-auth-for-hadoop: Ersetzt --user und --password, wenn Apache Ranger durch Kerberos anstelle der einfachen Authentifizierung geschützt ist. Sie müssen den Befehl kinit vor dem Tool dwh-migration-dumper ausführen, um dieses Flag zu verwenden.
• --ranger-disable-tls-validation: Fügen Sie dieses Flag ein, wenn das von der API verwendete HTTPS-Zertifikat selbstsigniert ist. Zum Beispiel bei Verwendung von Cloudera.

Mit diesem Befehl werden Metadaten aus Apache Ranger in eine Datei mit dem Namen ranger-dumper-output.zip im Verzeichnis MIGRATION-BUCKET extrahiert.

Cloudera

Führen Sie den folgenden Befehl aus, um Metadaten aus Cloudera mit dem Tool dwh-migration-dumper zu extrahieren.

dwh-migration-dumper \
  --connector cloudera-manager \
  --url CLOUDERA-URL \
  --user CLOUDERA-USER \
  --password CLOUDERA-PASSWORD \
  --output gs://MIGRATION-BUCKET/cloudera-dumper-output.zip \
  --yarn-application-types APPLICATION-TYPES \
  --pagination-page-size PAGE-SIZE \
  --assessment \

Ersetzen Sie Folgendes:

• CLOUDERA-URL: die URL für Cloudera Manager
• CLOUDERA-USER: Der Nutzername des Cloudera-Nutzers.
• CLOUDERA-PASSWORD: Das Passwort des Cloudera-Nutzers
• MIGRATION-BUCKET: Der Cloud Storage-Bucket, den Sie zum Speichern der Migrationsdateien verwenden.
• APPLICATION-TYPES: (Optional) Liste aller vorhandenen Anwendungstypen aus Hadoop YARN. Beispiel: SPARK, MAPREDUCE.
• PAGE-SIZE: (Optional) Geben Sie an, wie viele Daten von Drittanbieterdiensten wie der Hadoop YARN API abgerufen werden. Der Standardwert ist 1000, was 1.000 Entitäten pro Anfrage entspricht.

Mit diesem Befehl werden Metadaten aus Cloudera in eine Datei mit dem Namen dwh-migration-cloudera.zip im Verzeichnis MIGRATION-BUCKET extrahiert.

Apache Hive-Abfragelogs

Führen Sie die Schritte im Abschnitt „Apache Hive“ unter Abfragelogs mit dem Logging-Hook hadoop-migration-assessment extrahieren aus, um Ihre Apache Hive-Abfragelogs zu extrahieren. Anschließend können Sie die Logs in den Cloud Storage-Bucket hochladen, der Ihre Migrationsdateien enthält.