Jobausgabe und ‑logs

Wenn Sie einen Managed Service for Apache Spark-Job einreichen, erfasst Managed Service for Apache Spark automatisch die Jobausgabe und stellt sie Ihnen zur Verfügung. So können Sie die Jobausgabe schnell prüfen, ohne eine Verbindung zum Cluster aufrechterhalten zu müssen, während Ihre Jobs ausgeführt werden, oder komplizierte Logdateien durchsuchen zu müssen.

Spark-Logs

Es gibt zwei Arten von Spark-Logs: Spark-Treiberlogs und Spark-Executor-Logs. Spark-Treiberlogs enthalten die Jobausgabe. Spark-Executor-Logs enthalten die Ausgabe der ausführbaren Jobdatei oder des Launchers, z. B. die Meldung spark-submit „Submitted application ...“, und können bei der Fehlerbehebung von Jobfehlern hilfreich sein.

Der Jobtreiber von Managed Service for Apache Spark, der sich vom Spark-Treiber unterscheidet, ist ein Launcher für viele Jobtypen. Beim Starten von Spark-Jobs wird es als Wrapper für die zugrunde liegende ausführbare spark-submit-Datei ausgeführt, die den Spark-Treiber startet. Der Spark-Treiber führt den Job im Managed Service for Apache Spark-Cluster im Spark-Modus client oder cluster aus:

  • client-Modus: Der Spark-Treiber führt den Job im spark-submit-Prozess aus und Spark-Logs werden an den Jobtreiber von Managed Service for Apache Spark gesendet.

  • cluster-Modus: Der Spark-Treiber führt den Job in einem YARN-Container aus. Spark-Treiberlogs sind für den Jobtreiber von Managed Service for Apache Spark nicht verfügbar.

Übersicht über Managed Service for Apache Spark und Spark-Jobattribute

Attribut Wert Default Beschreibung
dataproc:dataproc.logging.stackdriver.job.driver.enable "true" oder "false" falsch Muss beim Erstellen des Clusters festgelegt werden. Wenn true, befindet sich die Jobtreiberausgabe in Logging und ist mit der Jobressource verknüpft. Wenn false, befindet sich die Jobtreiberausgabe nicht in Logging.
Hinweis: Die folgenden Clusterattributeinstellungen sind ebenfalls erforderlich, um Jobtreiberlogs in Logging zu aktivieren. Sie werden standardmäßig festgelegt, wenn ein Cluster erstellt wird: dataproc:dataproc.logging.stackdriver.enable=true und dataproc:jobs.file-backed-output.enable=true.
dataproc:dataproc.logging.stackdriver.job.yarn.container.enable "true" oder "false" falsch Muss beim Erstellen des Clusters festgelegt werden. Wenn true, werden die YARN-Containerlogs des Jobs mit der Jobressource verknüpft. Wenn false, werden die YARN-Containerlogs des Jobs mit der Clusterressource verknüpft.
spark:spark.submit.deployMode Client oder Cluster Client Steuert den Spark-Modus client oder cluster.

Spark-Jobs, die über die Managed Service for Apache Spark jobs API gesendet wurden

In den Tabellen in diesem Abschnitt wird die Auswirkung verschiedener Attributeinstellungen auf das Ziel der Managed Service for Apache Spark-Jobtreiberausgabe aufgeführt, wenn Jobs über die Managed Service for Apache Spark jobs API gesendet werden. Dazu gehört auch das Senden von Jobs über dieCloud de Confiance Console, die gcloud CLI und die Cloud-Clientbibliotheken.

Die aufgeführten Managed Service for Apache Spark- und Spark-Attribute können beim Erstellen eines Clusters mit dem Flag --properties festgelegt werden und gelten für alle Spark-Jobs, die auf dem Cluster ausgeführt werden. Spark-Attribute können auch mit dem Flag --properties (ohne das Präfix „spark:“) festgelegt werden, wenn ein Job an die Managed Service for Apache Spark-jobs-API gesendet wird, und gelten nur für den Job.

Ausgabe des Managed Service for Apache Spark-Jobtreibers

In den folgenden Tabellen sind die Auswirkungen verschiedener Attributeinstellungen auf das Ziel der Ausgabe des Managed Service for Apache Spark-Jobtreibers aufgeführt.

dataproc:
dataproc.logging.stackdriver.job.driver.enable
Ausgabe
false (Standardeinstellung)
  • An Client gestreamt
  • In Cloud Storage unter dem von Managed Service for Apache Spark generierten driverOutputResourceUri
  • Nicht in Logging
wahr
  • An Client gestreamt
  • In Cloud Storage unter dem von Managed Service for Apache Spark generierten driverOutputResourceUri
  • In Logging: dataproc.job.driver unter der Jobressource.

Spark-Treiberlogs

In den folgenden Tabellen sind die Auswirkungen verschiedener Attributeinstellungen auf das Ziel von Spark-Treiberlogs aufgeführt.

spark:
spark.submit.deployMode
dataproc:
dataproc.logging.stackdriver.job.driver.enable
dataproc:
dataproc.logging.stackdriver.job.yarn.container.enable
Treiber-Ausgabe
Client false (Standardeinstellung) "true" oder "false"
  • An Client gestreamt
  • In Cloud Storage unter dem von Managed Service for Apache Spark generierten driverOutputResourceUri
  • Nicht in Logging
Client wahr "true" oder "false"
  • An Client gestreamt
  • In Cloud Storage unter dem von Managed Service for Apache Spark generierten driverOutputResourceUri
  • In Logging: dataproc.job.driver unter der Jobressource
Cluster false (Standardeinstellung) falsch
  • Nicht an den Client gestreamt
  • Nicht in Cloud Storage
  • In Logging yarn-userlogs unter der Clusterressource
Cluster wahr wahr
  • Nicht an den Client gestreamt
  • Nicht in Cloud Storage
  • In Logging: dataproc.job.yarn.container unter der Jobressource

Spark-Executor-Logs

In den folgenden Tabellen sind die Auswirkungen verschiedener Attributeinstellungen auf das Ziel von Spark-Executor-Logs aufgeführt.

dataproc:
dataproc.logging.stackdriver.job.yarn.container.enable
Executor-Log
false (Standardeinstellung) In Logging: yarn-userlogs unter der Clusterressource
wahr In Logging dataproc.job.yarn.container unter der Jobressource

Spark-Jobs, die ohne die Managed Service for Apache Spark jobs API gesendet wurden

In diesem Abschnitt werden die Auswirkungen verschiedener Attributeinstellungen auf das Ziel von Spark-Joblogs aufgeführt, wenn Jobs ohne die Managed Service for Apache Spark jobs API gesendet werden, z. B. wenn ein Job direkt auf einem Clusterknoten mit spark-submit oder mit einem Jupyter- oder Zeppelin-Notebook gesendet wird. Diese Jobs haben keine Managed Service for Apache Spark-Job-IDs oder ‑Treiber.

Spark-Treiberlogs

In den folgenden Tabellen wird die Auswirkung verschiedener Attributeinstellungen auf das Ziel von Spark-Treiberlogs für Jobs aufgeführt, die nicht über die Managed Service for Apache Spark jobs API gesendet wurden.

spark:
spark.submit.deployMode
Treiber-Ausgabe
Client
  • An Client gestreamt
  • Nicht in Cloud Storage
  • Nicht in Logging
Cluster
  • Nicht an den Client gestreamt
  • Nicht in Cloud Storage
  • In Logging yarn-userlogs unter der Clusterressource

Spark-Executor-Logs

Wenn Spark-Jobs nicht über die Managed Service for Apache Spark jobs API gesendet werden, befinden sich die Executor-Logs in Logging yarn-userlogs unter der Clusterressource.

Jobausgabe ansehen

Sie können auf die Ausgabe von Managed Service for Apache Spark-Jobs in der Cloud de Confiance Console, der gcloud CLI, Cloud Storage oder Logging zugreifen.

Console

Wenn Sie die Jobausgabe aufrufen möchten, rufen Sie in Ihrem Projekt den Bereich Jobs von Managed Service for Apache Spark auf und klicken Sie dann auf die Job-ID.

Wenn der Job ausgeführt wird, wird die Jobausgabe regelmäßig mit neuen Inhalten aktualisiert.

gcloud-Befehl

Wenn Sie einen Job mit dem Befehl gcloud dataproc jobs submit senden, wird die Jobausgabe in der Console angezeigt. Sie können die Ausgabe zu einem späteren Zeitpunkt, auf einem anderen Computer oder in einem neuen Fenster wieder aufrufen, indem Sie die Job-ID an den Befehl gcloud dataproc jobs wait übergeben. Die Job-ID ist eine GUID wie z. B. 5c1754a5-34f7-4553-b667-8a1199cb9cab . Hier ein Beispiel:

gcloud dataproc jobs wait 5c1754a5-34f7-4553-b667-8a1199cb9cab \
    --project my-project-id --region my-cluster-region
Waiting for job output...
... INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.4.2-hadoop2
... 16:47:45 INFO client.RMProxy: Connecting to ResourceManager at my-test-cluster-m/
...

Cloud Storage

Die Jobausgabe wird in Cloud Storage entweder im Staging-Bucket oder im Bucket gespeichert, den Sie beim Erstellen des Clusters angegeben haben. Ein Link zur Jobausgabe in Cloud Storage wird im Feld Job.driverOutputResourceUri bereitgestellt, das von folgenden Elementen zurückgegeben wird:

  • Eine API-Anfrage des Typs jobs.get
  • den Befehl gcloud dataproc jobs describe job-id.
    $ gcloud dataproc jobs describe spark-pi
    ...
    driverOutputResourceUri: gs://dataproc-nnn/jobs/spark-pi/driveroutput
    ...
    

Logging

Informationen zum Aufrufen der Jobausgabe von Managed Service for Apache Spark in Logging finden Sie unter Managed Service for Apache Spark-Logs.