Plattformprotokolle zur Fehlerbehebung bei Importthemen verwenden

In diesem Leitfaden wird beschrieben, wie Sie mit Cloud de Confiance by S3NS -Plattformlogs Probleme beheben, die bei der Verwendung von Importthemen auftreten können, darunter: Cloud Storage-Importthemen, Azure Event Hubs-Importthemen, Amazon MSK-Importthemen und Confluent Cloud-Importthemen.

Plattform-Logs

Ein unterstützter Cloud de Confiance Dienst generiert eigene Plattformprotokolle, in denen Ereignisse und Aktivitäten erfasst werden, die für den Betrieb des Dienstes relevant sind. Diese Plattformlogs enthalten detaillierte Informationen zu den Vorgängen innerhalb eines Dienstes, einschließlich erfolgreicher Vorgänge, Fehler, Warnungen und anderer wichtiger Ereignisse.

Plattformlogs sind Teil von Cloud Logging und haben dieselben Funktionen. Hier ist eine Liste wichtiger Funktionen für Plattformlogs:

• Logs sind in der Regel als JSON-Objekte strukturiert, die weitere Abfragen und Filterungen ermöglichen.

• Sie können Plattformlogs über Logging in der Console aufrufen.

• Plattformlogs können auch in Cloud Monitoring und andere Monitoring-Tools eingebunden werden, um Dashboards, Benachrichtigungen und andere Monitoring-Mechanismen zu erstellen.

• Für die Logspeicherung fallen Kosten an, die auf dem aufgenommenen Volumen und der Aufbewahrungsdauer basieren.

Weitere Informationen zu Plattformlogs finden Sie unter Google Cloud-Plattformlogs.

Hinweis

Prüfen Sie, ob Sie die Voraussetzungen für das Erstellen des verwendeten Themas erfüllt haben:

• Cloud Storage-Importthema
• Azure Event Hubs-Importthema
• Amazon MSK-Importthema
• Confluent Cloud-Importthema

Erforderliche Rollen und Berechtigungen

Prüfen Sie zuerst, ob Sie Zugriff auf Logging haben. Sie benötigen die IAM-Rolle (Identity and Access Management) Loganzeige (roles/logging.viewer). Weitere Informationen zum Logging-Zugriff finden Sie unter Zugriffssteuerung mit IAM.

Im Folgenden wird beschrieben, wie Sie den IAM-Zugriff überprüfen und gewähren:

• Sehen Sie sich die aktuellen Zugriffsrechte an, um den Zugriff der einzelnen Hauptkonten zu prüfen.

• Weisen Sie den entsprechenden Hauptkonten in Ihrem Projekt eine Rolle zu.

Fehler bei der Aufnahme von Importthemen

Beim Importieren von Themen können Probleme auftreten, die verhindern, dass Daten erfolgreich aufgenommen werden.

Themen zum Cloud Storage-Import

Beim Importieren von Daten aus Cloud Storage können Probleme auftreten, die verhindern, dass Daten erfolgreich aufgenommen werden. Wenn Sie beispielsweise ein Cloud Storage-Importthema verwenden, können Probleme beim Aufnehmen eines Cloud Storage-Objekts oder eines Teils eines Objekts auftreten.

In der folgenden Liste werden die Gründe für Fehler bei der Aufnahme in Cloud Storage-Importthemen beschrieben, die Plattformlogs generieren:

• Nachrichtengröße

  • Einzelne Nachrichten dürfen nicht größer als 10 MB sein. Wenn das der Fall ist, wird die gesamte Nachricht übersprungen.

  • Wenn Sie das Avro- oder das Pub/Sub-Avro-Format verwenden, dürfen Avro-Blöcke nicht größer als 16 MB sein. Größere Avro-Blöcke werden übersprungen.

• Nachrichtenattribute

  • Nachrichten können maximal 100 Attribute haben. Alle zusätzlichen Attribute werden beim Aufnehmen der Nachricht verworfen.

  • Attributschlüssel dürfen nicht größer als 256 Byte und Werte nicht größer als 1.024 Byte sein. Wenn der Wert größer als die maximale Größe ist, wird das gesamte Schlüssel/Wert-Paar beim Erfassen aus der Nachricht entfernt.

    Weitere Informationen zu den Richtlinien für die Verwendung von Nachrichtenschlüsseln und Attributen finden Sie unter Attribute zum Veröffentlichen einer Nachricht verwenden.

• Avro-Formatierung

  • Achten Sie darauf, dass Ihre Avro-Objekte richtig formatiert sind. Eine falsche Formatierung verhindert, dass die Nachricht aufgenommen wird.

• Datenformat

  • Achten Sie darauf, dass Sie eine unterstützte Avro-Version verwenden. Nicht unterstützte Formate werden nicht verarbeitet.

Themen für den Import aus Azure Event Hubs, Amazon MSK und Confluent Cloud

Beim Import von Themen aus Azure Event Hubs, Amazon MSK und Confluent Cloud können Probleme auftreten, die verhindern, dass Daten erfolgreich aufgenommen werden.

In der folgenden Liste werden die Gründe für Fehler bei der Aufnahme in Importthemen beschrieben, die Plattformlogs generieren:

• Nachrichtengröße

  • Einzelne Nachrichten dürfen nicht größer als 10 MB sein. In diesem Fall wird die gesamte Nachricht übersprungen.

• Nachrichtenattribute

  • Nachrichten können maximal 100 Attribute haben. Alle zusätzlichen Attribute werden beim Aufnehmen der Nachricht verworfen.

  • Attributschlüssel dürfen nicht größer als 256 Byte und Werte nicht größer als 1.024 Byte sein. Wenn der Wert größer als die maximale Größe ist, wird das gesamte Schlüssel/Wert-Paar beim Erfassen aus der Nachricht entfernt.

    Weitere Informationen zu den Richtlinien für die Verwendung von Nachrichtenschlüsseln und Attributen finden Sie unter Attribute zum Veröffentlichen einer Nachricht verwenden.

Plattformlogs aktivieren

Plattformlogs sind für Importthemen standardmäßig deaktiviert. Sie können Plattformprotokolle aktivieren, wenn Sie ein Importthema erstellen oder aktualisieren. Wenn Sie Plattform-Logs deaktivieren möchten, aktualisieren Sie das Importthema.

Plattformlogs beim Erstellen eines Importthemas aktivieren

So aktivieren Sie Plattformlogs beim Erstellen eines Importthemas:

Plattformlogs beim Aktualisieren eines Importthemas aktivieren

So aktivieren Sie Plattformlogs beim Aktualisieren eines Importthemas:

Plattformlogs deaktivieren

So deaktivieren Sie Plattformlogs für das entsprechende Importthema, das Sie verwenden:

Plattformlogs ansehen

So rufen Sie Plattformlogs für das jeweilige Importthema auf, das Sie verwenden:

gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}

Plattform-Logformat ansehen und verstehen

Im folgenden Abschnitt finden Sie Beispiel-Plattformlogs und eine Beschreibung der Felder für Plattformlogs.

Alle plattformspezifischen Logfelder sind in einem jsonPayload-Objekt enthalten.

Cloud Storage

{
  "insertId": "1xnzx8md4768",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "objectGeneration": "1661148924738910",
      "bucket": "bucket_in_avro_format",
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "avroFailureReason": {}
    },
    "topic": "projects/my-project/topics/avro_bucket_topic",
    "errorMessage": "Unable to parse the header of the object. The object won't be ingested."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "project_id": "my-project",
      "topic_id": "avro_bucket_topic"
    }
  },
  "timestamp": "2024-10-07T18:55:45.650103193Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}

{
  "insertId": "1kc4puoag",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "bucket": "bucket_in_text_format",
      "apiViolationReason": {},
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "objectGeneration": "1727990048026758"
    },
    "topic": "projects/my-project/topics/large_text_bucket_topic",
    "errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "large_text_bucket_topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2024-10-09T14:09:07.760488386Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}

Amazon MSK

  {
  "insertId": "k3breb2q",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "awsMskFailure": {
      "apiViolationReason": {},
      "clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
      "kafkaTopic": "msk-topic",
      "partitionId": "1",
      "offset": "11"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/msk-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "msk-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}

Azure Event Hubs

{
  "insertId": "i1fbqnb12",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "azureEventHubsFailure": {
      "apiViolationReason": {},
      "namespace": "my-namespace",
      "eventHub": "my-event-hub",
      "partitionId": "1",
      "offset": "15"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/event-hubs-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "event-hubs-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}

Confluent Cloud

{
  "insertId": "i1fbqnb14",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "confluentCloudFailure": {
      "apiViolationReason": {},
      "clusterId": "lma-1x18ae",
      "kafkaTopic": "confluent-topic",
      "partitionId": "1",
      "offset": "19"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/confluent-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "confluent-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}