VPC-Flusslogs

Mit VPC-Flusslogs werden Stichproben von Paketen in Ihrem VPC-Netzwerk (Virtual Private Cloud) erfasst, um Flusslogs zu generieren. Flussprotokolle werden nach IP-Verbindung (5-Tupel) zusammengefasst. Bei VPC-Flusslogs werden die folgenden Pakete als Stichprobe verwendet:

• Pakete, die von VM-Instanzen gesendet und empfangen werden, einschließlich Instanzen, die als Google Kubernetes Engine-Knoten verwendet werden
• Pakete, die von Cloud Run- oder App Engine-Ressourcen gesendet und empfangen werden, die mit ausgehendem Direct VPC-Traffic konfiguriert sind
• Pakete, die über VLAN-Anhänge für Cloud Interconnect und Cloud VPN-Tunnel gesendet werden

Sie können sich die Flusslogs in Cloud Logging ansehen und in jedes Ziel exportieren, das vom Cloud Logging-Export unterstützt wird. Diese Logs können für Netzwerkmonitoring, Forensik, Sicherheitsanalysen und Kostenoptimierung verwendet werden. Weitere Informationen finden Sie unter Unterstützte Konfigurationen.

Anwendungsfälle

Im Folgenden finden Sie Anwendungsfälle für VPC-Flusslogs.

Netzwerküberwachung

VPC-Flusslogs bieten Ihnen Informationen zum Netzwerkdurchsatz und zur Netzwerkleistung. Sie können:

• Überwachung des VPC-Netzwerks
• Durchführung von Netzwerkdiagnosen
• Flusslogs nach VMs, serverlosen Endpunkten, VLAN-Anhängen und Cloud VPN-Tunneln filtern, um Trafficänderungen zu verstehen
• Informationen zum Trafficwachstum für Kapazitätsprognosen

Netzwerknutzung verstehen und Kosten des Netzwerk-Traffics senken

Sie können die Netzwerknutzung mithilfe von VPC-Flusslogs analysieren, um die Kosten für den Netzwerkverkehr zu optimieren. Sie können die Netzwerkflüsse beispielsweise für Folgendes analysieren:

• Traffic zwischen Regionen und Zonen
• Traffic in bestimmte Länder im Internet
• Traffic an lokale und andere Cloud-Netzwerke
• Top-Sender im Netzwerk, einschließlich VMs, serverloser Endpunkte, VLAN-Anhängen und Cloud VPN-Tunneln

Netzwerkforensik

Sie können VPC-Flusslogs für die Netzwerkforensik nutzen. Zum Beispiel haben Sie bei einem Vorfall die Möglichkeit, Folgendes zu überprüfen:

• Welche IP-Adressen haben wann miteinander kommuniziert?
• Welche IPs wurden gefährdet (durch die Analyse aller eingehenden und ausgehenden Netzwerkflüsse)?

Informationen dazu, wie Nutzer ihre Cyberabwehr mit VPC-Flusslogs stärken können Cloud de Confiance by S3NS

Unterstützte Konfigurationen

Sie können VPC-Flusslogs auf Organisations- und Projektebene aktivieren. Eine VPC-Flusslogkonfiguration auf Organisationsebene aktiviert Flusslogs für alle Subnetze, VLAN-Anhänge und Cloud VPN-Tunnel in allen VPC-Netzwerken der Organisation.

Auf Projektebene können Sie VPC-Flusslogs für bestimmte VPC-Netzwerke, Subnetze, VLAN-Anhänge und Cloud VPN-Tunnel aktivieren.

Sie können diese Konfigurationsbereiche mithilfe von Filtern anpassen. Weitere Informationen finden Sie unter Stichprobenerhebung und Verarbeitung von Logs.

Logerfassung

Pakete werden innerhalb eines Aggregationsintervalls erfasst. Alle Pakete, die für eine bestimmte IP-Verbindung innerhalb des Aggregationszeitraums erfasst wurden, werden in einem einzigen Flusslogeintrag aggregiert, wie unter Log-Sampling und ‑Verarbeitung beschrieben. Diese Daten werden dann an Logging im Cloud de Confiance -Projekt des VPC-Netzwerk gesendet, in dem der Fluss gemeldet wurde.

Logs werden standardmäßig 30 Tage lang in Logging gespeichert. Wenn Sie Logs länger aufbewahren möchten, können Sie entweder eine benutzerdefinierte Aufbewahrungsdauer festlegen oder sie in eine unterstützte Aufbewahrungsdauer exportieren.

Optional können Sie auch die TCP-Verbindungsprotokollierung aktivieren, um ausgehende TCP-Verbindungsversuche und bestätigte eingehende TCP-Verbindungen für VM-Instanzen und serverlose Endpunkte zu erfassen. VPC-Flusslogs generieren auch Logeinträge für verworfenen Traffic.

Log-Sampling und -verarbeitung

Um Flusslogs zu generieren, werden mit VPC-Flusslogs Pakete in Ihrem VPC-Netzwerk erfasst, darunter Pakete, die von VMs und serverlosen Endpunkten gesendet und empfangen werden, sowie Pakete, die Gateways wie VLAN-Anhänge oder Cloud VPN-Tunnel durchlaufen.

Bei VPC-Flusslogs werden Pakete mit einer primären Stichprobenrate erfasst. Die primäre Stichprobenrate ist dynamisch und variiert je nach Auslastung des physischen Hosts, auf dem die Berichtsressource zum Zeitpunkt der Stichprobenerhebung ausgeführt wird. Die Wahrscheinlichkeit, dass eine einzelne IP-Verbindung ausgewählt wird, steigt mit dem Paketvolumen. Sie können den primären Samplingprozess für Flussprotokolle nicht steuern oder die primäre Samplingrate anpassen.

Nachdem die Flusslogs erstellt wurden, werden sie von VPC-Flusslogs gemäß dem folgenden Verfahren verarbeitet:

1. Filterung Sie können festlegen, dass nur Logs generiert werden, die bestimmten Kriterien entsprechen. Sie können beispielsweise so filtern, dass nur Logs für eine bestimmte VM oder nur Logs mit einem bestimmten Metadatenwert generiert werden und der Rest verworfen wird. Weitere Informationen finden Sie unter Logfilterung.
2. Aggregation, Die Informationen für die Stichprobenpakete werden über ein konfigurierbares Aggregationsintervall zusammengefasst. Daraus ergibt sich ein Flusslogeintrag.
3. Sekundäre Flusslog-Probenahme. Dies ist ein zweiter Probenahmeprozess. Von den Flusslogeinträgen werden weitere Stichproben gemäß einem konfigurierbaren Parameter für die sekundäre Abtastrate erstellt. Die sekundäre Stichprobenerhebung wird für die Flusslogs ausgeführt, die durch die primäre Stichprobenerhebung von Flusslogs generiert wurden. Wenn beispielsweise die sekundäre Stichprobenrate auf 100 % festgelegt ist, erfolgt die Stichprobenerhebung von „VPC-Flusslogs“ für 100 % der Flusslogs, die durch die primäre Stichprobenerhebung von Flusslogs generiert wurden.
4. Metadaten: Wenn diese Option deaktiviert ist, werden alle Metadatenannotationen verworfen. Wenn Sie Metadaten behalten möchten, können Sie angeben, dass alle Felder oder eine bestimmte Gruppe von Feldern beibehalten werden. Weitere Informationen finden Sie unter Metadatenannotationen.
5. In Logging schreiben Die endgültigen Logeinträge werden in Cloud Logging geschrieben.

VPC-Flusslogs erfassen nicht jedes Paket. Stattdessen wird der Gesamttraffic auf Grundlage der Stichprobenpakete geschätzt, wobei fehlende Pakete berücksichtigt werden. Weitere Informationen finden Sie unter VPC-Flusslogs: Byte- und Paketanzahl.

Obwohl Cloud de Confiance nicht jedes Paket erfasst, können die erfassten Logeinträge recht umfangreich sein. Sie können die Sichtbarkeit des Traffics und die Speicherkosten auf Ihre Bedürfnisse abstimmen, indem Sie die folgenden Aspekte der Logerfassung anpassen:

• Aggregationsintervall. Paketstichproben für ein Zeitintervall werden in einem einzigen Logeintrag zusammengefasst. Dieses Zeitintervall kann 5 Sekunden (Standardeinstellung), 30 Sekunden, 1 Minute, 5 Minuten, 10 Minuten oder 15 Minuten sein.
• Sekundäre Stichprobenrate.
  • Bei Konfigurationen, die mit der Compute Engine API erstellt wurden, werden standardmäßig 50% der Logeinträge beibehalten. Sie können einen Wert zwischen 1.0 (100%, alle Logeinträge werden beibehalten) und 0.0 (0%, keine Logeinträge werden beibehalten) festlegen.
  • Bei Konfigurationen, die mit der Network Management API erstellt wurden, werden standardmäßig 100% der Logeinträge aufbewahrt. Sie können diesen Parameter auf einen Wert zwischen 1.0 und über 0.0 festlegen.
• Metadatenanmerkungen Standardmäßig werden Flusslogeinträge mit Metadaten versehen, beispielsweise mit den Namen der Quell- und Ziel-VMs Cloud de Confiance oder der geografischen Region externer Quellen und Ziele. Metadatenannotationen können deaktiviert werden. Sie können auch nur bestimmte Annotationen angeben, um Speicherplatz zu sparen.
• Filterung Standardmäßig werden Logs für jeden gesendeten Datenstrom generiert. Sie können Filter festlegen, um Logs zu generieren, die nur bestimmten Kriterien entsprechen.

TCP-Verbindungs-Logging

Da bei der primären Paketstichprobenerhebung kurzlebige oder TCP-Verbindungen mit geringem Volumen möglicherweise nicht erfasst werden, können Sie optional die TCP-Verbindungsprotokollierung für VM-Instanzen und serverlose Endpunkte aktivieren. Sie können die Protokollierung von TCP-Verbindungen in einer VPC-Flusslogkonfiguration für ein Subnetz (über die Network Management API), ein VPC-Netzwerk oder eine Organisation konfigurieren.

Beim Logging von TCP-Verbindungen werden alle ausgehenden TCP-Verbindungsversuche und alle bestätigten eingehenden TCP-Verbindungen erfasst:

• Bei ausgehenden Verbindungen werden im VPC-Flusslog das erste SYN-Paket erfasst. Der Melder ist SRC und die Richtung ist EGRESS.
• Bei eingehenden Verbindungen werden mit VPC-Flusslogs die SYN-ACK-Pakete erfasst, die als Reaktion auf empfangene SYN-Pakete gesendet werden. Der Reporter ist DEST und die Richtung ist INGRESS.

Es werden bis zu 100 Verbindungen pro vCPU und Sekunde protokolliert (maximal 800 Verbindungen pro Sekunde und VM). Verbindungen, die diese Limits überschreiten, werden möglicherweise nicht protokolliert.

Die Protokollierung von TCP-Verbindungen wird so in die Aggregation von VPC-Flusslogs eingebunden:

• Wenn ein Verbindungsereignis eintritt und nachfolgende Datenpakete für dasselbe 5‑Tupel innerhalb desselben Aggregationsintervalls durch die primäre Paketstichprobenerhebung erfasst werden, werden sie in VPC-Flusslogs in einem einzigen Logeintrag zusammengeführt.
• Wenn ein Verbindungsereignis eintritt, aber während dieses Aggregationsintervalls keine nachfolgenden Datenpakete erfasst werden, wird in VPC-Flusslogs ein separater Logeintrag für das Verbindungsereignis generiert.
• Die Einstellung für die sekundäre Stichprobenerhebung von Flusslogs gilt für Logeinträge für Verbindungsereignisse.

Verbindungsereignisse lassen sich anhand des Felds connection_direction identifizieren. Weitere Informationen finden Sie unter Informationen zu Einträgen von VPC-Flusslogs.

Unterbrochener Traffic

Mit VPC-Flusslogs werden Logeinträge für verworfenen Traffic generiert. Logdatensätze für verworfenen Traffic werden separat von Standard-Flusslogdatensätzen und Datensätzen generiert, die durch das Logging von TCP-Verbindungen generiert werden.

Weitere Informationen finden Sie unter Einträge für verworfenen Traffic.

Spezifikationen

• VPC-Flusslogs weisen keine Verzögerung oder Leistungseinbußen auf, wenn sie aktiviert sind.
• VPC-Flusslogs funktionieren in Verbindung mit VPC-Netzwerken, nicht mit Legacy-Netzwerken.
• VPC-Flusslogs zeichnen Stichproben von TCP-, UDP-, ICMP-, ESP-, GRE- und RDMA-Flüssen auf:
  • Sowohl ein- als auch ausgehende Datenströme werden erfasst. Bei RDMA over Converged Ethernet (RoCE) werden nur ausgehende Datenflüsse erfasst.
  • Datenflüsse können innerhalb von Cloud de Confiance oder zwischen Cloud de Confiance und anderen Netzwerken erfolgen.
  • Wenn ein Fluss durch Stichproben erfasst wird, erstellen VPC-Flusslogs ein Log für den Fluss. Jeder Flusseintrag enthält die im Abschnitt Eintragsformat beschriebenen Daten.

• Mit Ausnahme von Flow-Logeinträgen, die TCP-Verbindungsereignisse enthalten, geben Flow-Logeinträge die Paketrichtung an, aber nicht, ob der Reporter der Initiator der Verbindung ist.

  Wenn TCP-Verbindungsprotokollierung aktiviert ist, geben Flow-Logeinträge, die Verbindungsereignisse enthalten, sowohl die Paketrichtung als auch an, ob der Reporter eine Verbindung durch Senden eines SYN-Pakets initiiert oder eine eingehende Verbindung durch Senden eines SYN-ACK-Pakets bestätigt hat (angegeben durch das Feld connection_direction).

• VPC-Flusslogs interagieren so mit Firewallregeln:

  • Ausgehende Pakete werden vor ausgehenden Firewallregeln als Stichprobe erfasst. Selbst wenn eine Firewallregel für ausgehenden Traffic ausgehende Pakete ablehnt, können diese Pakete von VPC-Flusslogs als Stichprobe verwendet werden.
  • Eingehende Pakete werden nach eingehenden Firewallregeln als Stichprobe erfasst. Wenn eine eingehende Firewallregel eingehende Pakete ablehnt, werden diese Pakete nicht von VPC-Flusslogs als Stichprobe verwendet.

• Sie können Filter in VPC-Flusslogs verwenden, um nur bestimmte Logs zu generieren.

• VPC-Flusslogs unterstützen VMs mit mehreren Netzwerkschnittstellen. In jeder VPC müssen Sie VPC-Flusslogs für jedes Subnetz aktivieren, das eine Netzwerkschnittstelle enthält.

• Wenn Sie Datenflüsse zwischen Pods auf demselben GKE-Knoten (Google Kubernetes Engine) protokollieren möchten, müssen Sie für den Cluster die knoteninterne Sichtbarkeit aktivieren.

• VPC-Flusslogs werden für Subnetze mit dem Zweck INTERNAL_HTTPS_LOAD_BALANCER nicht unterstützt, da diese Subnetze als Nur-Proxy-Subnetze verwendet werden und keine VM-Instanzen oder serverlosen Endpunkte haben.

• VPC-Flusslogs schreiben Logs in das Projekt des meldenden VPC-Netzwerk. Für Ressourcen in freigegebene VPC-Netzwerken werden Logs im Hostprojekt gemeldet.

Nächste Schritte

• Weitere Informationen zum Eintragsformat von VPC-Flusslogs und zu den verfügbaren Metadaten-Anmerkungen finden Sie unter Informationen zu Einträgen von VPC-Flusslogs.
• Beispiele für VPC-Flusslogs, die für verschiedene Anwendungsfälle erfasst werden, finden Sie unter Traffic-Datenflüsse.
• Informationen zum Erstellen von Berichten zu Flussdaten für ein Subnetz finden Sie unter VPC-Flusslogs konfigurieren.