VPC-Flusslogs

Mit VPC-Flusslogs werden Pakete in Ihrem VPC-Netzwerk (Virtual Private Cloud) erfasst, um Flusslogs zu generieren. Flussprotokolle werden nach IP-Verbindung (5-Tupel) zusammengefasst. Bei VPC-Flusslogs werden die folgenden Pakete erfasst:

• Pakete, die von VM-Instanzen gesendet und empfangen wurden, einschließlich Instanzen, die als Google Kubernetes Engine-Knoten verwendet werden
• Pakete, die über VLAN-Anhänge für Cloud Interconnect und Cloud VPN-Tunnel gesendet werden

Sie können sich die Flusslogs in Cloud Logging ansehen und in jedes Ziel exportieren, das vom Cloud Logging-Export unterstützt wird. Diese Logs können für Netzwerkmonitoring, Forensik, Sicherheitsanalysen und Kostenoptimierung verwendet werden.

Weitere Informationen finden Sie unter Unterstützte Konfigurationen.

Anwendungsfälle

Netzwerküberwachung

VPC-Flusslogs bieten Ihnen Informationen zum Netzwerkdurchsatz und zur Netzwerkleistung. Sie können:

• Überwachung des VPC-Netzwerks
• Durchführung von Netzwerkdiagnosen
• Flusslogs nach VMs, VLAN-Anhängen und Cloud VPN-Tunneln filtern, um Trafficänderungen zu verstehen
• Informationen zum Trafficwachstum für Kapazitätsprognosen

Netzwerknutzung verstehen und Kosten des Netzwerk-Traffics senken

Sie können die Netzwerknutzung mithilfe von VPC-Flusslogs analysieren, um die Kosten für den Netzwerkverkehr zu optimieren. Sie können die Netzwerkflüsse beispielsweise für Folgendes analysieren:

• Traffic zwischen Regionen und Zonen
• Traffic in bestimmte Länder im Internet
• Traffic an lokale und andere Cloud-Netzwerke
• Top-Sender im Netzwerk, einschließlich VMs, VLAN-Anhängen und Cloud VPN-Tunneln

Netzwerkforensik

Sie können VPC-Flusslogs für die Netzwerkforensik nutzen. Zum Beispiel haben Sie bei einem Vorfall die Möglichkeit, Folgendes zu überprüfen:

• Welche IPs haben mit wem und wann kommuniziert?
• Wurden IPs gefährdet (durch die Analyse aller eingehenden und ausgehenden Netzwerkflüsse)?

Unterstützte Konfigurationen

Sie können VPC-Flusslogs auf Organisations- und Projektebene aktivieren. Mit einer VPC-Flusslogkonfiguration auf Organisationsebene werden Flusslogs für alle Subnetze, VLAN-Anhänge und Cloud VPN-Tunnel in allen VPC-Netzwerken in der Organisation aktiviert.

Auf Projektebene können Sie VPC-Flusslogs für bestimmte VPC-Netzwerke, Subnetze, VLAN-Anhänge und Cloud VPN-Tunnel aktivieren.

Sie können diese Konfigurationsbereiche mithilfe von Filtern anpassen. Weitere Informationen finden Sie unter Stichprobenerhebung und Verarbeitung von Logs.

Logerfassung

Pakete werden innerhalb eines Aggregationsintervalls erfasst. Alle Pakete, die für eine bestimmte IP-Verbindung innerhalb des Aggregationszeitraums erfasst wurden, werden in einem einzigen Flusslogeintrag aggregiert. Diese Daten werden dann an Logging im Trusted Cloud -Projekt des VPC-Netzwerk gesendet, für das der Datenfluss erfasst wurde.

Logs werden standardmäßig 30 Tage lang in Logging gespeichert. Wenn Sie Logs länger aufbewahren möchten, können Sie entweder eine benutzerdefinierte Aufbewahrungsdauer festlegen oder sie in eine unterstützte Aufbewahrungsdauer exportieren.

Log-Sampling und -verarbeitung

Um Flusslogs zu generieren, werden mit VPC-Flusslogs Pakete erfasst, die eine VM verlassen oder betreten oder ein Gateway wie einen VLAN-Anhang oder Cloud VPN-Tunnel durchlaufen. Nachdem die Flusslogs erstellt wurden, werden sie von VPC-Flusslogs gemäß dem in diesem Abschnitt beschriebenen Verfahren verarbeitet.

Bei VPC-Flusslogs werden Pakete mit einer primären Stichprobenrate erfasst. Die primäre Stichprobenrate ist dynamisch und variiert je nach Auslastung des physischen Hosts, auf dem die VM oder das Gateway zum Zeitpunkt der Stichprobenerhebung ausgeführt wird. Die Wahrscheinlichkeit, dass eine einzelne IP-Verbindung ausgewählt wird, steigt mit dem Paketvolumen. Sie können den primären Samplingprozess für Flussprotokolle nicht steuern oder die primäre Samplingrate anpassen.

Nachdem die Flusslogs erstellt wurden, werden sie von VPC-Flusslogs gemäß dem folgenden Verfahren verarbeitet:

1. Filter: Sie können festlegen, dass nur Logs generiert werden, die bestimmten Kriterien entsprechen. Sie können beispielsweise so filtern, dass nur Logs für eine bestimmte VM oder nur Logs mit einem bestimmten Metadatenwert generiert werden und der Rest verworfen wird. Weitere Informationen finden Sie unter Logfilterung.
2. Aggregation: Die Informationen für die Stichprobenpakete werden über ein konfigurierbares Aggregationsintervall zusammengefasst. Daraus ergibt sich ein Flusslogeintrag.
3. Flusslog-Probenahme: Dies ist ein zweiter Probenahmeprozess. Von den Flusslogeinträgen werden weitere Stichproben gemäß einem konfigurierbaren Parameter für die sekundäre Abtastrate erstellt. Die sekundäre Stichprobenerhebung wird für die Flusslogs ausgeführt, die durch die primäre Stichprobenerhebung von Flusslogs generiert wurden. Wenn beispielsweise die sekundäre Stichprobenrate auf 100 % festgelegt ist, erfolgt die Stichprobenerhebung von „VPC-Flusslogs“ für 100 % der Flusslogs, die durch die primäre Stichprobenerhebung von Flusslogs generiert wurden.
4. Metadaten: Wenn diese Option deaktiviert ist, werden alle Metadatenannotationen verworfen. Wenn Sie Metadaten behalten möchten, können Sie angeben, dass alle Felder oder eine bestimmte Gruppe von Feldern beibehalten werden. Weitere Informationen finden Sie unter Metadatenannotationen.
5. In Logging schreiben: Die endgültigen Logeinträge werden in Cloud Logging geschrieben.

Da VPC-Flusslogs nicht jedes Paket erfassen, werden verpasste Pakete durch Interpolation aus den erfassten Paketen kompensiert. Dies geschieht bei Paketen, die aufgrund von anfänglichen und benutzerdefinierten Einstellungen für die Probenahme verpasst wurden.

Obwohl Trusted Cloud nicht jedes Paket erfasst, können die erfassten Logeinträge recht umfangreich sein. Sie können die Sichtbarkeit des Traffics und die Speicherkosten auf Ihre Bedürfnisse abstimmen, indem Sie die folgenden Aspekte der Logerfassung anpassen:

• Aggregationsintervall: Paketstichproben für ein Zeitintervall werden in einem einzigen Logeintrag zusammengefasst. Dieses Zeitintervall kann 5 Sekunden (Standardeinstellung), 30 Sekunden, 1 Minute, 5 Minuten, 10 Minuten oder 15 Minuten sein.
• Sekundäre Stichprobenrate:
  • Bei Konfigurationen, die mit der Compute Engine API erstellt wurden, werden standardmäßig 50% der Protokolleinträge aufbewahrt. Sie können einen Wert zwischen 1.0 (100 %, alle Logeinträge werden beibehalten) und 0.0 (0 %, keine Logeinträge werden beibehalten) festlegen.
  • Bei Konfigurationen, die mit der Network Management API erstellt wurden, werden standardmäßig 100% der Logeinträge aufbewahrt. Sie können diesen Parameter auf einen Wert zwischen 1.0 und über 0.0 festlegen.
• Metadatenannotationen: Standardmäßig werden Flusslogeinträge mit Metadaten versehen, beispielsweise mit den Namen der Quell- und Ziel-VMs oder der geografischen Region externer Quellen und Ziele. Trusted Cloud Metadatenannotationen können deaktiviert werden. Sie können auch nur bestimmte Annotationen angeben, um Speicherplatz zu sparen.
• Filter: Standardmäßig werden Logs für jeden gesendeten Datenstrom generiert. Sie können Filter so einrichten, dass nur Logs generiert werden, die bestimmten Kriterien entsprechen.

Spezifikationen

• VPC-Flusslogs weisen keine Verzögerung oder Leistungseinbußen auf, wenn sie aktiviert sind.
• VPC-Flusslogs funktionieren in Verbindung mit VPC-Netzwerken, nicht mit Legacy-Netzwerken.
• VPC-Flusslogs zeichnen Stichproben von TCP-, UDP-, ICMP-, ESP- und GRE-Flüssen auf. Sowohl ein- als auch ausgehende Datenströme werden erfasst. Diese Datenflüsse können innerhalb von Trusted Cloud oder zwischen Trusted Cloud und anderen Netzwerken erfolgen. Wenn ein Fluss durch Stichproben erfasst wird, erstellen VPC-Flusslogs ein Log für den Fluss. Jeder Flusseintrag enthält die im Abschnitt Eintragsformat beschriebenen Daten.
• VPC-Flusslogs interagieren so mit Firewallregeln:
  • Ausgehende Pakete werden vor ausgehenden Firewallregeln als Stichprobe erfasst. Selbst wenn eine Firewallregel für ausgehenden Traffic ausgehende Pakete ablehnt, können diese Pakete von VPC-Flusslogs als Stichprobe verwendet werden.
  • Eingehende Pakete werden nach eingehenden Firewallregeln als Stichprobe erfasst. Wenn eine eingehende Firewallregel eingehende Pakete ablehnt, werden diese Pakete nicht von VPC-Flusslogs als Stichprobe verwendet.
• Sie können Filter in VPC-Flusslogs verwenden, um nur bestimmte Logs zu generieren.
• VPC-Flusslogs unterstützen VMs mit mehreren Netzwerkschnittstellen. Sie müssen VPC-Flusslogs für jedes Subnetz in jeder VPC aktivieren, die eine Netzwerkschnittstelle enthält.
• Wenn Sie Datenflüsse zwischen Pods auf demselben GKE-Knoten (Google Kubernetes Engine) protokollieren möchten, müssen Sie für den Cluster die knoteninterne Sichtbarkeit aktivieren.
• VPC-Flusslogs werden nicht von Cloud Run-Ressourcen erfasst.

Nächste Schritte

• Weitere Informationen zum Eintragsformat von VPC-Flusslogs und zu den verfügbaren Metadaten-Anmerkungen finden Sie unter Informationen zu Einträgen von VPC-Flusslogs.
• Beispiele für VPC-Flusslogs, die für verschiedene Anwendungsfälle erfasst werden, finden Sie unter Traffic-Datenflüsse.
• Informationen zum Erstellen von Berichten zu Flussdaten für ein Subnetz finden Sie unter VPC-Flusslogs konfigurieren.