Logging e monitoraggio del bilanciatore del carico di rete passthrough esterno globale

Questo documento mostra come configurare e utilizzare Cloud Logging e Cloud Monitoring per i bilanciatori del carico di rete pass-through esterni globali.

Logging

I log forniscono informazioni utili per la risoluzione dei problemi e il monitoraggio del bilanciatore del carico di rete passthrough esterno globale. I log vengono aggregati per connessione ed esportati quasi in tempo reale. I log vengono generati per ogni flusso TCP, UDP, ESP, GRE, ICMP e ICMPv6 di ogni istanza con bilanciamento del carico per il traffico in entrata e in uscita. Per saperne di più sui campi forniti nella voce di log, consulta Campi di log.

Non vengono addebitati costi aggiuntivi per l'utilizzo dei log. A seconda di come importi i log, si applicano prezzi standard per Cloud Logging, BigQuery o Pub/Sub. L'attivazione dei log non influisce sulle prestazioni del bilanciatore del carico.

La registrazione offre i seguenti vantaggi:

• Monitoraggio del traffico del bilanciatore del carico di rete passthrough esterno globale. Il logging per connessione ti consente di capire come viene instradata ogni connessione ai backend di gestione.

• Risoluzione dei problemi di rete. Puoi utilizzare i log del bilanciatore del carico di rete passthrough esterno globale per la risoluzione dei problemi.

Formato del log di esempio per i flussi da un client esterno a una VM

I log del bilanciatore del carico di rete passthrough esterno globale per le connessioni dal client all'istanza di backend sono formattati nel seguente modo:

• connection.clientIp: 203.0.113.7
• connection.serverIp: 136.124.69.214 (AG0) o 136.124.83.205 (AG1)
• bytesSent: 1256
• bytesReceived: 4521

Campionamento e raccolta dei log

Cloud de Confiance campiona i pacchetti che escono ed entrano nelle VM di backend del bilanciatore del carico. I pacchetti campionati vengono elaborati per generare i log.

Non tutti i pacchetti vengono campionati. Cloud de Confiance Campiona un sottoinsieme variabile di pacchetti a seconda della quantità di traffico sull'host fisico. La frequenza di campionamento più bassa possibile è un pacchetto su 1024. La frequenza di campionamento è controllata dinamicamente da Cloud de Confiance. Non puoi regolare la frequenza di campionamento.

Il campionamento dei pacchetti interagisce con le regole firewall nei seguenti modi:

• I pacchetti vengono campionati prima dell'applicazione delle regole firewall in uscita.
• I pacchetti vengono campionati dopo l'applicazione delle regole firewall in entrata.

Dopo il campionamento dei pacchetti, Cloud de Confiance elabora i pacchetti campionati secondo la seguente procedura:

1. Aggregazione:i pacchetti campionati vengono aggregati in un intervallo di cinque secondi per produrre una singola voce di flusso.

2. Campionamento (secondario) dei log configurabile:si tratta di un secondo processo di campionamento, che campiona i flussi. Puoi controllare la frazione delle voci di flusso emesse come voci di log in base al parametro logConfig.sampleRate. Quando logConfig.sampleRate è 1.0 (100%), significa che tutti i pacchetti campionati vengono elaborati.

3. Scrivi in Logging:le voci di log vengono scritte in Cloud Logging.

Campi facoltativi

I record di log contengono campi obbligatori e facoltativi. La sezione Campi log elenca i campi facoltativi e quelli obbligatori. Tutti i campi obbligatori sono sempre inclusi. Puoi personalizzare i campi facoltativi che decidi di mantenere.

• Se selezioni Includi tutti i campi facoltativi, tutti i campi facoltativi nel formato del record di log vengono inclusi nei log di flusso. Quando vengono aggiunti nuovi campi facoltativi al formato del record, i log di flusso includono automaticamente i nuovi campi.

• Se selezioni Escludi tutti i campi facoltativi, tutti i campi facoltativi vengono omessi.

• Se selezioni Personalizzato, puoi specificare i campi facoltativi da includere in base al campo principale, ad esempio serverInstance, o in base al nome completo, ad esempio serverInstance.vm.

Quando vengono aggiunti nuovi campi facoltativi al formato del record, i log non includono questi campi, a meno che non si tratti di un nuovo campo all'interno di un campo principale che hai specificato da includere.

Se specifichi un campo facoltativo personalizzato utilizzando i campi principali, quando vengono aggiunti nuovi campi facoltativi al formato del record all'interno di quel campo principale, i log includeranno automaticamente i nuovi campi. Ad esempio, se scegli di includere optionalFieldA, un nuovo campo aggiunto ai log con il nome optionalFieldA.subField1 verrà incluso automaticamente.

Per istruzioni sulla personalizzazione dei campi facoltativi, consulta Abilitazione del logging su un nuovo servizio di backend.

Requisiti per l'indirizzo IP di origine del pacchetto di risposta

La registrazione campiona i pacchetti di risposta dalle VM di backend solo se l'indirizzo IP di origine di questi pacchetti corrisponde all'indirizzo IP della regola di forwarding del bilanciatore del carico. Per le connessioni TCP, i pacchetti di risposta devono sempre avere origini che corrispondono alla destinazione del pacchetto di richiesta. Tuttavia, per altri protocolli, è possibile che i pacchetti di risposta utilizzino un indirizzo IP di origine diverso. Per saperne di più, consulta la sezione Indirizzi IP per pacchetti di richiesta e restituzione.

Il processo di campionamento dei pacchetti utilizzato dalla registrazione del bilanciatore del carico di rete passthrough esterno globale omette tutti i pacchetti di risposta dalle VM di backend se le origini di questi pacchetti di risposta non corrispondono a un indirizzo IP di una regola di forwarding per un bilanciatore del carico di rete passthrough esterno globale.

Abilitare il logging su un nuovo servizio di backend

    gcloud compute backend-services create BACKEND_SERVICE \
        --global \
        --load-balancing-scheme=EXTERNAL_PASSTHROUGH \
        --enable-logging \
        --logging-sample-rate=SAMPLE_RATE \
        --logging-optional=LOGGING_OPTIONAL \
        --logging-optional-fields=OPTIONAL_FIELDS
    

    POST https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Abilita il logging su un servizio di backend esistente

    gcloud compute backend-services update BACKEND_SERVICE \
        --global \
        --enable-logging \
        --logging-sample-rate=SAMPLE_RATE \
        --logging-optional=LOGGING_OPTIONAL \
        --logging-optional-fields=OPTIONAL_FIELDS
    

      PATCH https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices/`BACKEND_SERVICE`
     

     "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "EXCLUDE_ALL_OPTIONAL"
      }
     

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Disabilitare il logging su un servizio di backend esistente

    gcloud compute backend-services update BACKEND_SERVICE \
        --global \
        --no-enable-logging

    PATCH https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices/`BACKEND_SERVICE`

    {
    "logConfig": {
      "enable": false
     }
    }

Visualizza i log

Quando i log vengono importati in Cloud Logging e non esclusi tramite un sink del router di log, puoi leggerli utilizzando l'API Cloud Logging e Google Cloud CLI.

Per visualizzare tutti i log del bilanciatore del carico di rete passthrough esterno globale:

Visualizzare i log di un servizio di backend specifico

Per visualizzare i log del bilanciatore del carico di rete passthrough esterno globale per un servizio di backend specifico:

Visualizza i log per un gruppo di istanza di backend

Per visualizzare i log del bilanciatore del carico di rete passthrough esterno globale per un gruppo di istanza di backend specifico:

Campi log

I record di log contengono campi obbligatori, che sono i campi predefiniti di ogni record di log, e campi facoltativi che aggiungono ulteriori informazioni. Possono essere omessi per risparmiare sui costi di archiviazione.

Alcuni campi di log sono in formato multi-campo, con più di un dato in un determinato campo. Ad esempio, il campo connection è in formato IpConnection, che contiene l'indirizzo IP e la porta di origine e di destinazione, oltre al protocollo, in un unico campo. Questi campi multi-campo sono descritti nella seguente tabella dei formati del record.

La risorsa monitorata è loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule.

Formato del campo IpConnection

Formato del campo InstanceDetails

Formato del campo GeographicDetails

Formato del campo GkeDetails

Formato del campo ClusterDetails

Formato del campo PodDetails

Formato del campo ServiceDetails

Formato del campo NetworkTierDetails

Monitoraggio

I bilanciatori del carico di rete passthrough esterni globali esportano le metriche chiave in Cloud Monitoring.

Le metriche di monitoraggio possono essere utilizzate per i seguenti scopi:

• Valutare la configurazione, l'utilizzo e le prestazioni di un bilanciatore del carico
• Risolvere i problemi
• Migliorare l'utilizzo delle risorse e l'esperienza utente

Oltre alle dashboard predefinite in Monitoring, puoi creare dashboard personalizzate, configurare avvisi ed eseguire query sulle metriche tramite l'API Monitoring.

Visualizzare le dashboard di Monitoring

Definisci dashboard personalizzate di Monitoring

Puoi creare dashboard di Monitoring personalizzate per le metriche del bilanciatore del carico di rete passthrough esterno globale.

Consulta Metriche e tipi di risorse per un elenco delle metriche raccolte. Consulta la sezione Filtri per visualizzare gli elenchi degli attributi che puoi utilizzare per filtrare i risultati.

Definisci gli avvisi di monitoraggio

Puoi definire avvisi di monitoraggio su varie metriche del bilanciatore del carico di rete passthrough esterno globale:

Frequenza e conservazione dei report sulle metriche

Le metriche per i bilanciatori del carico di rete passthrough esterni globali vengono esportate in Monitoring in batch con granularità di un minuto. I dati di Monitoring vengono conservati per sei settimane. Le metriche si basano sul traffico campionato (la frequenza di campionamento è dinamica e non può essere modificata). La dashboard fornisce l'analisi dei dati in intervalli predefiniti di un'ora (1 h), sei ore (6 h), un giorno (1 g), una settimana (1 sett) e sei settimane (6 sett). Puoi richiedere manualmente l'analisi in qualsiasi intervallo compreso tra sei settimane e sessanta secondi.

Metriche e tipi di risorse

Questa sezione descrive le metriche e i tipi di risorse per i bilanciatori del carico di rete passthrough esterni globali.

Metriche

Le seguenti metriche per i bilanciatori del carico di rete passthrough esterni globali sono riportate in Monitoring. Puoi utilizzare questi nomi delle metriche quando effettui richieste API.

Tipi di risorse

I bilanciatori del carico di rete passthrough esterni globali utilizzano i seguenti tipi di risorse:

• tcp_lb_rule
• udp_lb_rule
• loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Un bilanciatore del carico di rete passthrough esterno globale può supportare il traffico TCP, UDP, ESP, GRE, ICMP e ICMPv6.

Puoi specificare il tipo di risorsa come tcp_lb_rule o udp_lb_rule per limitare i dati monitorati ai protocolli TCP o UDP. Puoi specificare il tipo di risorsa come loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule per monitorare tutti i protocolli supportati, inclusi TCP, UDP, ESP, GRE, ICMP e ICMPv6.

Filtri

Le metriche vengono aggregate per ogni bilanciatore del carico di rete passthrough esterno globale. Puoi filtrare le metriche aggregate in base alle seguenti dimensioni.

Etichette risorse per tcp_lb_rule o udp_lb_rule

Puoi limitare la query in base alla risorsa. Puoi anche raggruppare i risultati in base a questi valori.

resource.label.<var>LABEL_KEY</var>:

Etichette risorse per loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Puoi limitare la query in base alla risorsa. Puoi anche raggruppare i risultati in base a questi valori.

resource.label.<var>LABEL_KEY</var>:

Etichette metriche

Puoi limitare la query in base all'etichetta della metrica. Puoi anche raggruppare i risultati in base a questi valori.

metric.label.<var>LABEL_KEY</var>:

Monitoraggio delle richieste API

Puoi creare query arbitrarie sui bilanciatori del carico di rete passthrough esterni globali utilizzando la richiesta projects.timeSeries.list dell'API Monitoring v3. La struttura esatta delle varie definizioni segue la semantica generica dei filtri di monitoraggio.

Richieste API di esempio

• Recupera tutti i byte inviati da tutti i bilanciatori del carico di rete passthrough esterni globali nel progetto durante le ore 12:00-12:02 UTC del 1° luglio 2019 con aggregazioni di 1 minuto.

  timeSeries.list parameters:

  • name: projects/PROJECT_ID
  • Filtro: resource.type = "tcp_lb_rule" AND metric.name="loadbalancing.googleapis.com/l3/external/egress_bytes_count"
  • interval.start_time: 2019-07-01T12:00:00Z
  • interval.end_time: 2019-07-01T12:02:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.perSeriesAligner: ALIGN_SUM

• Ottieni la misurazione RTT mediana su tutti i bilanciatori del carico di rete passthrough esterni globali nel progetto durante le ore 12:19-12:20 UTC del 01/07/2019, suddivisa per paese del client.

  timeSeries.list parameters:

  • name: projects/PROJECT_ID
  • Filtro: resource.type = "tcp_lb_rule" AND metric.name="loadbalancing.googleapis.com/l3/external/rtt_latencies"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2019-07-01T12:20:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_country
  • aggregation.perSeriesAligner: ALIGN_PERCENTILE_50

• Ottieni il numero totale di byte da un bilanciatore del carico di rete passthrough esterno globale specifico durante le ore 12:19-12:20 UTC del giorno 2019-07-01, suddivisi per zona dell'endpoint e continente del client.

  timeSeries.list parameters:

  • name: projects/PROJECT_ID
  • Filtro: resource.type = "tcp_lb_rule" AND resource.label.load_balancer_name = "netlb-bs-1" AND metric.name="loadbalancing.googleapis.com/l3/external/ingress_bytes_count"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2019-07-01T12:20:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_continent
  • aggregation.groupByFields: resource.label.endpoint_zone
  • aggregation.perSeriesAligner: ALIGN_SUM

Passaggi successivi

• Panoramica del bilanciatore del carico di rete passthrough esterno globale
• Metriche, serie temporali e risorse di monitoraggio
• Panoramica delle regole di forwarding