Journalisation et surveillance de l'équilibreur de charge réseau passthrough externe global

Ce document explique comment configurer et utiliser Cloud Logging et Cloud Monitoring pour les équilibreurs de charge réseau passthrough externes globaux.

Journalisation

Les journaux fournissent des informations utiles pour dépanner et surveiller votre équilibreur de charge réseau passthrough externe global. Les journaux sont agrégés par connexion et exportés en quasi-temps réel. Les journaux sont générés pour chaque flux TCP, UDP, ESP, GRE, ICMP et ICMPv6 des instances à équilibrage de charge pour le trafic entrant et sortant. Pour en savoir plus sur les champs fournis dans l'entrée de journal, consultez la section Champs de journal.

L'utilisation des journaux n'entraîne aucuns frais supplémentaires. Selon la manière dont vous importez les journaux, les tarifs standards pour Cloud Logging, BigQuery ou Pub/Sub s'appliquent. L'activation des journaux n'a aucun effet sur les performances de l'équilibreur de charge.

Logging offre les avantages suivants :

• Surveillance du trafic de l'équilibreur de charge réseau passthrough externe mondial. La journalisation par connexion vous indique comment chaque connexion est acheminée vers les backends de diffusion.

• Dépannage du réseau. Vous pouvez utiliser les journaux de l'équilibreur de charge réseau passthrough externe global pour résoudre les problèmes.

Exemple de format de journal pour un flux de clients externes vers des VM

Les journaux de l'équilibreur de charge réseau passthrough externe mondial pour les connexions du client à l'instance backend sont formatés comme suit :

• connection.clientIp : 203.0.113.7
• connection.serverIp : 136.124.69.214 (AG0) ou 136.124.83.205 (AG1)
• bytesSent : 1256
• bytesReceived : 4521

Échantillonnage et collecte des journaux

Cloud de Confiance échantillonne les paquets qui quittent les VM de backend de l'équilibreur de charge et y entrent. Ces paquets échantillonnés sont traités afin de générer des journaux.

Tous les paquets ne sont pas échantillonnés. Cloud de Confiance échantillonne un sous-ensemble variable de paquets en fonction du volume de trafic sur l'hôte physique. Le taux d'échantillonnage le plus faible est de un paquet sur 1 024. Le taux d'échantillonnage est contrôlé de manière dynamique par Cloud de Confiance. Vous ne pouvez pas ajuster le taux d'échantillonnage.

L'échantillonnage de paquets interagit avec les règles de pare-feu de la manière suivante :

• Les paquets sont échantillonnés avant l'application des règles de pare-feu de sortie.
• Les paquets sont échantillonnés après l'application des règles de pare-feu d'entrée.

Après échantillonnage des paquets, Cloud de Confiance traite les paquets échantillonnés en suivant la procédure suivante :

1. Agrégation : les paquets échantillonnés sont agrégés sur un intervalle de cinq secondes pour produire une seule entrée de flux.

2. Échantillonnage de journal configurable (secondaire) : il s'agit d'un deuxième processus d'échantillonnage, qui échantillonne les flux. Vous contrôlez la fraction des entrées de flux qui sont émises en tant qu'entrées de journal grâce au paramètre logConfig.sampleRate. Lorsque la valeur de logConfig.sampleRate est définie sur 1.0 (100 %), cela signifie que tous les paquets échantillonnés sont traités.

3. Écriture dans Logging : les entrées de journal sont écrites dans Cloud Logging.

Champs facultatifs

Les enregistrements de journal contiennent des champs obligatoires et facultatifs. La section Champs de journal permet de savoir quels champs sont facultatifs et lesquels sont obligatoires. Tous les champs obligatoires sont toujours inclus. Vous pouvez personnaliser quels sont les champs facultatifs à conserver.

• Si vous sélectionnez Inclure tous les champs facultatifs, tous les champs facultatifs du format d'enregistrement du journal sont inclus dans les journaux de flux. Lorsque de nouveaux champs facultatifs sont ajoutés au format d'enregistrement, les journaux de flux incluent automatiquement les nouveaux champs.

• Si vous sélectionnez Exclure tous les champs facultatifs, tous les champs facultatifs sont omis.

• Si vous sélectionnez Personnalisé, vous pouvez spécifier les champs facultatifs que vous souhaitez inclure par le champ parent, tels que serverInstance, ou par leur nom complet, par exemple serverInstance.vm.

Lorsque de nouveaux champs facultatifs sont ajoutés au format d'enregistrement, les journaux n'incluent pas ces champs, sauf s'il s'agit d'un nouveau champ dans un champ parent que vous avez spécifié.

Si vous spécifiez un champ facultatif personnalisé à l'aide de champs parents, lorsque de nouveaux champs facultatifs sont ajoutés au format d'enregistrement au sein de ce champ parent, les journaux incluent automatiquement les nouveaux champs. Par exemple, si vous choisissez d'inclure optionalFieldA, un nouveau champ ajouté aux journaux portant le nom optionalFieldA.subField1 est inclus automatiquement.

Pour obtenir des instructions sur la personnalisation des champs facultatifs, consultez la section Activer la journalisation sur un nouveau service de backend.

Exigences relatives à l'adresse IP source du paquet de réponse

La journalisation de l'équilibreur de charge réseau n'échantillonne les paquets de réponse des VM de backend que si l'adresse IP source de ces paquets correspond à l'adresse IP de la règle de transfert de l'équilibreur de charge. Pour les connexions TCP, les paquets de réponse doivent toujours avoir des sources correspondant à la destination du paquet de requête. Toutefois, pour d'autres protocoles, il est possible que les paquets de réponse utilisent une adresse IP source différente. Pour plus d'informations, consultez la section Adresses IP pour les paquets de requêtes et de retours.

Le processus d'échantillonnage des paquets utilisé par la journalisation de l'équilibreur de charge réseau passthrough externe mondial omet tous les paquets de réponse des VM de backend, si ces paquets ont des sources qui ne correspondent pas à l'adresse IP d'une règle de transfert pour un équilibreur de charge réseau passthrough externe mondial.

Activer la journalisation sur un nouveau service de backend

    gcloud compute backend-services create BACKEND_SERVICE \
        --global \
        --load-balancing-scheme=EXTERNAL_PASSTHROUGH \
        --enable-logging \
        --logging-sample-rate=SAMPLE_RATE \
        --logging-optional=LOGGING_OPTIONAL \
        --logging-optional-fields=OPTIONAL_FIELDS
    

    POST https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Activer la journalisation sur un service de backend existant

    gcloud compute backend-services update BACKEND_SERVICE \
        --global \
        --enable-logging \
        --logging-sample-rate=SAMPLE_RATE \
        --logging-optional=LOGGING_OPTIONAL \
        --logging-optional-fields=OPTIONAL_FIELDS
    

      PATCH https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices/`BACKEND_SERVICE`
     

     "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "EXCLUDE_ALL_OPTIONAL"
      }
     

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Activer la journalisation sur un service de backend existant

    gcloud compute backend-services update BACKEND_SERVICE \
        --global \
        --no-enable-logging

    PATCH https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices/`BACKEND_SERVICE`

    {
    "logConfig": {
      "enable": false
     }
    }

Afficher les journaux

Lorsque les journaux sont ingérés dans Cloud Logging et non exclus via un récepteur de routeur de journaux, vous pouvez les lire à l'aide de l'API Cloud Logging et Google Cloud CLI.

Pour afficher tous les journaux de l'équilibreur de charge réseau passthrough externe global, procédez comme suit :

Afficher les journaux d'un service de backend spécifique

Pour afficher les journaux de l'équilibreur de charge réseau passthrough externe global pour un service de backend spécifique, procédez comme suit :

Afficher les journaux pour un groupe d'instances backend

Pour afficher les journaux de l'équilibreur de charge réseau passthrough externe global pour un groupe d'instances backend spécifique, procédez comme suit :

Champs de journal

Les enregistrements de journal contiennent des champs obligatoires (les champs par défaut de chaque enregistrement de journal) et des champs facultatifs qui ajoutent des informations supplémentaires. Les champs facultatifs peuvent être omis pour réduire les coûts de stockage.

Le format "multi-champs" de certains champs affiche plusieurs données dans un même champ. Par exemple, le champ connection est au format IpConnection, qui contient l'adresse IP et les ports sources et de destination ainsi que le protocole, dans un seul champ. Ces champs particuliers sont décrits dans le tableau relatif au format des enregistrements ci-dessous.

La ressource surveillée est loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule.

Format de champ IpConnection

Format de champ InstanceDetails

Format de champ GeographicDetails

Format de champ GkeDetails

Format de champ ClusterDetails

Format de champ PodDetails

Format de champ ServiceDetails

Format de champ NetworkTierDetails

Surveillance

Les équilibreurs de charge réseau passthrough externes globaux exportent des métriques clés vers Cloud Monitoring.

Les métriques de surveillance peuvent être utilisées aux fins suivantes :

• Évaluer la configuration, l'utilisation et les performances d'un équilibreur de charge
• Dépannage
• Améliorer l'utilisation des ressources et l'expérience utilisateur

En plus des tableaux de bord prédéfinis proposés dans Monitoring, vous pouvez créer des tableaux de bord personnalisés, configurer des alertes et interroger les métriques via l'API Monitoring.

Afficher les tableaux de bord Monitoring

Définir des tableaux de bord Monitoring personnalisés

Vous pouvez créer des tableaux de bord Monitoring personnalisés pour les métriques de l'équilibreur de charge réseau passthrough externe mondial.

Pour obtenir la liste des métriques disponibles, consultez la section Métriques et types de ressources. Pour obtenir la liste des attributs utiles pour filtrer les résultats, reportez-vous à la section Filtres.

Définir des alertes de surveillance

Vous pouvez définir des alertes Monitoring concernant différentes métriques de l'équilibreur de charge réseau passthrough externe global :

Fréquence et conservation des rapports sur les métriques

Les métriques des équilibreurs de charge réseau passthrough externes mondiaux sont exportées vers Monitoring par lots de précision d'une minute. Les données de surveillance sont conservées pendant six semaines. Les métriques sont basées sur l'échantillonnage du trafic (le taux d'échantillonnage est dynamique et ne peut pas être ajusté). Le tableau de bord fournit une analyse des données à des intervalles par défaut d'une heure (1H), six heures (6H), un jour (1D), une semaine (1W) et six semaines (6W). Vous pouvez demander manuellement une analyse à un intervalle compris entre 60 secondes et six semaines.

Métriques et types de ressources

Cette section décrit les métriques et les types de ressources pour les équilibreurs de charge réseau passthrough externes globaux.

Métriques

Les métriques suivantes pour les équilibreurs de charge réseau passthrough externes globaux sont consignées dans Monitoring. Vous pouvez utiliser ces noms de métriques lorsque vous effectuez des requêtes d'API.

Types de ressources

Les équilibreurs de charge réseau passthrough externes globaux utilisent les types de ressources suivants :

• tcp_lb_rule
• udp_lb_rule
• loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Un équilibreur de charge réseau passthrough externe mondial peut prendre en charge le trafic TCP, UDP, ESP, GRE, ICMP et ICMPv6.

Vous pouvez spécifier le type de ressource en tant que tcp_lb_rule ou udp_lb_rule pour limiter les données surveillées aux protocoles TCP ou UDP. Vous pouvez spécifier le type de ressource en tant que loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule pour surveiller tous les protocoles acceptés, y compris les protocoles TCP, UDP, ESP, GRE, ICMP et ICMPv6.

Filtres

Les métriques sont agrégées pour chaque équilibreur de charge réseau passthrough externe global. Vous pouvez filtrer les métriques agrégées selon les dimensions suivantes.

Libellés de ressources pour tcp_lb_rule ou udp_lb_rule

Vous pouvez limiter votre requête en fonction des ressources. Vous pouvez également regrouper les résultats en fonction de ces valeurs.

resource.label.<var>LABEL_KEY</var>:

Libellés de ressources pour loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Vous pouvez limiter votre requête en fonction des ressources. Vous pouvez également regrouper les résultats en fonction de ces valeurs.

resource.label.<var>LABEL_KEY</var>:

Libellés de métriques

Vous pouvez limiter le nombre de requêtes en fonction des libellés de métriques. Vous pouvez également regrouper les résultats en fonction de ces valeurs.

metric.label.<var>LABEL_KEY</var>:

Surveiller les requêtes API

Vous pouvez formuler des requêtes arbitraires sur les équilibreurs de charge réseau passthrough externes globaux à l'aide de larequête projects.timeSeries.list de l'API Monitoring v3. La structure exacte des différentes définitions respecte la sémantique générique des filtres de surveillance.

Exemples de requêtes API

• Obtenir le nombre total d'octets envoyés le 01/07/2019 entre 12:00 et 12:02 UTC par tous les équilibreurs de charge réseau passthrough externes globaux du projet, ventilé par lots d'une minute.

  Paramètres timeSeries.list :

  • nom : projects/PROJECT_ID
  • Filtre : resource.type = "tcp_lb_rule" ET metric.name="loadbalancing.googleapis.com/l3/external/egress_bytes_count"
  • interval.start_time : 2019-07-01T12:00:00Z
  • interval.end_time : 2019-07-01T12:02:00Z
  • aggregation.alignmentPeriod : 60s
  • aggregation.crossSeriesReducer : REDUCE_SUM
  • aggregation.perSeriesAligner : ALIGN_SUM

• Obtenir un calcul du DAR médian pour tous les équilibreurs de charge réseau passthrough externes globaux du projet le 01/07/2019 entre 12:19 et 12:20 UTC, ventilé par pays du client.

  Paramètres timeSeries.list :

  • nom : projects/PROJECT_ID
  • Filtre : resource.type = "tcp_lb_rule" ET metric.name="loadbalancing.googleapis.com/l3/external/rtt_latencies"
  • interval.start_time : 2019-07-01T12:19:00Z
  • interval.end_time : 2019-07-01T12:20:00Z
  • aggregation.alignmentPeriod : 60s
  • aggregation.crossSeriesReducer : REDUCE_SUM
  • aggregation.groupByFields : metric.label.client_country
  • aggregation.perSeriesAligner : ALIGN_PERCENTILE_50

• Obtenir le volume total d'octets envoyés le 01/07/2019 entre 12:19 et 12:20 UTC par un équilibreur de charge réseau passthrough externe mondial en particulier, ventilé par zone de point de terminaison et par continent du client.

  Paramètres timeSeries.list :

  • nom : projects/PROJECT_ID
  • Filtre : resource.type = "tcp_lb_rule" ET resource.label.load_balancer_name = "netlb-bs-1" ET metric.name="loadbalancing.googleapis.com/l3/external/ingress_bytes_count"
  • interval.start_time : 2019-07-01T12:19:00Z
  • interval.end_time : 2019-07-01T12:20:00Z
  • aggregation.alignmentPeriod : 60s
  • aggregation.crossSeriesReducer : REDUCE_SUM
  • aggregation.groupByFields : metric.label.client_continent
  • aggregation.groupByFields : resource.label.endpoint_zone
  • aggregation.perSeriesAligner : ALIGN_SUM

Étapes suivantes

• Présentation de l'équilibreur de charge réseau passthrough externe global
• Métriques, séries temporelles et ressources Monitoring
• Présentation des règles de transfert