Logging dan pemantauan Load Balancer Jaringan passthrough eksternal global

Dokumen ini menunjukkan cara mengonfigurasi dan menggunakan Cloud Logging dan Cloud Monitoring untuk Load Balancer Jaringan passthrough eksternal global.

Logging

Log memberikan informasi yang berguna untuk memecahkan masalah dan memantau Load Balancer Jaringan passthrough eksternal global Anda. Log digabungkan per koneksi dan diekspor hampir secara real time. Log dibuat untuk setiap aliran TCP, UDP, ESP, GRE, ICMP, dan ICMPv6 instance yang di-load balance untuk traffic ingress dan egress. Untuk mengetahui informasi selengkapnya tentang kolom yang disediakan dalam entri log, lihat Kolom log.

Tidak ada biaya tambahan untuk menggunakan log. Berdasarkan cara Anda mengimpor log, harga standar untuk Cloud Logging, BigQuery, atau Pub/Sub berlaku. Mengaktifkan log tidak berpengaruh pada performa load balancer.

Pencatatan log memberikan manfaat berikut:

• Pemantauan traffic Load Balancer Jaringan passthrough eksternal global. Logging per koneksi memberi Anda insight tentang cara setiap koneksi dirutekan ke backend penayangan.

• Pemecahan masalah jaringan. Anda dapat menggunakan log Load Balancer Jaringan passthrough eksternal global untuk memecahkan masalah.

Contoh format log untuk alur klien eksternal ke VM

Log Load Balancer Jaringan passthrough eksternal global untuk koneksi dari klien ke instance backend diformat sebagai berikut:

• connection.clientIp: 203.0.113.7
• connection.serverIp: 136.124.69.214 (AG0) atau 136.124.83.205 (AG1)
• bytesSent: 1256
• bytesReceived: 4521

Pengambilan sampel dan pengumpulan log

Cloud de Confiance mengambil sampel paket yang keluar dan masuk VM backend load balancer. Paket yang diambil sampelnya tersebut diproses untuk menghasilkan log.

Tidak semua paket diambil sampelnya. Cloud de Confiance mengambil sampel subset variabel dari paket, bergantung pada jumlah traffic di host fisik. Frekuensi pengambilan sampel terendah adalah satu dari 1.024 paket. Frekuensi sampling dikontrol secara dinamis oleh Cloud de Confiance. Anda tidak dapat menyesuaikan frekuensi pengambilan sampel.

Pengambilan sampel paket berinteraksi dengan aturan firewall dengan cara berikut:

• Paket diambil sampelnya sebelum aturan firewall keluar diterapkan.
• Paket diambil sampelnya setelah aturan firewall masuk diterapkan.

Setelah pengambilan sampel paket, Cloud de Confiance memproses paket yang diambil sampelnya sesuai dengan prosedur berikut:

1. Agregasi: Paket yang diambil sampelnya digabungkan selama interval lima detik untuk menghasilkan satu entri aliran.

2. Pengambilan sampel log yang dapat dikonfigurasi (sekunder): Ini adalah proses pengambilan sampel kedua, yang mengambil sampel aliran. Anda mengontrol pecahan entri aliran yang dihasilkan sebagai entri log sesuai dengan parameter logConfig.sampleRate. Jika logConfig.sampleRate adalah 1.0 (100%), berarti semua paket yang diambil sampelnya diproses.

3. Menulis ke logging: Entri log ditulis ke Cloud Logging.

Kolom opsional

Kumpulan data log berisi kolom wajib diisi dan kolom opsional. Bagian Kolom log mencantumkan kolom mana yang bersifat opsional dan mana yang wajib diisi. Semua kolom wajib diisi akan selalu disertakan. Anda dapat menyesuaikan kolom opsional yang ingin disimpan.

• Jika Anda memilih include all optional, semua kolom opsional dalam format kumpulan data log akan disertakan dalam log aliran. Saat kolom opsional baru ditambahkan ke format data, log aliran akan otomatis menyertakan kolom baru.

• Jika Anda memilih exclude all optional, semua kolom opsional akan dihapus.

• Jika memilih custom, Anda dapat menentukan kolom opsional yang ingin disertakan oleh kolom induk, seperti serverInstance, atau dengan nama lengkapnya, seperti serverInstance.vm.

Saat kolom opsional baru ditambahkan ke format data, log tidak akan menyertakan kolom ini, kecuali kolom tersebut merupakan kolom baru dalam kolom induk yang telah Anda tentukan untuk disertakan.

Jika Anda menentukan kolom opsional kustom menggunakan kolom induk, saat kolom opsional baru ditambahkan ke format data dalam kolom induk tersebut, log akan otomatis menyertakan kolom baru tersebut. Misalnya, jika Anda memilih untuk menyertakan optionalFieldA, maka kolom baru yang ditambahkan ke log dengan nama optionalFieldA.subField1 akan disertakan secara otomatis.

Untuk mengetahui petunjuk tentang cara menyesuaikan kolom opsional, lihat Mengaktifkan logging di layanan backend baru.

Persyaratan alamat IP sumber paket respons

Logging mengambil sampel paket respons dari VM backend hanya jika alamat IP sumber untuk paket tersebut cocok dengan alamat IP aturan penerusan load balancer. Untuk koneksi TCP, paket respons harus selalu memiliki sumber yang cocok dengan tujuan paket permintaan; namun, untuk protokol lain, paket respons dapat menggunakan alamat IP sumber yang berbeda. Untuk mengetahui informasi selengkapnya, lihat Alamat IP untuk paket permintaan dan respons.

Proses pengambilan sampel paket yang digunakan oleh logging Load Balancer Jaringan passthrough eksternal global menghilangkan paket respons dari VM backend jika paket respons tersebut memiliki sumber yang tidak cocok dengan alamat IP aturan penerusan untuk Load Balancer Jaringan passthrough eksternal global.

Mengaktifkan logging di layanan backend baru

    gcloud compute backend-services create BACKEND_SERVICE \
        --global \
        --load-balancing-scheme=EXTERNAL_PASSTHROUGH \
        --enable-logging \
        --logging-sample-rate=SAMPLE_RATE \
        --logging-optional=LOGGING_OPTIONAL \
        --logging-optional-fields=OPTIONAL_FIELDS
    

    POST https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Mengaktifkan logging pada layanan backend yang ada

    gcloud compute backend-services update BACKEND_SERVICE \
        --global \
        --enable-logging \
        --logging-sample-rate=SAMPLE_RATE \
        --logging-optional=LOGGING_OPTIONAL \
        --logging-optional-fields=OPTIONAL_FIELDS
    

      PATCH https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices/`BACKEND_SERVICE`
     

     "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "EXCLUDE_ALL_OPTIONAL"
      }
     

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Menonaktifkan logging pada layanan backend yang ada

    gcloud compute backend-services update BACKEND_SERVICE \
        --global \
        --no-enable-logging

    PATCH https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices/`BACKEND_SERVICE`

    {
    "logConfig": {
      "enable": false
     }
    }

Melihat log

Saat log dimasukkan ke Cloud Logging dan tidak dikecualikan melalui tujuan perute log, Anda dapat membaca log menggunakan Cloud Logging API dan Google Cloud CLI.

Untuk melihat semua log Load Balancer Jaringan passthrough eksternal global:

Melihat log untuk layanan backend tertentu

Untuk melihat log Load Balancer Jaringan passthrough eksternal global untuk layanan backend tertentu:

Melihat log untuk grup instance backend

Untuk melihat log Load Balancer Jaringan passthrough eksternal global untuk grup instance backend tertentu:

Kolom log

Kumpulan data log berisi kolom wajib diisi, yang merupakan kolom default setiap kumpulan data log, dan kolom opsional yang menambahkan informasi tambahan. Kolom opsional dapat dihilangkan untuk menghemat biaya penyimpanan.

Beberapa kolom log memiliki format multi-kolom, dengan lebih dari satu data di kolom tertentu. Misalnya, kolom connection memiliki format IpConnection, yang berisi alamat IP dan port sumber dan tujuan, serta protokol, dalam satu kolom. Kolom multi-kolom ini dijelaskan dalam tabel format data berikut.

Resource yang dimonitor adalah loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule.

Format kolom IpConnection

Format kolom InstanceDetails

Format kolom GeographicDetails

Format kolom GkeDetails

Format kolom ClusterDetails

Format kolom PodDetails

Format kolom ServiceDetails

Format kolom NetworkTierDetails

Pemantauan

Load Balancer Jaringan passthrough eksternal global mengekspor metrik utama ke Cloud Monitoring.

Metrik pemantauan dapat digunakan untuk tujuan berikut:

• Mengevaluasi konfigurasi, penggunaan, dan performa load balancer
• Memecahkan masalah
• Meningkatkan pemanfaatan resource dan pengalaman pengguna

Selain dasbor standar di Monitoring, Anda dapat membuat dasbor kustom, menyiapkan pemberitahuan, dan membuat kueri metrik melalui Monitoring API.

Melihat dasbor Monitoring

Menentukan dasbor kustom Monitoring

Anda dapat membuat dasbor Monitoring kustom melalui metrik Load Balancer Jaringan passthrough eksternal global.

Lihat Metrik dan jenis resource untuk mengetahui daftar metrik yang dikumpulkan. Lihat Filter untuk mengetahui daftar atribut yang dapat Anda gunakan untuk memfilter hasil.

Menentukan pemberitahuan Monitoring

Anda dapat menentukan Pemberitahuan pemantauan untuk berbagai metrik Load Balancer Jaringan passthrough eksternal global:

Frekuensi dan retensi pelaporan metrik

Metrik untuk Load Balancer Jaringan passthrough eksternal global diekspor ke Monitoring dalam batch perincian satu menit. Data pemantauan disimpan selama enam minggu. Metrik didasarkan pada traffic yang diambil sampelnya (frekuensi pengambilan sampel bersifat dinamis dan tidak dapat disesuaikan). Dasbor ini menyediakan analisis data dalam interval default satu jam (1H), enam jam (6H), satu hari (1D), satu minggu (1W), dan enam minggu (6W). Anda dapat meminta analisis secara manual dalam interval berapa pun dari enam minggu hingga enam puluh detik.

Metrik dan jenis resource

Bagian ini menjelaskan metrik dan jenis resource untuk Load Balancer Jaringan passthrough eksternal global.

Metrik

Metrik berikut untuk Load Balancer Jaringan passthrough eksternal global dilaporkan ke Monitoring. Anda dapat menggunakan nama metrik ini saat membuat permintaan API.

Jenis resource

Load Balancer Jaringan passthrough eksternal global menggunakan jenis resource berikut:

• tcp_lb_rule
• udp_lb_rule
• loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Load Balancer Jaringan passthrough eksternal global dapat mendukung traffic TCP, UDP, ESP, GRE, ICMP, dan ICMPv6.

Anda dapat menentukan jenis resource sebagai tcp_lb_rule atau udp_lb_rule untuk membatasi data yang dipantau ke protokol TCP atau UDP. Anda dapat menentukan jenis resource sebagai loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule untuk memantau semua protokol yang didukung, termasuk protokol TCP, UDP, ESP, GRE, ICMP, dan ICMPv6.

Filter

Metrik digabungkan untuk setiap Load Balancer Jaringan passthrough eksternal global. Anda dapat memfilter metrik gabungan menurut dimensi berikut.

Label resource untuk tcp_lb_rule atau udp_lb_rule

Anda dapat membatasi kueri menurut resource. Anda juga dapat mengelompokkan hasil menurut nilai ini.

resource.label.<var>LABEL_KEY</var>:

Label resource untuk loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Anda dapat membatasi kueri menurut resource. Anda juga dapat mengelompokkan hasil menurut nilai ini.

resource.label.<var>LABEL_KEY</var>:

Label metrik

Anda dapat membatasi kueri menurut label metrik. Anda juga dapat mengelompokkan hasil menurut nilai ini.

metric.label.<var>LABEL_KEY</var>:

Memantau permintaan API

Anda dapat membuat kueri arbitrer melalui Load Balancer Jaringan passthrough eksternal global dengan menggunakan permintaan projects.timeSeries.list v3 Monitoring API. Struktur pasti dari berbagai definisi mengikuti semantik filter pemantauan generik.

Contoh permintaan API

• Mendapatkan semua byte yang dikirim dari semua Load Balancer Jaringan passthrough eksternal global dalam project selama pukul 12.00-12.02 PM UTC pada 01-07-2019 dengan agregasi 1 menit.

  Parameter timeSeries.list:

  • name: projects/PROJECT_ID
  • Filter: resource.type = "tcp_lb_rule" AND metric.name="loadbalancing.googleapis.com/l3/external/egress_bytes_count"
  • interval.start_time: 2019-07-01T12:00:00Z
  • interval.end_time: 2019-07-01T12:02:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.perSeriesAligner: ALIGN_SUM

• Dapatkan pengukuran RTT median di semua Load Balancer Jaringan passthrough eksternal global dalam project selama 12.19-12.20 PM UTC pada 2019-07-01, yang dikelompokkan menurut negara klien.

  Parameter timeSeries.list:

  • name: projects/PROJECT_ID
  • Filter: resource.type = "tcp_lb_rule" AND metric.name="loadbalancing.googleapis.com/l3/external/rtt_latencies"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2019-07-01T12:20:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_country
  • aggregation.perSeriesAligner: ALIGN_PERCENTILE_50

• Mendapatkan total byte dari Load Balancer Jaringan passthrough eksternal global tertentu selama pukul 12.19-12.20 UTC pada 2019-07-01, yang dikelompokkan menurut zona endpoint dan benua klien.

  Parameter timeSeries.list:

  • name: projects/PROJECT_ID
  • Filter: resource.type = "tcp_lb_rule" AND resource.label.load_balancer_name = "netlb-bs-1" AND metric.name="loadbalancing.googleapis.com/l3/external/ingress_bytes_count"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2019-07-01T12:20:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_continent
  • aggregation.groupByFields: resource.label.endpoint_zone
  • aggregation.perSeriesAligner: ALIGN_SUM

Langkah berikutnya

• Ringkasan Load Balancer Jaringan passthrough eksternal global
• Memantau metrik, deret waktu, dan resource
• Ringkasan aturan penerusan