רישום ביומן ומעקב אחרי הביצועים של מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי

במאמר הזה מוסבר איך להגדיר את Cloud Logging ו-Cloud Monitoring ולהשתמש בהם למאזני עומסים גלובליים חיצוניים של רשתות (NLB) עם העברת נתונים.

רישום ביומן

היומנים מספקים מידע שימושי לפתרון בעיות ולמעקב אחרי מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי. היומנים מצטברים לפי חיבור ומיוצאים כמעט בזמן אמת. יומנים נוצרים לכל זרימות ה-TCP, ‏ UDP, ‏ ESP, ‏ GRE, ‏ ICMP ו-ICMPv6 של מופע עם איזון עומסים, גם לתעבורת נתונים נכנסת וגם לתעבורת נתונים יוצאת. מידע נוסף על השדות שמופיעים ברשומה ביומן זמין במאמר שדות ביומן.

אין חיובים נוספים על שימוש ביומנים. התמחור הסטנדרטי של Cloud Logging,‏ BigQuery או Pub/Sub חל בהתאם לאופן הייבוא של היומנים. הפעלת היומנים לא משפיעה על הביצועים של מאזן העומסים.

היתרונות של רישום ביומן:

• מעקב אחרי התנועה במאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי רישום ביומן לכל חיבור מאפשר לכם להבין איך כל חיבור מנותב לשרתי קצה עורפיים.

• פתרון בעיות ברשת אפשר להשתמש ביומנים של מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי לצורך פתרון בעיות.

דוגמה לפורמט יומן עבור זרימות של לקוח חיצוני למכונה וירטואלית

יומנים של מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי עבור חיבורים מהלקוח למופע הקצה העורפי מעוצבים באופן הבא:

• connection.clientIp: 203.0.113.7
• ‫connection.serverIp: 136.124.69.214 (AG0) או 136.124.83.205 (AG1)
• bytesSent: 1256
• bytesReceived: 4521

דגימה ואיסוף של יומנים

Cloud de Confiance דוגם את המנות שיוצאות ממכונות ה-VM של העורף של מאזן העומסים ונכנסות אליהן. המערכת מעבדת את המנות שנדגמו כדי ליצור יומנים.

לא כל מנה עוברת דגימה. Cloud de Confiance הדגימה מתבצעת על קבוצת משנה משתנה של מנות, בהתאם לכמות התנועה במארח הפיזי. קצב הדגימה הנמוך ביותר האפשרי הוא אחד מתוך 1,024 מנות. תדירות הדגימה נשלטת באופן דינמי על ידי Cloud de Confiance. אי אפשר לשנות את קצב הדגימה.

דגימת המנות משפיעה על כללי חומת האש בדרכים הבאות:

• הדגימה של המנות מתבצעת לפני החלת כללי חומת האש ליציאה.
• הדגימה של המנות מתבצעת אחרי החלת הכללים של חומת האש בכניסה.

אחרי דגימת חבילות הנתונים, Cloud de Confiance מעבדים את חבילות הנתונים שנדגמו לפי התהליך הבא:

1. צבירה: מנות שנדגמו נצברות במרווח של חמש שניות כדי ליצור רשומה אחת של זרימה.

2. דגימת יומן (משנית) שניתנת להגדרה: זהו תהליך דגימה שני, שדוגם את הזרימות. אתם קובעים את החלק של רשומות הזרימה שיופיעו כרשומות ביומן באמצעות הפרמטר logConfig.sampleRate. אם הערך של logConfig.sampleRate הוא 1.0 (100%), המשמעות היא שכל המנות שנכללו במדגם עברו עיבוד.

3. כתיבה ל-Logging: רשומות היומן נכתבות ב-Cloud Logging.

שדות אופציונליים

רשומות ביומן מכילות שדות חובה ושדות אופציונליים. בקטע Log fields (שדות יומן) מפורטים השדות האופציונליים והשדות הנדרשים. כל שדות החובה תמיד כלולים. אתם יכולים לבחור אילו שדות אופציונליים להשאיר.

• אם בוחרים באפשרות include all optional, כל השדות האופציונליים בפורמט של רשומת היומן נכללים ביומני התנועה. כשנוספים שדות חדשים אופציונליים לפורמט הרשומה, יומני זרימת הנתונים כוללים אוטומטית את השדות החדשים.

• אם בוחרים באפשרות exclude all optional (החרגת כל השדות האופציונליים), כל השדות האופציונליים לא ייכללו.

• אם בוחרים באפשרות בהתאמה אישית, אפשר לציין את השדות האופציונליים שרוצים לכלול לפי השדה הראשי, כמו serverInstance, או לפי השמות המלאים שלהם, כמו serverInstance.vm.

כשמוסיפים שדות חדשים אופציונליים לפורמט הרשומה, היומנים לא יכללו את השדות האלה, אלא אם הם שדה חדש בתוך שדה אב שציינתם שייכלל.

אם מציינים שדה אופציונלי בהתאמה אישית באמצעות שדות אב, כששדות אופציונליים חדשים מתווספים לפורמט הרשומה בשדה האב הזה, היומנים יכללו אוטומטית את השדות החדשים. לדוגמה, אם תבחרו לכלול את optionalFieldA, שדה חדש שנוסף ליומנים עם השם optionalFieldA.subField1 ייכלל באופן אוטומטי.

הוראות להתאמה אישית של שדות אופציונליים מופיעות במאמר בנושא הפעלת רישום ביומן בשירות קצה עורפי חדש.

דרישות לגבי כתובת ה-IP של המקור של חבילת התגובה

הרישום ביומן דוגם את חבילות התגובה ממכונות וירטואליות (VM) של ה-Backend רק אם כתובת ה-IP של המקור של החבילות האלה תואמת לכתובת ה-IP של כלל ההעברה של מאזן העומסים. בחיבורי TCP, חבילות התגובה תמיד צריכות להגיע ממקורות שתואמים ליעד של חבילת הבקשה. עם זאת, בפרוטוקולים אחרים, יכול להיות שחבילות התגובה ישתמשו בכתובת IP שונה של המקור. מידע נוסף זמין במאמר בנושא כתובות IP של מנות בקשה ומנות החזרה.

תהליך הדגימה של מנות הנתונים שמשמש לרישום ביומן של מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי, משמיט מנות נתונים של תגובה ממכונות וירטואליות בעורף אם המקורות של מנות הנתונים האלה לא תואמים לכתובת IP של כלל העברה למאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי.

הפעלת רישום ביומן בשירות חדש לקצה העורפי

    gcloud compute backend-services create BACKEND_SERVICE \
        --global \
        --load-balancing-scheme=EXTERNAL_PASSTHROUGH \
        --enable-logging \
        --logging-sample-rate=SAMPLE_RATE \
        --logging-optional=LOGGING_OPTIONAL \
        --logging-optional-fields=OPTIONAL_FIELDS
    

    POST https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

הפעלת רישום ביומן בשירות קצה עורפי קיים

    gcloud compute backend-services update BACKEND_SERVICE \
        --global \
        --enable-logging \
        --logging-sample-rate=SAMPLE_RATE \
        --logging-optional=LOGGING_OPTIONAL \
        --logging-optional-fields=OPTIONAL_FIELDS
    

      PATCH https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices/`BACKEND_SERVICE`
     

     "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "EXCLUDE_ALL_OPTIONAL"
      }
     

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL_PASSTHROUGH",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

השבתת רישום ביומן בשירות קיים של קצה עורפי

    gcloud compute backend-services update BACKEND_SERVICE \
        --global \
        --no-enable-logging

    PATCH https://compute.s3nsapis.fr/compute/v1/projects/`PROJECT_ID`/global/backendServices/`BACKEND_SERVICE`

    {
    "logConfig": {
      "enable": false
     }
    }

צפייה ביומנים

כשיומנים מוזנים ל-Cloud Logging ולא נכללים בהחרגה דרך יעד של נתב יומנים, אפשר לקרוא את היומנים באמצעות Cloud Logging API ו-Google Cloud CLI.

כדי לראות את כל היומנים של מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי:

צפייה ביומנים של שירות לקצה העורפי ספציפי

כדי לראות את היומנים של מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי עבור שירות קצה עורפי ספציפי:

צפייה ביומנים של קבוצת מופעים של שרת עורפי (backend instance)

כדי לראות את היומנים של מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי עבור קבוצה ספציפית של מופעי בק-אנד:

שדות ביומן

רשומות ביומן מכילות שדות חובה, שהם שדות ברירת המחדל של כל רשומה ביומן, ושדות אופציונליים שמוסיפים מידע נוסף. אפשר להשמיט שדות אופציונליים כדי לחסוך בעלויות האחסון.

חלק מהשדות ביומן הם בפורמט של כמה שדות, עם יותר מפריט נתונים אחד בשדה נתון. לדוגמה, השדה connection הוא בפורמט IpConnection, שמכיל את כתובת ה-IP והיציאה של המקור והיעד, וגם את הפרוטוקול, בשדה אחד. השדות האלה עם כמה שדות מתוארים בטבלת פורמט הרשומה הבאה.

המשאב במעקב הוא loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule.

פורמט השדה IpConnection

פורמט השדה InstanceDetails

פורמט השדה GeographicDetails

פורמט השדה GkeDetails

פורמט השדה ClusterDetails

פורמט השדה PodDetails

פורמט השדה ServiceDetails

הפורמט של השדה NetworkTierDetails

מעקב

מאזני עומסים גלובליים חיצוניים של רשת להעברת סיגנל ללא שינוי מייצאים מדדים מרכזיים ל-Cloud Monitoring.

אפשר להשתמש במדדי מעקב למטרות הבאות:

• הערכת ההגדרות, השימוש והביצועים של מאזן עומסים
• פתרון בעיות
• שיפור השימוש במשאבים וחוויית המשתמש

בנוסף למרכזי הבקרה המוגדרים מראש ב-Monitoring, אפשר ליצור מרכזי בקרה בהתאמה אישית, להגדיר התראות ולשאול שאילתות לגבי המדדים באמצעות Monitoring API.

הצגת לוחות הבקרה של Monitoring

הגדרת מרכזי בקרה מותאמים אישית של Monitoring

אפשר ליצור לוחות בקרה בהתאמה אישית ב-Monitoring על סמך מדדים של מאזני עומסי רשת חיצוניים גלובליים להעברת סיגנל ללא שינוי.

במאמר מדדים וסוגי משאבים מופיעה רשימה של המדדים שנאספים. במאמר בנושא מסננים מופיעות רשימות של מאפיינים שאפשר להשתמש בהם כדי לסנן את התוצאות.

הגדרת התראות למעקב

אפשר להגדיר התראות על מעקב לגבי מדדים שונים של מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי:

תדירות הדיווח על מדדים ושמירת הנתונים

המדדים של מאזני עומסים גלובליים חיצוניים של רשת להעברת סיגנל ללא שינוי מיוצאים ל-Monitoring באצוות של דקה אחת. נתוני המעקב נשמרים למשך שישה שבועות. המדדים מבוססים על תנועה מדוגמת (שיעור הדגימה הוא דינמי ולא ניתן להתאים אותו). לוח הבקרה מספק ניתוח נתונים במרווחי זמן שמוגדרים כברירת מחדל: שעה אחת (1H), שש שעות (6H), יום אחד (1D), שבוע אחד (1W) ושש שבועות (6W). אפשר לבקש ניתוח באופן ידני בכל מרווח זמן שבין שש שבועות לבין שישים שניות.

מדדים וסוגי משאבים

בקטע הזה מתוארים המדדים וסוגי המשאבים של מאזני עומסים גלובליים חיצוניים של רשת להעברת סיגנל ללא שינוי.

מדדים

המדדים הבאים של מאזני עומסים גלובליים חיצוניים להעברת סיגנל ללא שינוי מדווחים ב-Monitoring. אפשר להשתמש בשמות המדדים האלה כששולחים בקשות API.

סוגי המשאבים

מאזני עומסים גלובליים חיצוניים של רשתות להעברת סיגנל ללא שינוי משתמשים בסוגי המשאבים הבאים:

• tcp_lb_rule
• udp_lb_rule
• loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי יכול לתמוך בתעבורת נתונים של TCP,‏ UDP,‏ ESP,‏ GRE,‏ ICMP ו-ICMPv6.

אפשר לציין את סוג המשאב כ-tcp_lb_rule או כ-udp_lb_rule כדי להגביל את הנתונים שבמעקב לפרוטוקולי TCP או UDP. אפשר לציין את סוג המשאב כ-loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule כדי לעקוב אחרי כל הפרוטוקולים הנתמכים, כולל הפרוטוקולים TCP, ‏ UDP, ‏ ESP, ‏ GRE, ‏ ICMP ו-ICMPv6.

מסננים

המדדים מצטברים לכל מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי. אפשר לסנן מדדים מצטברים לפי המאפיינים הבאים.

תוויות משאבים ל-tcp_lb_rule או ל-udp_lb_rule

אפשר להגביל את השאילתה לפי משאב. אפשר גם לקבץ את התוצאות לפי הערכים האלה.

resource.label.<var>LABEL_KEY</var>:

תוויות משאבים ל-loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

אפשר להגביל את השאילתה לפי משאב. אפשר גם לקבץ את התוצאות לפי הערכים האלה.

resource.label.<var>LABEL_KEY</var>:

תוויות של מדדים

אפשר להגביל את השאילתה לפי תווית מדד. אפשר גם לקבץ את התוצאות לפי הערכים האלה.

metric.label.<var>LABEL_KEY</var>:

מעקב אחר בקשות API

אפשר ליצור שאילתות שרירותיות על מאזני עומסים גלובליים חיצוניים של רשת להעברת סיגנל ללא שינוי באמצעות בקשת v3 projects.timeSeries.list של Monitoring API. המבנה המדויק של ההגדרות השונות תואם לסמנטיקה של מסנני המעקב הגנריים.

דוגמאות לבקשות API

• קבלת כל הבייטים שנשלחו מכל מאזני העומסים הגלובליים החיצוניים להעברת סיגנל ללא שינוי בפרויקט במהלך השעות 12:00-12:02 בצהריים (UTC) בתאריך 2019-07-01 עם נתונים מצטברים של דקה.

  ‫timeSeries.list parameters:

  • ‫name: projects/PROJECT_ID
  • פילטר: resource.type = "tcp_lb_rule" AND metric.name="loadbalancing.googleapis.com/l3/external/egress_bytes_count"
  • interval.start_time: 2019-07-01T12:00:00Z
  • interval.end_time: 2019-07-01T12:02:00Z
  • ‫aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.perSeriesAligner: ALIGN_SUM

• קבלת מדידת RTT חציונית בכל מאזני העומסים הגלובליים החיצוניים להעברת סיגנל ללא שינוי בפרויקט במהלך השעות 12:19-12:20 UTC ב-2019-07-01, עם פירוט לפי מדינת הלקוח.

  ‫timeSeries.list parameters:

  • ‫name: projects/PROJECT_ID
  • פילטר: resource.type = "tcp_lb_rule" AND metric.name="loadbalancing.googleapis.com/l3/external/rtt_latencies"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2019-07-01T12:20:00Z
  • ‫aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_country
  • aggregation.perSeriesAligner: ALIGN_PERCENTILE_50

• קבלת מספר הבייטים הכולל ממאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי ספציפי במהלך השעות 12:19-12:20 בצהריים לפי שעון UTC בתאריך 2019-07-01, עם פירוט לפי אזור נקודת הקצה והיבשת של הלקוח.

  ‫timeSeries.list parameters:

  • ‫name: projects/PROJECT_ID
  • מסנן: resource.type = "tcp_lb_rule" וגם resource.label.load_balancer_name = "netlb-bs-1" וגם metric.name="loadbalancing.googleapis.com/l3/external/ingress_bytes_count"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2019-07-01T12:20:00Z
  • ‫aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_continent
  • aggregation.groupByFields: resource.label.endpoint_zone
  • aggregation.perSeriesAligner: ALIGN_SUM

המאמרים הבאים

• סקירה כללית על מאזן עומסי רשת גלובלי חיצוני להעברת סיגנל ללא שינוי
• מדדים, סדרות זמנים ומשאבים של Monitoring
• סקירה כללית על כללי העברה