מעקב אחרי סנכרון תצורות באמצעות Prometheus

בדף הזה מוסבר איך לשלוח מדדים מ-סנכרון תצורות אל Prometheus.

בדף הזה מוסבר איך משתמשים ב-Prometheus כדי לראות את המדדים של סנכרון תצורות. מומלץ להשתמש ב-Prometheus (בדף הזה) או ב-Cloud Monitoring כדי לייצא מדדים. אפשר גם להשתמש במדדים מותאמים אישית.

‫סנכרון תצורות אוסף ומייצא מדדים באופן אוטומטי אל Prometheus. אפשר להגדיר את Cloud Monitoring כך שימשוך מדדים מותאמים אישית מ-Prometheus. אחרי זה תוכלו לראות את המדדים המותאמים אישית גם ב-Prometheus וגם ב-Monitoring. מידע נוסף זמין במאמר שימוש ב-Prometheus במסמכי התיעוד של GKE.

גירוד המדדים

כל מדדי Prometheus זמינים לגירוד ביציאה 8675. כדי שתוכלו לגרד מדדים, אתם צריכים להגדיר את האשכול שלכם ל-Prometheus באחת משתי דרכים. אחת מהאפשרויות:

• פועלים לפי המסמכים של Prometheus כדי להגדיר את האשכול לגירוד, או

• משתמשים ב-Prometheus Operator יחד עם המניפסטים הבאים, שסורקים את כל המדדים של סנכרון תצורות כל 10 שניות.

  1. יוצרים ספרייה זמנית להחזקת קובצי המניפסט.

     mkdir config-sync-monitor
     cd config-sync-monitor
     

  2. מורידים את מניפסט Prometheus Operator ממאגר CoreOS באמצעות הפקודה curl:

     curl -o bundle.yaml https://raw.githubusercontent.com/coreos/prometheus-operator/master/bundle.yaml
     

     קובץ המניפסט הזה מוגדר לשימוש במרחב השמות default, שלא מומלץ לשימוש. בשלב הבא משנים את ההגדרה כך שישתמשו במרחב שמות בשם monitoring. כדי להשתמש במרחב שמות אחר, מחליפים אותו במקום monitoring בשלבים הבאים.

  3. יוצרים קובץ כדי לעדכן את מרחב השמות של ClusterRoleBinding בחבילה שלמעלה.

     # patch-crb.yaml
     apiVersion: rbac.authorization.k8s.io/v1
     kind: ClusterRoleBinding
     metadata:
       name: prometheus-operator
     subjects:
     - kind: ServiceAccount
       name: prometheus-operator
       namespace: monitoring # we are patching from default namespace
     

  4. יוצרים קובץ kustomization.yaml שמחיל את התיקון ומשנה את מרחב השמות של משאבים אחרים במניפסט.

     # kustomization.yaml
     resources:
     - bundle.yaml
     
     namespace: monitoring
     
     patchesStrategicMerge:
     - patch-crb.yaml
     

  5. יוצרים את מרחב השמות monitoring אם הוא לא קיים. אפשר להשתמש בשם אחר למרחב השמות, אבל אם עושים את זה, צריך לשנות גם את הערך של namespace במניפסטים של YAML מהשלבים הקודמים.

     kubectl create namespace monitoring
     

  6. מחילים את מניפסט Kustomize באמצעות הפקודות הבאות:

     kubectl apply -k .
     
     until kubectl get customresourcedefinitions servicemonitors.monitoring.coreos.com ; \
     do date; sleep 1; echo ""; done

     הפקודה השנייה נחסמת עד שמשאבי ה-CRD יהיו זמינים באשכול.

  7. יוצרים את קובץ המניפסט של המשאבים שנדרשים להגדרת שרת Prometheus שסורק מדדים מ-Config Sync.

     # config-sync-monitoring.yaml
     apiVersion: v1
     kind: ServiceAccount
     metadata:
       name: prometheus-config-sync
       namespace: monitoring
     ---
     apiVersion: rbac.authorization.k8s.io/v1
     kind: ClusterRole
     metadata:
       name: prometheus-config-sync
     rules:
     - apiGroups: [""]
       resources:
       - nodes
       - services
       - endpoints
       - pods
       verbs: ["get", "list", "watch"]
     - apiGroups: [""]
       resources:
       - configmaps
       verbs: ["get"]
     - nonResourceURLs: ["/metrics"]
       verbs: ["get"]
     ---
     apiVersion: rbac.authorization.k8s.io/v1
     kind: ClusterRoleBinding
     metadata:
       name: prometheus-config-sync
     roleRef:
       apiGroup: rbac.authorization.k8s.io
       kind: ClusterRole
       name: prometheus-config-sync
     subjects:
     - kind: ServiceAccount
       name: prometheus-config-sync
       namespace: monitoring
     ---
     apiVersion: monitoring.coreos.com/v1
     kind: Prometheus
     metadata:
       name: config-sync
       namespace: monitoring
       labels:
         prometheus: config-sync
     spec:
       replicas: 2
       serviceAccountName: prometheus-config-sync
       serviceMonitorSelector:
         matchLabels:
           prometheus: config-management
       alerting:
         alertmanagers:
         - namespace: default
           name: alertmanager
           port: web
       resources:
         requests:
           memory: 400Mi
     ---
     apiVersion: v1
     kind: Service
     metadata:
       name: prometheus-config-sync
       namespace: monitoring
       labels:
         prometheus: config-sync
     spec:
       type: NodePort
       ports:
       - name: web
         nodePort: 31900
         port: 9190
         protocol: TCP
         targetPort: web
       selector:
         prometheus: config-sync
     --- 
     --- 
     

  8. מחילים את המניפסט באמצעות הפקודות הבאות:

     kubectl apply -f config-sync.yaml
     
     until kubectl rollout status statefulset/prometheus-config-sync -n monitoring; \
     do sleep 1; done
     

     הפקודה השנייה נחסמת עד שה-Pods פועלים.

  9. כדי לוודא שההתקנה בוצעה, אפשר להעביר את יציאת האינטרנט של שרת Prometheus למחשב המקומי.

     kubectl -n monitoring port-forward svc/prometheus-config-sync 9190
     

     עכשיו אפשר לגשת לממשק המשתמש של Prometheus באינטרנט בכתובת http://localhost:9190.

  10. מסירים את הספרייה הזמנית.

      cd ..
      rm -rf config-sync-monitor
      

מדדים זמינים של Prometheus

‫סנכרון תצורות אוסף את המדדים הבאים ומעמיד אותם לרשות Prometheus. בעמודה תוויות מפורטות כל התוויות שרלוונטיות לכל מדד. מדדים ללא תוויות מייצגים מדידה אחת לאורך זמן, ומדדים עם תוויות מייצגים כמה מדידות, אחת לכל שילוב של ערכי תוויות.

אם הטבלה הזו לא מסונכרנת, אפשר לסנן את המדדים לפי קידומת בממשק המשתמש של Prometheus. כל המדדים מתחילים בתחילית config_sync_.

דוגמאות לתהליכי ניפוי באגים ב-Prometheus

בדוגמאות הבאות מוצגים כמה דפוסים לשימוש במדדים של Prometheus, בשדות סטטוס של אובייקטים ובאנוטציות של אובייקטים כדי לזהות ולנתח בעיות שקשורות לסנכרון תצורות. בדוגמאות האלה אפשר לראות איך מתחילים במעקב ברמה גבוהה שמזהה בעיה, ואז מצמצמים בהדרגה את החיפוש כדי להתעמק בנתונים ולאבחן את שורש הבעיה.

הגדרות שאילתה לפי סטטוס

reconciler התהליך מספק מדדים ברמה גבוהה שנותנים תובנות שימושיות לגבי תצוגה כוללת של אופן הפעולה של סנכרון תצורות באשכול. תוכלו לראות אם אירעו שגיאות, ואפילו להגדיר התראות לגביהן.

config_sync_reconciler_errors

שאילתת מדדים לפי כלי ההתאמה

אם אתם משתמשים בממשקי ה-API של סנכרון תצורות RootSync ו-RepoSync, אתם יכולים לעקוב אחרי אובייקטים של RootSync ו-RepoSync. אובייקטים של RootSync ו-RepoSync מצוידים במדדים ברמה גבוהה, שנותנים תובנות שימושיות לגבי אופן הפעולה של סנכרון תצורות באשכול. כמעט כל המדדים מתויגים לפי שם הכלי לאימות נתונים, כך שאפשר לראות אם התרחשו שגיאות ולהגדיר התראות לגביהן ב-Prometheus.

כאן אפשר לראות את הרשימה המלאה של תוויות המדדים הזמינות לסינון.

ב-Prometheus, אפשר להשתמש במסננים הבאים עבור RootSyncs או RepoSyncs:

# Querying RootSync
config_sync_reconciler_errors{configsync_sync_name=ROOT_SYNC_NAME}

# Querying RepoSync
config_sync_reconciler_errors{configsync_sync_name=REPO_SYNC_NAME}

שאילתות על פעולות ייבוא וסנכרון לפי סטטוס

ב-Prometheus, אפשר להשתמש בשאילתות הבאות:

# Check for errors that occurred when sourcing configs.
config_sync_reconciler_errors{component="source"}

# Check for errors that occurred when syncing configs to the cluster.
config_sync_reconciler_errors{component="sync"}

אפשר גם לבדוק את המדדים של תהליכי המקור והסנכרון עצמם:

config_sync_parser_duration_seconds{status="error"}
config_sync_apply_duration_seconds{status="error"}
config_sync_remediate_duration_seconds{status="error"}

מעקב אחרי משאבים באמצעות Cloud de Confiance by S3NS שירות מנוהל ל-Prometheus

השירות המנוהל של Google Cloud ל-Prometheus הוא פתרון מנוהל מלא לריבוי עננים למדדים של Prometheus. Cloud de Confiance by S3NSהוא תומך בשני מצבים לאיסוף נתונים: איסוף מנוהל (המצב המומלץ) או איסוף נתונים בהטמעה עצמית. כדי להגדיר את סנכרון תצורות לניטור באמצעות השירות המנוהל של Google Cloud ל-Prometheus במצב איסוף מנוהל, פועלים לפי השלבים הבאים.

1. מפעילים את Managed Prometheus באשכול לפי ההוראות שבמאמר הגדרת איסוף מנוהל.

2. שומרים את קובץ המניפסט לדוגמה הבא בשם pod-monitoring-config-sync-monitoring.yaml. במניפסט הזה מוגדר משאב PodMonitoring לגירוד המדדים של סנכרון תצורות ביציאה 8675 של ה-Pod‏ otel-collector-* במרחב השמות config-management-monitoring. המשאב PodMonitoring משתמש בבורר תוויות של Kubernetes כדי למצוא את otel-collector-* ה-Pod.

   apiVersion: monitoring.googleapis.com/v1
   kind: PodMonitoring
   metadata:
     name: config-sync-monitoring
     namespace: config-management-monitoring
   spec:
     selector:
       matchLabels:
         app: opentelemetry
         component: otel-collector
     endpoints:
     - port: 8675
       interval: 10s
   

3. מחילים את המניפסט על האשכול:

   kubectl apply -f pod-monitoring-config-sync-monitoring.yaml
   

4. כדי לוודא שהנתונים שלכם ב-Prometheus מיוצאים, פועלים לפי ההוראות במאמר נתונים של שירות מנוהל ל-Prometheus ב-Cloud Monitoring כדי להשתמש בדף Metrics Explorer במסוף Cloud de Confiance .

המאמרים הבאים

• שימוש בכללי התראות של Prometheus עם SLI של סנכרון תצורות