‫PromQL for Cloud Monitoring

GKE

כדי לפרוס ולהפעיל את הכלי לסנכרון מקורות נתונים באשכול Kubernetes:

1. בוחרים פרויקט, אשכול ומרחב שמות לפריסת הכלי לסנכרון מקור הנתונים.

   בשלב הבא, מוודאים שהגדרתם והרשיתם את הכלי לסנכרון מקורות נתונים בצורה נכונה:

   • אם אתם משתמשים באיחוד שירותי אימות הזהות של עומסי עבודה ב-GKE, אתם צריכים לפעול לפי ההוראות ליצירה ולאישור של חשבון שירות. חשוב לוודא שמשייכים אותו למרחב השמות של Kubernetes שבו רוצים להפעיל את הכלי לסנכרון מקורות נתונים.
   • אם אתם לא משתמשים ב-איחוד זהויות של עומסי עבודה ל-GKE, אז ודאו שלא שיניתם את חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.

2. מגדירים את כתובת ה-URL של מופע Grafana, לדוגמה: ‫https://yourcompanyname.grafana.net לפריסה של Grafana Cloud או ‫http://grafana.NAMESPACE_NAME.svc:3000 למופע מקומי שהוגדר באמצעות קובץ ה-YAML של פריסת הבדיקה.

   אם אתם פורסים את Grafana באופן מקומי והאשכול שלכם מוגדר לאבטח את כל התנועה בתוך האשכול באמצעות TLS, אתם צריכים להשתמש ב-https:// בכתובת ה-URL ולאמת את עצמכם באמצעות אחת מאפשרויות האימות הנתמכות של TLS.

3. בוחרים את מקור הנתונים של Grafana Prometheus שרוצים להשתמש בו ב-Cloud Monitoring, שיכול להיות מקור נתונים חדש או מקור נתונים קיים, ואז מאתרים את ה-UID של מקור הנתונים ורושמים אותו. אפשר למצוא את ה-UID של מקור הנתונים בחלק האחרון של כתובת ה-URL כשמגדירים מקור נתונים או כשבוחנים אותו. לדוגמה: https://yourcompanyname.grafana.net/connections/datasources/edit/GRAFANA_DATASOURCE_UID. אין להעתיק את כתובת ה-URL המלאה של מקור הנתונים. מעתיקים רק את המזהה הייחודי מכתובת ה-URL.

4. מגדירים חשבון שירות ב-Grafana על ידי יצירת חשבון השירות ויצירת אסימון לשימוש בחשבון:

   1. בסרגל הצד לניווט ב-Grafana, לוחצים על Administration > Users and Access > Service Accounts (ניהול > משתמשים וגישה > חשבונות שירות).

   2. כדי ליצור את חשבון השירות, לוחצים על Add service account, נותנים לו שם ומקצים לו את התפקיד Admin ב-Grafana. אם הגרסה של Grafana מאפשרת הרשאות מפורטות יותר, אפשר להשתמש בתפקיד Data Sources > Writer.

   3. לוחצים על הוספת אסימון של חשבון שירות.

   4. מגדירים את תוקף האסימון ל'ללא תוקף', לוחצים על יצירת אסימון ומעתיקים את האסימון שנוצר ללוח כדי להשתמש בו בתור GRAFANA_SERVICE_ACCOUNT_TOKEN בשלב הבא.

5. מגדירים את משתני הסביבה הבאים באמצעות התוצאות של השלבים הקודמים:

   # These values are required.
   PROJECT_ID=SCOPING_PROJECT_ID # The value from Step 1.
   GRAFANA_API_ENDPOINT=GRAFANA_INSTANCE_URL # The value from step 2. This is a URL.
   DATASOURCE_UIDS=GRAFANA_DATASOURCE_UID # The value from step 3. This is not a URL.
   GRAFANA_API_TOKEN=GRAFANA_SERVICE_ACCOUNT_TOKEN # The value from step 4.
   GCM_ENDPOINT_OVERRIDE=--gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
   

6. מריצים את הפקודה הבאה כדי ליצור CronJob שמרענן את מקור הנתונים באתחול ואז כל 10 דקות. אם אתם משתמשים באיחוד שירותי אימות הזהות של עומסי עבודה ב-GKE, הערך של NAMESPACE_NAME צריך להיות אותו מרחב שמות שקישרתם קודם לחשבון השירות.

   curl https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/v0.17.2/cmd/datasource-syncer/datasource-syncer.yaml \
   | sed 's|$DATASOURCE_UIDS|'"$DATASOURCE_UIDS"'|; s|$GRAFANA_API_ENDPOINT|'"$GRAFANA_API_ENDPOINT"'|; s|$GRAFANA_API_TOKEN|'"$GRAFANA_API_TOKEN"'|; s|$PROJECT_ID|'"$PROJECT_ID"'|; s|$GCM_ENDPOINT_OVERRIDE|'"$GCM_ENDPOINT_OVERRIDE"'|;' \
   | kubectl -n NAMESPACE_NAME apply -f -
   

7. עוברים למקור הנתונים החדש שהגדרתם ב-Grafana ומוודאים שהערך של כתובת ה-URL של שרת Prometheus מתחיל ב-https://monitoring.s3nsapis.fr. יכול להיות שתצטרכו לרענן את הדף. אחרי האימות, גוללים לחלק התחתון של הדף ולוחצים על שמירה ובדיקה. כדי לוודא שההשלמה האוטומטית של התוויות ב-Grafana פועלת, צריך ללחוץ על הלחצן הזה לפחות פעם אחת.

אימות פרטי הכניסה לחשבון שירות

אם באשכול Kubernetes שלכם מופעל איחוד זהויות של עומסי עבודה ל-GKE, אתם יכולים לדלג על הקטע הזה.

כשמריצים ב-GKE, ‏ Cloud Monitoring מאחזר באופן אוטומטי פרטי כניסה מהסביבה על סמך חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine. לחשבון השירות שמוגדר כברירת מחדל יש את ההרשאות הנדרשות. אם אתם לא משתמשים באיחוד שירותי אימות הזהות של עומסי עבודה ב-GKE, ואם הסרתם בעבר את ההרשאות שמשויכות לתפקידים monitoring.metricWriter ו-monitoring.viewer מחשבון השירות של צומת ברירת המחדל, תצטרכו להוסיף מחדש את ההרשאות החסרות האלה לפני שתמשיכו.

אם צריך להוסיף מחדש הרשאות לחשבון השירות של הצומת, צריך ליצור תפקיד בהתאמה אישית, לתת לו את ההרשאות בתפקידים monitoring.metricWriter וmonitoring.viewer, ואז להקצות את התפקיד בהתאמה אישית לחשבון השירות. אי אפשר להעניק את התפקידים monitoring.metricWriter ו-monitoring.viewer.

הגדרת חשבון שירות לשימוש באיחוד זהויות של עומסי עבודה ב-GKE

אם איחוד זהויות של עומסי עבודה ל-GKE לא מופעל באשכול Kubernetes, אפשר לדלג על הקטע הזה.

‫Cloud Monitoring אוסף נתונים של מדדים באמצעות Cloud Monitoring API. אם באשכול שלכם נעשה שימוש באיחוד זהויות של עומסי עבודה ל-GKE, אתם צריכים לתת לחשבון השירות של Kubernetes הרשאה ל-Monitoring API. בקטע הזה מתוארים הנושאים הבאים:

• יצירה של Cloud de Confiance by S3NS חשבון שירות ייעודי, SERVICE_ACCT_NAME.
• קישור חשבון השירות Cloud de Confiance אל חשבון השירות שמוגדר כברירת מחדל ב-Kubernetes במרחב שמות לבדיקה, NAMESPACE_NAME.
• מעניקים את ההרשאה הנדרשת לחשבון השירות Cloud de Confiance .

יצירה של חשבון השירות וקישור שלו

השלב הזה מופיע בכמה מקומות במסמכי התיעוד של Cloud Monitoring. אם כבר ביצעתם את השלב הזה במסגרת משימה קודמת, אין צורך לחזור עליו. אפשר לדלג אל אישור חשבון השירות.

קודם יוצרים חשבון שירות, אם עדיין לא עשיתם זאת:

gcloud config set project PROJECT_ID \
&&
gcloud iam service-accounts create SERVICE_ACCT_NAME

אחר כך משתמשים ברצף הפקודות הבא כדי לקשר את חשבון השירות SERVICE_ACCT_NAMEלחשבון השירות שמוגדר כברירת מחדל ב-Kubernetes במרחב השמות NAMESPACE_NAME:

gcloud config set project PROJECT_ID \
&&
gcloud iam service-accounts add-iam-policy-binding \
  --role roles/iam.workloadIdentityUser \
  --condition=None \
  --member "serviceAccount:PROJECT_ID.s3ns.svc.id.goog[NAMESPACE_NAME/default]" \
  SERVICE_ACCT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \
&&
kubectl annotate serviceaccount \
  --namespace NAMESPACE_NAME \
  default \
  iam.gke.io/gcp-service-account=SERVICE_ACCT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com

אם אתם משתמשים במרחב שמות או בחשבון שירות אחרים של GKE, צריך לשנות את הפקודות בהתאם.

אישור חשבון השירות

קבוצות של הרשאות קשורות נאספות בתפקידים, ואת התפקידים מקצים לחשבון משתמש, ובדוגמה הזו לחשבון השירות Cloud de Confiance. מידע נוסף על תפקידים ב-Monitoring זמין במאמר בקרת גישה.

הפקודה הבאה מעניקה לחשבון השירות Cloud de Confiance ,‏ SERVICE_ACCT_NAME את התפקידים ב-Monitoring API שדרושים לו כדי לקרוא נתונים של מדדים.

אם כבר הענקתם לחשבון השירות תפקיד ספציפי כחלק ממשימה קודמת, אין צורך לעשות זאת שוב. Cloud de Confiance

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member=serviceAccount:SERVICE_ACCT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \
  --role=roles/monitoring.viewer \
  --condition=None \
&& \
gcloud projects add-iam-policy-binding PROJECT_ID \
  --member=serviceAccount:SERVICE_ACCT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \
  --role=roles/iam.serviceAccountTokenCreator \
  --condition=None

ניפוי באגים בהגדרת איחוד הזהויות של עומסי עבודה ל-GKE

אם נתקלתם בבעיות בהפעלת איחוד זהויות של עומסי עבודה ל-GKE, תוכלו לעיין במסמכים בנושא אימות ההגדרה של איחוד זהויות של עומסי עבודה ל-GKE ובמדריך לפתרון בעיות באיחוד זהויות של עומסי עבודה ל-GKE.

שגיאות נפוצות בהגדרת איחוד שירותי אימות הזהות של עומסי עבודה ב-GKE נובעות משגיאות הקלדה או מהעתקה והדבקה חלקיות. לכן, מומלץ מאוד להשתמש במשתנים הניתנים לעריכה ובסמלי ההעתקה וההדבקה שניתן ללחוץ עליהם, שמוטמעים בדוגמאות הקוד בהוראות האלה.

איחוד זהויות של עומסי עבודה ל-GKE בסביבות ייצור

בדוגמה שמתוארת במסמך הזה, חשבון השירות Cloud de Confiance משויך לחשבון השירות שמוגדר כברירת מחדל ב-Kubernetes, ומקבל את כל ההרשאות הנדרשות לשימוש ב-Monitoring API. Cloud de Confiance

בסביבת ייצור, יכול להיות שתרצו להשתמש בגישה מפורטת יותר, עם חשבון שירות לכל רכיב, ולכל אחד מהם הרשאות מינימליות. מידע נוסף על הגדרת חשבונות שירות לניהול Workload Identity זמין במאמר שימוש באיחוד זהויות של עומסי עבודה ל-GKE.

במקום אחר

כדי לפרוס ולהריץ את הכלי לסנכרון מקורות נתונים בסביבות שאינן Google Kubernetes Engine, צריך לבצע את הפעולות הבאות:

1. מגדירים חשבון שירות לשימוש של הכלי לסנכרון מקורות נתונים:

   1. הגדרת פרויקט ברירת מחדל לפקודות של gcloud:

      gcloud config set project PROJECT_ID
      

   2. יוצרים חשבון שירות לשימוש של הכלי לסנכרון מקורות נתונים:

      gcloud iam service-accounts create DS_SYNCER_SVCACCT_NAME
      

   3. נותנים לחשבון השירות הרשאה לקרוא נתונים של מדדים:

       gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:DS_SYNCER_SVCACCT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \
       --role=roles/monitoring.viewer \
       && \
       gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:DS_SYNCER_SVCACCT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \
       --role=roles/iam.serviceAccountTokenCreator
      

   4. יוצרים מפתח לחשבון השירות:

      gcloud iam service-accounts keys create DS_SYNCER_SVCACCT_KEYFILE_NAME.json \
      --iam-account DS_SYNCER_SVCACCT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com
      

      הנתיב לספרייה הזו משמש להגדרת משתנה סביבה בשלב הבא. כדי לקבל את הנתיב, מריצים את הפקודה pwd ורושמים את הערך:

      pwd
      DS_SYNCER_SVCACCT_KEYFILE_DIR
      

2. מזהים את כתובת ה-URL של מופע Grafana, לדוגמה https://yourcompanyname.grafana.net לפריסת Grafana Cloud או https://localhost:3000 למופע בדיקה מקומי. הערך הזה משמש בפקודה להפעלת הכלי לסנכרון מקורות נתונים.

   אם אתם פורסים את Grafana באופן מקומי עבור אשכול Kubernetes שהוגדר לאבטח את כל התנועה בתוך האשכול באמצעות TLS, אתם צריכים להשתמש ב-https:// בכתובת ה-URL, ובשלב הבא לבצע אימות באמצעות אחת מאפשרויות האימות הנתמכות של TLS.

3. ב-Grafana, מוסיפים מקור נתונים של Prometheus לשימוש ב-Cloud Monitoring, ורושמים את ה-UID של מקור הנתונים:

   1. לוחצים על קישורים > מקורות נתונים > הוספת מקור נתונים חדש. בוחרים באפשרות Prometheus מתוך רשימת מסדי הנתונים של סדרות הזמן.

   2. בשדה כתובת ה-URL של שרת Prometheus, מזינים את הערך הבא:

      https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/
      

   3. לוחצים על שמירה ובדיקה.

      כתובת ה-URL בדפדפן של דף מקור הנתונים מכילה את ממשק המשתמש של מקור הנתונים, לדוגמה, https://yourcompanyname.grafana.net/connections/datasources/edit/GRAFANA_DATASOURCE_UID.

   4. רושמים את ה-UID של מקור הנתונים. הערך הזה משמש בפקודה להפעלת הכלי לסנכרון מקורות נתונים. אל תעתיקו את כתובת ה-URL המלאה של מקור הנתונים. מעתיקים רק את המזהה הייחודי בכתובת ה-URL, שהוא ערך כמו ee0z3woqjah34e:

      GRAFANA_DATASOURCE_UID
      

4. מגדירים חשבון שירות ב-Grafana על ידי יצירת חשבון השירות ויצירת אסימון לשימוש בחשבון השירות:

   1. בסרגל הצד לניווט ב-Grafana, לוחצים על Administration > Users and Access > Service Accounts (ניהול > משתמשים וגישה > חשבונות שירות).

   2. כדי ליצור את חשבון השירות, לוחצים על Add service account, נותנים לו שם ומקצים לו את התפקיד Admin ב-Grafana.

   3. לוחצים על הוספת אסימון של חשבון שירות.

   4. מגדירים את התפוגה של האסימון ל'ללא תפוגה', לוחצים על יצירת אסימון ומעתיקים את האסימון שנוצר למשתנה הבא שאפשר לערוך. הערך הזה משמש בפקודה להפעלת הכלי לסנכרון מקורות נתונים.

      GRAFANA_SERVICE_ACCOUNT_TOKEN
      

5. מריצים את הכלי לסנכרון מקורות נתונים. אפשר להריץ את הכלי לסנכרון מקובץ אימג' של קונטיינר שנבנה מראש באמצעות Docker, או לבנות את הקוד ממקור ולהריץ אותו באופן ידני. הכלי לסנכרון מקורות נתונים הוא אפליקציית Go, ולכן צריך להתקין את Go כדי ליצור את הכלי לסנכרון ממקור.

   Docker

   מריצים את הכלי לסנכרון מקורות נתונים מ-Docker באמצעות קובץ האימג' של הקונטיינר gke.gcr.io/prometheus-engine/datasource-syncer:v0.17.2-gke.2. לצורך בדיקה, אפשר להריץ את הכלי לסנכרון באופן ידני. אחרי שמוודאים שהחיבור פועל, צריך להשתמש במנגנון אוטומטי כמו משימת cron כדי להפעיל את הכלי לסנכרון מקורות הנתונים כל 10 דקות, כי אסימוני הגישה תקפים לשעה אחת בלבד. כך מבטיחים שהחיבור לא ייפסק.

   מריצים את הפקודה הבאה של Docker כדי להפעיל את הכלי לסנכרון מקורות נתונים:

   docker run --network container:grafana -v "DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json:/app/DS_SYNCER_SVCACCT_KEYFILE_NAME.json" gke.gcr.io/prometheus-engine/datasource-syncer:v0.17.2-gke.2
   -datasource-uids=UID_OF_GRAFANA_DATASOURCE
   -grafana-api-token=GRAFANA_SERVICE_ACCOUNT_TOKEN
   -grafana-api-endpoint=URL_OF_GRAFANA_INSTANCE
   -project-id=PROJECT_ID
   -query.credentials-file=DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json
   -gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
   

   כדי ליצור משימת cron להרצת הכלי לסנכרון מקורות נתונים:

   1. עורכים את טבלת ה-cron:

      cron -e
      

   2. מוסיפים רשומה שמריצה את הפקודה הקודמת כל 10 דקות:

      */10 * * * * * docker run --network container:grafana -v "DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json:/app/<KEY_ID>" gke.gcr.io/prometheus-engine/datasource-syncer:v0.17.2-gke.2 -datasource-uids=UID_OF_GRAFANA_DATASOURCE -grafana-api-token=GRAFANA_SERVICE_ACCOUNT_TOKEN -grafana-api-endpoint=URL_OF_GRAFANA_INSTANCE -project-id=PROJECT_ID -query.credentials-file=DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json -gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
      

   מידע נוסף על האפשרויות של שורת הפקודה שזמינות כשמריצים את הכלי לסנכרון מקורות נתונים מופיע במסמך README.

   קוד מקור

   1. כדי ליצור בעצמכם את הכלי לסנכרון מקורות נתונים:

      1. יוצרים ספרייה שתכיל את הקוד ועוברים לספרייה הזו:

         mkdir data-source-syncer-code
         
         cd data-source-syncer-code
         

         הנתיב לספרייה הזו משמש להגדרת משתנה סביבה בשלב הבא. כדי לקבל את הנתיב, מריצים את הפקודה pwd ומתעדים אותו במשתנה שאפשר לערוך:

         pwd
         PATH_TO_LOCAL_REPO_COPY
         

      2. משכפלים את הקוד מהגרסה הנוכחית של המאגר:

         git clone -b 'v0.17.2' --single-branch https://github.com/GoogleCloudPlatform/prometheus-engine
         

      3. עוברים לספרייה datasource-syncer ויוצרים את הקוד:

         cd prometheus-engine/cmd/datasource-syncer
         
         go build main.go
         

   2. מריצים את הכלי לסנכרון מקורות נתונים. כדי לבצע בדיקה, אפשר להריץ את הכלי לסנכרון באופן ידני. אחרי שמוודאים שהחיבור פועל, צריך להשתמש במנגנון אוטומטי כמו משימת cron כדי להפעיל את הכלי לסנכרון מקורות הנתונים כל 10 דקות, כדי שהחיבור לא יופסק. הסיבה לכך היא שלטוקנים של גישה יש תוקף של שעה אחת.

      כדי להריץ את הכלי לסנכרון מקורות נתונים באופן ידני, משתמשים בפקודה הבאה:

      main -datasource-uids=UID_OF_GRAFANA_DATASOURCE
      -grafana-api-token=GRAFANA_SERVICE_ACCOUNT_TOKEN
      -grafana-api-endpoint=URL_OF_GRAFANA_INSTANCE
      -project-id=PROJECT_ID
      -query.credentials-file=DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json
      -gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
      

      כדי ליצור משימת cron להרצת הכלי לסנכרון מקורות נתונים:

      1. עורכים את טבלת ה-cron:

          cron -e
         

      2. מוסיפים רשומה שמריצה את הפקודה הקודמת כל 10 דקות:

          */10 * * * * * main -datasource-uids=UID_OF_GRAFANA_DATASOURCE -grafana-api-token=GRAFANA_SERVICE_ACCOUNT_TOKEN -grafana-api-endpoint=URL_OF_GRAFANA_INSTANCE -project-id=PROJECT_ID -query.credentials-file=DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json -gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
         

      מידע נוסף על האפשרויות של שורת הפקודה שזמינות כשמריצים את הכלי לסנכרון מקורות נתונים מופיע במסמך README.

6. עוברים למקור הנתונים החדש שהגדרתם ב-Grafana ומוודאים שהערך של כתובת ה-URL של שרת Prometheus מתחיל ב-https://monitoring.s3nsapis.fr. יכול להיות שתצטרכו לרענן את הדף. אחרי האימות, גוללים לחלק התחתון של הדף ולוחצים על שמירה ובדיקה. כדי לוודא שההשלמה האוטומטית של התוויות ב-Grafana פועלת, צריך ללחוץ על הלחצן הזה לפחות פעם אחת.