מעקב אחרי הטיה וסחף של תכונות

בדף הזה מוסבר איך ליצור, לנהל ולפרש את התוצאות של משימות מעקב אחרי מודלים שנפרסו בנקודות קצה של חיזוי אונליין. הכלי Model Monitoring ב-Gemini Enterprise Agent Platform תומך בזיהוי של סטייה ושינוי הדרגתי בתכונות קלט מספריות וקטגוריות.

כשפורסים מודל בסביבת הייצור ומפעילים את Model Monitoring, בקשות החיזוי שנכנסות נרשמות בטבלה ב-BigQuery בפרויקט ב- Cloud de Confiance . לאחר מכן, המערכת מנתחת את ערכי המאפיינים של הקלט שכלולים בבקשות שנרשמו ביומן כדי לזהות הטיה או סטייה.

אתם יכולים להפעיל זיהוי סטייה אם אתם מספקים את קבוצת נתוני האימון המקורי של המודל. אחרת, כדאי להפעיל זיהוי סחף נתונים. מידע נוסף זמין במאמר מבוא למעקב אחרי מודלים ב-Gemini Enterprise Agent Platform.

דרישות מוקדמות

כדי להשתמש ב-Model Monitoring:

  1. מודל זמין ב-Agent Platform, מסוג AutoML בטבלה או מסוג אימון בהתאמה אישית בטבלה שיובאה.

    • אם אתם משתמשים בנקודת קצה קיימת, ודאו שכל המודלים שנפרסו בנקודת הקצה הם מסוג AutoML טבלאי או מסוג אימון מותאם אישית שיובא.

  2. אם אתם מפעילים זיהוי של סטייה, העלו את נתוני האימון ל-Cloud Storage או ל-BigQuery וקבלו את קישור ה-URI לנתונים. כדי לזהות שינויים, לא צריך נתוני אימון.

  3. אופציונלי: במודלים באימון מותאם אישית, מעלים ל-Cloud Storage את סכימת המכונה לניתוח של המודל. כדי להתחיל את תהליך המעקב ולחשב את התפלגות הבסיס לזיהוי סטייה, צריך להגדיר סכימה ב-Model Monitoring. אם לא תספקו את הסכימה במהלך יצירת המשימה, המשימה תישאר במצב המתנה עד ש-Model Monitoring יוכל לנתח באופן אוטומטי את הסכימה מ-1,000 בקשות החיזוי הראשונות שהמודל יקבל.

יצירת משימה למעקב אחרי מודלים

כדי להגדיר זיהוי של סטייה או זיהוי של שינוי, יוצרים משימה למעקב אחרי פריסת המודל:

המסוף

כדי ליצור משימת מעקב אחרי פריסת מודל באמצעות מסוף Cloud de Confiance , יוצרים נקודת קצה:

  1. נכנסים לדף Agent Platform Endpoints במסוף Cloud de Confiance .

    כניסה לדף Endpoints

  2. לוחצים על Create Endpoint.

  3. בחלונית New endpoint, נותנים שם לנקודת הקצה ומגדירים אזור.

  4. לוחצים על Continue.

  5. בשדה Model name, בוחרים מודל AutoML מיובא בהתאמה אישית או מודל טבלאי.

  6. בשדה Version, בוחרים גרסה למודל.

  7. לוחצים על Continue.

  8. בחלונית Model monitoring, מוודאים שהאפשרות Enable model monitoring for this endpoint מופעלת. כל הגדרות המעקב שתקבעו יחולו על כל המודלים שנפרסו בנקודת הקצה.

  9. מזינים Monitoring job display name.

  10. מזינים משך חלון מעקב.

  11. בשדה Notification emails, מזינים כתובת אימייל אחת או יותר, מופרדות בפסיקים, כדי לקבל התראות באימייל כשמודל חורג מסף ההתראה.

  12. (אופציונלי) בשדה Notification channels, מוסיפים ערוצי Cloud Monitoring כדי לקבל התראות כשמודל חורג מסף ההתראה. אפשר לבחור ערוצים קיימים של Cloud Monitoring או ליצור ערוץ חדש בלחיצה על Manage notification channels. במסוף יש תמיכה בערוצי ההתראות PagerDuty,‏ Slack ו-Pub/Sub.

  13. מזינים תדירות דגימה.

  14. אופציונלי: מזינים את סכימת הקלט של החיזוי ואת סכימת הקלט של הניתוח.

  15. לוחצים על Continue. נפתחת החלונית Monitoring objective, עם אפשרויות לזיהוי הטיה או סטייה:

    זיהוי הטיה

    1. בוחרים באפשרות Training-serving skew detection.
    2. בקטע Training data source, מציינים מקור נתונים לאימון.
    3. בקטע Target column, מזינים את שם העמודה מנתוני האימון שהמודל מאומן לחזות. השדה הזה לא נכלל בניתוח המעקב.
    4. אופציונלי: בקטע Alert thresholds, מציינים את ערכי הסף להפעלת התראות. כדי לקבל מידע על הפורמט של ערכי הסף, מעבירים את הסמן מעל סמל העזרה .
    5. לוחצים על יצירה.

    זיהוי חריגות

    1. בוחרים באפשרות זיהוי שינויים הדרגתיים בתחזיות.
    2. אופציונלי: בקטע Alert thresholds, מציינים את ערכי הסף להפעלת התראות. כדי לקבל מידע על הפורמט של ערכי הסף, מעבירים את הסמן מעל סמל העזרה .
    3. לוחצים על יצירה.

gcloud

כדי ליצור משימה למעקב אחרי פריסת המודל באמצעות ה-CLI של gcloud, קודם צריך לפרוס את המודל בנקודת קצה:

הגדרת משימת מעקב חלה על כל המודלים שנפרסו בנקודת קצה (endpoint).

מריצים את הפקודה gcloud ai model-monitoring-jobs create.

gcloud ai model-monitoring-jobs create \
  --project=PROJECT_ID \
  --region=REGION \
  --display-name=MONITORING_JOB_NAME \
  --emails=EMAIL_ADDRESS_1,EMAIL_ADDRESS_2 \
  --endpoint=ENDPOINT_ID \
  [--feature-thresholds=FEATURE_1=THRESHOLD_1, FEATURE_2=THRESHOLD_2] \
  [--prediction-sampling-rate=SAMPLING_RATE] \
  [--monitoring-frequency=MONITORING_FREQUENCY] \
  [--analysis-instance-schema=ANALYSIS_INSTANCE_SCHEMA] \
  --target-field=TARGET_FIELD \
  --bigquery-uri=BIGQUERY_URI

כאשר:

  • ‫PROJECT_ID הוא המזהה של הפרויקט ב- Cloud de Confiance . לדוגמה, my-project.

  • ‫REGION הוא המיקום של משימת המעקב. לדוגמה, us-central1.

  • ‫MONITORING_JOB_NAME הוא השם של משימת המעקב. לדוגמה, my-job.

  • ‫EMAIL_ADDRESS היא כתובת האימייל שבה רוצים לקבל התראות מ-Model Monitoring. לדוגמה, example@example.com.

  • ‫ENDPOINT_ID הוא המזהה של נקודת הקצה (endpoint) שבה המודל נפרס. לדוגמה, 1234567890987654321.

  • אופציונלי: FEATURE_1=THRESHOLD_1 הוא סף ההתראה לכל מאפיין שרוצים לעקוב אחריו. לדוגמה, אם מציינים Age=0.4, המערכת של מעקב אחר מודלים מתעדת התראה ביומן כשהמרחק הסטטיסטי בין ההתפלגויות של הקלט ושל ערך הבסיס של המאפיין Age גדול מ-0.4. כברירת מחדל, כל מאפיין קטגוריאלי ומספרי מנוטר עם ערכי סף של 0.3.

  • אופציונלי: SAMPLING_RATE הוא החלק של בקשות החיזוי הנכנסות שרוצים לתעד ביומן. לדוגמה, 0.5. אם לא מציינים ערך, המערכת מתעדת את כל בקשות החיזוי.

  • אופציונלי: MONITORING_FREQUENCY היא התדירות שבה רוצים להריץ את משימת המעקב על קלט שנרשם לאחרונה. רמת הפירוט המינימלית היא שעה אחת. ברירת המחדל מוגדרת ל-24 שעות. לדוגמה, 2.

  • אופציונלי: ANALYSIS_INSTANCE_SCHEMA הוא ה-URI של Cloud Storage לקובץ הסכימה שמתאר את הפורמט של נתוני הקלט. לדוגמה, gs://test-bucket/schema.yaml.

  • (נדרש רק לזיהוי הטיה) TARGET_FIELD הוא השדה שהמודל חוזה. השדה הזה לא נכלל בניתוח המעקב. לדוגמה, housing-price.

  • (נדרש רק לזיהוי סטייה) BIGQUERY_URI הוא הקישור למערך נתוני האימון שמאוחסן ב-BigQuery, בפורמט הבא:

    bq://\PROJECT.\DATASET.\TABLE

    לדוגמה, bq://\my-project.\housing-data.\san-francisco.

    אפשר להחליף את הדגל bigquery-uri בקישורים חלופיים למערך הנתונים לאימון:

    • לקובץ CSV שמאוחסן בקטגוריה של Cloud Storage, משתמשים ב---data-format=csv --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME.

    • לקובץ TFRecord שמאוחסן בקטגוריה של Cloud Storage, משתמשים ב---data-format=tf-record --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME.

    • במערך נתונים מנוהל של AutoML בטבלה, משתמשים ב---dataset=DATASET_ID.

Python SDK

בדוגמה ל-notebook מוסבר תהליך העבודה המלא מקצה לקצה של Model Monitoring API.

‫API בארכיטקטורת REST

  1. אם עדיין לא עשיתם את זה, פורסים את המודל בנקודת קצה (endpoint). בשלב Get the endpoint ID בהוראות לפריסת המודל, שימו לב לערך של deployedModels.id בתגובת ה-JSON, כדי להשתמש בו בהמשך:

  2. יוצרים בקשה למשימת מעקב אחרי מודלים. בהוראות הבאות מוסבר איך ליצור משימת מעקב בסיסית לזיהוי שינויים. כדי להתאים אישית את בקשת ה-JSON, עיינו בחומר העזר בנושא משימות מעקב.

    לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט ב- Cloud de Confiance . לדוגמה, my-project.
    • ‫LOCATION: המיקום של משימת המעקב. לדוגמה: us-central1.
    • ‫MONITORING_JOB_NAME: השם של משימת המעקב. לדוגמה, my-job.
    • ‫PROJECT_NUMBER: מספר הפרויקט ב- Cloud de Confiance . לדוגמה, 1234567890.
    • ‫ENDPOINT_ID הוא המזהה של נקודת הקצה שאליה נפרס המודל. לדוגמה, 1234567890.
    • ‫DEPLOYED_MODEL_ID: המזהה של המודל שנפרס.
    • ‫FEATURE:VALUE הוא סף ההתראה לכל מאפיין שרוצים לעקוב אחריו. לדוגמה, אם מציינים "Age": {"value": 0.4}, המערכת לניטור מודלים מתעדת התראה ביומן כשהמרחק הסטטיסטי בין התפלגויות הקלט והבסיס של המאפיין Age חורג מ-0.4. כברירת מחדל, כל מאפיין קטגוריאלי ומספרי מנוטר עם ערכי סף של 0.3.
    • ‫EMAIL_ADDRESS: כתובת האימייל שבה רוצים לקבל התראות מ-Model Monitoring. לדוגמה: example@example.com.
    • ‫NOTIFICATION_CHANNELS: רשימה של ערוצי ההתראות של Cloud Monitoring שבהם רוצים לקבל התראות מ-Model Monitoring. משתמשים בשמות המשאבים של ערוצי ההתראות, שאותם אפשר לאחזר על ידי הצגת רשימה של ערוצי ההתראות בפרויקט. לדוגמה, "projects/my-project/notificationChannels/1355376463305411567", "projects/my-project/notificationChannels/1355376463305411568".
    • אופציונלי: ANALYSIS_INSTANCE_SCHEMA הוא ה-URI של Cloud Storage לקובץ הסכימה שמתאר את הפורמט של נתוני הקלט. לדוגמה: gs://test-bucket/schema.yaml.

    תוכן בקשת JSON: 

    {
  "displayName":"MONITORING_JOB_NAME",
  "endpoint":"projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
  "modelDeploymentMonitoringObjectiveConfigs": {
     "deployedModelId": "DEPLOYED_MODEL_ID",
     "objectiveConfig":  {
        "predictionDriftDetectionConfig": {
            "driftThresholds": {
              "FEATURE_1": {
                "value": VALUE_1
               },
              "FEATURE_2": {
                "value": VALUE_2
               }
            }
         },
      },
  },
  "loggingSamplingStrategy": {
     "randomSampleConfig":  {
        "sampleRate":  0.5,
     },
  },
  "modelDeploymentMonitoringScheduleConfig": {
     "monitorInterval": {
        "seconds": 3600,
     },
  },
  "modelMonitoringAlertConfig": {
     "emailAlertConfig": {
        "userEmails": ["EMAIL_ADDRESS"],
     },
     "notificationChannels": [NOTIFICATION_CHANNELS]
  },
  "analysisInstanceSchemaUri": ANALYSIS_INSTANCE_SCHEMA
}

    כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

    אתם אמורים לקבל תגובת JSON שדומה לזו:

    {
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_NUMBER",
  ...
  "state": "JOB_STATE_PENDING",
  "scheduleState": "OFFLINE",
  ...
  "bigqueryTables": [
    {
      "logSource": "SERVING",
      "logType": "PREDICT",
      "bigqueryTablePath": "bq://PROJECT_ID.model_deployment_monitoring_8451189418714202112.serving_predict"
    }
  ],
  ...
}

אחרי שיוצרים את משימת המעקב, הכלי 'מעקב אחרי מודלים' מתעד את בקשות החיזוי שנכנסות בטבלה ב-BigQuery שנוצרת בשם PROJECT_ID.model_deployment_monitoring_ENDPOINT_ID.serving_predict. אם מפעילים רישום ביומן של בקשות ותגובות, הכלי "מעקב אחר מודלים" מתעד את הבקשות הנכנסות באותה טבלה ב-BigQuery שמשמשת לרישום ביומן של בקשות ותגובות.

(אופציונלי) הגדרת התראות למשימת מעקב אחרי המודל

אתם יכולים לעקוב אחרי משימת מעקב המודל ולנפות בה באגים באמצעות התראות. ב-Model Monitoring נשלחות התראות אוטומטיות באימייל על עדכונים במשימות, אבל אפשר גם להגדיר התראות דרך ערוצי ההתראות של Cloud Logging ו-Cloud Monitoring.

אימייל

באירועים הבאים, המערכת של מעקב אחרי מודלים שולחת התראה באימייל לכל כתובת אימייל שציינתם כשיצרתם את משימת המעקב אחרי המודלים:

  • בכל פעם שמגדירים זיהוי של סטייה או שינוי הדרגתי.
  • בכל פעם שמעדכנים הגדרה קיימת של משימת מעקב אחרי מודלים.
  • בכל פעם שנכשלת הפעלה מתוזמנת של צינור עיבוד נתונים למעקב.

Cloud Logging

כדי להפעיל יומנים להרצות מתוזמנות של צינור עיבוד נתונים למעקב, מגדירים את השדה enableMonitoringPipelineLogs בהגדרות של modelDeploymentMonitoringJobs לערך true. יומני ניפוי באגים נכתבים ב-Cloud Logging כשמגדירים את משימת המעקב ובכל מרווח זמן של מעקב.

יומני ניפוי הבאגים נכתבים ב-Cloud Logging עם שם היומן: model_monitoring. לדוגמה:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring" resource.labels.model_deployment_monitoring_job=6680511704087920640

דוגמה לרשומה ביומן של התקדמות המשימה: 

{
"insertId": "e2032791-acb9-4d0f-ac73-89a38788ccf3@a1",
"jsonPayload": {
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringPipelineLogEntry",
  "statusCode": {
    "message": "Scheduled model monitoring pipeline finished successfully for job projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
  },
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-04T15:33:54.778883Z",
"severity": "INFO",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring",
"receiveTimestamp": "2022-02-04T15:33:56.343298321Z"
}

ערוצי התראות

בכל פעם שנכשלת הרצה מתוזמנת של צינור עיבוד נתונים למעקב, נשלחת התראה מ-Model Monitoring לערוצי ההתראות ב-Cloud Monitoring שציינתם כשיצרתם את המשימה ב-Model Monitoring.

הגדרת התראות על חריגות בתכונות

ב-Model Monitoring, חריגה מזוהה כשהערך של המאפיין חורג מהסף שהוגדר. הכלי Model Monitoring שולח התראות אוטומטיות באימייל על אנומליות שזוהו, אבל אפשר גם להגדיר התראות דרך ערוצי ההתראות של Cloud Logging ו-Cloud Monitoring.

אימייל

בכל מרווח זמן של מעקב, אם הסף של מאפיין אחד לפחות חורג מהסף, המערכת שולחת התראה באימייל לכל כתובת אימייל שציינתם כשיצרתם את משימת המעקב אחרי המודל. הודעת האימייל כוללת את הפרטים הבאים:

  • השעה שבה משימת המעקב הופעלה.
  • שם המאפיין שיש בו הטיה או סטייה.
  • סף ההתראה וגם המדד הסטטיסטי של המרחק שנרשם.

Cloud Logging

כדי להפעיל התראות של Cloud Logging, מגדירים את השדה enableLogging של ההגדרה ModelMonitoringAlertConfig לערך true.

בכל מרווח זמן של מעקב, נכתב יומן חריגות ב-Cloud Logging אם ההתפלגות של מאפיין אחד לפחות חורגת מהסף של אותו מאפיין. אפשר להעביר יומנים לכל שירות שנתמך ב-Cloud Logging, כמו Pub/Sub.

החריגות נכתבות ב-Cloud Logging עם שם היומן: model_monitoring_anomaly. לדוגמה:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring_anomaly" resource.labels.model_deployment_monitoring_job=6680511704087920640

דוגמה לרשומה ביומן של אנומליה: 

{
"insertId": "b0e9c0e9-0979-4aff-a5d3-4c0912469f9a@a1",
"jsonPayload": {
  "anomalyObjective": "RAW_FEATURE_SKEW",
  "endTime": "2022-02-03T19:00:00Z",
  "featureAnomalies": [
    {
      "featureDisplayName": "age",
      "deviation": 0.9,
      "threshold": 0.7
    },
    {
      "featureDisplayName": "education",
      "deviation": 0.6,
      "threshold": 0.3
    }
  ],
  "totalAnomaliesCount": 2,
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringAnomaliesLogEntry",
  "startTime": "2022-02-03T18:00:00Z",
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640",
  "deployedModelId": "1645828169292316672"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-03T19:00:00Z",
"severity": "WARNING",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring_anomaly",
"receiveTimestamp": "2022-02-03T19:59:52.121398388Z"
}

ערוצי התראות

בכל מרווח זמן של ניטור, אם הסף של מאפיין אחד לפחות חורג מהסף, המערכת שולחת התראה לערוצי ההתראות של Cloud Monitoring שציינתם כשיצרתם את משימת הניטור. ההתראה כוללת מידע על משימת מעקב המודל שהפעילה את ההתראה.

עדכון משימה של מעקב אחרי מודל

אתם יכולים להציג, לעדכן, להשהות ולמחוק משימות של מעקב אחרי מודלים. כדי למחוק משימה, צריך קודם להשהות אותה.

המסוף

אי אפשר להשהות ולמחוק במסוף Cloud de Confiance , אלא רק ב-CLI של gcloud.

כדי לעדכן את הפרמטרים של משימת מעקב אחרי מודלים:

  1. נכנסים לדף Agent Platform Endpoints במסוף Cloud de Confiance .

    כניסה לדף Endpoints

  2. לוחצים על השם של נקודת הקצה שרוצים לערוך.

  3. לוחצים על עריכת ההגדרות.

  4. בחלונית Edit endpoint, בוחרים באפשרות Model monitoring או באפשרות Monitoring objectives.

  5. מעדכנים את השדות שרוצים לשנות.

  6. לוחצים על עדכון.

כדי לראות את המדדים, ההתראות ומאפייני המעקב של מודל:

  1. נכנסים לדף Agent Platform Endpoints במסוף Cloud de Confiance .

    כניסה לדף Endpoints

  2. לוחצים על השם של נקודת הקצה.

  3. בעמודה Monitoring של המודל שרוצים להציג, לוחצים על Enabled.

gcloud

מריצים את הפקודה הבאה:

gcloud ai model-monitoring-jobs COMMAND MONITORING_JOB_ID \
  --PARAMETER=VALUE --project=PROJECT_ID --region=LOCATION

כאשר:

  • ‫COMMAND היא הפקודה שרוצים לבצע במשימת המעקב. לדוגמה, update, pause, resume או delete. מידע נוסף זמין בחומר העזר בנושא ה-CLI של gcloud.

  • ‫MONITORING_JOB_ID הוא המזהה של משימת המעקב. לדוגמה, 123456789. כדי למצוא את המזהה, אפשר לאחזר את פרטי נקודת הקצה או להציג את מאפייני המעקב של מודל במסוף Cloud de Confiance . המזהה נכלל בשם המשאב של משימת המעקב, בפורמט projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_ID.

  • (אופציונלי) PARAMETER=VALUE הוא הפרמטר שרוצים לעדכן. הדגל הזה נדרש רק כשמשתמשים בפקודה update. לדוגמה: monitoring-frequency=2. רשימה של הפרמטרים שאפשר לעדכן מופיעה בחומר העזר בנושא ה-CLI של gcloud.

  • ‫PROJECT_ID הוא המזהה של הפרויקט ב- Cloud de Confiance . לדוגמה, my-project.

  • ‫LOCATION הוא המיקום של משימת המעקב. לדוגמה, us-central1.

‫API בארכיטקטורת REST

השהיית משימה

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_NUMBER: מספר הפרויקט ב- Cloud de Confiance . לדוגמה, 1234567890.
  • ‫LOCATION: המיקום של משימת המעקב. לדוגמה: us-central1.
  • ‫MONITORING_JOB_ID: המזהה של משימת המעקב. לדוגמה, 0987654321.

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

אתם אמורים לקבל תגובת JSON שדומה לזו:

{}

מחיקת משרה

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_NUMBER: מספר הפרויקט ב- Cloud de Confiance . לדוגמה, my-project.
  • ‫LOCATION: המיקום של משימת המעקב. לדוגמה: us-central1.
  • ‫MONITORING_JOB_ID: המזהה של משימת המעקב. לדוגמה, 0987654321.

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/operations/MONITORING_JOB_ID",
  ...
  "done": true,
  ...
}

ניתוח נתוני ההטיה והשינוי

אתם יכולים להשתמש במסוף Cloud de Confiance כדי להציג את ההתפלגויות של כל מאפיין במעקב, ולגלות אילו שינויים הובילו להטיה או לסטייה לאורך זמן. אפשר להציג את התפלגות ערכי המאפיינים כהיסטוגרמה.

המסוף

  1. כדי לעבור להיסטוגרמות של התפלגות המאפיינים במסוףCloud de Confiance , נכנסים לדף Endpoints.

    כניסה לדף Endpoints

  2. בדף Endpoints, לוחצים על נקודת הקצה שרוצים לנתח.

  3. בדף הפרטים של נקודת הקצה שבחרתם מופיעה רשימה של כל המודלים שנפרסו בנקודת הקצה הזו. לוחצים על שם המודל שרוצים לנתח.

  4. בדף הפרטים של המודל מפורטים מאפייני הקלט של המודל, וגם מידע רלוונטי כמו סף ההתראה לכל מאפיין ומספר ההתראות הקודמות למאפיין.

  5. כדי לנתח תכונה, לוחצים על השם שלה. בדף מוצגים ההיסטוגרמות של התפלגות המאפיינים של אותו מאפיין.

    במסוף Cloud de Confiance אפשר לראות את ההתפלגויות של 50 משימות המעקב האחרונות של כל מאפיין במעקב. כדי לזהות סטייה, התפלגות נתוני האימון מוצגת ממש ליד התפלגות נתוני הקלט:

    היסטוגרמות שמציגות דוגמה להתפלגות של נתוני קלט והתפלגות של נתוני אימון לזיהוי הטיה.

    הצגת התפלגות הנתונים כהיסטוגרמות מאפשרת לכם להתמקד במהירות בשינויים שחלו בנתונים. לאחר מכן, תוכלו להחליט אם לשנות את צינור עיבוד הנתונים ליצירת מאפיינים או לאמן מחדש את המודל.

המאמרים הבאים