Monitoraggio dello stato di integrità

Le istanze Gemini Enterprise Agent Platform Workbench forniscono diversi metodi per monitorare l'integrità dei notebook. Questa pagina descrive come utilizzare ciascun metodo.

Metodi per monitorare lo stato di salute

Puoi monitorare l'integrità delle istanze di Agent Platform Workbench in diversi modi. Questa pagina descrive come utilizzare i seguenti metodi:

• Utilizzare gli attributi guest per segnalare l'integrità del sistema

• Segnala metriche personalizzate a Cloud Monitoring

• Genera report sulle metriche di sistema e delle applicazioni in Monitoring installando Monitoring su un'istanza di Agent Platform Workbench

• Utilizzare lo strumento di diagnostica

Prima di iniziare

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Cloud de Confiance project.

3. Enable the Notebooks API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

4. Install the Google Cloud CLI.

5. Configure the gcloud CLI to use your federated identity.

   For more information, see Sign in to the gcloud CLI with your federated identity.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

Utilizzare gli attributi guest per segnalare l'integrità del sistema

Puoi utilizzare gli attributi guest per segnalare lo stato di integrità del sistema dei seguenti servizi principali:

• Servizio Docker
• Agente reverse proxy Docker
• Servizio Jupyter
• API Jupyter

Gli attributi guest sono un tipo specifico di metadati personalizzati su cui le applicazioni possono scrivere durante l'esecuzione sull'istanza di Agent Platform Workbench. Per saperne di più sugli attributi guest, consulta Informazioni sui metadati delle VM.

In che modo le istanze utilizzano gli attributi guest per segnalare l'integrità del sistema

Il servizio notebooks-collection-agent esegue un processo Python in background che verifica lo stato dei servizi principali dell'istanza di Agent Platform Workbench e aggiorna gli attributi guest come 1 se non vengono rilevati problemi o -1 se viene rilevato un errore.

Per utilizzare il servizio notebooks-collection-agent per generare report sull'integrità dell'istanza di Agent Platform Workbench, devi attivare i seguenti attributi guest durante la creazione di un'istanza di Agent Platform Workbench:

• enable-guest-attributes=TRUE: consente gli attributi ospite nell'istanza di Agent Platform Workbench. Tutte le nuove istanze attivano questo attributo per impostazione predefinita.
• report-event-health=TRUE: Questo sistema di registrazione registra i risultati del controllo di integrità negli attributi guest.

Il servizio notebooks-collection-agent non richiede autorizzazioni speciali per scrivere negli attributi guest dell'istanza.

Crea un'istanza di Agent Platform Workbench con gli attributi guest di integrità del sistema attivati

Per utilizzare gli attributi guest di integrità del sistema per generare report sull'integrità dell'istanza di Agent Platform Workbench, devi selezionare la casella di controllo Attiva report sull'integrità del sistema quando crei un'istanza di Agent Platform Workbench.

Puoi attivare il report sullo stato del sistema utilizzando la console Cloud de Confiance o Google Cloud CLI.

Monitorare lo stato del sistema tramite gli attributi guest

Per le istanze di Agent Platform Workbench che hanno gli attributi guest correlati abilitati, puoi recuperare i valori degli attributi guest di integrità del sistema utilizzando la console Cloud de Confiance , Google Cloud CLI con i comandi di Compute Engine o Google Cloud CLI con i comandi di Gemini Enterprise Agent Platform Workbench.

gcloud compute instances get-guest-attributes INSTANCE_NAME \
    --zone ZONE

 NAMESPACE   KEY                         VALUE
 notebooks   docker_proxy_agent_status   1
 notebooks   docker_status               1
 notebooks   jupyterlab_api_status       1
 notebooks   jupyterlab_status           1
 notebooks   system-health               1
 notebooks   updated                     2023-06-20 17:00:00.12345

 NAMESPACE   KEY                         VALUE
 notebooks   docker_proxy_agent_status   -1
 notebooks   docker_status               -1
 notebooks   jupyterlab_api_status       1
 notebooks   jupyterlab_status           1
 notebooks   system-health               -1
 notebooks   updated                     2023-06-20 17:00:00.12345

Segnala metriche personalizzate a Monitoring

Le istanze di Agent Platform Workbench ti consentono di raccogliere le metriche JupyterLab e quelle relative allo stato del sistema e di inviarle a Cloud Monitoring. Queste metriche personalizzate sono diverse dalle metriche standard segnalate quando installi Monitoring sull'istanza di Agent Platform Workbench.

Le metriche personalizzate segnalate a Monitoring includono:

• L'integrità del sistema dei seguenti servizi principali di Agent Platform Workbench:

  • Servizio Docker
  • Agente reverse proxy Docker
  • Servizio Jupyter
  • API Jupyter

• Le seguenti metriche JupyterLab:

  • Numero di kernel
  • Numero di terminali
  • Numero di connessioni
  • Numero di sessioni
  • Memoria massima
  • Con memoria elevata
  • Memoria attuale

Come le istanze segnalano le metriche personalizzate a Monitoring

Per segnalare metriche personalizzate a Monitoring, devi abilitare l'impostazione dei metadati report-notebook-metrics durante la creazione di un'istanza di Agent Platform Workbench.

Devi anche assicurarti che il service account dell'istanza di Agent Platform Workbench disponga delle autorizzazioni Monitoring Metric Writer (roles/monitoring.metricWriter). Per saperne di più, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Crea un'istanza Gemini Enterprise Agent Platform Workbench che riporta metriche personalizzate a Monitoring

Per segnalare metriche personalizzate a Monitoring, devi selezionare la casella di controllo Segnala metriche personalizzate a Cloud Monitoring quando crei un'istanza di Agent Platform Workbench.

Puoi attivare la generazione di report sulle metriche personalizzate in Cloud Monitoring utilizzando la console Cloud de Confiance o gcloud CLI.

Concedi le autorizzazioni di scrittura delle metriche di monitoraggio al account di servizio

Dopo aver creato la nuova istanza di Agent Platform Workbench, concedi le autorizzazioni di scrittura delle metriche di monitoraggio (roles/monitoring.metricWriter) all'account di servizio per l'istanza di Agent Platform Workbench. Per saperne di più, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Monitorare le metriche personalizzate tramite Monitoring

Per le istanze di Agent Platform Workbench che hanno abilitato le metriche personalizzate per i report, puoi monitorare le tue metriche personalizzate utilizzando la console Cloud de Confiance .

1. Nella console Cloud de Confiance , vai alla pagina Istanze.

   Vai a Istanze

2. Fai clic sul nome dell'istanza di cui vuoi visualizzare le metriche personalizzate.

3. Nella pagina Dettagli istanza, fai clic sulla scheda Monitoraggio. Esamina le metriche personalizzate per la tua istanza.

Installa Monitoring su un'istanza

Questa opzione installa automaticamente il monitoraggio. L'installazione richiede 256 MB di spazio su disco. Perché le metriche vengano segnalate a Monitoring è necessaria una connessione a internet.

Come le istanze segnalano le metriche di sistema e delle applicazioni

Per generare report sulle metriche di sistema e delle applicazioni installando Cloud Monitoring nell'istanza di Agent Platform Workbench, devi selezionare la casella di controllo Installa l'agente Cloud Monitoring quando crei un'istanza di Agent Platform Workbench. Queste metriche sono diverse da quelle personalizzate riportate quando attivi l'impostazione dei metadati report-notebook-metrics.

Crea un'istanza di Agent Platform Workbench che invii le metriche di sistema e dell'applicazione a Monitoring

Per installare Monitoring nell'istanza di Agent Platform Workbench, puoi utilizzare la console Cloud de Confiance o gcloud CLI.

Monitora le metriche di sistema e delle applicazioni tramite Monitoring

Per le istanze di Agent Platform Workbench in cui è installato Monitoring, puoi monitorare le metriche di sistema e delle applicazioni utilizzando la console Cloud de Confiance :

1. Nella console Cloud de Confiance , vai alla pagina Istanze.

   Vai a Istanze

2. Fai clic sul nome dell'istanza di cui vuoi visualizzare le metriche di sistema e delle applicazioni.

3. Nella pagina Dettagli istanza, fai clic sulla scheda Monitoraggio. Controlla le metriche di sistema e delle applicazioni per la tua istanza. Per scoprire come interpretare queste metriche, consulta Esamina le metriche delle risorse.

Utilizzare lo strumento di diagnostica per monitorare lo stato del sistema

Le istanze di Agent Platform Workbench includono uno strumento di diagnostica integrato che può aiutarti a monitorare l'integrità del sistema delle tue istanze.

Attività eseguite dallo strumento di diagnostica

Lo strumento di diagnostica esegue le seguenti attività:

• Verifica lo stato dei seguenti servizi principali di Agent Platform Workbench:

  • Servizio Docker
  • Agente reverse proxy Docker
  • Servizio Jupyter
  • API Jupyter

• Controlla se lo spazio su disco per i dischi di avvio e dati è utilizzato oltre una soglia dell'85%.

• Installa lsof (è necessaria una connessione a internet).

• Raccoglie i seguenti log dell'istanza:

  • Informazioni sulla rete (ifconfig, netstat)
  • Log nella cartella /var/log/
  • Informazioni sullo stato di Docker
  • Dati lsof (apri file)
  • Stato del servizio Docker
  • Stato dell'agente proxy inverso
  • Stato del servizio Jupyter
  • Stato dell'API Jupyter
  • File di configurazione dell'agente proxy
  • Processi Python

• Esegue i seguenti comandi e raccoglie i risultati:

  • pip freeze
  • conda list
  • gcloud compute instances describe INSTANCE_NAME
  • gcloud config list

Esegui lo strumento di diagnostica

Se la tua istanza utilizza un container personalizzato, consulta la sezione Esegui lo strumento di diagnostica nella documentazione del container personalizzato di Agent Platform Workbench.

Per eseguire lo strumento di diagnostica in un'istanza che non utilizza un container personalizzato, completa i seguenti passaggi:

1. Utilizza SSH per connetterti all'istanza di Agent Platform Workbench.

2. Nel terminale SSH, esegui questi comandi:

   sudo -i
   cd /opt/deeplearning/bin/
   ./diagnostic_tool.sh

   Lo strumento di diagnostica raccoglie i log, li comprime in un file .tar.gz e li inserisce nella cartella /tmp/.

3. Estrai il file e valuta i contenuti. I contenuti includono:

   • Cartella log: log della cartella var/log/
   • report.log: output per tutti i comandi raccolti
   • proxy-agent-config.json: Informazioni sulla configurazione del proxy
   • Log Docker: un file -json.log che include i log dei container Docker

Puoi utilizzare le seguenti opzioni con lo strumento di diagnostica.

Passaggi successivi

• Scopri di più sui metadati delle VM.

• Scopri di più sul monitoraggio.