PromQL per Cloud Monitoring

GKE

Per eseguire il deployment e l'esecuzione del sincronizzatore dell'origine dati in un cluster Kubernetes:

1. Scegli un progetto, un cluster e uno spazio dei nomi in cui eseguire il deployment di Data Source Syncer.

   Successivamente, assicurati di configurare e autorizzare correttamente il sincronizzatore dell'origine dati:

   • Se utilizzi la federazione delle identità per i carichi di lavoro per GKE, segui le istruzioni per creare e autorizzare un service account. Assicurati di associarlo allo spazio dei nomi Kubernetes in cui vuoi eseguire il sincronizzatore dell'origine dati.
   • Se non utilizzi Workload Identity Federation for GKE, verifica di non aver modificato il service account Compute Engine predefinito.

2. Determina l'URL della tua istanza Grafana, ad esempio https://yourcompanyname.grafana.net per un deployment di Grafana Cloud o http://grafana.NAMESPACE_NAME.svc:3000 per un'istanza locale configurata utilizzando il file YAML di test del deployment.

   Se esegui il deployment di Grafana in locale e il cluster è configurato per proteggere tutto il traffico in-cluster utilizzando TLS, devi utilizzare https:// nell'URL ed eseguire l'autenticazione utilizzando una delle opzioni di autenticazione TLS supportate.

3. Scegli l'origine dati Grafana Prometheus che vuoi utilizzare per Cloud Monitoring, che può essere una nuova origine dati o una preesistente, quindi trova e annota l'UID dell'origine dati. L'UID dell'origine dati si trova nell'ultima parte dell'URL quando esplori o configuri un'origine dati, ad esempio https://yourcompanyname.grafana.net/connections/datasources/edit/GRAFANA_DATASOURCE_UID. Non copiare l'intero URL dell'origine dati. Copia solo l'identificatore univoco nell'URL.

4. Configura un service account Grafana creando il account di servizio e generando un token da utilizzare per l'account:

   1. Nella barra laterale di navigazione di Grafana, fai clic su Amministrazione > Utenti e accesso > Service account.

   2. Crea il account di servizio facendo clic su Aggiungi service account, assegnandogli un nome e concedendogli il ruolo "Amministratore" in Grafana. Se la tua versione di Grafana consente autorizzazioni più granulari, puoi utilizzare il ruolo Origini dati > Scrittore.

   3. Fai clic su Aggiungi token dell'account di servizio.

   4. Imposta la scadenza del token su "Nessuna scadenza" e fai clic su Genera token, quindi copia il token generato negli appunti per utilizzarlo come GRAFANA_SERVICE_ACCOUNT_TOKEN nel passaggio successivo.

5. Configura le seguenti variabili di ambiente utilizzando i risultati dei passaggi precedenti:

   # These values are required.
   PROJECT_ID=SCOPING_PROJECT_ID # The value from Step 1.
   GRAFANA_API_ENDPOINT=GRAFANA_INSTANCE_URL # The value from step 2. This is a URL.
   DATASOURCE_UIDS=GRAFANA_DATASOURCE_UID # The value from step 3. This is not a URL.
   GRAFANA_API_TOKEN=GRAFANA_SERVICE_ACCOUNT_TOKEN # The value from step 4.
   GCM_ENDPOINT_OVERRIDE=--gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
   

6. Esegui il comando seguente per creare un CronJob che aggiorni l'origine dati all'inizializzazione e poi ogni 10 minuti. Se utilizzi la federazione delle identità dei carichi di lavoro per GKE, il valore di NAMESPACE_NAME deve essere lo stesso spazio dei nomi che hai associato in precedenza all'account di servizio.

   curl https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/v0.15.3/cmd/datasource-syncer/datasource-syncer.yaml \
   | sed 's|$DATASOURCE_UIDS|'"$DATASOURCE_UIDS"'|; s|$GRAFANA_API_ENDPOINT|'"$GRAFANA_API_ENDPOINT"'|; s|$GRAFANA_API_TOKEN|'"$GRAFANA_API_TOKEN"'|; s|$PROJECT_ID|'"$PROJECT_ID"'|;' s|$GCM_ENDPOINT_OVERRIDE|'"$GCM_ENDPOINT_OVERRIDE"'|; \
   | kubectl -n NAMESPACE_NAME apply -f -
   

7. Vai all'origine dati Grafana appena configurata e verifica che il valore dell'URL del server Prometheus inizi con https://monitoring.s3nsapis.fr. Potresti dover aggiornare la pagina. Una volta verificato, vai in fondo alla pagina e seleziona Salva e testa. Devi selezionare questo pulsante almeno una volta per assicurarti che il completamento automatico delle etichette in Grafana funzioni.

Verificare le credenziali del account di servizio

Se il tuo cluster Kubernetes ha abilitato la federazione delle identità per i carichi di lavoro per GKE, puoi saltare questa sezione.

Quando viene eseguito su GKE, Cloud Monitoring recupera automaticamente le credenziali dall'ambiente in base al account di servizio predefinito di Compute Engine. Per impostazione predefinita, il account di servizio predefinito dispone delle autorizzazioni necessarie, monitoring.metricWriter e monitoring.viewer. Se non utilizzi la federazione delle identità dei carichi di lavoro per GKE e hai rimosso in precedenza uno di questi ruoli dall'account di servizio del nodo predefinito, dovrai aggiungere nuovamente le autorizzazioni mancanti prima di continuare.

Configura un account di servizio per Workload Identity Federation for GKE

Se il tuo cluster Kubernetes non ha abilitata la federazione delle identità per i carichi di lavoro per GKE, puoi saltare questa sezione.

Cloud Monitoring acquisisce i dati delle metriche utilizzando l'API Cloud Monitoring. Se il tuo cluster utilizza la federazione delle identità per i carichi di lavoro per GKE, devi concedere all'account di servizio Kubernetes l'autorizzazione per l'API Monitoring. Questa sezione descrive quanto segue:

• Creazione di un service accountTrusted Cloud by S3NS dedicato, SERVICE_ACCT_NAME.
• Associazione del service account Trusted Cloud al service account Kubernetes predefinito in uno spazio dei nomi di test, NAMESPACE_NAME.
• Concessione dell'autorizzazione necessaria al service account Trusted Cloud .

Crea e associa il account di servizio

Questo passaggio viene visualizzato in diversi punti della documentazione di Cloud Monitoring. Se hai già eseguito questo passaggio nell'ambito di un'attività precedente, non è necessario ripeterlo. Vai direttamente alla sezione Autorizzare l'account di servizio.

La seguente sequenza di comandi crea il account di servizio SERVICE_ACCT_NAME e lo associa alaccount di serviziot Kubernetes predefinito nello spazio dei nomi NAMESPACE_NAME:

gcloud config set project PROJECT_ID \
&&
gcloud iam service-accounts create SERVICE_ACCT_NAME \
&&
gcloud iam service-accounts add-iam-policy-binding \
  --role roles/iam.workloadIdentityUser \
  --member "serviceAccount:PROJECT_ID.svc.id.goog[NAMESPACE_NAME/default]" \
  SERVICE_ACCT_NAME@PROJECT_ID.s3ns-system.iam.gserviceaccount.com \
&&
kubectl annotate serviceaccount \
  --namespace NAMESPACE_NAME \
  default \
  iam.gke.io/gcp-service-account=SERVICE_ACCT_NAME@PROJECT_ID.s3ns-system.iam.gserviceaccount.com

Se utilizzi uno spazio dei nomi GKE o un account di servizio diverso, modifica i comandi di conseguenza.

Autorizzare il account di servizio

I gruppi di autorizzazioni correlate vengono raccolti in ruoli e concedi i ruoli a un'entità, in questo esempio, account di servizio account Trusted Cloud. Per ulteriori informazioni sui ruoli di monitoraggio, consulta Controllo dell'accesso.

Il seguente comando concede al service account Trusted Cloud , SERVICE_ACCT_NAME, i ruoli API Monitoring necessari per leggere i dati delle metriche.

Se hai già concesso un ruolo specifico al service account Trusted Cloud nell'ambito di un'attività precedente, non devi farlo di nuovo.

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member=serviceAccount:SERVICE_ACCT_NAME@PROJECT_ID.s3ns-system.iam.gserviceaccount.com \
  --role=roles/monitoring.viewer \
&& \
gcloud projects add-iam-policy-binding PROJECT_ID \
  --member=serviceAccount:SERVICE_ACCT_NAME@PROJECT_ID.s3ns-system.iam.gserviceaccount.com \
  --role=roles/iam.serviceAccountTokenCreator

Esegui il debug della configurazione di Workload Identity Federation for GKE

Se hai difficoltà a far funzionare la federazione delle identità per i carichi di lavoro per GKE, consulta la documentazione per verificare la configurazione della federazione delle identità per i carichi di lavoro per GKE e la guida alla risoluzione dei problemi della federazione delle identità per i carichi di lavoro per GKE.

Poiché gli errori di battitura e i copia-incolla parziali sono le fonti più comuni di errori durante la configurazione di Workload Identity Federation per GKE, ti consigliamo vivamente di utilizzare le variabili modificabili e le icone di copia-incolla selezionabili incorporate negli esempi di codice in queste istruzioni.

Workload Identity Federation for GKE negli ambienti di produzione

L'esempio descritto in questo documento associa il service account Trusted Cloud al account di servizio Kubernetes predefinito e concede al account di servizio Trusted Cloudtutte le autorizzazioni necessarie per utilizzare l'API Monitoring.

In un ambiente di produzione, potresti voler utilizzare un approccio più granulare, con un account di servizio per ogni componente, ciascuno con autorizzazioni minime. Per ulteriori informazioni sulla configurazione dei service account per la gestione delle identità dei workload, consulta Utilizzare la federazione delle identità dei workload per GKE.

Altrove

Per eseguire il deployment e l'esecuzione del sincronizzatore dell'origine dati in ambienti diversi da Google Kubernetes Engine, procedi nel seguente modo:

1. Configura un account di servizio da utilizzare per il sincronizzatore delle origini dati:

   1. Imposta il progetto predefinito per i comandi gcloud:

      gcloud config set project PROJECT_ID
      

   2. Crea un account di servizio da utilizzare per il sincronizzatore dell'origine dati:

      gcloud iam service-accounts create DS_SYNCER_SVCACCT_NAME
      

   3. Concedi all'account di servizio l'autorizzazione a leggere i dati delle metriche:

       gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:DS_SYNCER_SVCACCT_NAME@PROJECT_ID.s3ns-system.iam.gserviceaccount.com \
       --role=roles/monitoring.viewer \
       && \
       gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:DS_SYNCER_SVCACCT_NAME@PROJECT_ID.s3ns-system.iam.gserviceaccount.com \
       --role=roles/iam.serviceAccountTokenCreator
      

   4. Crea una chiave per il account di servizio:

      gcloud iam service-accounts keys create DS_SYNCER_SVCACCT_KEYFILE_NAME.json \
      --iam-account DS_SYNCER_SVCACCT_NAME@PROJECT_ID.s3ns-system.iam.gserviceaccount.com
      

      Il percorso di questa directory viene utilizzato per impostare una variabile di ambiente in un passaggio successivo. Per ottenere il percorso, esegui il comando pwd e registra il valore:

      pwd
      DS_SYNCER_SVCACCT_KEYFILE_DIR
      

2. Determina l'URL della tua istanza Grafana, ad esempio https://yourcompanyname.grafana.net per un deployment di Grafana Cloud o https://localhost:3000 per un'istanza di test locale. Questo valore viene utilizzato nel comando per eseguire il sincronizzatore delle origini dati.

   Se implementi Grafana localmente per un cluster Kubernetes configurato per proteggere tutto il traffico nel cluster utilizzando TLS, devi utilizzare https:// nell'URL e, nel passaggio successivo, eseguire l'autenticazione utilizzando una delle opzioni di autenticazione TLS supportate.

3. In Grafana, aggiungi un'origine dati Prometheus da utilizzare per Cloud Monitoring e registra l'UID dell'origine dati:

   1. Fai clic su Connessioni > Origini dati > Aggiungi una nuova origine dati. Seleziona Prometheus dall'elenco dei database di serie temporali.

   2. Nel campo URL server Prometheus, inserisci il seguente valore:

      https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/
      

   3. Fai clic su Salva e testa.

      L'URL nel browser per la pagina dell'origine dati contiene l'interfaccia utente dell'origine dati, ad esempio https://yourcompanyname.grafana.net/connections/datasources/edit/GRAFANA_DATASOURCE_UID.

   4. Registra l'UID dell'origine dati. Questo valore viene utilizzato nel comando per eseguire il sincronizzatore delle origini dati. Non copiare l'intero URL dell'origine dati. Copia solo l'identificatore univoco nell'URL, che è un valore come ee0z3woqjah34e:

      GRAFANA_DATASOURCE_UID
      

4. Configura un service account Grafana creando il account di servizio e generando un token da utilizzare:

   1. Nella barra laterale di navigazione di Grafana, fai clic su Amministrazione > Utenti e accesso > Service account.

   2. Crea il account di servizio facendo clic su Aggiungi service account, assegnandogli un nome e concedendogli il ruolo "Amministratore" in Grafana.

   3. Fai clic su Aggiungi token dell'account di servizio.

   4. Imposta la scadenza del token su "Nessuna scadenza" e fai clic su Genera token, quindi copia il token generato nella seguente variabile modificabile. Questo valore viene utilizzato nel comando per eseguire il sincronizzatore delle origini dati.

      GRAFANA_SERVICE_ACCOUNT_TOKEN
      

5. Esegui il sincronizzatore dell'origine dati. Puoi eseguire il syncer da un'immagine container predefinita utilizzando Docker oppure puoi creare il codice dal codice sorgente ed eseguirlo manualmente. Il sincronizzatore dell'origine dati è un'applicazione Go, quindi devi aver installato Go per creare il sincronizzatore dal codice sorgente.

   Docker

   Esegui il sincronizzatore delle origini dati da Docker utilizzando l'immagine container gke.gcr.io/prometheus-engine/datasource-syncer:v0.15.3-gke.0. Per i test, puoi eseguire la sincronizzazione manualmente. Dopo aver verificato che la connessione funzioni, poiché i token di accesso hanno una durata di un'ora, devi utilizzare un meccanismo automatizzato come un cron job per eseguire il sincronizzatore dell'origine dati ogni 10 minuti per assicurarti che la connessione non venga interrotta.

   Utilizza il seguente comando Docker per eseguire il sincronizzatore dell'origine dati:

   docker run --network container:grafana -v "DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json:/app/DS_SYNCER_SVCACCT_KEYFILE_NAME.json" gke.gcr.io/prometheus-engine/datasource-syncer:v0.15.3-gke.0
   -datasource-uids=UID_OF_GRAFANA_DATASOURCE
   -grafana-api-token=GRAFANA_SERVICE_ACCOUNT_TOKEN
   -grafana-api-endpoint=URL_OF_GRAFANA_INSTANCE
   -project-id=PROJECT_ID
   -query.credentials-file=DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json
   -gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
   

   Per creare un job cron per eseguire il sincronizzatore dell'origine dati:

   1. Modifica la tabella cron:

      cron -e
      

   2. Aggiungi una voce che esegue il comando precedente ogni 10 minuti:

      */10 * * * * * docker run --network container:grafana -v "DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json:/app/<KEY_ID>" gke.gcr.io/prometheus-engine/datasource-syncer:v0.15.3-gke.0 -datasource-uids=UID_OF_GRAFANA_DATASOURCE -grafana-api-token=GRAFANA_SERVICE_ACCOUNT_TOKEN -grafana-api-endpoint=URL_OF_GRAFANA_INSTANCE -project-id=PROJECT_ID -query.credentials-file=DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json -gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
      

   Per ulteriori informazioni sulle opzioni della riga di comando disponibili durante l'esecuzione di Data Source Syncer, consulta il documento README.

   Codice sorgente

   1. Per creare autonomamente il sincronizzatore dell'origine dati:

      1. Crea una directory per contenere il codice e passa a quella directory:

         mkdir data-source-syncer-code
         
         cd data-source-syncer-code
         

         Il percorso di questa directory viene utilizzato per impostare una variabile di ambiente in un passaggio successivo. Per ottenere il percorso, esegui il comando pwd e registralo nella variabile modificabile:

         pwd
         PATH_TO_LOCAL_REPO_COPY
         

      2. Clona il codice dalla release corrente del repository:

         git clone -b 'v0.15.3' --single-branch https://github.com/GoogleCloudPlatform/prometheus-engine
         

      3. Vai alla directory datasource-syncer e compila il codice:

         cd prometheus-engine/cmd/datasource-syncer
         
         go build main.go
         

   2. Esegui il sincronizzatore dell'origine dati. Per i test, puoi eseguire la sincronizzazione manualmente. Dopo aver verificato che la connessione funzioni, poiché i token di accesso hanno una durata di un'ora, devi utilizzare un meccanismo automatizzato come un job cron per eseguire il sincronizzatore dell'origine dati ogni 10 minuti per garantire che la connessione non venga interrotta.

      Utilizza il seguente comando per eseguire manualmente la sincronizzazione dell'origine dati:

      main -datasource-uids=UID_OF_GRAFANA_DATASOURCE
      -grafana-api-token=GRAFANA_SERVICE_ACCOUNT_TOKEN
      -grafana-api-endpoint=URL_OF_GRAFANA_INSTANCE
      -project-id=PROJECT_ID
      -query.credentials-file=DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json
      -gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
      

      Per creare un job cron per eseguire il sincronizzatore dell'origine dati:

      1. Modifica la tabella cron:

          cron -e
         

      2. Aggiungi una voce che esegue il comando precedente ogni 10 minuti:

          */10 * * * * * main -datasource-uids=UID_OF_GRAFANA_DATASOURCE -grafana-api-token=GRAFANA_SERVICE_ACCOUNT_TOKEN -grafana-api-endpoint=URL_OF_GRAFANA_INSTANCE -project-id=PROJECT_ID -query.credentials-file=DS_SYNCER_SVCACCT_KEYFILE_DIR/DS_SYNCER_SVCACCT_KEYFILE_NAME.json -gcm-endpoint-override="https://monitoring.s3nsapis.fr/v1/projects/PROJECT_ID/location/global/prometheus/"
         

      Per ulteriori informazioni sulle opzioni della riga di comando disponibili durante l'esecuzione di Data Source Syncer, consulta il documento README.

6. Vai all'origine dati Grafana appena configurata e verifica che il valore URL del server Prometheus inizi con https://monitoring.s3nsapis.fr. Potresti dover aggiornare la pagina. Una volta verificato, vai in fondo alla pagina e fai clic su Salva e testa. Devi fare clic su questo pulsante almeno una volta per assicurarti che il completamento automatico delle etichette in Grafana funzioni.