Crea un job Python in Cloud Run

Scrittura del job di esempio

Per scrivere un job in Python:

1. Crea una nuova directory denominata jobs e accedi alla directory:

   mkdir jobs
   cd jobs
   

2. Crea un file main.py per il codice del job effettivo. Copia le seguenti righe di esempio:

   import json
   import os
   import random
   import sys
   import time
   
   # Retrieve Job-defined env vars
   TASK_INDEX = os.getenv("CLOUD_RUN_TASK_INDEX", 0)
   TASK_ATTEMPT = os.getenv("CLOUD_RUN_TASK_ATTEMPT", 0)
   # Retrieve User-defined env vars
   SLEEP_MS = os.getenv("SLEEP_MS", 0)
   FAIL_RATE = os.getenv("FAIL_RATE", 0)
   
   
   # Define main script
   def main(sleep_ms=0, fail_rate=0):
       """Program that simulates work using the sleep method and random failures.
   
       Args:
           sleep_ms: number of milliseconds to sleep
           fail_rate: rate of simulated errors
       """
       print(f"Starting Task #{TASK_INDEX}, Attempt #{TASK_ATTEMPT}...")
       # Simulate work by waiting for a specific amount of time
       time.sleep(float(sleep_ms) / 1000)  # Convert to seconds
   
       # Simulate errors
       random_failure(float(fail_rate))
   
       print(f"Completed Task #{TASK_INDEX}.")
   
   
   def random_failure(rate):
       """Throws an error based on fail rate
   
       Args:
           rate: a float between 0 and 1
       """
       if rate < 0 or rate > 1:
           # Return without retrying the Job Task
           print(
               f"Invalid FAIL_RATE env var value: {rate}. "
               + "Must be a float between 0 and 1 inclusive."
           )
           return
   
       random_failure = random.random()
       if random_failure < rate:
           raise Exception("Task failed.")
   
   
   # Start script
   if __name__ == "__main__":
       try:
           main(SLEEP_MS, FAIL_RATE)
       except Exception as err:
           message = (
               f"Task #{TASK_INDEX}, " + f"Attempt #{TASK_ATTEMPT} failed: {str(err)}"
           )
   
           print(json.dumps({"message": message, "severity": "ERROR"}))
           sys.exit(1)  # Retry Job Task by exiting the process

   I job Cloud Run consentono agli utenti di specificare il numero di attività che il job deve eseguire. Questo codice campione mostra come utilizzare la variabile di ambiente CLOUD_RUN_TASK_INDEX integrata. Ogni attività rappresenta una copia in esecuzione del container. Tieni presente che le attività vengono solitamente eseguite in parallelo. L'utilizzo di più attività è utile se ogni attività può elaborare in modo indipendente un sottoinsieme dei tuoi dati.

   Ogni attività è a conoscenza del proprio indice, archiviato nella variabile di ambiente CLOUD_RUN_TASK_INDEX. La variabile di ambiente integrata CLOUD_RUN_TASK_COUNT contiene il numero di attività fornite al momento dell'esecuzione del job tramite il parametro --tasks.

   Il codice mostrato mostra anche come riprovare le attività utilizzando la variabile di ambiente integrata CLOUD_RUN_TASK_ATTEMPT, che contiene il numero di volte in cui l'attività è stata riprovata, a partire da 0 per il primo tentativo e incrementando di 1 per ogni tentativo successivo, fino a --max-retries.

   Il codice consente inoltre di generare errori per testare i nuovi tentativi e di generare log degli errori per vedere come appaiono.

3. Crea un file di testo denominato Procfile senza estensione del file, contenente quanto segue:

   web: python3 main.py

Il codice è completo e pronto per essere pacchettizzato in un container.

Crea il container dei job, invialo ad Artifact Registry ed eseguine il deployment in Cloud Run

Questa guida rapida utilizza il deployment dall'origine, che crea il container, lo carica in Artifact Registry ed esegue il deployment del job in Cloud Run:

gcloud run jobs deploy job-quickstart \
    --source . \
    --tasks 50 \
    --set-env-vars SLEEP_MS=10000 \
    --set-env-vars FAIL_RATE=0.1 \
    --max-retries 5 \
    --region REGION \
    --project=PROJECT_ID

dove PROJECT_ID è l'ID progetto e REGION è la regione, ad esempio europe-west1. Tieni presente che puoi modificare i vari parametri in base ai valori che vuoi utilizzare per i test. SLEEP_MS simula il lavoro e FAIL_RATE causa l'errore del X% delle attività, in modo da poter sperimentare il parallelismo e riprovare le attività non riuscite.

Esegui un job in Cloud Run

Per eseguire il job appena creato:

gcloud run jobs execute job-quickstart --region REGION

Sostituisci REGION con la regione che hai utilizzato per creare ed eseguire il deployment del job, ad esempio europe-west1.