Stimare i requisiti di capacità degli slot

Quando acquisti slot riservati in BigQuery, devi stimare il numero corretto di slot per il tuo workload specifico. Lo strumento di stima degli slot BigQuery ti aiuta a gestire la capacità degli slot in base alle metriche relative alle prestazioni storiche.

Puoi utilizzare lo strumento di stima degli slot per i workload dell'edizione, della prenotazione e on demand per eseguire le seguenti attività:

Per i workload dell'edizione selezionata:

• Visualizza i dati sulla capacità e sull'utilizzo degli slot degli ultimi 30 giorni e identifica i periodi di utilizzo di picco in cui vengono utilizzati la maggior parte degli slot.
• Visualizza i consigli ottimali in termini di costi per gli slot di impegno e di scalabilità automatica con prestazioni simili.
• Visualizza le impostazioni di prenotazione correnti per un'edizione specifica.

Per i workload di prenotazione specifici:

• Visualizza i dati sulla capacità e sull'utilizzo degli slot degli ultimi 30 giorni e identifica i periodi di utilizzo di picco in cui vengono utilizzati la maggior parte degli slot.
• Visualizza i percentili di latenza dei job (P90, P95 e così via) per comprendere le prestazioni delle query.
• Modella in che modo l'aumento o la riduzione degli slot di prenotazione massimi potrebbe influire sulle prestazioni.

Per i workload di fatturazione on demand:

• Visualizza i dati sull'utilizzo degli slot on demand dell'intera organizzazione o di un singolo progetto negli ultimi 30 giorni.
• Visualizza i consigli ottimali in termini di costi per gli slot di impegno e di scalabilità automatica con prestazioni simili se passi all'edizione Enterprise.

I clienti che utilizzano l'edizione Enterprise, l'edizione Enterprise Plus o la fatturazione on demand possono utilizzare il recommender degli slot BigQuery per visualizzare l'utilizzo degli slot, ottimizzare gli impegni e migliorare le prestazioni. Per ulteriori informazioni, vedi Visualizzare i consigli sugli slot dell'edizione

Limitazioni

• I dati sono limitati agli ultimi 30 giorni.
• I modelli non includono ML_EXTERNAL assegnazioni. Se una percentuale elevata di slot viene utilizzata per le assegnazioni ML_EXTERNAL, i risultati modellati sono meno precisi.

Prima di iniziare

Concedi i ruoli Identity and Access Management (IAM) che forniscono agli utenti le autorizzazioni necessarie per eseguire ogni attività descritta in questo documento.

Autorizzazioni obbligatorie

Per utilizzare lo strumento di stima degli slot per i dati delle prenotazioni, devi disporre delle seguenti autorizzazioni IAM per il progetto di amministrazione:

• bigquery.reservations.list
• bigquery.reservationAssignments.list
• bigquery.capacityCommitments.list

Ognuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo strumento di stima degli slot:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer
• roles/bigquery.user

Per utilizzare lo strumento di stima degli slot per i dati di utilizzo on demand, devi abilitare l' API Reservations in un progetto che intendi utilizzare come progetto di amministrazione per gestire le prenotazioni. Oltre alle autorizzazioni sopra indicate, devi disporre di una delle seguenti autorizzazioni IAM per la tua organizzazione per visualizzare i dati a livello di organizzazione o per il progetto per visualizzare i dati a livello di progetto:

• bigquery.jobs.listExecutionMetadata (può essere applicata solo a livello di organizzazione)
• bigquery.jobs.listAll (può essere applicata a livello di organizzazione o di progetto)

Ognuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo strumento di stima degli slot:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer

Per visualizzare i consigli sugli slot di impegno, devi disporre anche delle autorizzazioni descritte in Visualizzare i consigli sugli slot dell'edizione.

Per ulteriori informazioni sui ruoli IAM in BigQuery, vedi Ruoli e autorizzazioni predefiniti.

Visualizzare la capacità e l'utilizzo degli slot

Per visualizzare la capacità e l'utilizzo degli slot nel tempo, vai allo strumento di stima degli slot:

1. Nella Cloud de Confiance console, apri la pagina BigQuery.

   Vai a BigQuery

2. Seleziona il progetto di amministrazione.

   1. Fai clic sul menu a discesa Seleziona da nella parte superiore della pagina.
   2. Nella finestra Seleziona da visualizzata, seleziona il progetto.

3. Nel menu di navigazione, fai clic su Gestione dei workload.

4. Fai clic sulla scheda Strumento di stima degli slot.

Il grafico di utilizzo mostra la capacità e l'utilizzo degli slot negli ultimi 30 giorni, calcolati utilizzando la granularità oraria.

La scheda Utilizzo e utilizzo in percentuale mostra l'utilizzo degli slot come percentuale dell'utilizzo degli slot in base agli slot massimi.

La scheda Utilizzo e utilizzo per capacità mostra gli slot massimi e l'utilizzo come valori assoluti.

Puoi scegliere un'edizione o un'opzione on demand dal menu a discesa Origine per visualizzare le statistiche per ambiti diversi. Se selezioni un'edizione, il menu a discesa Prenotazione viene compilato con le prenotazioni pertinenti.

Per le opzioni on demand, puoi scegliere un singolo progetto o l'intera organizzazione dal menu a discesa Consigli per se disponi delle autorizzazioni a livello di organizzazione. La pagina Strumento di stima degli slot mostra solo le informazioni a livello di progetto se disponi solo delle autorizzazioni a livello di progetto.

Le statistiche della scheda Utilizzo e utilizzo per capacità possono variare leggermente in base all'ambito:

• Per l'origine dell'edizione, mostra gli slot massimi disponibili per l'intera edizione, gli slot di impegno, la somma degli slot di riferimento, l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
• Per una prenotazione specifica, mostra gli slot di prenotazione massimi, gli slot di riferimento, l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
• Per l'origine on demand, mostra l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.

Modellare le prestazioni degli slot

Quando selezioni una prenotazione, puoi utilizzare lo strumento di stima degli slot per visualizzare i dati sulle prestazioni dei job e per modellare l'effetto della modifica del numero di slot massimi. Lo strumento di stima degli slot ti consente di modellare in che modo le prestazioni potrebbero cambiare a diversi livelli di capacità, che vanno dall'80% del valore minimo della dimensione massima degli slot nel periodo di osservazione al 150% degli slot massimi attuali. In altre parole, la diminuzione delle opzioni non può superare il 20% della capacità minima dell'intervallo di 30 giorni, mentre l'aumento delle opzioni non può superare il 50% della capacità attuale.

I modelli presuppongono una riproduzione del pattern di utilizzo dei 30 giorni precedenti, in cui tutto rimane invariato tranne una modifica degli slot.

Il miglioramento stimato delle prestazioni si basa su diversi fattori. I fattori più importanti sono il numero di slot nel modello e la proporzione di job in ogni bucket di percentile eseguiti durante i periodi di picco rispetto ai periodi normali. I periodi di picco sono definiti come durate in cui sono stati utilizzati quasi tutti gli slot. I job eseguiti durante questi periodi sono maggiormente interessati dalla contesa degli slot e, di conseguenza, ottengono il maggior miglioramento delle prestazioni dagli slot aggiuntivi. Di conseguenza, bucket di job diversi possono vedere effetti diversi dallo stesso aumento di capacità, a seconda di quando vengono eseguiti.

Per modellare le prestazioni degli slot, segui questi passaggi:

1. Nella Cloud de Confiance console, apri la pagina BigQuery.

   Vai a BigQuery

2. Seleziona il progetto di amministrazione.

   1. Fai clic sul menu a discesa Seleziona da nella parte superiore della pagina.
   2. Nella finestra Seleziona da visualizzata, seleziona il progetto.

3. Nel menu di navigazione, fai clic su Gestione dei workload.

4. Fai clic sulla scheda Strumento di stima degli slot.

5. Nel menu a discesa Prenotazione, seleziona una prenotazione specifica. Il modello include il numero di slot inattivi che la prenotazione è stata in grado di prendere in prestito in un determinato momento.

6. Nel menu a discesa Modello con slot aggiuntivi sugli slot massimi, seleziona uno o più valori di slot da modellare e fai clic su OK.

La tabella in Modifiche alle prestazioni dei job con slot aggiuntivi mostra i dati sulle prestazioni dei job degli ultimi 30 giorni, insieme alla variazione stimata delle prestazioni dovuta all'aumento o alla diminuzione degli slot massimi. I dati sono raggruppati in percentuali in base alla durata dei job per tutti i job eseguiti nell'intervallo di tempo selezionato. La colonna indicata dall'icona della lampadina corrisponde al consiglio per il miglioramento delle prestazioni per la prenotazione selezionata.

I dati sulle prestazioni sono suddivisi per percentile. La tabella suddivide i dati in un massimo di 12 bucket: da P10 a P90, più P95, P99 e P100. Il bucket P100 rappresenta il primo 1% dei job che hanno impiegato più tempo per essere eseguiti; P99 include il primo 96-99%; P95 include il primo 91-95%; P90 include l'81-90% e così via. A seconda dei dati, la tabella potrebbe raggruppare i dati in un numero inferiore di bucket. In questo caso, la tabella contiene meno righe.

Per ogni bucket di percentile, la tabella mostra le seguenti informazioni:

• Percentile di durata dei job: il bucket di percentile per questa riga.
• Durata media dei job: il tempo medio impiegato dai job in quel bucket di percentile per essere eseguiti.
• Numero di job: il numero di job in quel bucket di percentile.
• Per ogni modello, la durata media stimata per i job in quel percentile.

La tabella elenca anche una statistica stimata di "variazione di 30 giorni" per ogni modello. Questo valore è la variazione stimata delle ore totali trascorse per l'elaborazione dei job nella cronologia di 30 giorni a diverse capacità degli slot.

Comprendere i risultati della modellazione con l'utilizzo degli slot

Per le prenotazioni a capacità fissa, se la condivisione degli slot inattivi è abilitata, i job in quella prenotazione possono prendere in prestito gli slot inattivi da altre prenotazioni. Di conseguenza, l'utilizzo può superare il 100% degli slot allocati. Se una prenotazione utilizza costantemente gli slot inattivi di altre prenotazioni, significa che potrebbe essere necessario aumentare la dimensione della prenotazione. Questo è importante perché le prestazioni del workload potrebbero peggiorare se la disponibilità di slot inattivi diminuisce in futuro. D'altra parte, se una prenotazione raramente utilizza la sua capacità completa, potrebbe essere troppo grande.

Le prenotazioni che utilizzano la scalabilità automatica utilizzano e aggiungono slot con la priorità seguente:

1. Slot di riferimento.
2. Condivisione di slot inattivi (se abilitata).
3. Slot a scalabilità automatica.

Se una prenotazione con scalabilità automatica raggiunge costantemente il limite massimo degli slot di scalabilità automatica, potrebbe essere un segnale per aumentare gli slot di prenotazione massimi. Per informazioni sulla visualizzazione dell'utilizzo degli slot, vedi Visualizzare i grafici delle risorse amministrative charts.

Prezzi

Puoi utilizzare lo strumento di stima degli slot senza costi.