L'ottimizzazione del modello è un processo fondamentale per adattare Gemini allo svolgimento di attività specifiche con maggiore precisione e accuratezza. L'ottimizzazione fornisce al modello un set di dati di addestramento che contiene un insieme di esempi di attività downstream specifiche.
Questa pagina fornisce una panoramica dell'ottimizzazione del modello per Gemini, descrive le opzioni di ottimizzazione disponibili per Gemini e ti aiuta a determinare quando utilizzare ciascuna opzione di ottimizzazione.
Vantaggi dell'ottimizzazione del modello
L'ottimizzazione del modello è un modo efficace per personalizzare i modelli di grandi dimensioni in base alle tue attività. È un passaggio fondamentale per migliorare la qualità e l'efficienza del modello. L'ottimizzazione del modello offre i seguenti vantaggi:
- Qualità superiore per le tue attività specifiche
- Maggiore robustezza del modello
- Latenza e costi di inferenza inferiori grazie a prompt più brevi
Ottimizzazione rispetto alla progettazione dei prompt
- Prompting con modelli Gemini preaddestrati: il prompting è l'arte di creare istruzioni efficaci per guidare i modelli di AI come Gemini nella generazione degli output desiderati. Implica la progettazione di prompt che trasmettono chiaramente l'attività, il formato desiderato e qualsiasi contesto pertinente. Puoi utilizzare le funzionalità di Gemini con una configurazione minima. È più adatto per:
- Dati etichettati limitati: se hai una piccola quantità di dati etichettati o non puoi permetterti un lungo processo di ottimizzazione.
- Prototipazione rapida: quando devi testare rapidamente un concetto o ottenere un rendimento di base senza investire molto nell'ottimizzazione.
- Fine-tuning personalizzato dei modelli Gemini: per risultati più personalizzati, Gemini ti consente di ottimizzare i suoi modelli in base ai tuoi set di dati specifici. Per creare un modello di AI che eccelle nel tuo dominio specifico,
valuta la possibilità di ottimizzarlo. Ciò comporta l'addestramento del modello di base sul tuo set di dati etichettato, adattando i suoi pesi alla tua attività e ai tuoi dati. Puoi adattare Gemini ai tuoi casi d'uso. L'ottimizzazione è più efficace quando:
- Hai dati etichettati: un set di dati di dimensioni considerevoli su cui eseguire l'addestramento (ad esempio 100 esempi o più), che consente al modello di apprendere in modo approfondito le specifiche della tua attività.
- Attività complesse o uniche: per scenari in cui le strategie di prompting avanzate non sono sufficienti ed è essenziale un modello personalizzato in base ai tuoi dati.
Ti consigliamo di iniziare con il prompting per trovare il prompt ottimale. Poi, passa all'ottimizzazione (se necessario) per migliorare ulteriormente le prestazioni o correggere gli errori ricorrenti. Sebbene l'aggiunta di altri esempi possa essere utile, è importante valutare dove il modello commette errori prima di aggiungere altri dati. Dati di alta qualità ed etichettati correttamente sono fondamentali per un buon rendimento e sono più importanti della quantità. Inoltre, i dati utilizzati per l'ottimizzazione devono riflettere la distribuzione, il formato e il contesto dei prompt che il modello incontrerà in produzione.
L'ottimizzazione offre i seguenti vantaggi rispetto alla progettazione dei prompt:
- Consente una personalizzazione approfondita del modello e migliora le prestazioni per attività specifiche.
- Allinea il modello con sintassi, istruzioni e regole semantiche specifiche del dominio personalizzate.
- Offre risultati più coerenti e affidabili.
- In grado di gestire più esempi contemporaneamente.
- Risparmia sui costi di inferenza rimuovendo gli esempi few-shot e le istruzioni lunghe nei prompt
Approcci di ottimizzazione
L'ottimizzazione efficiente dei parametri e il fine-tuning completo sono due approcci per personalizzare i modelli di grandi dimensioni. Entrambi i metodi presentano vantaggi e implicazioni in termini di qualità del modello ed efficienza delle risorse.
L'ottimizzazione efficiente dei parametri
L'ottimizzazione efficiente dei parametri, chiamata anche ottimizzazione degli adattatori, consente un adattamento efficiente di modelli di grandi dimensioni alle tue attività o al tuo dominio specifici. L'ottimizzazione efficiente dei parametri aggiorna un sottoinsieme relativamente piccolo dei parametri del modello durante il processo di ottimizzazione.
Per capire in che modo Gemini Enterprise Agent Platform supporta l'ottimizzazione e la distribuzione degli adattatori, puoi trovare maggiori dettagli nel seguente white paper, Adaptation of Large Foundation Models.
Fine-tuning completo
Il fine-tuning completo aggiorna tutti i parametri del modello, rendendolo adatto ad adattare il modello ad attività altamente complesse, con il potenziale di ottenere una qualità superiore. Tuttavia, il fine-tuning completo richiede risorse di calcolo più elevate sia per l'ottimizzazione che per la pubblicazione, il che comporta costi complessivi più elevati.
Ottimizzazione efficiente dei parametri rispetto al fine-tuning completo
L'ottimizzazione efficiente dei parametri è più efficiente in termini di risorse e costi rispetto al fine-tuning completo. Utilizza molte meno risorse di calcolo per l'addestramento. È in grado di adattare il modello più velocemente con un set di dati più piccolo. La flessibilità dell'ottimizzazione efficiente dei parametri offre una soluzione per l'apprendimento multi-task senza la necessità di un addestramento esteso.
Metodi di ottimizzazione supportati
Agent Platform supporta il fine-tuning supervisionato per personalizzare i modelli di base.
Fine-tuning supervisionato
Il fine-tuning supervisionato migliora le prestazioni del modello insegnandogli una nuova abilità. I dati che contengono centinaia di esempi etichettati vengono utilizzati per insegnare al modello a imitare un comportamento o un'attività desiderati. Ogni esempio etichettato mostra l'output che vuoi che il modello generi durante l'inferenza.
Quando esegui un job di fine-tuning supervisionato, il modello apprende parametri aggiuntivi che lo aiutano a codificare le informazioni necessarie per eseguire l'attività desiderata o apprendere il comportamento desiderato. Questi parametri vengono utilizzati durante l'inferenza. L'output del job di ottimizzazione è un nuovo modello che combina i parametri appena appresi con il modello originale.
Il fine-tuning supervisionato di un modello di testo è una buona opzione quando l'output del modello non è complesso ed è relativamente facile da definire. Il fine-tuning supervisionato è consigliato per la classificazione, l'analisi del sentiment, l'estrazione delle entità, la sintesi di contenuti non complessi e la scrittura di query specifiche per il dominio. Per i modelli di codice, l'ottimizzazione supervisionata è l'unica opzione.
Modelli che supportano il fine-tuning supervisionato
I seguenti modelli Gemini supportano l'ottimizzazione supervisionata:
Fai clic per espandere i modelli supportati
Per saperne di più sull'utilizzo del fine-tuning supervisionato con ciascun modello, consulta le seguenti pagine: Ottimizza i tipi di dati di testo, immagine, audio e documento.
Ottimizzazione delle preferenze
L'ottimizzazione delle preferenze di Gemini Enterprise Agent Platform si basa sul fine-tuning supervisionato, consentendoti di ottimizzare i tuoi modelli Gemini con i dati di feedback umano.
L'ottimizzazione delle preferenze consente al modello di apprendere dalle preferenze soggettive degli utenti, che sono difficili da definire utilizzando solo etichette specifiche e il fine-tuning supervisionato.
Modelli che supportano l'ottimizzazione delle preferenze
I seguenti modelli Gemini supportano l'ottimizzazione delle preferenze:
Fai clic per espandere i modelli supportati
Per ulteriori informazioni sull'ottimizzazione delle preferenze, consulta Informazioni sull'ottimizzazione delle preferenze per i modelli Gemini.
Checkpoint di ottimizzazione
I checkpoint di ottimizzazione ti consentono di salvare i progressi dell'ottimizzazione, confrontare le prestazioni dei checkpoint e scegliere quello con il rendimento migliore.
Modelli che supportano i checkpoint di ottimizzazione
I seguenti modelli Gemini supportano i checkpoint di ottimizzazione:
Fai clic per espandere i modelli supportati
Per ulteriori informazioni sui checkpoint di ottimizzazione, consulta Utilizza i checkpoint nell'ottimizzazione di Gemini.
Ottimizzazione continua
L'ottimizzazione continua ti consente di continuare l'ottimizzazione di un modello o di un checkpoint del modello già ottimizzato aggiungendo altre epoche o altri esempi di addestramento.
Modelli che supportano l'ottimizzazione continua
I seguenti modelli Gemini supportano l'ottimizzazione continua:
Fai clic per espandere i modelli supportati
Per saperne di più sull'ottimizzazione continua, consulta Informazioni sull'ottimizzazione continua per i modelli Gemini.
Passaggi successivi
- Scopri di più sul fine-tuning supervisionato.
- Scopri di più sull'ottimizzazione delle preferenze.
- Per iniziare l'ottimizzazione, consulta Ottimizza i modelli Gemini utilizzando il fine-tuning supervisionato
- Per scoprire come utilizzare il fine-tuning supervisionato in una soluzione che crea una knowledge base di AI generativa, consulta Soluzione già pronta: knowledge base di AI generativa.
- Per informazioni sui costi di ottimizzazione, consulta Prezzi.