Introduzione ai dati di immagine: valutazione e analisi delle prestazioni del modello

Utilizza la console Cloud de Confiance per controllare le prestazioni del modello. Analizza gli errori dei test per migliorare in modo iterativo la qualità del modello risolvendo i problemi relativi ai dati.

Questo tutorial è composto da diverse pagine:

1. Configura il progetto e l'ambiente.

2. Crea un set di dati di classificazione delle immagini e importa le immagini.

3. Addestra un modello di classificazione di immagini AutoML.

4. Valutare e analizzare le prestazioni del modello.

5. Esegui il deployment di un modello in un endpoint e invia una previsione.

6. Esegui la pulizia del progetto.

Ogni pagina presuppone che tu abbia già eseguito le istruzioni delle pagine precedenti del tutorial.

1. Informazioni sui risultati della valutazione dei modelli AutoML

Al termine dell'addestramento, il modello viene valutato automaticamente in base alla suddivisione dei dati di test. I risultati della valutazione corrispondenti vengono visualizzati facendo clic sul nome del modello nella pagina Model Registry o nella pagina Set di dati.

Da qui, puoi trovare le metriche per misurare le prestazioni del modello.

Puoi trovare un'introduzione più dettagliata alle diverse metriche di valutazione nella sezione Valuta, testa ed esegui il deployment del modello.

2. Analizza i risultati del test

Se vuoi continuare a migliorare le prestazioni del modello, il primo passaggio è spesso esaminare i casi di errore e indagare sulle potenziali cause. La pagina di valutazione di ogni classe presenta immagini di test dettagliate della classe in questione, classificate come falsi negativi, falsi positivi e veri positivi. La definizione di ogni categoria è disponibile nella sezione Valuta, testa ed esegui il deployment del modello.

Per ogni immagine di ogni categoria, puoi controllare ulteriormente i dettagli della previsione facendo clic sull'immagine e accedere ai risultati dettagliati dell'analisi. Sul lato destro della pagina vedrai il riquadro Esamina immagini simili, in cui vengono presentati gli esempi più vicini del set di addestramento con le distanze misurate nello spazio delle caratteristiche.

Esistono due tipi di problemi relativi ai dati a cui potresti voler prestare attenzione:

1. Incoerenza delle etichette. Se un campione visivamente simile del set di addestramento ha etichette diverse rispetto al campione di test, è possibile che uno dei due sia errato o che la sottile differenza richieda più dati per l'apprendimento del modello o che le etichette delle classi attuali non siano semplicemente abbastanza accurate per descrivere il campione specificato. L'esame di immagini simili può aiutarti a ottenere informazioni precise sulle etichette correggendo i casi di errore o escludendo l'esempio problematico dal set di test. Puoi modificare facilmente l'etichetta dell'immagine di test o delle immagini di addestramento nel riquadro Esamina immagini simili nella stessa pagina.

2. Outlier. Se un campione di test è contrassegnato come outlier, è possibile che nel set di addestramento non siano presenti campioni visivamente simili che possano aiutare ad addestrare il modello. La revisione di immagini simili del set di addestramento può aiutarti a identificare questi esempi e ad aggiungere immagini simili al set di addestramento per migliorare ulteriormente le prestazioni del modello in questi casi.

Passaggi successivi

Se ritieni che le prestazioni del modello vadano bene, segui la pagina successiva di questo tutorial per eseguire il deployment del modello AutoML addestrato in un endpoint e inviare un'immagine al modello per la previsione. In caso contrario, se apporti correzioni ai dati, addestra un nuovo modello utilizzando il tutorial Addestramento di un modello di classificazione delle immagini AutoML.