Container predefiniti per l'inferenza e la spiegazione

Gemini Enterprise Agent Platform fornisce immagini container Docker che esegui come container predefiniti per fornire inferenze e spiegazioni da artefatti del modello addestrato. Questi container, organizzati per framework di machine learning (ML) e versione del framework, forniscono server di inferenza HTTP che puoi utilizzare per fornire inferenze con una configurazione minima. In molti casi, utilizzare un container predefinito è più semplice che creare un container personalizzato per l'inferenza.

Questo documento elenca i container predefiniti per le inferenze e le spiegazioni e descrive come utilizzarli con gli artefatti del modello creati utilizzando la funzionalità di addestramento personalizzato di Agent Platform o con gli artefatti del modello creati al di fuori di Agent Platform.

Policy e pianificazione dell'assistenza

Gemini Enterprise Agent Platform supporta ogni versione del framework in base a una pianificazione per ridurre al minimo le vulnerabilità di sicurezza. Consulta la pianificazione delle norme di assistenza per comprendere le implicazioni delle date di fine assistenza e fine disponibilità.

Immagini container disponibili

Ognuna delle seguenti immagini container è disponibile in diversi repository Artifact Registry, che archiviano i dati in varie località. Puoi utilizzare uno qualsiasi degli URI per un'immagine quando esegui l'addestramento personalizzato; ognuno fornisce la stessa immagine container. Se utilizzi la console Cloud de Confiance per creare una risorsa Model, la console Cloud de Confiance seleziona l'URI che meglio corrisponde alla località in cui utilizzi Agent Platform per ridurre la latenza.

TensorFlow

Runtime TensorFlow ottimizzato

Le seguenti immagini container utilizzano il runtime TensorFlow ottimizzato. Per maggiori informazioni, consulta Utilizza il runtime TensorFlow ottimizzato.

PyTorch

scikit-learn

XGBoost

Utilizza un container predefinito

Puoi specificare un container predefinito per l'inferenza quando crei una risorsa TrainingPipeline personalizzata che carica un Model o quando importi gli artefatti del modello come Model.

Per utilizzare uno di questi container predefiniti, devi salvare il modello come uno o più artefatti del modello conformi ai requisiti del container predefinito. Per saperne di più, consulta Esporta gli artefatti del modello per l'inferenza.

I seguenti notebook mostrano come utilizzare un container predefinito per fornire previsioni.

Che cosa vuoi fare?	Notebook
Addestra e gestisci un modello TensorFlow utilizzando un container predefinito	Addestramento personalizzato e inferenza online
Pubblica un modello PyTorch utilizzando un container predefinito	Pubblicazione di modelli di immagini PyTorch con container predefiniti su Agent Platform
Gestisci un modello Stable Diffusion utilizzando un container predefinito	Esegui il deployment e l'hosting di un modello Stable Diffusion su Agent Platform

Notebook

Passaggi successivi

• Scopri come eseguire il deployment di un modello in un endpoint per fornire inferenze.