Halaman ini menyediakan ringkasan Model Monitoring.
Ringkasan pemantauan
Dengan Model Monitoring, Anda dapat menjalankan tugas pemantauan sesuai kebutuhan atau sesuai jadwal rutin untuk melacak kualitas model tabulasi Anda. Jika Anda telah menetapkan pemberitahuan, Model Monitoring akan memberi tahu Anda saat metrik melampaui nilai minimum yang ditentukan.
Misalnya, asumsikan bahwa Anda memiliki model yang memprediksi nilai umur pelanggan. Seiring dengan perubahan kebiasaan pelanggan, faktor yang memprediksi pengeluaran pelanggan juga berubah. Akibatnya, fitur dan nilai fitur yang Anda gunakan untuk melatih model sebelumnya mungkin tidak relevan untuk membuat inferensi saat ini. Penyimpangan dalam data ini dikenal sebagai penyimpangan.
Model Monitoring dapat melacak dan memberi tahu Anda saat penyimpangan melebihi batas yang ditentukan. Kemudian, Anda dapat mengevaluasi ulang atau melatih ulang model untuk memastikan model berperilaku sebagaimana mestinya.
Misalnya, Model Monitoring dapat memberikan visualisasi seperti pada gambar berikut, yang menempatkan dua grafik dari dua set data. Visualisasi ini memungkinkan Anda membandingkan dan melihat penyimpangan antara kedua set data dengan cepat.
Versi Model Monitoring
Model Monitoring menyediakan dua penawaran: v2 dan v1.
Model Monitoring v2 berada dalam status Pratinjau dan merupakan penawaran terbaru yang mengaitkan semua tugas pemantauan dengan versi model. Sebaliknya, Model Monitoring v1 tersedia untuk umum dan dikonfigurasi di endpoint Gemini Enterprise Agent Platform.
Jika Anda memerlukan dukungan tingkat produksi dan ingin memantau model yang di-deploy di endpoint Agent Platform, gunakan Model Monitoring v1. Untuk semua kasus penggunaan lainnya, gunakan Model Monitoring v2, yang menyediakan semua kemampuan Model Monitoring v1 dan lainnya. Untuk mengetahui informasi selengkapnya, lihat ringkasan untuk setiap versi:
Bagi pengguna Model Monitoring v1 yang sudah ada, Model Monitoring v1 akan dipertahankan sebagaimana adanya. Anda tidak diwajibkan untuk bermigrasi ke Model Monitoring v2. Jika ingin bermigrasi, Anda dapat menggunakan kedua versi secara bersamaan hingga Anda sepenuhnya bermigrasi ke Model Monitoring v2 untuk membantu menghindari kesenjangan pemantauan selama transisi.
Ringkasan Model Monitoring v2
Model Monitoring v2 memungkinkan Anda melacak metrik dari waktu ke waktu setelah mengonfigurasi pemantauan model dan menjalankan tugas pemantauan. Anda dapat menjalankan tugas pemantauan on-demand atau menyiapkan operasi terjadwal. Dengan menggunakan operasi terjadwal, Model Monitoring akan otomatis menjalankan tugas pemantauan berdasarkan jadwal yang Anda tentukan.
Tujuan pemantauan
Metrik dan nilai minimum yang Anda pantau dipetakan ke tujuan pemantauan. Untuk setiap versi model, Anda dapat menentukan satu atau beberapa tujuan pemantauan. Tabel berikut menjelaskan setiap tujuan:
| Tujuan | Deskripsi | Jenis data fitur | Metrik yang didukung |
|---|---|---|---|
| Penyimpangan data fitur input |
Mengukur distribusi nilai fitur input dibandingkan dengan distribusi data dasar pengukuran. |
Kategoris: boolean, string, kategoris |
|
| Numerik: float, bilangan bulat | Jensen Shannon Divergence | ||
| Penyimpangan data inferensi output |
Mengukur distribusi data inferensi model dibandingkan dengan distribusi data dasar pengukuran. |
Kategoris: boolean, string, kategoris |
|
| Numerik: float, bilangan bulat | Jensen Shannon Divergence | ||
| Atribusi fitur |
Mengukur perubahan kontribusi fitur terhadap inferensi model dibandingkan dengan dasar pengukuran. Misalnya, Anda dapat melacak apakah fitur yang sangat penting tiba-tiba mengalami penurunan nilai kepentingan. |
Semua jenis data | Nilai SHAP (SHapley Additive exPlanations) |
Penyimpangan inferensi output dan fitur input
Setelah model di-deploy dalam produksi, data input dapat menyimpang dari data yang digunakan untuk melatih model atau distribusi data fitur dalam produksi dapat berubah secara signifikan seiring waktu. Model Monitoring v2 dapat memantau perubahan dalam distribusi data produksi dibandingkan dengan data pelatihan atau untuk melacak evolusi distribusi data produksi dari waktu ke waktu.
Demikian pula, untuk data inferensi, Model Monitoring v2 dapat memantau perubahan dalam distribusi hasil prediksi dibandingkan dengan distribusi data pelatihan atau data produksi dari waktu ke waktu.
Atribusi fitur
Atribusi fitur menunjukkan seberapa besar kontribusi setiap fitur dalam model Anda terhadap inferensi untuk setiap instance tertentu. Skor atribusi sebanding dengan kontribusi fitur terhadap inferensi model. Parameter ini biasanya ditandai, yang menunjukkan apakah suatu fitur membantu mendorong inferensi ke atas atau ke bawah. Atribusi di seluruh fitur harus ditambahkan ke skor inferensi model.
Dengan memantau atribusi fitur, Model Monitoring v2 melacak perubahan kontribusi fitur terhadap inferensi model dari waktu ke waktu. Perubahan skor atribusi fitur utama sering kali menandakan bahwa fitur tersebut telah berubah dengan cara yang dapat memengaruhi akurasi inferensi model.
Untuk mengetahui informasi selengkapnya tentang atribusi dan metrik fitur, lihat Penjelasan berbasis fitur dan Metode Shapley sampel.
Cara menyiapkan Model Monitoring v2
Anda harus mendaftarkan model Anda terlebih dahulu di Model Registry. Jika Anda menyajikan model di luar Agent Platform, Anda tidak perlu mengupload artefak model. Kemudian, Anda membuat pemantau model, yang Anda kaitkan dengan versi model, dan menentukan skema model Anda. Untuk beberapa model, seperti model AutoML, skema disediakan untuk Anda.
Di monitor model, Anda dapat menentukan konfigurasi default secara opsional, seperti tujuan pemantauan, set data pelatihan, lokasi output pemantauan, dan setelan notifikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan pemantauan model.
Setelah membuat pemantau model, Anda dapat menjalankan tugas pemantauan sesuai permintaan atau menjadwalkan tugas rutin untuk pemantauan berkelanjutan. Saat Anda menjalankan tugas, Model Monitoring akan menggunakan konfigurasi default yang ditetapkan di pemantau model, kecuali jika Anda memberikan konfigurasi pemantauan yang berbeda. Misalnya, jika Anda memberikan tujuan pemantauan yang berbeda atau set data perbandingan yang berbeda, Model Monitoring akan menggunakan konfigurasi tugas, bukan konfigurasi default dari monitor model. Untuk mengetahui informasi selengkapnya, lihat Menjalankan tugas pemantauan.
Harga
Anda tidak akan dikenai biaya untuk Model Monitoring v2 selama Pratinjau. Anda tetap dikenai biaya untuk penggunaan layanan lain, seperti Cloud Storage, BigQuery, inferensi batch Agent Platform, AI yang dapat dijelaskan Agent Platform, dan Cloud Logging.
Tutorial notebook
Tutorial berikut menunjukkan cara menggunakan Agent Platform SDK untuk Python guna menyiapkan Model Monitoring v2 untuk model Anda.
Model Monitoring v2: Tugas inferensi batch model kustom
Model Monitoring v2: Inferensi online model kustom
Model Monitoring v2: Model di luar Gemini Enterprise Agent Platform
Ringkasan Model Monitoring v1
Untuk membantu Anda mempertahankan performa model, Model Monitoring v1 memantau data input inferensi model untuk fitur skew (diferensiasi) dan drift (penyimpangan):
Diferensiasi performa pelatihan dan penayangan terjadi saat distribusi data fitur yang Anda gunakan dalam produksi menyimpang dari distribusi data fitur yang digunakan untuk melatih model Anda. Jika data pelatihan asli tersedia, Anda dapat mengaktifkan deteksi skew untuk memantau diferensiasi performa pelatihan dan penayangan model Anda.
Penyimpangan inferensi terjadi ketika distribusi data fitur dalam produksi berubah secara signifikan dari waktu ke waktu. Jika data pelatihan yang asli tidak tersedia, Anda dapat mengaktifkan deteksi drift untuk memantau perubahan data input dari waktu ke waktu.
Anda dapat mengaktifkan deteksi skew dan drift sekaligus.
Model Monitoring v1 mendukung deteksi skew dan drift fitur untuk fitur kategoris dan numerik:
Fitur kategoris adalah data yang dibatasi oleh jumlah kemungkinan nilai, biasanya dikelompokkan berdasarkan properti kualitatif. Misalnya, kategori seperti tipe produk, negara, atau tipe pelanggan.
Fitur numerik adalah data yang dapat berupa nilai numerik. Misalnya, berat dan tinggi.
Begitu skew atau drift fitur model melebihi batas pemberitahuan yang Anda tetapkan, Pemantauan Model v1 akan mengirimkan email pemberitahuan. Anda juga dapat melihat distribusi setiap fitur dari waktu ke waktu untuk mengevaluasi apakah Anda perlu melatih ulang model.
Menghitung penyimpangan
Untuk mendeteksi penyimpangan untuk v1, Model Monitoring menggunakan TensorFlow Data Validation (TFDV) untuk menghitung distribusi dan skor jarak.
Hitung distribusi statistik dasar pengukuran:
Untuk deteksi skew, dasar pengukuran adalah distribusi statistik dari nilai fitur dalam data pelatihan.
Untuk deteksi drift, dasar pengukuran adalah distribusi statistik dari nilai fitur yang terlihat dalam produksi di masa lalu.
Distribusi untuk fitur kategoris dan numerik dihitung sebagai berikut:
Untuk fitur kategoris, distribusi yang dihitung adalah jumlah atau persentase instance dari setiap kemungkinan nilai fitur.
Untuk fitur numerik, Pemantauan Model membagi rentang nilai fitur yang mungkin ke dalam interval yang sama dan menghitung jumlah atau persentase nilai fitur yang ada dalam setiap interval.
Dasar pengukuran dihitung saat Anda membuat tugas Pemantauan Model, dan hanya dihitung ulang jika Anda memperbarui set data pelatihan untuk tugas tersebut.
Menghitung distribusi statistik dari nilai fitur terbaru yang terlihat dalam produksi.
Membandingkan distribusi nilai fitur terbaru dalam produksi terhadap distribusi dasar pengukuran dengan menghitung skor jarak:
Untuk fitur kategoris, skor jarak dihitung menggunakan jarak L-infinity.
Untuk fitur numerik, skor jarak dihitung menggunakan divergensi Jensen-Shannon.
Saat skor jarak antara dua distribusi statistik melebihi nilai minimum yang Anda tentukan, Pemantauan Model mengidentifikasi anomali sebagai skew atau drift.
Contoh berikut menunjukkan adanya skew atau drift antara distribusi dasar pengukuran dan terbaru dari fitur kategori:
Distribusi dasar pengukuran
Distribusi terbaru
Contoh berikut menunjukkan skew atau drift antara distribusi dasar pengukuran dan terbaru dari fitur numerik:
Distribusi dasar pengukuran
Distribusi terbaru
Pertimbangan saat menggunakan Pemantauan Model
Untuk efisiensi biaya, Anda dapat menetapkan frekuensi sampling permintaan inferensi untuk memantau subset input produksi ke suatu model.
Anda dapat menetapkan frekuensi tempat input terbaru dari model yang di-deploy akan dipantau untuk mendeteksi skew atau drift. Frekuensi pemantauan menentukan rentang waktu, atau ukuran jendela pemantauan, dari data yang dicatat ke dalam log yang dianalisis di setiap operasi pemantauan.
Anda dapat menentukan nilai minimum pemberitahuan untuk setiap fitur yang ingin dipantau. Pemberitahuan dicatat saat jarak statistik antara distribusi fitur input dan dasar pengukurannya melebihi batas yang ditentukan. Secara default, setiap fitur kategoris dan numerik dipantau, dengan nilai batas 0,3.
Endpoint inferensi online dapat menghosting beberapa model. Saat Anda mengaktifkan deteksi skew atau drift pada endpoint, parameter konfigurasi berikut dibagikan ke semua model yang dihosting di endpoint tersebut:
- Jenis deteksi
- Frekuensi pemantauan
- Fraksi permintaan input yang dipantau
Untuk parameter konfigurasi lainnya, Anda dapat menetapkan nilai yang berbeda untuk setiap model.