Praktik terbaik keamanan AI generatif

Dokumen ini menjelaskan arsitektur AI generatif umum di Cloud de Confiance by S3NS. Dokumen ini juga mencantumkan praktik terbaik keamanan yang berlaku untuk beban kerja AI generatif dan menjelaskan kapan Anda akan menggunakan layananCloud de Confiance tertentu.

Arsitektur

Diagram berikut menunjukkan layanan Cloud de Confiance dalam arsitektur AI generatif umum yang menggunakan Platform Agen Gemini Enterprise.

Arsitektur contoh untuk workload AI generatif yang menggunakan Platform Agen.

Diagram ini mencakup hal berikut:

  • Agent Platform memungkinkan Anda membangun dan menggunakan AI generatif, termasuk solusi AI, penelusuran, dan percakapan, di satu platform.

  • Artifact Registry menyederhanakan proses pengembangan dan deployment machine learning (ML), meningkatkan kolaborasi, serta memastikan keamanan dan keandalan model ML Anda.

  • BigQuery menyederhanakan akses data, memungkinkan analisis yang skalabel, dan memungkinkan Anda menggunakan kemampuan ML-nya dalam alur kerja ML.

  • Cloud Audit Logs melacak tindakan yang dilakukan pengguna Anda di lingkungan Anda, yang meningkatkan kemampuan pemecahan masalah, audit, dan respons insiden Anda.

  • Dasbor dan pemberitahuan Penagihan Cloud memungkinkan Anda meninjau penggunaan dan penagihan workload Agent Platform.

  • Cloud Build memungkinkan Anda membangun, menguji, dan men-deploy platform CI/CD serverless di Cloud de Confiance.

  • Cloud Identity menyatukan identitas, akses, aplikasi, dan pengelolaan untuk Cloud de Confiance.

  • Cloud Run Functions mengotomatiskan tugas, menyajikan prediksi, memicu tugas pelatihan, berintegrasi dengan layanan lain, dan membangun pipeline ML berbasis peristiwa.

  • Cloud Storage menyimpan data pelatihan, artefak model, dan data produksi.

  • Dataflow memungkinkan Anda membuat pipeline kompleks yang menyerap data dari berbagai sumber dan mengagregasi data sesuai kebutuhan.

  • Cloud DNS mendaftarkan, mengelola, dan melayani domain Anda.

  • Identity and Access Management (IAM) mengontrol siapa yang dapat melakukan tindakan tertentu pada resource beban kerja generatif Anda, seperti membuat, mengedit, atau menghapusnya.

  • Model Armor secara proaktif menyaring dan memfilter perintah dan respons LLM, koneksi klien-server MCP, dan komunikasi agen. Model Armor membantu memitigasi risiko seperti injeksi prompt, kebocoran data, dan konten berbahaya.

  • Layanan Kebijakan Organisasi mengelola dan menerapkan kebijakan secara terpusat di seluruh lingkungan Cloud de ConfianceAnda. Kebijakan Organisasi membantu memastikan konfigurasi yang konsisten dan kepatuhan keamanan di seluruh project dan resource dalam organisasi Anda.

  • Pub/Sub memungkinkan komunikasi dan otomatisasi yang efisien dalam alur kerja machine learning Anda.

  • Resource Manager membantu Anda mengelompokkan dan mengelola komponen logis workload Agent Platform.

  • Secret Manager membantu Anda melindungi data sensitif dan kredensial yang digunakan dalam proyek Agent Platform.

  • Sensitive Data Protection mengotomatiskan penemuan data sensitif dalam set data Anda. Sensitive Data Protection dapat memindai perintah dan menyamarkan data sensitif sebelum data mencapai model. Sensitive Data Protection juga dapat memindai output model untuk menghindari kebocoran data pelatihan sensitif dalam respons.

  • Security Command Center membantu Anda melindungi organisasi cloud, workload AI, dan data AI yang Anda simpan di Cloud de Confiance. Security Command Center menyediakan hal-hal berikut:

    • Pengelolaan keamanan terpusat
    • Deteksi ancaman dan respons insiden
    • Penilaian keamanan otomatis
    • Pelaporan kepatuhan dan pelaporan kepada regulator
    • Rekomendasi dan praktik terbaik keamanan

  • Virtual Private Cloud (VPC) mengisolasi resource AI Anda dari internet dalam lingkungan yang aman. Konfigurasi jaringan ini membantu melindungi data dan model sensitif dari akses tidak sah dan potensi serangan siber.

  • Cloud VPN atau Cloud Interconnect memungkinkan Anda membuat koneksi jaringan yang aman antara infrastruktur lokal dan lingkungan Agent Platform. Cloud VPN atau Cloud Interconnect membantu mengaktifkan transfer data dan komunikasi yang lancar antara jaringan pribadi dan Cloud de Confiance resource Anda. Pertimbangkan integrasi ini untuk skenario seperti mengakses data lokal untuk pelatihan model atau men-deploy model ke resource lokal untuk inferensi.

Praktik terbaik untuk workload AI generatif

Bagian ini menyediakan link ke praktik terbaik untuk beban kerja AI generatif yang menggunakan Agent Platform.

Kasus penggunaan untuk Artifact Registry

Pertimbangkan kasus penggunaan berikut untuk Artifact Registry dengan Agent Platform:

  • Mengelola artefak ML Anda: Artifact Registry memungkinkan Anda menyimpan dan mengelola semua artefak ML di satu tempat, termasuk kode pelatihan model, set data, model terlatih, dan penampung penyajian prediksi. Anda dapat menggunakan repositori terpusat ini untuk melacak, membagikan, dan menggunakan kembali artefak ML di berbagai tim dan project.
  • Kontrol versi dan reproduksibilitas: Artifact Registry menyediakan kontrol versi untuk artefak ML Anda, sehingga membantu Anda melacak perubahan dan melakukan roll back ke versi sebelumnya, jika diperlukan. Fitur ini sangat penting untuk memastikan reproduksibilitas eksperimen dan deployment ML Anda.
  • Penyimpanan yang aman dan andal: Artifact Registry menawarkan penyimpanan yang aman dan andal untuk artefak ML Anda. Artefak ini dienkripsi saat dalam penyimpanan dan pengiriman. Konfigurasi kontrol akses untuk membatasi siapa yang dapat mengakses artefak guna membantu melindungi data berharga dan kekayaan intelektual Anda.
  • Integrasi dengan Pipeline Platform Agen Gemini Enterprise: mengintegrasikan Artifact Registry dengan Pipeline Platform Agen untuk membangun dan mengotomatiskan alur kerja ML Anda. Gunakan Artifact Registry untuk menyimpan artefak pipeline Anda (misalnya, definisi, kode, dan data pipeline Anda) dan untuk memicu eksekusi pipeline secara otomatis saat artefak baru diupload.
  • Menyederhanakan CI/CD untuk ML: mengintegrasikan Artifact Registry dengan alat CI/CD Anda untuk menyederhanakan pengembangan dan deployment model ML Anda. Misalnya, gunakan Artifact Registry untuk otomatis membangun dan men-deploy container penayangan model setiap kali Anda mengirim versi baru model ke Artifact Registry.
  • Dukungan multi-region: Artifact Registry memungkinkan Anda menyimpan artefak di beberapa region, yang dapat membantu meningkatkan performa dan ketersediaan model ML Anda, terutama jika Anda memiliki pengguna yang berada di berbagai belahan dunia.

Kasus penggunaan BigQuery

Pertimbangkan kasus penggunaan berikut untuk BigQuery dengan Agent Platform:

  • Integrasi yang lancar: BigQuery dan Agent Platform terintegrasi secara erat, sehingga Anda dapat mengakses dan menganalisis data secara langsung dalam platform Agent Platform. Integrasi ini menghilangkan kebutuhan untuk memindahkan data, menyederhanakan alur kerja ML, dan mengurangi hambatan.
  • Analisis data yang skalabel: BigQuery menawarkan data warehouse berskala petabyte, sehingga Anda dapat menganalisis set data besar tanpa mengkhawatirkan batasan infrastruktur. Skalabilitas ini sangat penting untuk melatih dan men-deploy model ML yang intensif data.
  • ML berbasis SQL: BigQuery ML memungkinkan Anda menggunakan perintah SQL yang sudah dikenal untuk melatih dan men-deploy model langsung di dalam BigQuery. Fitur ini memungkinkan analis data dan praktisi SQL menggunakan kemampuan ML tanpa memerlukan keterampilan coding tingkat lanjut.
  • Prediksi online dan batch: BigQuery ML mendukung prediksi online dan batch. Anda dapat menjalankan prediksi real-time pada setiap baris atau membuat prediksi untuk set data besar dalam mode batch. Fleksibilitas ini mendukung berbagai kasus penggunaan dengan persyaratan latensi yang berbeda-beda.
  • Pengurangan perpindahan data: dengan BigQuery ML, Anda tidak perlu memindahkan data ke penyimpanan atau resource komputasi terpisah untuk pelatihan model dan deployment. Pengurangan pergerakan ini menyederhanakan alur kerja, mengurangi latensi, dan meminimalkan biaya yang terkait dengan transfer data.
  • Pemantauan model: Agent Platform menyediakan kemampuan pemantauan model yang komprehensif, sehingga Anda dapat melacak performa, keadilan, dan kemampuan penjelasan model BigQuery ML Anda. Pemantauan model membantu Anda memastikan bahwa model Anda berperforma seperti yang diharapkan dan mengatasi potensi masalah.
  • Model terlatih: Agent Platform menawarkan akses ke model terlatih, termasuk model untuk pemrosesan bahasa alami dan visi komputer. Anda dapat menggunakan model ini dalam BigQuery untuk meningkatkan analisis dan mengekstrak insight yang lebih mendalam dari data Anda.
  • Solusi hemat biaya: BigQuery ML menawarkan cara yang hemat biaya dan fleksibel untuk melatih dan men-deploy model ML. Anda hanya membayar resource yang Anda gunakan, sehingga menjadikannya opsi yang terjangkau bagi organisasi dari semua ukuran.
  • Kemampuan analisis lanjutan: BigQuery menyediakan alat untuk analisis lanjutan, termasuk analisis geospasial dan perkiraan. Alat ini memungkinkan Anda menggabungkan ML dengan teknik analisis lainnya untuk eksplorasi data yang lebih mendalam dan insight yang lebih kaya.
  • Kolaborasi yang ditingkatkan: dengan menggunakan BigQuery dengan Agent Platform, data scientist, engineer ML, dan analis dapat berkolaborasi secara lancar dalam project ML. Kolaborasi ini membantu menciptakan pendekatan yang lebih terintegrasi dan efisien untuk mengatasi masalah data yang kompleks.

Kasus penggunaan untuk Cloud Build

Pertimbangkan kasus penggunaan berikut untuk Cloud Build dengan Agent Platform:

  • Mengotomatiskan build pipeline ML: Cloud Build memungkinkan Anda mengotomatiskan build dan pengujian pipeline ML yang ditentukan di Agent Platform Pipelines. Otomatisasi ini membantu Anda membangun dan men-deploy model dengan lebih cepat dan dengan konsistensi yang lebih baik.
  • Membangun image container kustom untuk deployment: Cloud Build dapat membangun image container kustom untuk lingkungan penayangan model Anda. Cloud Build memungkinkan Anda mengemas kode model, dependensi, dan lingkungan runtime ke dalam satu image yang dapat Anda deploy ke Inferensi Platform Agen Gemini Enterprise untuk menyajikan prediksi.
  • Integrasi dengan alur kerja CI/CD: Cloud Build memungkinkan Anda mengotomatiskan build dan deployment model ML dalam alur kerja CI/CD. Otomatisasi ini memastikan bahwa model Anda selalu terbaru dan di-deploy ke produksi.
  • Memicu build berdasarkan perubahan kode: Cloud Build dapat memicu build secara otomatis saat perubahan dilakukan pada kode model atau definisi pipeline Anda. Otomatisasi ini membantu memastikan bahwa model Anda dibangun dengan kode terbaru dan setiap perubahan otomatis di-deploy ke produksi.
  • Dapatkan infrastruktur yang skalabel dan aman: Cloud Build menggunakan infrastruktur yang skalabel dan aman untuk membangun dan men-deploy model Anda.Cloud de Confiance Skalabilitas ini berarti Anda tidak perlu khawatir mengelola infrastruktur sendiri dan dapat berfokus pada pengembangan model.
  • Dukungan untuk berbagai bahasa pemrograman: Cloud Build mendukung berbagai bahasa pemrograman, termasuk Python, Java, Go, dan Node.js. Dukungan ini memungkinkan Anda membangun model menggunakan bahasa pilihan Anda.
  • Gunakan langkah-langkah build bawaan: Untuk membantu menyederhanakan proses build, Cloud Build menawarkan langkah-langkah build bawaan untuk tugas ML umum, seperti menginstal dependensi, menjalankan pengujian, dan mengirim image ke registry container.
  • Membuat langkah-langkah build kustom: Anda dapat menentukan langkah-langkah build kustom sendiri di Cloud Build untuk menjalankan kode arbitrer selama proses build.
  • Membangun artefak untuk layanan Platform Agen lainnya: Cloud Build dapat membangun artefak untuk layanan Platform Agen lainnya seperti Feature Store di Platform Agen dan Pelabelan Data Platform Agen. Fleksibilitas ini membantu Anda membangun alur kerja ML yang lengkap diCloud de Confiance.
  • Mewujudkan solusi yang hemat biaya: Cloud Build menawarkan model harga bayar sesuai penggunaan, sehingga Anda hanya membayar resource yang Anda gunakan.

Kasus penggunaan untuk Cloud Storage

Pertimbangkan kasus penggunaan berikut untuk Cloud Storage dengan Agent Platform:

  • Menyimpan data pelatihan: Agent Platform memungkinkan Anda menyimpan set data pelatihan di bucket Cloud Storage. Penggunaan Cloud Storage menawarkan beberapa keuntungan:
    • Cloud Storage dapat menangani set data dengan ukuran apa pun, sehingga Anda dapat melatih model pada data dalam jumlah besar tanpa batasan penyimpanan.
    • Anda dapat menyetel kontrol akses dan enkripsi terperinci di bucket Cloud Storage untuk memastikan data pelatihan sensitif Anda terlindungi.
    • Cloud Storage memungkinkan Anda melacak perubahan dan kembali ke versi data sebelumnya, sehingga memberikan jejak audit yang berharga dan memfasilitasi eksperimen pelatihan yang dapat direproduksi.
    • Agent Platform terintegrasi dengan lancar dengan Cloud Storage, sehingga Anda dapat mengakses data pelatihan dalam platform.
  • Menyimpan artefak model: Anda dapat menyimpan artefak model terlatih seperti file model, konfigurasi hyperparameter, dan log pelatihan, di bucket Cloud Storage. Dengan menggunakan Cloud Storage, Anda dapat melakukan hal berikut:
    • Simpan semua artefak model Anda di Cloud Storage sebagai repositori terpusat untuk mengakses dan mengelolanya dengan mudah.
    • Lacak dan kelola berbagai versi model Anda, sehingga memfasilitasi perbandingan dan pengembalian ke versi sebelumnya jika diperlukan.
    • Beri rekan tim dan kolaborator akses ke bucket Cloud Storage tertentu untuk membagikan model secara efisien.
  • Menyimpan data produksi: untuk model yang digunakan dalam produksi, Cloud Storage dapat menyimpan data yang dimasukkan ke model untuk prediksi. Misalnya, Anda dapat menggunakan Cloud Storage untuk melakukan hal berikut:
    • Simpan data dan interaksi pengguna untuk rekomendasi yang dipersonalisasi secara real-time.
    • Simpan gambar untuk pemrosesan dan klasifikasi sesuai permintaan menggunakan model Anda.
    • Pertahankan data transaksi untuk identifikasi penipuan real-time menggunakan model Anda.
  • Terintegrasi dengan layanan lain: Cloud Storage terintegrasi dengan lancar dengan Cloud de Confiance layanan lain yang digunakan dalam alur kerja Agent Platform, seperti berikut:
    • Dataflow untuk pipeline prapemrosesan dan transformasi data yang disederhanakan.
    • BigQuery untuk mengakses set data besar yang disimpan di BigQuery untuk pelatihan dan inferensi model.
    • Fungsi Cloud Run untuk tindakan berdasarkan prediksi model atau perubahan data di bucket Cloud Storage.
  • Mengelola biaya: Cloud Storage menawarkan model harga bayar sesuai penggunaan, yang berarti Anda hanya membayar untuk penyimpanan yang Anda gunakan. Hal ini memberikan efisiensi biaya, terutama untuk set data besar.
  • Aktifkan ketersediaan tinggi dan ketahanan: Cloud Storage memastikan data Anda sangat tersedia dan terlindungi dari kegagalan atau pemadaman, sehingga menjamin keandalan dan akses yang kuat ke aset ML Anda.
  • Aktifkan dukungan multi-region: simpan data Anda di beberapa region Cloud Storage yang secara geografis lebih dekat dengan pengguna atau aplikasi Anda, sehingga meningkatkan performa dan mengurangi latensi untuk akses data dan prediksi model.

Kasus penggunaan Cloud Run Functions

Pertimbangkan kasus penggunaan berikut untuk Cloud Run Functions dengan Agent Platform:

  • Melakukan pra-pemrosesan dan pasca-pemrosesan data: Fungsi Cloud Run dapat melakukan pra-pemrosesan data sebelum mengirimkannya ke model Agent Platform Anda untuk pelatihan atau prediksi. Misalnya, sebuah fungsi dapat membersihkan dan menormalisasi data, atau mengekstrak fitur dari data tersebut. Demikian pula, Cloud Run Functions dapat memproses output model Agent Platform Anda setelah pemrosesan. Misalnya, fungsi dapat memformat data output, atau mengirimkannya ke layanan lain untuk analisis lebih lanjut.
  • Memicu tugas pelatihan Agent Platform secara otomatis: untuk mengotomatiskan pelatihan model Agent Platform, Anda dapat memicu fungsi Cloud Run menggunakan peristiwa dari berbagai layananCloud de Confiance , seperti Cloud Storage, Pub/Sub, dan Cloud Scheduler. Misalnya, Anda dapat membuat fungsi yang dipicu saat file baru diupload ke Cloud Storage. Fungsi ini dapat memulai tugas pelatihan Platform Agen untuk melatih model Anda pada data baru.
  • Menyajikan prediksi: Fungsi Cloud Run dapat menyajikan prediksi dari model Agent Platform Anda, sehingga Anda dapat membuat endpoint API untuk model tanpa harus mengelola infrastruktur apa pun. Misalnya, Anda dapat menulis fungsi yang mengambil gambar sebagai input, dan menghasilkan prediksi dari model klasifikasi gambar Agent Platform Anda. Kemudian, Anda dapat men-deploy fungsi ini sebagai endpoint HTTP API.
  • Membangun alur kerja ML berbasis peristiwa: Anda dapat menggunakan fungsi Cloud Run untuk membangun alur kerja ML berbasis peristiwa. Misalnya, fungsi dapat memicu tugas prediksi Agent Platform saat data baru ditambahkan ke topik Pub/Sub. Fungsi ini memungkinkan Anda memproses data secara real time dan mengambil tindakan berdasarkan prediksi model.
  • Integrasikan dengan layanan lain: Anda dapat mengintegrasikan fungsi Cloud Run dengan layanan Cloud de Confiance lainnya, seperti Cloud Storage, BigQuery, dan Cloud Firestore. Integrasi memungkinkan Anda membangun pipeline ML kompleks yang menghubungkan berbagai layanan.
  • Menyederhanakan biaya: Fungsi Cloud Run berarti Anda hanya membayar resource yang digunakan fungsi saat sedang berjalan. Selain itu, fungsi Cloud Run secara otomatis diskalakan untuk memenuhi permintaan, sehingga Anda dapat mempertahankan resource yang sesuai selama puncak traffic.

Kasus penggunaan Pub/Sub

Pertimbangkan kasus penggunaan berikut untuk Pub/Sub dengan Agent Platform:

  • Arsitektur berbasis peristiwa asinkron: Pub/Sub memungkinkan komunikasi berbasis peristiwa sehingga Anda dapat memicu pipeline Platform Agen berdasarkan peristiwa yang dipublikasikan ke topik Pub/Sub. Peristiwa ini dapat mencakup update model dan data baru.
  • Skalabilitas dan keandalan: Pub/Sub sangat skalabel, sehingga Anda dapat menangani banyak peristiwa tanpa memengaruhi performa. Skalabilitas sangat penting untuk memproses set data besar atau menjalankan beberapa tugas ML serentak. Pub/Sub juga menyediakan pengiriman dan pengurutan pesan yang andal dalam topik, sehingga memastikan konsistensi pemrosesan meskipun dalam beban kerja yang berat.
  • Fleksibilitas: Anda dapat mengintegrasikan Agent Platform dengan layanan lain seperti fungsi Cloud Run atau Dataflow menggunakan Pub/Sub, sehingga membuat pipeline ML yang fleksibel dan dinamis.
  • Pemantauan dan pemberitahuan real-time: Pub/Sub memungkinkan Anda berlangganan topik tertentu untuk menerima notifikasi real-time tentang peristiwa di pipeline Platform Agen Anda. Pemantauan real-time membantu Anda memantau progres pelatihan model, hasil pra-pemrosesan data, dan output prediksi. Anda dapat mengonfigurasi pemberitahuan berdasarkan peristiwa tertentu, seperti tugas yang gagal atau anomali yang terdeteksi selama prediksi. Pemberitahuan memungkinkan intervensi proaktif dan pemecahan masalah tepat waktu.

Misalnya, Anda dapat menggunakan Pub/Sub untuk melakukan hal berikut:

  • Memicu pelatihan model saat data baru tiba di bucket Cloud Storage.
  • Mengirim prediksi real-time dari model yang di-deploy ke sistem downstream untuk pemrosesan lebih lanjut.
  • Pantau dan tanggapi perubahan pada metrik performa model.
  • Memicu pemberitahuan untuk peristiwa penting seperti kegagalan prediksi atau masalah kualitas data.

Kasus penggunaan Resource Manager

Pertimbangkan kasus penggunaan berikut untuk Resource Manager dengan Platform Agen:

  • Buat project terpisah untuk berbagai tim atau departemen guna membantu memastikan isolasi data dan resource serta kontrol akses terperinci.
  • Menerapkan kebijakan keamanan pelindung ke workload AI.
  • Tentukan kuota untuk penggunaan GPU dalam tugas pelatihan guna mencegah pembengkakan biaya.
  • Mengotomatiskan pembuatan bucket Cloud Storage dan instance Compute Engine yang diperlukan untuk project baru.
  • Lacak dan analisis pola penggunaan resource untuk proyek tertentu guna mengoptimalkan alokasi resource.
  • Buat laporan audit untuk menunjukkan kepatuhan terhadap kebijakan tata kelola data dan keamanan.

Kasus penggunaan Secret Manager

Pertimbangkan kasus penggunaan Secret Manager dengan Agent Platform berikut:

  • Menyimpan kunci API untuk mengakses sumber data eksternal yang digunakan dalam pelatihan model.
  • Enkripsi kredensial database dalam pipeline prediksi untuk akses yang aman.
  • Menyediakan token akses sementara untuk komunikasi yang aman antarlayanan.
  • Amankan kunci pribadi dan sertifikat yang Anda gunakan untuk mengenkripsi saluran komunikasi.
  • Mengelola sandi dan kredensial untuk layanan pihak ketiga yang Anda gunakan dalam alur kerja ML Anda.

Kasus penggunaan untuk VPC

Pertimbangkan kasus penggunaan berikut untuk VPC dengan Platform Agen:

  • Tentukan aturan firewall dan kontrol akses terperinci dalam jaringan VPC Anda untuk membatasi traffic dan hanya mengizinkan koneksi yang sah ke resource tertentu.

  • Atur resource Agent Platform Anda ke dalam jaringan VPC terpisah berdasarkan persyaratan fungsi atau keamanan.

    Jenis organisasi ini membantu mengisolasi resource dan mencegah akses tidak sah antara berbagai project atau tim. Anda dapat membuat jaringan VPC khusus untuk beban kerja sensitif, seperti model pelatihan dengan data rahasia, sehingga hanya pengguna dan layanan yang berwenang yang memiliki akses jaringan.

Langkah berikutnya