Keamanan agen AI: pemantauan, izin, dan persetujuan manusia

B2Shift · Diterbitkan 27 Agustus 2026 · Diperbarui 27 Agustus 2026

Agen AI yang dapat mengambil tindakan — tidak hanya menghasilkan teks — mewarisi persyaratan keamanan apa pun yang terhubung dengannya, ditambah beberapa persyaratan keamanannya sendiri. Sebagian besar insiden disebabkan oleh akses yang terlalu luas, bukan pada model itu sendiri.

Akses dengan hak istimewa paling kecil adalah kontrol yang paling penting

Agen harus memiliki identitasnya sendiri dan izin cakupannya sendiri, bukan kredensial pinjaman administrator. Berikan hanya sistem dan bidang yang diperlukan oleh tugas tertentu. Memperluas akses nantinya adalah perubahan konfigurasi; menemukan agen memiliki akses yang tidak perlu setelah satu tahun berjalan adalah masalah audit, bukan perbaikan cepat.

Pisahkan tindakan berdasarkan reversibilitasnya, bukan berdasarkan seberapa mengesankan suaranya

Membaca, menyusun, mengklasifikasikan, dan merutekan biasanya dapat berjalan tanpa pengawasan. Mengirim uang, mempublikasikan harga, membalas keluhan atas nama Anda, atau menghapus catatan memerlukan persetujuan manusia — atau setidaknya jendela penundaan di mana seseorang dapat melakukan intervensi. Memperlakukan setiap tindakan dengan cara yang sama akan membatasi kasus-kasus yang berguna secara berlebihan atau membatasi kasus-kasus yang berbahaya.

Pantau penyimpangan, bukan hanya waktu aktif

Seorang agen bisa saja secara teknis online dan melakukan kesalahan secara diam-diam: menjawab dengan pengetahuan yang basi, salah mengklasifikasikan semakin banyak permintaan, atau keluar dari cakupan yang dimaksudkan seiring dengan perubahan sistem hulu. Pemantauan perlu melacak tren kualitas dan kepercayaan keluaran, tidak hanya apakah layanan memberikan respons.

Jadikan setiap keputusan dapat direkonstruksi

Setiap tindakan harus mencatat apa yang memicunya, konteks apa yang digunakan, apa yang diputuskan, keyakinannya, apakah manusia menyetujuinya, dan apa yang berubah sebagai hasilnya. 10 Teratas OWASP untuk Aplikasi LLM mendokumentasikan kelas kegagalan yang umum — agensi yang berlebihan, penanganan keluaran yang tidak aman, injeksi yang cepat — layak untuk diperiksa sebelum peluncuran.

Penanganan kepercayaan diri adalah jalur yang dirancang, bukan sebuah renungan

Kasus dengan tingkat kepercayaan rendah harus memiliki tujuan yang jelas: nama orang atau antrean peninjauan, bukan tebakan terbaik yang diam-diam. Mode kegagalan yang Anda inginkan adalah "ini terjadi pada manusia"; yang Anda rancang adalah "ini salah dan tidak ada yang menyadarinya selama tiga minggu." Lihat Agen AI / Karyawan AI untuk mengetahui bagaimana hal ini dicakup dalam sebuah build, dan Cara menjaga otomatisasi AI tetap aman dan memperhatikan GDPR untuk bagian perlindungan data dari gambaran ini.