Runbook Insiden untuk Agen AI: Apa yang Dilakukan Ketika Agen Berbuat Keliru
11 November 2026 · 6 menit baca · Tim Etzal Group
Pukul 21.40 hari Jumat, sebuah agen AI yang membalas email pemasok mulai mengonfirmasi pesanan pembelian yang tidak disetujui siapa pun. Ia salah membaca perubahan di kolom persetujuan. Ketika seseorang menyadarinya hari Senin, enam puluh konfirmasi sudah terkirim. Ongkos kekeliruannya sedang saja. Ongkos enam puluh jamnya tidak. Tiap jam itu ada karena tidak seorang pun memutuskan, di muka, siapa yang mengawasi agen, siapa yang bisa menghentikannya, dan bagaimana. Runbook insiden untuk agen AI adalah keputusan itu, dalam bentuk tertulis.
Mengapa agen AI butuh runbook sendiri
Gangguan software biasa umumnya menghentikan sesuatu: halaman gagal, pekerjaan macet. Gangguan agen sering terus berjalan, dengan lancar. Keluarannya tampak wajar. Agen bisa mengulang kekeliruan itu ratusan kali, dan tiap pengulangan adalah tindakan di dunia nyata: pesan terkirim, catatan berubah, pembayaran disiapkan.
Tiga ciri membuat insiden ini berbeda:
- Tampak masuk akal. Keluaran yang salah terlihat seperti yang benar.
- Cepat dan luas. Satu aturan keliru berlaku untuk semua kasus sekaligus.
- Penyebab tidak jelas. Pemicunya bisa masukan yang berubah, versi model yang berubah, dokumen yang berubah di basis pengetahuannya, atau instruksi yang terselip di konten yang dibacanya.
Sebelum insiden apa pun: lima hal yang harus ada
1. Tombol henti. Satu langkah yang menghentikan agen bertindak: setelan, feature flag, kredensial yang dinonaktifkan. Terdokumentasi, teruji, bisa dipakai beberapa orang bernama tanpa deployment. Lebih baik dua tingkat: "hanya draf", yaitu agen menyiapkan dan manusia menyetujui, serta "mati".
2. Log. Untuk tiap jalannya: masukan, instruksi dan versi model yang berlaku, alat yang dipanggil beserta argumennya, keluaran, dan apa yang dikirim atau diubah. Tanpa ini, penyelidikan hanyalah tebakan.
3. Pemilik. Orang bernama yang bertanggung jawab atas agen, dan wakilnya.
4. Cara mendeteksi. Peringatan atas volume yang tidak biasa, angka galat, tindakan mendekati batas, balasan pelanggan yang memuat kata seperti "salah" atau "kenapa". Juga saluran tempat staf bisa melapor "agennya berbuat aneh" dalam sepuluh detik.
5. Batas. Pagu atas apa yang boleh dilakukan agen tanpa persetujuan: nilai, jumlah tindakan per jam, golongan penerima. Batas mengubah kemungkinan bencana menjadi kerugian yang terukur.
Tingkat keparahan
Tiga sudah cukup.
| Tingkat | Definisi | Tanggapan |
|---|---|---|
| 1, Kritis | Kerugian bagi pihak di luar perusahaan, uang berpindah, data pribadi terbuka, atau paparan hukum | Hentikan agen sekarang, hubungi pemilik dan manajemen, mulai runbook lengkap |
| 2, Berat | Keluaran atau tindakan keliru sampai ke pelanggan atau sistem, terbatas dan bisa dibalik | Pindah ke mode draf, pemilik menyelidiki hari itu juga |
| 3, Ringan | Keluaran keliru tertangkap sebelum keluar, atau kesalahan tampilan | Catat, perbaiki dalam pekerjaan biasa, tinjau mingguan |
Bila ragu, perlakukan sebagai tingkat yang lebih tinggi. Menurunkannya itu murah.
Satu jam pertama
1. Hentikan atau batasi. Untuk tingkat 1, matikan. Untuk tingkat 2, hanya draf. Lakukan sebelum memahami penyebabnya. Catat waktunya.
2. Tunjuk satu pemimpin insiden. Satu orang memutuskan dan mengoordinasikan. Yang lain melapor kepadanya.
3. Tetapkan cakupannya. Dari log: kapan mulainya, berapa kali jalan, pelanggan, catatan, atau transaksi mana yang tersentuh? Mulai dari keluaran buruk paling awal yang diketahui dan telusuri mundur mencari yang lebih awal.
4. Bendung akibatnya. Tarik atau koreksi pesan bila memungkinkan. Balik atau bekukan transaksi. Cabut kredensial yang dipakai agen bila ada dugaan penyalahgunaan. Tandai catatan yang terkena.
5. Amankan bukti. Ekspor log, instruksi, konfigurasi, dokumen pengetahuan, dan versi model sebagaimana adanya. Jangan memperbaiki apa pun di tempat sebelum ada salinannya.
6. Kabari pihak dalam. Manajemen, departemen yang terkena, hukum atau kepatuhan bila relevan. Catatan singkat dan faktual: apa yang terjadi, sejak kapan, berapa yang terkena, apa yang sudah dihentikan, kapan kabar berikutnya.
7. Putuskan komunikasi ke luar. Siapa yang perlu mendengar dari Anda, paling lambat kapan, dan dari siapa.
Berkomunikasi dengan yang terdampak
- Lebih awal. Orang lebih mudah memaafkan kekeliruan daripada mengetahuinya dari pihak lain.
- Spesifik. Apa yang keliru, bagaimana yang benar, apa yang perlu mereka lakukan, kalau ada.
- Bertanggung jawab sebagai perusahaan. "Sistem kami mengirimi Anda konfirmasi yang keliru" bisa diterima. "AI-nya yang salah" sebagai dalih tidak.
- Beri kontak manusia.
- Jangan berspekulasi soal penyebab yang belum Anda pastikan.
Bila menyangkut data pribadi, orang yang disebut di runbook menilai apakah kewajiban pemberitahuan menurut hukum berlaku dan dalam batas waktu berapa. Tuliskan nama itu dan nomor penasihatnya di runbook sekarang.
Mencari penyebabnya
Telusuri tersangka yang biasa secara berurutan:
- Apakah masukan berubah? Kolom baru, format baru, jenis permintaan baru.
- Apakah pengetahuannya berubah? Dokumen diperbarui, ditambah, atau dibiarkan usang.
- Apakah instruksinya berubah? Prompt disunting, aturan ditambah.
- Apakah modelnya berubah? Versi baru dari penyedia bisa mengubah perilaku tanpa perubahan apa pun di pihak Anda.
- Apakah sebuah alat berubah? Antarmuka yang mengembalikan sesuatu yang berbeda.
- Apakah agen dimanipulasi? Konten yang dibacanya, seperti email atau halaman web, memuat instruksi yang lalu diikutinya.
- Apakah ini memang selalu mungkin dan hanya belum pernah terjadi?
Ulangi kegagalannya dengan masukan yang diamankan. Penyebab yang tidak bisa Anda ulangi masih berupa dugaan.
Sebelum dinyalakan kembali
- Penyebabnya dikenali dan bisa diulang.
- Perbaikan terpasang dan kasus yang gagal kini lolos.
- Kasus yang gagal, beserta variasinya, masuk ke kumpulan uji yang dijalankan sebelum tiap perubahan.
- Ada pengaman yang akan membatasi kerusakannya: batas, langkah persetujuan, peringatan.
- Pemilik dan departemen yang terkena sepakat untuk memulai lagi.
- Mulai lagi dalam mode draf dulu, lalu dengan volume rendah, sambil diawasi.
Tinjauannya
Dalam seminggu, catatan satu halaman:
- Apa yang terjadi, dengan kata-kata biasa, beserta garis waktu.
- Dampak: siapa dan apa yang terkena, serta biayanya.
- Deteksi: bagaimana ditemukan, dan berapa lama setelah mulai.
- Penyebab.
- Yang berjalan baik dalam penanganan.
- Yang lambat atau tidak ada.
- Tindakan, masing-masing dengan penanggung jawab dan tanggal.
Jaga agar tanpa menyalahkan. Pertanyaannya, apa di dalam sistem yang memungkinkan ini, bukan siapa yang bersalah. Orang yang takut disalahkan menyembunyikan nyaris insiden, padahal nyaris insiden adalah peringatan termurah yang akan Anda dapat.
Beri perhatian khusus pada selang antara mulai dan terdeteksi. Memendekkan selang itu biasanya lebih berharga daripada perbaikan lain mana pun.
Berlatih sekali
Adakan latihan tiga puluh menit tiap setengah tahun: "Agen mengirim harga keliru ke empat puluh pelanggan. Mulai." Lihat apakah orang bisa menemukan tombol henti, log, dan daftar kontak. Latihan memperlihatkan kata sandi yang hilang dan orang yang sedang cuti selagi masih tidak berbahaya.
Tempatnya dalam gambaran besar
Runbook adalah satu bagian dari menjalankan agen secara bertanggung jawab, bersama batas, pengujian, dan pemantauan. Kami menanamkannya di agen yang kami serahkan dan membantu klien menulisnya untuk sistem yang sudah berjalan, sebagai bagian dari AI Consulting. Bila Anda punya agen di produksi dan belum punya jawaban tertulis atas "siapa yang menghentikannya?", hubungi kami.
Ringkasan
Sebelum insiden apa pun, siapkan tombol henti yang teruji, log yang lengkap, pemilik bernama, deteksi, dan batas. Tetapkan tiga tingkat keparahan. Di satu jam pertama, hentikan atau batasi, tunjuk pemimpin, tetapkan cakupan, bendung, amankan bukti, dan kabari. Berkomunikasi lebih awal dan spesifik. Cari dan ulangi penyebabnya, masukkan kasusnya ke uji Anda, nyalakan lagi bertahap, dan tulis tinjauan tanpa menyalahkan. Lalu latih.
Pertanyaan yang sering diajukan
Apa yang termasuk insiden agen AI?
Kejadian apa pun ketika keluaran atau tindakan agen menimbulkan, atau bisa menimbulkan, kerugian: informasi keliru terkirim ke pelanggan, tindakan diambil tanpa wewenang, data pribadi terbuka, uang berpindah secara salah, atau agen berperilaku di luar instruksinya. Nyaris insiden yang tertangkap sebelum merugikan juga dihitung, karena memperlihatkan apa yang akan terjadi lain kali.
Siapa yang semestinya bisa menghentikan agen AI?
Lebih dari satu orang, pada jam berapa pun. Sedikitnya pemilik sistem, teknisi yang piket, dan pimpinan operasional tim pemakainya. Menghentikan harus berupa satu langkah terdokumentasi yang tidak butuh developer dan tidak butuh deployment. Bila hanya satu orang yang tahu caranya, agen itu belum siap untuk produksi.
Apakah kami wajib memberi tahu pihak tertentu ketika agen AI membocorkan data pribadi?
Hukum data pribadi di banyak tempat, termasuk Indonesia dan Singapura, menetapkan kewajiban memberi tahu regulator dan orang yang terdampak setelah pelanggaran data tertentu, dengan batas waktu. Berlaku tidaknya dan kapan, bergantung pada faktanya. Runbook semestinya menyebut orang yang membuat penilaian itu dan penasihat yang ia hubungi.
Layanan terkait
Chatbot WhatsApp AI
Kami bangun, latih, dan jalankan AI agent WhatsApp yang menjawab pelanggan 24/7, mengkualifikasi lead, dan follow-up.
