Cara Mengevaluasi AI Agent Sebelum Diluncurkan
11 November 2026 · 4 menit baca · Tim Etzal Group
Demonstrasi membuktikan bahwa agent mampu menyelesaikan sebuah tugas. Demonstrasi tidak berkata apa-apa tentang seberapa sering. Sebelum agent menjawab pelanggan atau mengubah catatan, Anda butuh cara mengevaluasi AI agent yang menghasilkan angka, beserta aturan tentang berapa angka itu seharusnya.
Apa itu kumpulan uji
Kumpulan uji adalah daftar input realistis, masing-masing disertai gambaran hasil yang benar. Susun dari bahan nyata:
- Percakapan dan tiket lama. Pertanyaan yang benar-benar diajukan orang, dengan kata-kata mereka sendiri.
- Koreksi dari masa pilot. Setiap kali pemeriksa mengubah keluaran agent, kasus itu masuk ke kumpulan.
- Kasus sulit yang sudah dikenal. Permintaan ambigu, informasi yang kurang, dua permintaan dalam satu pesan.
- Kasus yang harus ditolak. Permintaan di luar cakupan agent, upaya menggali informasi yang tidak boleh dibagikan, instruksi yang disisipkan di dalam dokumen yang dibacanya.
Tulis hasil yang diharapkan untuk tiap kasus dalam bentuk yang bisa diperiksa: kategori yang benar, kolom yang wajib terambil, alat yang seharusnya dipanggil, atau fakta yang harus ada di dalam balasan.
Nilai hasil dan tindakannya
Untuk agent yang hanya menulis teks, yang dinilai teksnya. Untuk agent yang bertindak, nilai juga apa yang dilakukannya.
- Hasil. Apakah jawaban akhirnya benar dan lengkap?
- Tindakan. Apakah ia memanggil alat yang tepat dengan argumen yang tepat? Adakah alat yang dipanggil padahal tidak seharusnya?
- Kejujuran. Apakah ia mengaku melakukan sesuatu yang tidak dilakukannya? Agent yang berkata "alamat Anda sudah saya perbarui" tanpa memanggil alat pembaruan berarti gagal, sesopan apa pun kalimatnya.
- Penolakan. Apakah ia menolak yang memang harus ditolak, dan menyerahkan ke orang ketika semestinya?
- Biaya dan waktu. Berapa langkah, berapa token, berapa detik?
Catat panggilan alat di log dan cocokkan setiap klaim dengan log itu. Satu pemeriksaan ini menangkap jenis kesalahan yang akan lolos bila Anda hanya membaca balasannya.
Tiga jenis pemeriksaan
- Pemeriksaan kode. Pasti, murah, dan stabil. Apakah keluarannya JSON yang sah? Apakah total hasil ekstraksi sama dengan jumlah barisnya? Apakah alat refund dipanggil untuk nominal di atas batas?
- Pemeriksaan oleh model. Model kedua menilai jawaban berdasarkan rubrik, misalnya "apakah balasan menjawab pertanyaan yang diajukan, hanya dengan teks kebijakan yang diberikan?" Berguna untuk nada dan kelengkapan.
- Tinjauan manusia. Orang membaca sebuah sampel. Lambat, tetapi tetap menjadi acuan untuk mengkalibrasi dua jenis lainnya.
Pakai kode di mana pun aturan bisa memutuskan. Pakai model penilai untuk hal yang tidak bisa dinilai kode. Pakai manusia untuk memastikan para penilai itu sejalan dengan kenyataan.
Ulangi setiap kasus
Jalankan tiap kasus beberapa kali. Laporkan hasilnya sebagai tingkat lulus per kasus dan keseluruhan. Kasus yang lulus tiga dari lima kali adalah peringatan: perilakunya ada, tetapi belum bisa diandalkan. Untuk tindakan yang berisiko, anggap apa pun di bawah lulus konsisten sebagai gagal.
Tetapkan batas sebelum melihat hasil
Putuskan ambang rilis di muka dan tuliskan. Contohnya:
- Tingkat lulus keseluruhan minimal 90% pada seluruh kumpulan.
- 100% pada kasus keselamatan: tidak ada panggilan alat terlarang, tidak ada tindakan yang dikarang.
- Rata-rata langkah tidak melebihi jumlah tertentu.
Ambang yang dipilih setelah melihat hasil selalu berakhir sama dengan hasil yang didapat.
Jadikan gerbang
Evaluasi sebaiknya berjalan otomatis setiap kali prompt, alat, sumber pengetahuan, atau versi model berubah. Bila tingkat lulus turun di bawah batas, perubahan itu tidak dirilis. Inilah yang mengubah uji sekali jalan menjadi perlindungan terhadap regresi, yang memang sering terjadi: suntingan prompt yang memperbaiki satu kasus kerap merusak dua kasus lain.
Simpan riwayat hasilnya. Penurunan perlahan selama beberapa perubahan mudah terlewat bila dilihat rilis demi rilis, tetapi kentara di grafik.
Setelah diluncurkan
Produksi adalah kumpulan uji yang lebih besar. Ambil sampel percakapan nyata setiap minggu, nilai dengan cara yang sama, dan masukkan setiap kegagalan baru ke kumpulan. Pantau seberapa sering orang menimpa atau mengoreksi agent, karena itu sama dengan pengguna menilainya secara gratis.
Kesalahan yang umum
- Hanya menguji jalur mulus. Agent gagal di tepian.
- Memeriksa balasan tetapi tidak tindakannya. Teksnya bisa benar sementara tindakannya salah.
- Kumpulan uji yang tidak pernah bertambah. Seharusnya ia menyerap setiap kegagalan di produksi.
- Satu kali jalan per kasus. Ketidakandalan jadi tersembunyi.
- Tanpa batas yang tetap. Tanpanya, setiap rilis berubah jadi perdebatan.
Perangkat evaluasi adalah bagian dari setiap agent yang kami serahkan lewat Enterprise Software, dan lewat AI Consulting kami bisa merancang kumpulan uji untuk agent yang sudah Anda miliki. Bicarakan dengan kami bila Anda sedang menyiapkan peluncuran.
Ringkasan
Susun kumpulan uji dari kasus nyata, termasuk yang harus ditolak agent. Nilai hasil, tindakan, dan kejujurannya. Jalankan tiap kasus beberapa kali. Tetapkan batas sebelum menguji, dan jalankan evaluasi di setiap perubahan. Agent yang dirilis dengan cara ini punya keandalan yang diketahui, bukan yang diharapkan.
Pertanyaan yang sering diajukan
Berapa kasus uji yang dibutuhkan untuk mengevaluasi AI agent?
Lima puluh kasus yang dipilih dengan baik cukup untuk memulai dan jauh lebih baik daripada tidak ada. Targetkan seratus sampai dua ratus seiring agent makin matang. Cakupan lebih penting daripada jumlah: sertakan permintaan umum, yang jarang, yang tidak lengkap, dan kasus yang harus ditolak agent.
Mengapa tiap kasus uji dijalankan lebih dari sekali?
Model bahasa tidak selalu memberi jawaban yang sama untuk input yang sama. Kasus yang lulus sekali bisa gagal di percobaan berikutnya. Menjalankan tiap kasus tiga sampai lima kali memperlihatkan apakah suatu perilaku memang andal atau sekadar mungkin terjadi.
Bisakah AI menilai jawaban AI lain?
Bisa, untuk sifat yang sulit diperiksa dengan kode, seperti nada atau kelengkapan. Beri model penilai rubrik yang jelas, dan bandingkan dulu skornya dengan skor manusia pada sebuah sampel. Pakai pemeriksaan kode di mana pun aturan bisa memutuskan, karena lebih murah dan tidak bergeser.
Layanan terkait
Chatbot WhatsApp AI
Kami bangun, latih, dan jalankan AI agent WhatsApp yang menjawab pelanggan 24/7, mengkualifikasi lead, dan follow-up.
