Guardrails, evaluasi, dan biaya

Demo yang berhasil sekali itu mudah. Agent yang bisa Anda biarkan jalan pada pelanggan nyata adalah hal berbeda, dan jaraknya adalah guardrails dan evaluasi. Ini bagian yang paling sering dilewati orang dan paling sering menggagalkan proyek.

Kenali mode kegagalan

• Halusinasi: menyatakan sesuatu yang tidak benar dengan percaya diri. Redam dengan RAG dan "jawab hanya dari fakta yang diberikan".
• Tool salah atau argumen salah: memanggil tool refund saat ditanya. Redam dengan deskripsi tool yang tajam dan validasi.
• Loop: terus bertindak tanpa konvergen. Redam dengan batas langkah.
• Prompt injection: user (atau dokumen yang ditarik) mencoba menimpa instruksi Anda. Belum ada perbaikan tuntas sampai hari ini, jadi jangan pernah perlakukan input sebagai instruksi dan gate setiap aksi nyata.

Guardrails

Guardrails adalah pemeriksaan di sekitar model, bukan permohonan di dalam prompt. Validasi output model sebelum bertindak atasnya. Pegang allow-list aksi yang boleh ia ambil secara otonom, dan arahkan sisanya ke manusia. Untuk apa pun yang menyentuh uang atau perubahan tak terbalikkan, wajibkan konfirmasi eksplisit. Model mengusulkan, sistem Anda yang memutuskan.

Evaluasi: buktikan ia bekerja

Anda tidak bisa memperbaiki yang tidak Anda ukur, dan "rasanya bagus saat dites" bukan pengukuran. Bangun evaluation set kecil: 20 sampai 50 pertanyaan nyata dengan jawaban atau aksi yang Anda harapkan. Jalankan agent terhadapnya setiap kali Anda mengubah prompt atau tool, dan lacak berapa yang benar. Ini menangkap regresi, jenis senyap di mana satu tweak prompt memperbaiki satu kasus dan merusak tiga lainnya.

# A tiny eval set (input -> expected)
"jam buka minggu?"            -> mentions 07:00-22:00
"harga latte?"               -> 32000, no invented number
"refund pesanan kemarin"     -> hands off to human (no refund tool call)
"pesan 50 box, kapan siap?"  -> asks for contact, flags as bulk lead

Score after each change. A drop means your last edit hurt something.

Biaya dan latensi

Anda membayar per token, input dan output, dan model lebih besar lebih mahal serta merespons lebih lambat. Tuas praktis: pakai model lebih kecil dan cepat untuk langkah mudah dan yang lebih kuat hanya saat dibutuhkan, jaga prompt ramping, cache jawaban untuk pertanyaan berulang, dan tetapkan budget token per permintaan. Ukur biaya nyata per percakapan sejak awal, biasanya kecil, tapi Anda ingin tahu angkanya daripada menebak.