Proof of Concept AI yang Berakhir dengan Keputusan: Cara Merancang, Mengukur, dan Menghentikannya

Banyak proyek AI di perusahaan berhenti di titik yang sama: demo yang mengesankan, lalu tidak ada yang tahu harus berbuat apa. Tim teknis ingin mencoba model lain, manajer ingin melihat angka penghematan, dan pemilik usaha tidak yakin apakah perlu menambah anggaran. Akar masalahnya biasanya satu: proof of concept AI itu tidak pernah dirancang untuk menghasilkan keputusan.

Proof of concept AI yang baik selalu berakhir dengan salah satu dari tiga jawaban: lanjut, lanjut dengan syarat, atau berhenti. Panduan ini menjelaskan cara merancangnya agar sampai ke jawaban itu: satu pertanyaan bisnis yang jelas, data nyata, kriteria lulus yang ditulis sebelum mulai, biaya kesalahan yang dihitung, dan aturan kapan berhenti.

Proof of concept, pilot, dan produksi itu berbeda

Ketiganya sering dicampur, sehingga hasil uji dinilai dengan ukuran yang salah.

• Proof of concept menjawab satu pertanyaan: apakah pendekatan ini bisa mencapai mutu yang dibutuhkan, dengan data kita, di lingkungan yang terkendali. Belum ada pengguna sungguhan dan belum ada integrasi penuh.
• Pilot menjawab pertanyaan berikutnya: apakah pendekatan itu bekerja di operasional sehari-hari, dipakai orang sungguhan dalam lingkup terbatas.
• Produksi berarti dipakai penuh, lengkap dengan pemantauan, perawatan, dan biaya berjalan yang harus dianggarkan.

Menilai proof of concept dengan ukuran produksi membuatnya tidak pernah lulus. Sebaliknya, langsung memakai hasil proof of concept di produksi membuat masalah baru muncul di depan pelanggan.

Langkah 1: Pilih satu pertanyaan bisnis, bukan satu teknologi

"Kita coba AI untuk customer service" bukan pertanyaan. Rumusan yang bisa diuji misalnya: "Bisakah AI menyiapkan draf balasan untuk pertanyaan status pesanan yang cukup benar sehingga admin cukup menyetujui tanpa mengubah isinya, untuk sebagian besar pesan?"

Pola yang bisa dipakai: untuk pekerjaan tertentu, AI bisa menghasilkan sesuatu dengan mutu terukur, sehingga bisnis mendapat manfaat tertentu. Kandidat terbaik biasanya pekerjaan yang sering terjadi, aturannya cukup jelas, datanya tersedia, dan kesalahannya bisa dibatalkan. Bila Anda belum punya daftar kandidat, mulailah dari pemetaan proses lebih dulu.

Langkah 2: Siapkan data nyata dan kunci jawaban

Kualitas proof of concept AI ditentukan oleh data ujinya.

• Ambil contoh dari arsip Anda sendiri, misalnya beberapa ratus pesan pelanggan atau dokumen dari beberapa bulan terakhir. Sertakan kasus sulit, bukan hanya yang rapi.
• Buat kunci jawaban. Staf berpengalaman menuliskan seperti apa hasil yang benar untuk setiap contoh. Pekerjaan ini paling sering diremehkan, padahal tanpa kunci jawaban tidak ada yang bisa dinilai.
• Sisihkan kumpulan uji terpisah yang tidak dilihat saat menyusun instruksi untuk AI. Tanpa pemisahan ini, hasil cenderung terlihat lebih bagus daripada kenyataannya.
• Lindungi data pribadi. Samarkan nama, nomor telepon, dan data sensitif lain. Pastikan penyedia model dan lokasi penyimpanan data sesuai kebijakan perusahaan dan UU Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi.

Langkah 3: Tulis kriteria lulus sebelum melihat hasil

Kriteria yang dirumuskan setelah hasil keluar hampir selalu menyesuaikan diri dengan hasil itu. Tulis sejak awal:

• Mutu: misalnya persentase jawaban yang benar tanpa perubahan, dan batas untuk kesalahan berat seperti harga yang salah atau janji yang tidak boleh diberikan.
• Operasional: waktu dan biaya per item, termasuk biaya pemakaian model.
• Penerimaan: apakah staf yang menilai bersedia memakai hasilnya.
• Ambang keputusan: angka berapa yang berarti lanjut, lanjut dengan syarat, atau berhenti.

Hasil "lanjut dengan syarat" itu wajar. Contohnya, mutu sudah memenuhi target tetapi biaya per item masih terlalu tinggi, sehingga pilot baru layak setelah dicoba dengan model yang lebih murah.

Langkah 4: Hitung biaya kesalahan

Tidak semua kesalahan sama beratnya. Salah ejaan di draf balasan hampir tidak berbiaya. Salah menyebut harga kepada pelanggan bisa mahal. Kelompokkan kesalahan menurut dampaknya, lalu tentukan pengamannya:

• Kategori berisiko tinggi selalu menunggu persetujuan manusia.
• AI diminta menyatakan tidak yakin dan menyerahkan ke manusia, alih-alih menebak.
• Hasil AI berupa draf yang bisa diperiksa, bukan tindakan yang langsung terkirim.

Merancang proof of concept dengan pola "AI menyiapkan, manusia memutuskan" menurunkan risiko dan biasanya mempercepat persetujuan internal.

Langkah 5: Jalankan dengan batas waktu dan lingkup tetap

• Tetapkan batas waktu dan lingkup di awal, lalu tolak tambahan seperti "sekalian dicoba untuk laporan bulanan".
• Catat setiap percobaan: versi instruksi, model yang dipakai, dan hasil pada kumpulan uji.
• Nilai secara adil. Bila memungkinkan, campur jawaban AI dan jawaban staf tanpa label, lalu minta penilai menilai semuanya dengan kunci yang sama.
• Jangan mengubah kriteria di tengah jalan. Bila kriteria memang keliru, catat alasannya dan perlakukan sebagai temuan.

Langkah 6: Putuskan, lalu tuliskan

Dokumen keputusan memuat hipotesis, data yang dipakai, hasil dibandingkan kriteria, biaya per item, risiko yang ditemukan, rekomendasi, dan perkiraan biaya untuk tahap berikutnya: integrasi, pemantauan, dan biaya berjalan. Sebutkan juga siapa pemiliknya di sisi bisnis.

Berhenti adalah hasil yang sah. Proof of concept yang berhenti cepat dengan alasan jelas menghemat jauh lebih banyak daripada proyek yang terus berjalan tanpa arah.

Contoh rancangan satu halaman

Seluruh rancangan sebaiknya muat di satu halaman, agar semua pihak membaca hal yang sama. Contoh untuk sebuah distributor yang menerima banyak pertanyaan status pesanan lewat pesan:

• Pertanyaan: bisakah AI menyiapkan draf balasan status pesanan yang bisa disetujui admin tanpa diubah?
• Data: pesan pelanggan dari tiga bulan terakhir, nama dan nomor disamarkan, ditambah data status pesanan pada tanggal yang sama.
• Kunci jawaban: dua admin senior menulis balasan yang benar untuk setiap pesan uji.
• Kriteria lanjut: sebagian besar draf disetujui tanpa perubahan, tidak ada satu pun draf yang menyebut status atau tanggal kirim yang salah, dan biaya per balasan masih masuk anggaran.
• Kriteria berhenti: draf yang salah menyebut status muncul berulang meski instruksi sudah diperbaiki.
• Pengaman: pesan tentang keluhan, pembatalan, dan pembayaran tidak dijawab AI dan langsung diteruskan ke admin.
• Pemilik: kepala layanan pelanggan, yang juga memutuskan hasil akhir.

Angka persisnya ditentukan bersama sebelum mulai. Yang penting, semua orang menyetujui halaman ini sebelum percobaan pertama dijalankan.

Tanda proof of concept AI tidak akan menghasilkan keputusan

• Tidak ada kriteria lulus yang tertulis.
• Data uji disiapkan vendor, bukan diambil dari arsip Anda.
• Demo hanya memperlihatkan kasus mudah.
• Tidak ada yang menghitung biaya berjalan setelah produksi.
• Tidak ada pemilik di sisi bisnis yang akan memakai hasilnya.

Dari proof of concept ke pilot

Pilot membawa tantangan yang berbeda: integrasi dengan sistem yang ada, alur persetujuan, pencatatan setiap tindakan, dan kebiasaan tim yang harus berubah. Bagian terakhir ini sering menentukan, jadi siapkan rencana adopsi sistem baru sejak pilot dimulai.

Di Etzal Group, lini AI Consulting memetakan pekerjaan yang layak dibantu AI, mengurutkan kandidatnya, dan menyerahkan hasilnya secara tertulis beserta estimasi biaya. Biaya konsultasi dipotongkan bila Anda melanjutkan ke implementasi. Untuk membahas kandidat proof of concept Anda, gunakan sesi konsultasi gratis.