Cara kerja language model yang sebenarnya

Sebelum membangun agent, Anda perlu model mental yang jujur tentang fondasinya: large language model (LLM) seperti GPT, Claude, atau Gemini. Hampir semua kesalahan orang dengan AI berasal dari salah paham tentang apa yang sebenarnya dilakukan model.

Ia memprediksi token berikutnya

LLM melakukan satu hal: diberi sepotong teks, ia memprediksi potongan teks berikutnya, satu token setiap kali. Token kira-kira adalah penggalan kata (sekitar empat karakter bahasa Inggris). Ia tidak mencari apa pun, tidak bernalar seperti manusia, ia menghasilkan kelanjutan yang paling mungkin secara statistik berdasarkan pola yang dipelajari dari teks dalam jumlah sangat besar.

Satu fakta ini menjelaskan kekuatan sekaligus kegagalannya. Ia menulis bahasa yang fasih karena bahasa yang fasih sangat bisa diprediksi. Ia mengarang fakta karena kelanjutan yang terdengar masuk akal tidak selalu benar. Karangan itu kita sebut halusinasi, dan itu bukan bug, itu model yang melakukan persis seperti yang dirancang.

Context window adalah memori kerjanya

Model tidak punya memori antar panggilan. Semua yang ia ketahui saat itu adalah teks yang Anda kirim, disebut konteks. Ukuran maksimum teks itu adalah context window, diukur dalam token. Ketika orang bilang agent mengingat pesan sebelumnya, maksudnya aplikasi mengirim ulang pesan itu di dalam konteks pada panggilan berikutnya.

Peran: system, user, assistant

Sebuah permintaan chat adalah daftar pesan, masing-masing dengan peran. Pesan system menetapkan aturan dan persona, dan ini adalah tuas terpenting yang Anda miliki. Pesan user adalah giliran manusia. Pesan assistant adalah balasan model sebelumnya. Menyusun pesan system dengan benar adalah sebagian besar pekerjaan membangun agent yang andal.

system:  You are the front desk for "Kopi Lima", a coffee shop in
         Jakarta. Answer only from the facts below. If a question is
         outside them, say a staff member will follow up. Never invent
         prices. Reply in the customer's language.
         FACTS: Open 07:00-22:00 daily. Espresso 25k, Latte 32k.
         Address: Jl. Melati 5. Delivery via GoFood only.
user:    bisa pesan untuk 20 orang besok pagi?
assistant: Untuk pesanan 20 gelas, tim kami akan follow up ya untuk
         konfirmasi stok dan waktu. Boleh saya minta nomor WhatsApp Anda?

Temperature mengatur keacakan

Karena model memilih dari distribusi token berikutnya yang mungkin, Anda bisa menyetel seberapa berani ia. Temperature mendekati 0 membuatnya memilih token paling mungkin hampir setiap kali, memberi jawaban konsisten dan bisa diulang. Temperature lebih tinggi menambah variasi, berguna untuk brainstorming, berisiko untuk fakta. Untuk agent bisnis yang menjawab pertanyaan atau mengikuti aturan, jaga tetap rendah.

Prompting yang berhasil

Prompt yang baik bukan kata-kata ajaib, melainkan spesifikasi yang jelas. Empat bagian mencakup sebagian besarnya: instruksi (apa yang harus dilakukan), konteks (fakta dan data yang boleh dipakai), batasan (apa yang tidak boleh dilakukan), dan opsional contoh input-output yang Anda harapkan. Kalau model berperilaku buruk, perbaikannya hampir selalu prompt yang lebih jelas, bukan model yang lebih besar.