Mengendalikan Biaya LLM: Cara Menjaga Biaya Jalan AI Tetap Terduga
11 November 2026 · 4 menit baca · Tim Etzal Group
Fitur AI punya satu sifat yang tidak dimiliki kebanyakan perangkat lunak: setiap pemakaian mengeluarkan uang. Tiap permintaan ke model bahasa ditagih menurut banyaknya teks yang dikirim dan diterima. Pilot dengan sepuluh pengguna menghasilkan tagihan yang menyenangkan. Fitur yang sama dengan lima ratus pengguna dan percakapan panjang bisa menghasilkan tagihan yang mengejutkan. Mengendalikan biaya LLM adalah pekerjaan rekayasa biasa begitu Anda tahu ke mana uangnya pergi.
Apa saja yang ditagih
Penyedia menagih per token, kira-kira sepotong kata. Dua fakta penting:
- Input dan output dihargai terpisah, dan output biasanya beberapa kali lebih mahal per token.
- Seluruh isi permintaan terhitung sebagai input: instruksi Anda, percakapan sejauh ini, dokumen yang Anda ambil, dan deskripsi setiap alat yang boleh dipanggil model.
Pada asisten bisnis pada umumnya, pertanyaan pengguna hanya sebagian kecil dari input. Sisanya adalah konteks yang Anda sendiri putuskan untuk dikirim. Di situlah penghematan ditemukan.
Ukur biaya per tugas
Mulailah dengan mencatat, untuk setiap permintaan: token input, token output, model, fitur yang memanggil, serta pengguna atau pelanggan pemiliknya. Lalu hitung biaya satu tugas yang selesai, misalnya satu pertanyaan terjawab atau satu faktur terproses.
Biaya per tugas adalah angka yang perlu dikelola. Jumlah permintaan tidak banyak bercerita, sebab satu tugas bisa butuh enam panggilan model dan tugas lain hanya satu. Begitu angkanya ada, Anda bisa membandingkannya dengan nilai tugas itu dan melihat fitur mana yang membiayai dirinya sendiri.
Tuas 1: kirim lebih sedikit
- Pangkas instruksi. System prompt tumbuh karena terus ditambahi. Buang aturan yang sudah tidak berlaku dan contoh yang saling mengulang.
- Ambil lebih sedikit bagian, tetapi lebih tepat. Lima bagian yang relevan mengalahkan dua puluh yang hanya agak terkait, baik dari sisi biaya maupun mutu jawaban.
- Ringkas percakapan panjang. Setelah sejumlah giliran, ganti riwayat awal dengan ringkasan singkat.
- Tawarkan hanya alat yang dibutuhkan tugasnya. Setiap definisi alat ikut terkirim di tiap permintaan. Langkah menyusun balasan tidak memerlukan deskripsi empat puluh alat.
Tuas 2: pakai ulang yang berulang
- Prompt caching. Taruh bagian prompt yang stabil di depan: instruksi, kebijakan, definisi alat. Taruh bagian yang berubah di belakang. Penyedia yang mendukung cache menagih awalan yang berulang dengan tarif lebih rendah.
- Cache jawaban. Bila banyak pengguna menanyakan hal yang sama dan jawabannya tidak bergantung pada siapa penanya, simpan dan sajikan tanpa memanggil model.
- Hitung di muka. Ringkasan dokumen, deskripsi produk, dan klasifikasi bisa dibuat sekali lalu disimpan.
Tuas 3: pakai ukuran model yang sesuai
Tidak semua langkah butuh model paling mampu. Susunan yang lazim:
- Model kecil dan cepat memilah pesan masuk dan menangani balasan sederhana yang sudah jelas batasnya.
- Model yang lebih besar dipanggil hanya untuk kasus yang ditandai rumit oleh model kecil, atau ketika keluarannya dikirim ke pelanggan tanpa diperiksa.
Putuskan peruteannya dengan bukti. Jalankan kumpulan evaluasi Anda pada kedua model. Di langkah mana pun model kecil menyamai model besar, pindahkan langkah itu ke sana.
Tuas 4: kendalikan output
Token output adalah yang mahal. Mintalah sepanjang yang Anda perlukan: label klasifikasi, balasan singkat, objek terstruktur dengan kolom bernama. Tetapkan panjang output maksimum untuk tiap fitur. Model yang diminta "jawab singkat" di instruksi tetap terbantu oleh batas keras.
Tuas 5: pasang batas
- Anggaran per pengguna dan per pelanggan. Jatah harian atau bulanan, dengan pesan yang jelas ketika tercapai.
- Batas putaran untuk agent. Agent yang terus memanggil alat tanpa selesai harus berhenti setelah sejumlah langkah tertentu.
- Peringatan. Notifikasi ketika belanja harian melewati ambang menangkap proses yang lepas kendali pada hari yang sama, bukan di akhir bulan.
Tegakkan semuanya di kode. Instruksi yang berbunyi "jangan memakai terlalu banyak langkah" bukanlah batas.
Jaga mutu tetap terlihat
Setiap penghematan harus diperiksa dengan kumpulan evaluasi sebelum dirilis. Prompt yang lebih pendek, model yang lebih kecil, dan pencarian yang lebih ketat masing-masing bisa menurunkan akurasi bila diterapkan sembarangan. Tujuannya biaya terendah yang masih meloloskan fitur dari ujiannya, dan ujian itulah yang mencegah penghematan diam-diam merusak produk.
Tinjauan bulanan
Sebulan sekali, lihat empat angka: total belanja, biaya per tugas tiap fitur, porsi permintaan yang dilayani dari cache, dan porsi yang diarahkan ke tiap model. Pergeseran kecil mudah dikoreksi bila ketahuan sejak awal.
Rancangan biaya adalah bagian dari cara kami membangun sistem AI produksi dalam layanan Enterprise Software, dan tinjauan AI Consulting bisa memperkirakan biaya jalan sebelum Anda terikat pada satu rancangan. Hubungi kami bila fitur yang sudah Anda jalankan ternyata lebih mahal dari perkiraan.
Ringkasan
Ukur biaya per tugas. Kirim lebih sedikit, pakai ulang yang berulang, sesuaikan model dengan tingkat kesulitan, batasi output, dan pasang batas keras. Periksa setiap perubahan dengan uji mutu yang sama, dan tinjau angkanya setiap bulan.
Pertanyaan yang sering diajukan
Mengapa tagihan AI kami lebih tinggi daripada perkiraan saat pilot?
Pilot biasanya berjalan dengan percakapan pendek dan sedikit pengguna. Di produksi, riwayat percakapan, dokumen hasil pencarian, dan definisi alat ikut terkirim di setiap permintaan, sehingga inputnya membesar. Volume juga naik seiring makin banyak staf memakainya. Ukur biaya per tugas yang selesai, bukan per permintaan.
Apakah memakai model yang lebih murah selalu menurunkan mutu?
Tidak untuk semua tugas. Klasifikasi, ekstraksi dari dokumen yang jelas, dan balasan singkat sering tertangani dengan baik oleh model kecil. Uji dengan kumpulan evaluasi Anda sendiri. Kirim hanya kasus sulit ke model besar dan biarkan sisanya di model kecil.
Apa itu prompt caching?
Sebagian penyedia mengenakan tarif jauh lebih rendah untuk bagian prompt yang identik dengan permintaan sebelumnya. Bila instruksi dan bahan rujukan Anda tetap sama dan hanya pertanyaan pengguna yang berubah, menaruh bagian yang stabil di depan membuatnya ditagih dengan tarif cache.
Layanan terkait
Chatbot WhatsApp AI
Kami bangun, latih, dan jalankan AI agent WhatsApp yang menjawab pelanggan 24/7, mengkualifikasi lead, dan follow-up.
