Memilih model Anda

Anda punya pilihan: GPT, Claude, dan Gemini dari lab besar, plus model open yang mumpuni seperti Llama, Mistral, DeepSeek, dan Qwen yang bisa Anda jalankan sendiri. Tidak ada satu model terbaik. Yang ada adalah model yang cocok untuk pekerjaan dan budget ini, dan itu berubah dari satu langkah ke langkah berikutnya.

Dimensi yang penting

• Capability: seberapa baik ia bernalar pada masalah sulit multi-langkah.
• Context window: seberapa banyak teks yang bisa ia terima sekaligus.
• Kecepatan dan latensi: seberapa cepat ia merespons, yang dirasakan user.
• Biaya per token: yang Anda bayar, input dan output.
• Modalitas: hanya teks, atau juga gambar, audio, dokumen.
• Keandalan tool-use dan ketersediaan di region Anda.

Model frontier vs kecil

Model frontier paling pintar tapi paling lambat dan mahal. Banyak di antaranya juga bisa menghabiskan token ekstra untuk berpikir sebelum menjawab (disebut reasoning model), menukar lebih banyak kecepatan dan biaya demi akurasi lebih baik pada masalah sulit multi-langkah. Model kecil cepat dan murah dan benar-benar cukup untuk langkah mudah bervolume tinggi: mengklasifikasi pesan, mengekstrak field, menulis balasan singkat. Triknya bukan memilih satu model, melainkan memakai ukuran yang tepat untuk tiap langkah.

Soal context window

Context window lebih besar membuat Anda bisa menjejalkan lebih banyak teks, tapi itu bukan kemenangan gratis. Biayanya lebih mahal per panggilan, dan model bisa kehilangan detail yang terkubur di tengah konteks yang sangat panjang. Menarik beberapa potongan paling relevan (lesson RAG) biasanya mengalahkan menjejalkan semuanya dan berharap.

Open vs closed

Model closed di balik API memberi Anda kemampuan teratas dan nol pekerjaan infrastruktur. Model open yang Anda host memberi Anda kontrol, privasi data, dan biaya lebih rendah pada volume tinggi, tapi Anda yang menjalankan server. Sebagian besar bisnis kecil mulai dengan API closed dan baru mempertimbangkan self-hosting saat aturan privasi atau skala membuatnya sepadan dengan beban operasional.

Classify / extract / short reply   ->  small, fast model
Draft with judgement, summarise    ->  mid model
Hard reasoning, tricky tool use    ->  frontier model
Sensitive data, must stay in-house ->  open model you host