Memori dan pengetahuan: menumpu agent dengan RAG

Model tahu hal-hal umum dari pelatihan, tapi ia tidak tahu harga Anda, kebijakan Anda, atau order minggu lalu, dan pelatihannya punya tanggal batas. Supaya berguna, agent harus ditumpu pada informasi Anda yang spesifik dan terkini. Lesson ini tentang caranya.

Dua jenis memori

Memori jangka pendek adalah context window: percakapan saat ini plus apa pun yang Anda injeksikan untuk permintaan ini. Presisi tapi kecil dan sementara. Memori jangka panjang adalah segala sesuatu di luar itu, dokumen Anda, baris database, percakapan lampau, yang Anda simpan di suatu tempat dan tarik saat relevan. Keterampilannya adalah memutuskan apa yang dimuat ke konteks terbatas untuk tiap permintaan.

Retrieval-augmented generation (RAG)

RAG adalah cara standar memberi agent pengetahuan Anda tanpa melatih ulang. Idenya: saat pertanyaan masuk, temukan beberapa potongan konten Anda yang paling relevan dan tempelkan ke konteks, lalu biarkan model menjawab dari situ. Model tetap umum, faktanya datang dari Anda, dan Anda bisa memperbarui fakta kapan saja dengan mengubah dokumen.

Embeddings, dengan bahasa sederhana

Embedding mengubah sepotong teks jadi titik di ruang, diposisikan sehingga teks dengan makna mirip berdekatan. "Jam berapa tutup?" dan "jam buka" mendarat berdekatan meski tidak berbagi kata. Itulah kenapa retrieval menemukan chunk yang tepat berdasarkan makna, bukan pencocokan kata kunci. Kedekatan hanyalah jarak antar titik itu.

RAG vs fine-tuning

Orang sering bertanya apakah mereka harus fine-tune (melatih ulang) model pada data mereka. Untuk sebagian besar bisnis jawabannya tidak, pakai RAG. Fine-tuning mahal, harus diulang setiap kali fakta berubah, dan toh buruk untuk fakta, ia membentuk gaya dan perilaku, bukan pengetahuan. RAG murah, ter-update seketika saat Anda mengedit dokumen, dan membuat agent bisa menyebut sumbernya. Pakai fine-tuning hanya saat Anda butuh nada atau format spesifik dalam skala besar, bukan untuk mengajarkan fakta.