RAG (Retrieval-Augmented Generation, “getirmeyle güçlendirilmiş üretim”), bir büyük dil modelinin cevap üretmeden önce harici bir bilgi kaynağından — şirket dokümanları, ürün kataloğu, mevzuat — ilgili parçaları bulup bunları cevabına dayanak yapmasını sağlayan yöntemdir. Model ezberinden değil, önüne konan güncel belgelerden konuşur.
Akış üç adımdır: Önce belgeler parçalara bölünüp embedding vektörlerine çevrilerek bir vektör veritabanına yazılır. Kullanıcı soru sorduğunda, sorunun embeddingine en yakın belge parçaları bulunur (retrieval). Son olarak bu parçalar, kullanıcının sorusuyla birlikte prompt içine yerleştirilir ve model cevabını bu bağlama dayanarak üretir (generation).
Somut örnek: Bir e-ticaret sitesinin destek chatbot’una “kargom kaç günde gelir?” diye sorulduğunda, RAG sistemi önce şirketin güncel kargo politikası belgesini bulur, modele verir; model de “İstanbul içi 1-2 iş günü” gibi şirkete özgü doğru cevabı üretir. RAG olmasaydı model genelgeçer, muhtemelen yanlış bir tahmin yazardı.
Neden bu kadar yaygın?
Çünkü iki büyük sorunu aynı anda hafifletir: modelin bilgi kesim tarihinden sonrasını bilememesi ve halüsinasyon. Bilgi değiştiğinde modeli yeniden eğitmek (fine-tuning) yerine sadece belgeyi güncellersiniz. Ayrıca model cevabında kaynak gösterebilir, bu da doğrulamayı kolaylaştırır. Sınırı ise şudur: getirilen parçalar bağlam penceresine sığmalıdır ve arama kötüyse cevap da kötü olur.