Bağlam penceresi (context window), bir büyük dil modelinin tek seferde görebildiği ve işleyebildiği toplam metin miktarıdır. Token cinsinden ölçülür ve hem sizin yazdıklarınızı (prompt, yüklediğiniz belgeler, sohbet geçmişi) hem de modelin ürettiği cevabı kapsar. Modelin “çalışma belleği” olarak düşünebilirsiniz: pencereye sığmayan hiçbir şeyi model göremez.
Somut bir örnek: 128 bin tokenlik pencereye sahip bir model, kabaca 300 sayfalık bir kitabı bir kerede okuyabilir. Ama siz 500 sayfalık bir sözleşme yüklerseniz, taşan kısım ya reddedilir ya da sessizce kırpılır — model “okumadığı” bölümler hakkında yorum yapamaz, yapıyorsa halüsinasyon görüyorsunuz demektir. Uzun sohbetlerde modelin baştaki talimatları “unutması” da genellikle aynı sebeptendir: eski mesajlar pencereden düşmüştür.
Neden sonsuz değil?
Teknik sebep, Transformer mimarisindeki attention hesabının maliyetidir: klasik yöntemde yük, metin uzunluğunun karesiyle büyür. Pencereyi büyütmek daha fazla GPU belleği ve para demektir. Son yıllarda pencereler 4 binden milyonlarca tokene çıktı; yine de pratik kural değişmedi: her şeyi pencereye tıkmak yerine, yalnızca ilgili bilgiyi seçip getirmek (RAG) hem ucuz hem de çoğu zaman daha isabetlidir. Ayrıca pencere büyüse bile modeller uzun metnin ortasındaki bilgiyi uçlardakine göre daha zayıf hatırlayabilir.