RNN (Recurrent Neural Network — Tekrarlayan Sinir Ağı), metin, ses ve zaman serisi gibi sıralı verileri işlemek için tasarlanmış bir yapay sinir ağı mimarisidir. Sıradan ağlardan farkı, bir “iç bellek” taşımasıdır: diziyi öğe öğe okur ve her adımda gördüğünü, önceki adımlardan taşıdığı gizli durumla (hidden state) birleştirir. Cümleyi kelime kelime okuyan ve o ana kadarki özeti aklında tutan bir okuyucu gibi çalışır.
Zaafı da bu zincir yapısındadır: bilgi adım adım aktarılırken uzun dizilerde erken bilgiler silikleşir — buna “kaybolan gradyan” sorunu denir, çünkü geri yayılım sırasında hata sinyali zincir boyunca küçüle küçüle yok olur. LSTM ve GRU adlı gelişmiş RNN türleri, hangi bilgiyi tutup hangisini unutacağını öğrenen kapı mekanizmalarıyla bu sorunu hafifletti ve 2010’ların çeviri, konuşma tanıma ve otomatik tamamlama sistemlerini taşıdı.
Neden önemli?
RNN’i bugün önemli kılan, büyük ölçüde neyin yerini aldığıdır: 2017’de Transformer, diziyi sırayla işlemek yerine attention ile tüm öğelere aynı anda bakarak hem uzun bağımlılık sorununu çözdü hem de GPU’da paralel eğitimi mümkün kıldı; modern büyük dil modelleri bu yüzden RNN değil Transformer tabanlıdır. Yine de RNN fikri ölmedi: az kaynaklı cihazlarda ve Mamba gibi yeni “durum uzayı” mimarilerinde sıralı bellek yaklaşımı yeniden canlanıyor.