Aktivasyon Fonksiyonu nedir?

Aktivasyon fonksiyonu (activation function), bir yapay sinir ağındaki her nöronun hesapladığı ham toplamı, bir sonraki katmana geçmeden önce dönüştüren matematiksel işlemdir. Nöron önce girdilerini ağırlıklarıyla çarpıp toplar; aktivasyon fonksiyonu bu toplamı alır ve “bu sinyal ne kadar iletilsin?” sorusuna cevap verir. En yaygın örnek ReLU’dur (Rectified Linear Unit): negatif değerleri sıfırlar, pozitifleri olduğu gibi geçirir — bir kapıdaki tek yönlü turnike gibi.

Kritik özelliği doğrusal olmamasıdır. Aktivasyonsuz bir ağ, kaç katmanı olursa olsun matematiksel olarak tek bir doğrusal işleme indirgenir; yani yüz katman, tek katmandan fazlasını öğrenemez. Doğrusal olmayan bu küçük “kıvrım”, katmanlar üst üste bindikçe ağın son derece karmaşık ilişkileri — yüz tanımaktan dil üretmeye — temsil edebilmesini sağlar. Biyolojik esin de buradadır: gerçek nöronlar da ancak belli bir uyarı eşiği aşılınca ateşlenir.

Hangi fonksiyonlar kullanılır?

Tarihte sigmoid ve tanh yaygındı; ancak derin ağlarda geri yayılım sırasında gradyanı küçülterek öğrenmeyi durma noktasına getiriyorlardı (kaybolan gradyan). ReLU bu sorunu büyük ölçüde çözdüğü için derin öğrenmenin standartı oldu. Modern Transformer modellerinde GELU ve SwiGLU gibi pürüzsüz türevleri tercih edilir. Seçim küçük bir detay gibi görünse de eğitim hızını ve kararlılığını doğrudan etkiler.