Softmax, bir modelin son katmanından çıkan ham sayıları (logit) alıp bunları toplamı tam 1 eden, her biri 0 ile 1 arasında bir olasılık değerine dönüştüren matematiksel fonksiyondur. Bir büyük dil modeli bir sonraki tokeni seçerken, kelime dağarcığındaki her aday token için bir ham puan üretir; softmax bu puanları “bu token yüzde kaç ihtimalle doğru sonraki kelimedir” biçiminde okunabilir bir olasılık dağılımına çevirir.
Benzetme: bir yarışta koşucuların bitiş anındaki ham zaman farklarını alıp bunları “kim ne kadar öne çıktı” yüzdesine çeviren bir hakem gibidir — en hızlı koşucuya en yüksek yüzdeyi verir ama diğerlerine de sıfırdan farklı, göreceli bir pay bırakır. Büyük farkları abartır: aradaki fark açıldıkça lider adayın payı orantısız şekilde büyür.
Neden önemli?
Softmax olmadan modelin “hangi token daha olası” çıktısı anlamsız ham sayılar yığınından ibaret kalırdı; olasılık haline getirdiği için model bu dağılımdan örnekleme yapabilir. Sıcaklık ayarı tam da bu softmax adımına müdahale eder — dağılımı düzleştirip sivriltir. Attention mekanizmasında da hangi tokene ne kadar “ağırlık” verileceğini belirlemek için softmax kullanılır; yani softmax hem üretim hem dikkat adımlarının ortak matematiksel bileşenidir. Genellikle bir aktivasyon fonksiyonu olarak sınıflandırılır, çünkü ara katmanlarda değil çıkış katmanında doğrusal olmayan dönüşümü sağlar.