Kayıp fonksiyonu (loss function), bir modelin tahmini ile doğru cevap arasındaki farkı tek bir sayıya çeviren ölçüttür. Sayı büyükse model kötü, sıfıra yakınsa iyi tahmin yapıyor demektir. Eğitimin tamamı bu sayıyı küçültme oyunudur: geri yayılım kaybın hangi parametreden kaynaklandığını hesaplar, gradyan inişi parametreleri kaybı azaltacak yönde günceller.
Benzetme: kayıp fonksiyonu, okçunun her atışında hedefin merkezine olan uzaklığı ölçen hakemdir. Okçu puanı görmeden nişanını düzeltemez; model de kayıp olmadan neyi düzelteceğini bilemez. Hangi hakemin seçildiği göreve bağlıdır: sayısal tahminlerde genellikle ortalama kare hata (MSE), sınıflandırmada ve dil modellemede çapraz entropi (cross-entropy) kullanılır. Büyük dil modellerinin ön eğitimindeki kayıp, modelin bir sonraki tokene verdiği olasılığın doğru tokenden ne kadar saptığını ölçer.
Neden önemli?
Kayıp fonksiyonu, modele “iyi”nin tanımını veren sözleşmedir; model neyi ölçerseniz onu optimize eder. Yanlış seçilmiş bir kayıp, teknik olarak başarılı ama pratikte işe yaramaz modeller doğurur. Ayrıca eğitim sürecinin nabzı da kayıp eğrisinden okunur: eğitim kaybı düşerken doğrulama kaybının yükselmesi, aşırı öğrenmenin klasik alarmıdır. Araştırmacıların “loss düşüyor” demesi, “model öğreniyor” demenin teknik hâlidir.