Aşırı öğrenme (overfitting), bir makine öğrenmesi modelinin eğitim verisini ezberleyip altında yatan genel kuralı öğrenememesidir. Model, eğitim setinde neredeyse kusursuz sonuç verir ama daha önce görmediği verilerle karşılaşınca çuvallar — çünkü öğrendiği şey örüntü değil, örneklerin kendisidir.
Benzetme: sınava geçmiş yılların çıkmış sorularını ezberleyerek hazırlanan öğrenci. Aynı sorular gelirse birincidir; sorular biraz değişince sınıfta kalır. Konuyu gerçekten anlayan öğrenci ise hiç görmediği soruyu da çözer — makine öğrenmesinde buna “genelleme” denir ve asıl hedef budur. Ters durum da vardır: model konuyu hiç kapamamışsa (underfitting — eksik öğrenme) hem eğitimde hem sınavda başarısızdır.
Nasıl fark edilir ve önlenir?
Klasik belirti, eğitim hatası düşerken ayrı tutulmuş doğrulama (validation) verisindeki hatanın yükselmeye başlamasıdır. Bu yüzden veri her zaman eğitim/doğrulama/test olarak bölünür. Önlemler: daha fazla ve çeşitli veri toplamak, modeli sadeleştirmek (parametre sayısını azaltmak), doğrulama hatası artmaya başlayınca eğitimi durdurmak (early stopping) ve dropout ile ağırlık cezası gibi düzenlileştirme (regularization) teknikleri. Fine-tuning yaparken de aynı tuzak geçerlidir: küçük veri setiyle uzun eğitim, modeli o dar örneklere aşırı uydurup genel yeteneklerini köreltebilir.