Pretraining (ön eğitim), bir büyük dil modelinin hayatındaki ilk ve en pahalı aşamadır: model, internetten, kitaplardan ve kod depolarından derlenmiş trilyonlarca tokenlik eğitim verisi üzerinde, tek bir basit görevle eğitilir — bir sonraki tokeni tahmin et. Bu görev basit görünse de, iyi tahmin yapabilmek için model dil bilgisini, mantık yürütmeyi, dünya hakkındaki olguları ve hatta programlamayı örtük olarak öğrenmek zorunda kalır.
Benzetmeyle anlatalım: pretraining, bir öğrencinin belirli bir meslek için değil, genel kültür için milyonlarca kitap okumasına benzer. Bu aşamanın sonunda ortaya çıkan “base model” çok bilgilidir ama henüz terbiyeli bir asistan değildir; soruya cevap vermek yerine cümleyi devam ettirmeye eğilimlidir. Onu yardımcı bir asistana dönüştüren sonraki aşamalar fine-tuning ve RLHF’tir.
Neden önemli?
Modelin yeteneklerinin büyük kısmı bu aşamada belirlenir: kaç parametre kullanıldığı, ne kadar ve ne kalitede veri görüldüğü, modelin tavanını çizer. Pretraining aylar sürebilir ve binlerce GPU ile yüz milyonlarca dolara mal olabilir; bu yüzden dünyada yalnızca birkaç kuruluş sıfırdan ön eğitim yapabilir. Sonraki aşamalar (fine-tuning gibi) ise çok daha ucuzdur, çünkü ön eğitimde kazanılmış bilgiyi yalnızca yönlendirir.