Hizalama (alignment), bir büyük dil modelinin çıktılarını, geliştiricilerin ve kullanıcıların gerçekte istediği davranışla — yararlı, dürüst, zararsız — uyumlu hale getirme sürecidir. Pretraining sonunda ortaya çıkan model çok bilgilidir ama “hizalanmamıştır”: talimatları görmezden gelebilir, zararlı içerik üretebilir ya da alakasız biçimde cümleyi sürdürebilir. Hizalama, bu ham yeteneği kullanılabilir ve güvenli bir asistana dönüştüren adımdır.
Benzetme: hizalama, çok yetenekli ama henüz hiç kural öğrenmemiş yeni bir çalışanı şirketin değerlerine ve iş yapış biçimine alıştırma sürecine benzer. Çalışanın teknik becerisi (modelin ham bilgisi) zaten vardır; eksik olan hangi durumda ne yapması, ne yapmaması gerektiğidir.
Neden önemli?
Pratikte hizalamanın en bilinen aracı RLHF’tir: model, insan değerlendiricilerin tercihlerinden öğrenen bir ödül sinyaliyle yönlendirilir. Ama hizalama tek bir teknik değil, bir hedeftir — talimat takibi (fine-tuning ile), güvenlik testleri, kırmızı takım (red-teaming) çalışmaları ve dağıtım sonrası izleme gibi birçok katmanı kapsar. Hizalamanın zorluğu, “insan değerleri”nin tek ve net bir tanımı olmamasıdır — farklı kültürler, bağlamlar ve kullanım senaryoları bazen çelişen beklentiler taşır. Bu yüzden hizalama, modelin yeteneklerini artırmaktan bağımsız, sürekli devam eden ayrı bir araştırma alanı olarak görülür.