LoRA (Low-Rank Adaptation), Hu ve arkadaşlarının 2021’de Microsoft’ta yayımladığı, önceden eğitilmiş bir modelin milyarlarca parametresini olduğu gibi dondurup, bunun yanına çok daha küçük iki ek ağırlık matrisi ekleyerek fine-tuning yapan tekniktir. Modelin kendisi değişmez; eğitim sırasında sadece bu küçük “eklenti” katmanlar güncellenir, ardından modelin orijinal ağırlıklarına matematiksel olarak eklenir.
Benzetme: koca bir binayı baştan yıkıp yeniden inşa etmek yerine, mevcut binaya hedefe özel küçük bir ek yapı inşa etmek gibidir. Bina (ana model) olduğu gibi kalır, sadece ek yapı (LoRA katmanları) yeni ihtiyaca göre şekillenir. Bu sayede eğitilecek parametre sayısı orijinal modelin yüzde birinden bile azına iner — bellek ve hesaplama ihtiyacı da aynı oranda düşer.
Neden önemli?
LoRA, tek bir tüketici GPU’suyla bile büyük modelleri belirli bir göreve veya üsluba özelleştirmeyi mümkün kılan tekniklerin başında gelir; tam fine-tuning için gereken donanımın çok altında kaynakla çalışır. Ayrıca her görev için ayrı bir dev model saklamak yerine, tek bir ana modele farklı görevler için küçük LoRA eklentileri takıp çıkarmaya izin verir — depolama açısından büyük tasarruf sağlar. Sıkça nicemleme ile birlikte kullanılır (QLoRA): önce model nicemlenip küçültülür, sonra üzerine LoRA katmanlarıyla özelleştirme eğitimi yapılır — ikisi birlikte, açık kaynak büyük dil modellerini sıradan donanımda özelleştirilebilir kılmıştır.