“Daha büyük” varsayımı nereden geliyor

2020’lerin ilk yarısında büyük dil modeli araştırmasının baskın stratejisi basitti: daha fazla parametre ekle, daha güçlü model elde et. GPT-3’ten sonraki birkaç yıl bu mantıkla ilerledi — her yeni nesil bir öncekinden kat kat büyüktü ve büyüklük, yeteneğin en güvenilir habercisi gibi görünüyordu. Ama bu stratejinin kendi içinde gizli bir varsayımı vardı: modeli büyütmenin, veriyi büyütmekten daha değerli olduğu. Hoffmann ve ekibinin 2022’de yayımladığı Chinchilla çalışması, bu varsayımın sistematik olarak yanlış olduğunu gösterdi ve küçük dil modeli tartışmasının fitilini ateşledi.

Chinchilla: büyütme yönü yanlıştı

Hoffmann ve DeepMind ekibinin sorduğu soru şuydu: sabit bir hesaplama bütçesi verildiğinde, bu bütçeyi model boyutuna mı, yoksa eğitim verisine mi harcamak daha verimli? Yüzlerce modeli farklı boyut-veri kombinasyonlarıyla eğitip sonuçları karşılaştırdılar ve o dönemin büyük modellerinin ciddi biçimde “az eğitilmiş” olduğunu buldular — parametre sayısı veri miktarına kıyasla orantısız büyütülmüştü. Bulguları net bir kural haline geldi: model boyutu iki katına çıkarılıyorsa, eğitim token sayısı da iki katına çıkarılmalı. Bu ilkeyle eğitilen 70 milyar parametrelik Chinchilla modeli, kendisinden çok daha büyük olan Gopher ile aynı hesaplama bütçesini kullanarak onu geçti ve MMLU testinde yüzde 67,5 doğruluğa ulaştı.

Chinchilla’nın asıl mirası küçük modelleri savunmak değildi — aksine, “compute-optimal” büyük modeller için bir reçeteydi. Ama dolaylı bir sonucu vardı: eğer veri-parametre dengesi bu kadar belirleyiciyse, sabit bir parametre bütçesinde veri kalitesini iyileştirmek de aynı eksenin bir parçası olmalıydı. Bir sonraki adım tam olarak buraya gitti.

Phi serisi: “ders kitabı kalitesinde” veri deneyi

Gunasekar ve Microsoft ekibinin 2023’teki “Textbooks Are All You Need” çalışması, Chinchilla’nın veri vurgusunu uç bir noktaya taşıdı: büyütmek yerine, veriyi seçici hale getirmek. İnternetten filtrelenmiş “ders kitabı kalitesinde” içerik (yaklaşık 6 milyar token) ile GPT-3.5’in ürettiği sentetik ders kitapları ve alıştırmaları (yaklaşık 1 milyar token) birleştirerek eğittikleri phi-1 modeli sadece 1,3 milyar parametreye sahipti — kendisinden onlarca kat büyük modellerin çok altında bir boyut. Buna rağmen phi-1, HumanEval kod üretim testinde yüzde 50,6, MBPP’de yüzde 55,5 başarı elde etti; bu, çok daha büyük genel amaçlı modellerle kıyaslanabilir bir seviyeydi. Modelin eğitimi sadece 8 adet A100 GPU’da dört gün sürdü.

Buradaki iddia, verinin miktarından çok bilgi yoğunluğunun önemli olduğuydu — rastgele web metni yerine, açıklayıcı ve öğretici yapıdaki içerik modele birim token başına daha fazla öğrenme sinyali veriyordu. Bu yaklaşım, Abdin ve ekibinin 2024’te yayımladığı Phi-3 teknik raporuyla daha büyük bir vitrine taşındı: aynı “ders kitabı kalitesi” felsefesiyle eğitilen phi-3-mini, 3,8 milyar parametre ve 3,3 trilyon token ile eğitilmiş olmasına rağmen MMLU’da yüzde 69, MT-bench’te 8,38 puan aldı — GPT-3.5 ve Mixtral 8x7B gibi çok daha büyük modellerle kıyaslanabilir bir performans. Raporun başlığı bile niyeti açıkça ortaya koyuyordu: “telefonunuzda yerel olarak çalışan, yüksek yetenekli bir dil modeli.”

Damıtma: büyük modelin bilgisini küçüğe aktarmak

Veri kalitesi tek yol değil. Hinton, Vinyals ve Dean’in 2015’te ortaya attığı damıtma (distillation) fikri, küçük model araştırmasının bir diğer temel direği haline geldi. Fikir özünde şu: büyük ve pahalı bir modelin (veya model topluluğunun) ürettiği tahminleri, çok daha küçük bir “öğrenci” modele aktarmak mümkün. Hinton ve ekibinin gösterdiği gibi, bir modelin sadece doğru cevabı değil, alternatif cevaplara verdiği göreli olasılıkları da öğrenci modele hedef olarak vermek, öğrenci modelin öğretmenin davranışını çok daha verimli bir şekilde taklit etmesini sağlıyor. Bu, dağıtım (deployment) maliyetini büyük ölçüde düşürüyor — çünkü asıl hesaplama yükü eğitim sırasında bir kere ödeniyor, sonrasında küçük model tek başına çalışabiliyor.

Bugün pek çok ticari küçük model, bir bakıma bu üç tekniğin (Chinchilla’nın veri-parametre dengesi, Phi serisinin veri kalitesi vurgusu, damıtmanın öğretmen-öğrenci aktarımı) bir kombinasyonu üzerine kuruluyor.

Nicemleme ve cihaz üstü çalışma: gizlilik, maliyet, gecikme

Küçük parametre sayısı tek başına yeterli değil; modelin gerçekten bir telefonda veya dizüstü bilgisayarda çalışabilmesi için bellek ayak izinin de küçültülmesi gerekiyor. Burada devreye nicemleme giriyor: modelin ağırlıklarını normalde kullanılan 32 veya 16 bitlik ondalıklı sayılar yerine 8, 4 hatta daha az bitlik tamsayılarla temsil etmek. Bu, modelin bellekte kapladığı alanı ve çalıştırma maliyetini ciddi ölçüde düşürüyor, karşılığında küçük bir doğruluk kaybı riski taşıyor. Phi-3-mini gibi modellerin telefon üzerinde çalışabilir olarak sunulmasının arkasında hem küçük parametre sayısı hem de bu tür sıkıştırma teknikleri var.

Cihaz üstünde çalışmanın pratik faydaları üç eksende toplanıyor: gizlilik (veri hiç cihazdan çıkmıyor, bulut sunucusuna gönderilmiyor), maliyet (her sorgu için API çağrısı ücreti ödenmiyor) ve gecikme (ağ round-trip’i olmadan yerel donanımda anında cevap). Bu konuyu daha geniş kapsamda yapay zeka kendi bilgisayarımda çalışır mı? yazısında ele almıştım — küçük modellerin yükselişi, o sorunun cevabını giderek daha fazla “evet”e yaklaştırıyor.

Sınırları nerede başlıyor

Küçük modellerin kazanımları gerçek, ama sınırsız değil. Chinchilla’nın kendi bulgusu bile dolaylı bir uyarı içeriyor: model boyutu ile veri arasında bir denge olsa da, belirli bir bilgi kapasitesi (dünya hakkında ezberlenmiş olgular, nadir görülen ilişkiler) hâlâ büyük ölçüde parametre sayısıyla ilişkili. Bir modeli ne kadar kaliteli veriyle eğitirseniz eğitin, birkaç milyar parametreye sıkıştırdığınızda, yüz milyarlarca parametreli bir modelin depolayabildiği olgusal bilgi hacmine ulaşması zor. Benzer şekilde, çok adımlı ve belirsiz karmaşık akıl yürütme gerektiren görevlerde küçük modeller genellikle geriliyor — bu noktada akıl yürüten modeller ve test-time compute yazısında ele aldığım “çıkarım anında daha fazla hesaplama” stratejisi devreye giriyor, ki bu strateji de büyük ölçüde büyük modellerde işe yarıyor.

Ajan sistemlerinde küçük modellerin yeri

Bu sınırlar, küçük modellerin en doğal kullanım alanının nerede olduğuna işaret ediyor: genel amaçlı sohbet değil, dar kapsamlı, tekrar eden görevler. Belcak ve NVIDIA araştırmacılarının 2025’te yayımladığı “Small Language Models are the Future of Agentic AI” çalışması bu argümanı doğrudan savunuyor. Yazarlara göre bir ajan sisteminde çoğu alt görev — bir aracı çağırmak, bir formatı ayrıştırmak, sınırlı bir komut kümesinden seçim yapmak — düşük varyasyonla ve tekrarlı biçimde gerçekleşiyor; bu tür görevler için küçük modeller yeterli yetenek sağlarken, çok daha ekonomik ve operasyonel açıdan verimli kalıyor. Genel amaçlı, açık uçlu konuşma yeteneği gerektiğinde ise yazarlar tek bir dev modele değil, farklı boyutlarda modellerin bir arada çalıştığı heterojen ajan mimarilerini öneriyor — her alt görev, o görevin gerçek karmaşıklığına uygun büyüklükteki modele yönlendiriliyor.

Bu çerçevede “daha büyük daha iyi” dönemi bitmiyor, ama tekelini kaybediyor. Soru artık “hangi model her şeyi en iyi yapar” değil, “hangi görev hangi boyutta model gerektirir” haline geliyor — ve küçük modeller bu sorunun giderek daha büyük bir kısmına cevap oluyor.

Aklınızda kalsın

  1. Chinchilla, “daha büyük” yerine “dengeli” fikrini getirdi. Model boyutu ile eğitim verisi orantılı büyütülmeli; bu ilke sonradan veri kalitesine odaklanan Phi serisi gibi yaklaşımların da zeminini hazırladı.
  2. Küçük modellerin gücü üç kaynaktan geliyor. Veri-parametre dengesi (Chinchilla), yüksek kaliteli/seçici veri (Phi serisi) ve büyük modelden bilgi aktarımı (damıtma) — bunlara nicemleme eklenince model cihazda çalışabilir hale geliyor.
  3. Küçük modellerin doğal alanı dar ve tekrarlı görevler. Genel bilgi kapasitesi ve karmaşık akıl yürütmede hâlâ büyük modellerin gerisindeler; ajan sistemlerinde en verimli kullanım, görevin karmaşıklığına göre model boyutunu seçen heterojen mimariler.

Kaynaklar

  • Hoffmann, J. vd. (2022). Training Compute-Optimal Large Language Models. arXiv. Model boyutu ile eğitim token sayısının orantılı ölçeklenmesi gerektiğini gösteren Chinchilla ölçekleme yasası çalışması. arxiv.org/abs/2203.15556
  • Gunasekar, S. vd. (2023). Textbooks Are All You Need. arXiv. “Ders kitabı kalitesinde” filtrelenmiş ve sentetik veriyle eğitilen 1,3 milyar parametrelik phi-1 modelinin, çok daha büyük modellerle kıyaslanabilir kod üretim performansı gösterdiği çalışma. arxiv.org/abs/2306.11644
  • Abdin, M. vd. (2024). Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone. Microsoft, teknik rapor. 3,8 milyar parametrelik phi-3-mini modelinin cihaz üzerinde çalışabilir olduğunu ve MMLU/MT-bench sonuçlarını sunan rapor. arxiv.org/abs/2404.14219
  • Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. arXiv. Büyük bir modelin (veya model topluluğunun) bilgisini küçük bir öğrenci modele aktarma yöntemini tanıtan temel damıtma çalışması. arxiv.org/abs/1503.02531
  • Belcak, P. vd. (2025). Small Language Models are the Future of Agentic AI. arXiv, NVIDIA. Ajan sistemlerindeki dar kapsamlı, tekrarlı alt görevler için küçük dil modellerinin daha uygun ve ekonomik olduğunu, genel görevler için heterojen model mimarilerini savunan çalışma. arxiv.org/abs/2506.02153