“Eğitildi” deniyor ama nasıl?

Yapay zeka haberlerinde hep aynı fiil geçer: model “eğitildi”. Milyonlarca dolara eğitildi, aylarca eğitildi, binlerce GPU’yla eğitildi. Peki bu eğitim somut olarak nedir? Modelin karşısına bir öğretmen mi geçiyor?

Hayır — ama benzetme tamamen boş da değil. Modern bir sohbet botunun eğitimi, kabaca üç aşamalı bir okuldur: önce devasa bir okuma dönemi, sonra meslek eğitimi, en sonda da görgü ve tercih eğitimi. Bu yazıda üçünü de sadeleştirip, sonunda “neden bu kadar pahalı?” sorusuna geleceğiz. Temel mekanizmayı — ağırlıkların azar azar ayarlanmasını — yapay sinir ağı nedir yazısından hatırlıyorsanız, gerisi rahat akacak.

Aşama 1 — Pretraining: internetin okunması

Her şey tek bir alıştırmayla başlar: sıradaki kelimeyi tahmin et.

Modele internetten, kitaplardan, makalelerden, kod depolarından toplanmış devasa bir metin yığını verilir — trilyonlarca tokendan bahsediyoruz. Model bir metnin bir kısmını görür ve devamını tahmin etmeye çalışır. Yanıldığı ölçüde, milyarlarca parametresi — o ayarlanabilir sayılar — tahmini birazcık düzeltecek yönde güncellenir. Bu, trilyonlarca kez tekrarlanır.

Kulağa sıradan bir ezber alıştırması gibi geliyor, değil mi? İşin büyüleyici yanı şurada: sıradaki kelimeyi iyi tahmin edebilmek için, modelin yol boyunca çok şey öğrenmesi gerekir. “Fransa’nın başkenti …” cümlesini tamamlamak için coğrafya; “avukat, müvekkilinin …” cümlesi için hukuk jargonunun mantığı; yarım kalmış bir Python fonksiyonu için programlama gerekir. Dil bilgisi, üslup, dünya hakkında olgular, akıl yürütme kalıpları — hepsi, bu tek basit hedefin yan ürünü olarak parametrelerde birikir. Kelimelerin birbirine nasıl “baktığını” öğrenen attention mekanizması da bu aşamada şekillenir.

Bu aşamanın sonunda elimizde ne var? Güçlü ama tuhaf bir şey: metin tamamlama makinesi. Ona “Türkiye’nin en yüksek dağı nedir?” yazarsanız, cevap vermek yerine “Peki en uzun nehri hangisidir?” diye devam edebilir — çünkü internette soru listeleri de vardır ve o sadece “en olası devamı” üretiyordur. Yardımsever bir asistan değil, dev bir dil aynasıdır. Ve internetin aynası olduğu için, internetin yanlışlarını ve önyargılarını da yansıtır.

Aşama 2 — Fine-tuning: hamlıktan asistanlığa

İkinci aşamada bu ham modele meslek öğretilir. Buna ince ayar (fine-tuning) denir.

Yöntem aynıdır — örnek göster, tahmin ettir, ağırlıkları düzelt — ama malzeme değişir. Artık rastgele internet metni değil, özenle hazırlanmış örnek diyaloglar kullanılır: “Kullanıcı şunu sorarsa, iyi bir asistan şöyle cevap verir” formatında, çoğu insan eliyle yazılmış ya da denetlenmiş binlerce örnek. Model bu örneklerden yeni bir örüntü öğrenir: soruya soruyla değil cevapla karşılık vermek, talimata uymak, adım adım açıklamak, gerektiğinde reddetmek.

Ölçek farkına dikkat: pretraining trilyonlarca kelimeyle, fine-tuning görece küçücük ama kaliteli bir veriyle yapılır. Benzetmek gerekirse: yirmi yıl her şeyi okumuş birine, birkaç aylık yoğun bir “asistanlık kursu” vermek gibi. Bilgi zaten içeride; kurs, o bilginin nasıl sunulacağını öğretir.

Aşama 3 — RLHF: insan tercihiyle terbiye

Üçüncü aşamanın açılımı korkutucu, fikri basit: RLHF, “insan geri bildiriminden pekiştirmeli öğrenme” demek.

Sorun şu: “iyi cevap” tarifi yazıya dökülemeyecek kadar incelikli. Ne çok kısa ne gereksiz uzun; kibar ama yağcı değil; temkinli ama korkak değil. Bunu kural listesiyle tanımlayamazsınız — ama iki cevabı yan yana koyduğunuzda hangisinin daha iyi olduğunu çoğu insan söyleyebilir.

RLHF tam bunu kullanır. Model aynı soruya birden fazla cevap üretir; insan değerlendiriciler bu cevapları sıralar: “bu, şundan iyi”. Bu binlerce karşılaştırmadan, insan tercihini taklit eden ayrı bir “beğeni modeli” eğitilir. Sonra asıl model, bu beğeni modelinden yüksek puan alacak cevaplar üretmeye doğru itile itile ayarlanır. Bir yazar adayının editör notlarıyla pişmesi gibi: kural yok, ama sürekli “bu daha iyi, şu daha zayıf” sinyali var. (Bu yaklaşımın temeli, 2017’de Christiano ve ekibinin insan tercihlerinden pekiştirmeli öğrenme çalışmasına dayanıyor; sohbet modellerine uygulanışını ise OpenAI’ın 2022 tarihli InstructGPT makalesi belgeliyor.)

Dürüst bir dipnot: RLHF’nin de yan etkileri var. İnsanlar kendinden emin ve akıcı cevapları beğenme eğiliminde olduğundan, model fazla özgüvenli olmaya da itilebilir — “bilmiyorum” demek, beğeni toplamaz. Bunun halüsinasyonla ilişkisini halüsinasyon neden olur yazısında anlatmıştım. Ayrıca son yıllarda bu aşamanın varyasyonları çoğaldı — insan yerine yazılı ilkelerden geri bildirim almak gibi — ama “tercih sinyaliyle terbiye” fikri ortak.

Peki neden bu kadar pahalı?

Şimdi meşhur soruya gelelim. Büyük bir modelin eğitim maliyeti neden milyonlarca dolarla, hatta daha büyük rakamlarla anılıyor?

Hesabı kabaca kuralım. Eğitim demek, milyarlarca parametrenin, trilyonlarca kelimelik veri üzerinde, tekrar tekrar güncellenmesi demek. Her güncelleme; çarpma ve toplama işlemlerinden oluşan devasa bir matematik yükü. Toplamda, sayısını telaffuz etmenin bile anlamsızlaştığı bir işlem hacmi çıkar ortaya.

Bu yükü sıradan bilgisayar işlemcisiyle kaldıramazsınız. Burada GPU sahneye girer. GPU’lar aslında oyun grafikleri için tasarlanmıştı; marifetleri, binlerce basit işlemi aynı anda yapabilmek. Sinir ağı eğitimi de tam olarak bu tür bir iş olduğundan — milyonlarca çarpma-toplama, hepsi paralel yapılabilir — GPU’lar yapay zekanın beygir gücü oldu. Nvidia’nın dünyanın en değerli şirketleri arasına girmesi tesadüf değil.

Büyük bir eğitim, binlerce üst düzey GPU’nun haftalarca, bazen aylarca kesintisiz çalışması demektir. Maliyet kalemleri alt alta: çiplerin kendisi (tanesi bir otomobil fiyatına yaklaşabilen kartlar), onları barındıran veri merkezleri, tükettikleri elektrik ve soğutma, verinin toplanıp temizlenmesi, fine-tuning ve RLHF için insan emeği ve tüm bunları yöneten mühendis kadrosu. Üstelik eğitim çoğu zaman tek seferde tutmaz; denemeler, başarısız koşular, ayar turları da faturaya eklenir.

Bir ayrımı netleştirelim: bu devasa maliyet eğitim içindir ve bir keredir. Modeli kullanmanın — her soruya cevap üretmesinin — maliyeti (buna çıkarım denir) tek tek küçüktür; ama yüz milyonlarca kullanıcıyla çarpılınca o da ciddi bir kaleme dönüşür. “Yapay zeka pahalı” cümlesi aslında iki ayrı faturadır.

Bu tablo, sahanın şeklini de açıklıyor: en büyük modelleri sıfırdan eğitebilen şirket sayısının bir elin parmaklarını pek geçmemesi, maliyet duvarındandır. Buna karşılık hazır bir modeli alıp kendi verinizle ince ayarlamak, kıyas kabul etmez ölçüde ucuzdur — ekosistemin genişliği de buradan gelir. Bu noktaya nasıl gelindiğinin hikayesi ayrıca güzeldir: derin öğrenmenin kısa tarihinde anlattım.

Aklınızda kalsın

  1. Pretraining: Model, “sıradaki kelimeyi tahmin et” oyunuyla internetin örüntülerini emer. Sonuç: bilgili ama ham bir tamamlama makinesi.
  2. Fine-tuning + RLHF: Küçük ama kaliteli örneklerle asistanlık öğretilir; insan tercihleriyle üslup terbiye edilir. Sonuç: bugün konuştuğunuz sohbet botu.
  3. Maliyetin kaynağı ölçektir: milyarlarca parametre × trilyonlarca kelime × haftalarca GPU. Eğitim bir kere pahalıdır; kullanım ise az az ama sürekli.

Bu üç aşamayı bilince, modellerin karakteri de anlaşılır oluyor: bilgisi pretraining’den, terbiyesi fine-tuning’den, üslubu RLHF’den. Ve sınırları da: eğitim verisi bir tarihte donmuştur, insan tercihiyle terbiye kusursuz değildir. Modelin bu sınırlarla neyi yapıp neyi yapamadığını yapay zeka ne yapabilir, ne yapamaz yazısında çerçeveledim.

Kaynaklar

  • Brown, T. B. vd. (2020). Language Models are Few-Shot Learners. NeurIPS 2020. GPT-3’ü tanıtan; “sıradaki kelimeyi tahmin et” hedefli devasa ön eğitimin gücünü gösteren makale. arxiv.org/abs/2005.14165
  • Kaplan, J. vd. (2020). Scaling Laws for Neural Language Models. arXiv (OpenAI). Performansın model boyutu, veri ve hesaplama gücüyle nasıl ölçeklendiğini — yani maliyetin neden büyüdüğünü — gösteren çalışma. arxiv.org/abs/2001.08361
  • Christiano, P. vd. (2017). Deep Reinforcement Learning from Human Preferences. NeurIPS 2017. İnsanların iki çıktıyı karşılaştırmasından öğrenme fikrinin (RLHF’nin temeli) ilk makalelerinden. arxiv.org/abs/1706.03741
  • Ouyang, L. vd. (2022). Training language models to follow instructions with human feedback. NeurIPS 2022. InstructGPT: örnek diyaloglarla ince ayar + insan sıralamalarıyla RLHF sürecini adım adım anlatan makale. arxiv.org/abs/2203.02155
  • Bai, Y. vd. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv (Anthropic). İnsan geri bildirimi yerine yazılı ilkelerden geri bildirimle terbiye yaklaşımını tanıtan çalışma. arxiv.org/abs/2212.08073