Büyük Dil Modelleri Nasıl Çalışır? İçerideki Tahmin Makinesi

Soru soruyorsunuz, akıllıca bir cevap geliyor — ama içeride ne oluyor?

ChatGPT’ye bir soru yazıyorsunuz; saniyeler içinde derli toplu, akıcı, çoğu zaman isabetli bir cevap beliriyor. Çoğu insan bu deneyimi “makine düşündü ve cevapladı” diye yorumluyor. Yanlış. Ve bu yanlış yorum masum da değil: içeride ne olduğunu yanlış bilen, araca yanlış görevler veriyor, yanlış yerlerde güveniyor.

Gerçek mekanizma hem daha basit hem de daha ilginç. Büyük dil modeli — İngilizce kısaltmasıyla LLM — özünde bir tahmin makinesidir. Yaptığı tek iş şudur: eline gelen metne bakar ve “bundan sonra en olası kelime parçası ne?” sorusuna cevap verir. O parçayı yazar, sonra metnin yeni haline bakar, bir sonrakini tahmin eder. Kelime kelime, böyle ilerler.

Telefonunuzdaki yazı tahminini bilirsiniz: “nasıl” yazınca klavye “sın” önerir. LLM aynı fikrin milyonlarca kat büyütülmüş halidir — tek kelime değil, paragraflar boyunca tutarlı kalabilen bir tahmin zinciri.

Kelime değil, token

Küçük ama önemli bir teknik ayrıntı: model aslında “kelime” tahmin etmez, token tahmin eder. Token, metnin modele göre bölünmüş parçasıdır — bazen tam bir kelime, bazen bir kelimenin yarısı, bazen tek bir ek. Türkçe gibi eklerle uzayan dillerde bir kelime birkaç tokene bölünebilir; “kitapçılardan” gibi bir kelime modelin gözünde üç dört parça olabilir.

Bunu bilmek pratikte iki yerde işe yarar. Birincisi, modeller metni harf harf değil token token gördüğü için “bu kelimede kaç harf var” gibi sorularda şaşırtıcı derecede kötü olabilirler — harfleri saymıyorlar, parçaları görüyorlar. İkincisi, modellerin bağlam penceresi — yani tek seferde “aklında tutabildiği” metin miktarı — token cinsinden ölçülür. Uzun bir sohbette pencere dolmaya başlayınca eski mesajlar kadraj dışı kalır; önemli bilgiyi ara ara tekrar vermenin sebebi budur.

“En olası”yı nereden biliyor?

Peki model, sıradaki tokenin ne olacağını nereden biliyor? Ezberden değil — eğitimden.

Eğitim sırasında modele internet ölçeğinde bir metin yığını gösterilir: kitaplar, makaleler, forumlar, kod. Model bu metinlerde tek bir oyunu milyarlarca kez oynar: bir cümlenin devamı kapatılır, model tahmin eder, gerçek devamla karşılaştırılır, hata ölçülür ve modelin iç ayarları — parametreleri — o hatayı azaltacak yönde minik minik güncellenir. Bu, yapay sinir ağı yazısında anlattığım ağırlık ayarlama sürecinin ta kendisidir; buradaki ağ tipinin adı da transformer’dır.

Sonuçta ortaya çıkan şey bir bilgi deposu değil, dilin istatistiksel haritasıdır: hangi ifade hangi bağlamda hangi devamı getirir, hangi soru tipine nasıl cevap yazılır, resmi dil neye benzer, özür mektubu neye benzer. Model her adımda tüm olası tokenler üzerinde bir olasılık dağılımı hesaplar ve bu dağılımdan bir seçim yapar.

Bu arada seçim her zaman “en yüksek olasılıklı” token değildir; genelde küçük bir rastgelelik payı bırakılır. Aynı soruyu iki ayrı sohbette sorduğunuzda birebir aynı cevabı almamanızın sebebi budur: ezberden okunan tek bir doğru yok, her seferinde olasılıkla yeniden üretilen bir metin var.

Neden bu kadar akıcı?

İnsanları asıl şaşırtan şu: “tahmin makinesi” deyince akla kekeleyen, yarım yamalak bir sistem geliyor; oysa çıktılar pürüzsüz. Bunun sebebi, akıcılığın tam da modelin en iyi olduğu şey olması.

Dilin yüzey örüntüleri — dil bilgisi, cümle akışı, ton, format — eğitim verisinde en tutarlı, en sık tekrarlanan örüntülerdir. Model bunları çok sağlam öğrenir. Üstelik model, üslubu bağlama göre ayarlamayı da öğrenmiştir: hukuki bir soruya hukukçu gibi, samimi bir mesaja samimi bir dille devam eder. Çünkü eğitim verisinde hukuki metinlerin devamı hep hukuki üslupla gelmiştir.

Yani akıcılık, zekânın kanıtı değil; örüntü öğrenmenin en görünür meyvesidir.

Neden akıcı ama bazen yanlış?

İşte kritik nokta: akıcılığı üreten mekanizma ile doğruluğu garanti edecek mekanizma aynı şey değil. Hatta ikincisi modelin içinde hiç yok.

Model her adımda “en olası devam”ı seçer — “doğru devam”ı değil. Çoğu zaman ikisi çakışır: “Türkiye’nin başkenti” ifadesinin en olası devamı “Ankara”dır ve bu aynı zamanda doğrudur, çünkü eğitim verisinde bu bilgi binlerce kez tutarlı şekilde geçmiştir. Ama az bilinen bir konuda, nadir bir isimde, spesifik bir tarihte “en olası görünen” devam pekâlâ yanlış olabilir. Model bunu aynı özgüvenli, aynı akıcı üslupla yazar — çünkü üslup ayrı öğrenilmiş bir örüntüdür ve içeriğin doğruluğundan bağımsız çalışır.

Bu yüzden bir cevabın iyi yazılmış olması, doğru olduğunun kanıtı değildir. Uydurma kaynak, var olmayan makale, yanlış tarih — bunların hepsi “olası görünen ama gerçek olmayan” devamlardır. Bu olguya halüsinasyon diyoruz ve neden kaçınılmaz bir yan etki olduğunu ayrı bir yazıda anlattım.

Bir sınır daha: modelin bilgisi, eğitim verisinin toplandığı tarihte donmuştur. Dünkü kur, bu sabahki haber, geçen haftaki mevzuat değişikliği modelin haritasında yoktur. Güncel bilgi gerekiyorsa ya siz verirsiniz ya da model web araması gibi harici bir araçla desteklenir.

Bu bilgi pratikte ne değiştirir?

“Tahmin makinesi” modelini kafanıza oturttuğunuzda, günlük kullanımda üç şey değişir.

Birincisi: girdinin kalitesi, çıktının kalitesidir. Model, verdiğiniz metnin en olası devamını üretir. Muğlak bir istek yazarsanız, en olası devam “herkese uyan ortalama bir cevap”tır. Kime, ne için, hangi tonda istediğinizi anlatırsanız olasılıkları kendi istediğiniz yöne çekersiniz. İyi prompt yazmak bir hile değil, mekanizmanın doğal gereğidir.

İkincisi: güveni işe göre ayarlarsınız. Taslak, özet, varyasyon, yeniden yazım gibi işlerde model olağanüstüdür — bunlar örüntü işidir. Kritik gerçeklik iddialarında ise çıktı bir “kontrol edilecek taslak”tır, son söz değil. Hangi iş tipine ne kadar güvenileceğinin haritasını ne yapabilir, ne yapamaz yazısında çizdim.

Üçüncüsü: şaşırmayı bırakırsınız. Model neden aynı soruya iki farklı cevap verdi? Neden harf sayamıyor? Neden dünkü olayı bilmiyor? Neden bu kadar güzel yazıp bu kadar rahat uyduruyor? Dört sorunun da cevabı aynı mekanizmada: token token, olasılıkla, eğitim verisindeki örüntülerden tahmin.

Kısacası: karşınızdaki şey düşünen bir zihin değil, dilin istatistiğini olağanüstü iyi öğrenmiş bir tahmin makinesi. Bu onu değersiz yapmaz — tam tersine, ne olduğunu bilen için son derece güçlü bir araç yapar. Aracın ne olduğunu bilen, ondan ne isteyeceğini de bilir.