ChatGPT, OpenAI’ın geliştirdiği bir büyük dil modelidir ve temelde tek bir işi çok iyi yapar: verilen metnin devamında hangi kelime parçasının (yani token) gelme olasılığının en yüksek olduğunu hesaplamak. Sohbet gibi hissettiren şey, bu tahmin işleminin arka arkaya, çok hızlı ve büyük bir bağlamı dikkate alarak tekrarlanmasıdır.
Bu yeteneğin altında bir transformer mimarisi ve onun kalbindeki attention mekanizması yatar: model, cümledeki her kelimenin diğer kelimelerle ne kadar ilişkili olduğunu hesaplayarak bağlamı kurar. Model önce internetten, kitaplardan ve kodlardan oluşan devasa bir külliyatla “ön eğitim” (pretraining) görür; sonra insan geri bildirimiyle ince ayar yapılır (RLHF) — bu ikinci aşama, modelin ham metin tahmincisinden yardımsever bir sohbet asistanına dönüşmesini sağlar.
ChatGPT’nin bir hafızası veya gerçek dünya bilgisi “anlama” yoluyla yok; her şey eğitim verisinde gördüğü örüntülerin istatistiksel bir yansıması. Bu yüzden güncel olaylar hakkında yanılabilir, emin olmadığı konularda da inandırıcı ama yanlış cevaplar üretebilir (halüsinasyon). Yanıtın ne kadar “yaratıcı” veya “tutarlı” olacağını sıcaklık adlı bir ayar belirler.
ChatGPT tek başına bir ürün değil; aynı temel teknoloji — büyük dil modeli — Claude, Gemini gibi rakiplerinde de çalışır. Farklar; eğitim verisi, ince ayar yöntemi ve model boyutunda ortaya çıkar.