Halüsinasyon, bir büyük dil modelinin gerçekte doğru olmayan bilgiyi — uydurma bir kaynak, var olmayan bir mahkeme kararı, yanlış bir tarih — kendinden emin ve akıcı bir dille üretmesidir. Tehlikeli yanı tam da budur: model yalan söylediğini “bilmez” ve uydurduğu bilgiyi, doğru bilgiyle aynı özgüvenli üslupla sunar.
Gerçek bir örnek: 2023’te New York’ta bir avukat, ChatGPT’nin verdiği emsal kararları dilekçesine ekledi; mahkeme kararların hiçbirinin var olmadığını tespit etti ve avukat ceza aldı. Model kötü niyetli değildi — sadece “emsal karar nasıl görünür” örüntüsünü öğrenmişti ve o örüntüye uyan, gerçekçi görünümlü ama hayali kararlar üretti.
Neden oluyor?
Çünkü dil modelinin temel işi doğruyu bilmek değil, bir sonraki tokeni tahmin etmektir. Model, eğitim verisindeki istatistiksel örüntülerden üretim yapar; bir konuda yeterli veri görmemişse boşluğu en “makul görünen” metinle doldurur. Bu, hatadan çok mimarinin doğal bir sonucudur ve tamamen yok edilememiştir.
Pratikte riski azaltmanın yolları vardır: modele doğrulanmış belgeleri bağlam olarak vermek (RAG), kaynak göstermesini istemek, kritik bilgileri bağımsız kaynaktan teyit etmek ve prompt içinde “bilmiyorsan bilmiyorum de” gibi yönergeler kullanmak. Kural basittir: modelin çıktısı taslaktır, tapu senedi değil.