Yapay zeka matematik hatası yapar çünkü bir dil modeli aslında hesap yapmaz — bir sonraki tokenin ne olacağını istatistiksel olarak tahmin eder. “17 çarpı 24” sorusuna model gerçek bir çarpma işlemi yürütmez; eğitim verisinde benzer ifadelerin ardından hangi sayı dizilerinin geldiğini örüntü olarak öğrenmiştir ve buna dayanarak en olası devamı üretir. Küçük, sık görülen çarpımlarda (örneğin 2x2) bu örüntü tanıma neredeyse her zaman doğru sonucu verir çünkü eğitim verisinde defalarca geçmiştir; ama büyük, nadir rastlanan işlemlerde model gerçek hesaplamadan sapıp “kulağa doğru gelen” ama yanlış bir sayı üretebilir.
Bunun temelinde modelin ürettiği her tokenin olasılıksal bir seçim olması yatar — model her adımda olası devam adaylarına bir olasılık dağılımı atar ve buradan seçim yapar; bu, bir hesap makinesinin deterministik, adım adım işlem yürütmesinden köklü biçimde farklıdır. Uzun bir hesaplamanın ortasında tek bir hatalı basamak seçilirse, model bunu fark etmeden devam eder ve hata birikerek büyür.
İki yaklaşım bu sorunu azaltır. Birincisi akıl yürüten modeller: cevaba geçmeden önce ara adımları açık açık yazarak (adım adım “düşünerek”) hata yapma ihtimalini düşürürler, ama bu yöntem de hesaplamayı garanti etmez, sadece hatayı azaltır. İkincisi ve daha güvenilir olanı araç kullanımı: model, sayıyı kendi tahmin etmek yerine gerçek bir hesap makinesi veya kod çalıştırıcı çağırıp sonucu oradan alır — bu durumda hesaplamayı yapan artık model değil, çağrılan araçtır ve sonuç kesindir.
Pratik sonuç: kritik bir hesaplama için modelden doğrudan cevap istemek yerine, modelin araç kullanmasını sağlamak (veya sonucu bağımsız bir hesap makinesiyle doğrulamak), ona “daha dikkatli düşün” demekten çok daha güvenilir bir çözümdür.