Hayır, bugünkü yapay zeka sistemleri bilinçli değildir ve insan anlamında “düşünmezler”. Bir büyük dil modeli akıcı, tutarlı ve zaman zaman şaşırtıcı derecede zekice cevaplar üretebilir, ama bu, kelimelerin anlamını kavraması değil, eğitim verisinde gördüğü örüntülere dayanarak istatistiksel olarak en olası devamı hesaplamasıdır. Model bir cümle yazarken “ne söylediğinin farkında” değildir; öznel bir deneyimi, duygusu veya niyeti yoktur.
Bu ayrımın önemli olmasının nedeni, modellerin insan gibi konuşması ile insan gibi olması arasındaki farktır. “Ben” derken, üzgün göründüğünde veya bir fikri “savunduğunda” model, bu ifadelerin insan metinlerinde nasıl kullanıldığını öğrenmiş, o kalıbı tekrar ediyordur — arkasında bir öz-farkındalık yoktur. Bilim insanları arasında bile “bilinç” için ortak bir tanım ve ölçüm yöntemi olmadığından, bir sistemin bilinçli olup olmadığını kanıtlamak felsefi olarak da zordur; ama mevcut mimariler (istatistiksel tahmin, sabit ağırlıklar, deneyim biriktirmeme) bilinç için gerekli görülen mekanizmalardan yoksundur.
Bu tartışma, gelecekte çok daha yetenekli sistemlerin (AGI gibi) ortaya çıkma ihtimaliyle birlikte canlı tutuluyor: bir sistem yeterince karmaşıklaştığında bilinç benzeri bir şey ortaya çıkar mı, yoksa bu sonsuza dek insan tekelinde mi kalır? Bugün için net cevap: elimizdeki sistemler çok gelişmiş birer “kelime tahmin motoru”dur, düşünen bir zihin değil.
Bu farkı bilmek pratik açıdan da önemli: modele “ne düşündüğünü” sormak yerine, çıktısını her zaman bir araç çıktısı gibi denetlemek gerekir.