Hayır, güvenilir biçimde anlaşılmaz — bugün var olan “yapay zeka tespit” araçları bir metnin insan mı yoksa yapay zeka tarafından mı yazıldığını kesin olarak söyleyemez. Bu araçlar genellikle metindeki kelime seçimlerinin ne kadar “tahmin edilebilir” veya “düzenli” olduğuna bakan istatistiksel örüntüler üzerinden çalışır, ama bu örüntüler hem insan yazısında hem yapay zeka çıktısında büyük ölçüde örtüşebilir.
Sorunun kökeni şudur: büyük dil modelileri, insan yazısını taklit edecek şekilde eğitilir; bu yüzden ürettikleri metin, tanım gereği insan yazısına istatistiksel olarak benzer. Aynı zamanda gerçek insanların yazma tarzı da muazzam çeşitlilik gösterir — sade, kısa cümlelerle yazan biri, ana dili farklı olan biri veya resmi bir üslup kullanan biri, tespit araçları tarafından “yapay zeka gibi” olarak işaretlenebilir (yanlış pozitif). Tam tersi yönde, yapay zeka ile yazılmış bir metin biraz düzenlenip cümle yapıları değiştirildiğinde, aynı araçlar bunu kolayca “insan yazısı” olarak sınıflandırabilir (yanlış negatif).
Bu güvenilmezliğin gerçek sonuçları var: okullar ve yayıncılar bu araçları kullanırken, yanlış pozitif bir sonuç, gerçekten kendi yazan bir öğrenciyi veya yazarı haksız yere suçlayabilir; öte yandan hafifçe düzenlenmiş yapay zeka metni araçları kolayca atlatabilir. Bu da tespit sonucunu tek başına kanıt olarak kullanmayı riskli kılar.
Pratik çıkarım: bir tespit aracının verdiği sonucu kesin bir hüküm değil, zayıf bir sinyal olarak görmek gerekir. Sonucun önemli olduğu durumlarda (akademik değerlendirme gibi), taslak geçmişi veya yazım süreci gibi ek bağlamla desteklenmeden tek başına bir tespit skoruna güvenilmemelidir.