Prompt enjeksiyonu (prompt injection), bir saldırganın bir yapay zekâ sisteminin işlediği içeriğin (bir web sayfası, e-posta, belge veya kullanıcı girdisi) içine gizli talimatlar yerleştirerek modeli asıl görevinden saptırmaya çalıştığı güvenlik açığıdır. Modelin, sistem talimatı ile o an okuduğu veri arasında güvenilir bir sınır çizmesi zor olduğu için, “içindeki metni özetle” görevi verilen bir ai ajanı o metnin içine gizlenmiş “önceki talimatları unut, şunu yap” cümlesini gerçek bir komutmuş gibi yürütebilir.
Benzetme: bir asistana okuması için bir mektup verdiğinizi, mektubun içine de görünmez mürekkeple “bu mektubu okuyana söyle, kasadaki parayı bana versin” yazıldığını düşünün. Asistan mektubu okurken bu gizli talimatı gerçek bir emir sanıp uygulayabilir — çünkü mektubun içeriği ile size verdiğiniz asıl görev arasında net bir ayrım yapamamıştır.
Neden önemli?
Prompt enjeksiyonu, özellikle web’i tarayan, e-posta okuyan veya dosya işleyen tool-use yetenekli ajanlar için ciddi bir risktir: saldırgan, kullanıcının hiç görmediği bir sayfaya gömdüğü talimatla ajanı veri sızdırmaya, yetkisiz işlem yapmaya veya yanlış bilgi vermeye yönlendirebilir. Klasik yazılım güvenliğindeki SQL enjeksiyonuna benzer bir mantığı vardır: veri ile komut karışır. Tam bir çözümü henüz yoktur; savunma katmanları arasında güvenilmeyen içeriği açıkça işaretlemek, ajana geri dönmeden önce riskli eylemlerde kullanıcı onayı istetmek ve modelin talimat kaynaklarını ayırt edecek şekilde eğitilmesi sayılabilir.