Tek bir fikir, koca bir devrim

2017’de yayımlanan bir makalenin başlığı iddialıydı: “Attention Is All You Need” — yani “ihtiyacınız olan tek şey dikkat”. Başlık abartı gibi duruyordu; değilmiş. O makalede tarif edilen transformer mimarisi, bugün ChatGPT’den Claude’a, çeviri sistemlerinden kod asistanlarına kadar neredeyse her modern yapay zekanın omurgası oldu.

Peki bu “attention” — Türkçesiyle dikkat mekanizması — tam olarak ne yapıyor? İyi haber: özü, tek bir cümlelik sezgiyle anlaşılabiliyor. Attention, bir cümledeki her kelimenin diğer kelimelere “bakıp” hangilerinin kendisi için önemli olduğuna karar vermesidir. Bu yazının sonunda bu cümlenin ne anlama geldiğini — ve neden bu kadar güçlü olduğunu — sindirmiş olacaksınız.

Sorun neydi: kelimeler tek başına anlamsız

Şu cümleye bakın:

“Kutuyu masaya koydum ama o çok ağırdı.”

Buradaki “o” neyi kastediyor — kutuyu mu, masayı mı? Siz saniyede çözdünüz: ağır olan kutu, çünkü masaya bir şey koyarken taşıdığınız şey kutudur. Şimdi cümleyi değiştirelim:

“Kutuyu masaya koydum ama o çok kirliydi.”

Aynı “o”, bu sefer büyük ihtimalle masa. Tek kelime değişti, zamirin işaret ettiği şey değişti.

İşte dilin temel zorluğu bu: bir kelimenin anlamı, tek başına değil, çevresindeki kelimelerle ilişkisinde saklıdır. “Yüzünü gördüm” cümlesindeki “yüz” ile “yüz metre koştum” cümlesindeki “yüz” aynı harflerdir ama alakasız anlamlardır. Bir dil sistemi, her kelimeyi işlerken cümlenin geri kalanına bakabilmelidir — hem de doğru yerlerine.

Transformer’dan önceki sistemler bunu beceriksizce yapıyordu. Cümleyi soldan sağa, kelime kelime işliyorlar ve bir tür “özet hafıza” taşıyorlardı. Cümle uzadıkça bu özet siliniyordu: 30 kelimelik bir cümlenin sonuna gelindiğinde, başındaki kritik bilgi çoktan buharlaşmış olabiliyordu. Uzun cümlelerde makine çevirisinin dağılması büyük ölçüde bundandı.

Çözüm: herkes herkese baksın

Attention’ın fikri, geriye dönüp bakınca insana “bu kadar basit miymiş” dedirtiyor: özet taşımayı bırak, her kelimenin diğer bütün kelimelere doğrudan bakmasına izin ver.

Mekanizma kabaca şöyle işler. Cümledeki her kelime (daha doğrusu her token) işlenirken, diğer tüm kelimelere birer “ilgililik puanı” verilir. “O” zamiri işlenirken sistem, “kutu”ya yüksek, “masa”ya orta, “koydum”a düşük puan verebilir. Sonra kelimenin yeni temsili, bu puanlarla ağırlıklandırılmış bir karışım olarak hesaplanır: yüksek puan alan kelimeler karışıma çok, düşük puan alanlar az katkı yapar.

Sonuç şu: “o” kelimesi artık yalnız değildir. İçinde, “ben büyük ihtimalle kutuyu kastediyorum” bilgisini taşıyan zenginleşmiş bir temsile dönüşmüştür. Aynı işlem her kelime için, aynı anda yapılır — ve katman katman tekrarlanır. İlk katmanlarda basit ilişkiler yakalanır (sıfat hangi ismi niteliyor), derin katmanlarda daha soyut olanlar (cümlenin tonu, konusu, iması). Bu katmanlı yapı, derin öğrenmenin genel mantığıyla aynıdır: basit örüntülerden karmaşık örüntülere.

Bir benzetme: kalabalık bir toplantıda konuşurken, “az önce Ayşe’nin söylediği rakam” dediğinizde herkesin kafası Ayşe’ye döner. Attention, cümlenin içinde bu kafa dönüşünün matematiksel halidir. Kimse tüm toplantının bulanık bir özetini tutmak zorunda değildir; ihtiyaç anında doğru kişiye bakılır.

“Bakmak” dediğimiz şey aslında ne?

Burada dürüst olalım: model gerçekten “bakmıyor”, “karar vermiyor”. Perde arkasında olan, yapay sinir ağı nedir yazısında anlattığım mekanizmanın aynısı: sayılar, çarpımlar, toplamlar. Her kelime birer sayı dizisine dönüştürülür; ilgililik puanları bu dizilerin birbiriyle çarpılmasından çıkar; hangi kelimenin neye ne kadar puan vereceğini belirleyen ayarlar da eğitim sırasında öğrenilen parametrelerdir.

Yani kimse modele “zamir gördüğünde ismine bak” kuralını yazmadı. Model, devasa metin yığınları üzerinde “sıradaki kelimeyi tahmin et” oyununu oynarken, bu bakış örüntülerini kendiliğinden keşfetti — çünkü doğru yere bakmak, doğru tahmini mümkün kılıyordu. Eğitimin bu süreci nasıl şekillendirdiğini AI nasıl eğitilir yazısında ayrıntılı anlattım.

Araştırmacılar sonradan bu puanları görselleştirdiğinde ilginç şeyler gördü: bazı attention “kafaları” gerçekten zamir-isim ilişkisi kuruyor, bazıları fiil-özne eşliyor, bazıları noktalama takip ediyor gibi davranıyordu. Ama bunlar tasarlanmış kurallar değil, eğitimin yan ürünü olarak beliren örüntülerdir — ve her zaman bu kadar temiz yorumlanamazlar. (Bu gözlemlerin sistematik bir örneği, Clark ve ekibinin 2019’da BERT modelinin dikkat kafalarını inceleyen çalışmasıdır.)

Çeviri örneği: neden bu kadar fark yarattı?

Attention’ın gücünü en net gösteren alan, mekanizmanın da doğduğu yer: makine çevirisi. (Fikir, transformer’dan önce, 2014’te Bahdanau, Cho ve Bengio’nun makine çevirisi makalesiyle sahneye çıkmıştı; 2017’deki transformer, mimariyi tamamen bu fikrin üzerine kurdu.)

“The animal didn’t cross the street because it was too tired” cümlesini Türkçeye çevirin. “It” ne? Hayvan — çünkü yorulan hayvandır. Ama “because it was too wide” olsaydı “it” cadde olurdu. İngilizce “it” cinsiyetsizdir; ama bu cümleyi Almancaya çeviriyorsanız hayvan (das Tier) ve cadde (die Straße) farklı artikeller ister. Yani çevirmen, çeviri yapabilmek için önce “it”in neye baktığını çözmek zorundadır.

Eski sistemler burada sistematik olarak tökezliyordu. Attention’lı sistemler ise “it”i işlerken cümlenin doğru kelimesine yüksek puan vermeyi öğrendi — ve çeviri kalitesi birkaç yıl içinde gözle görülür biçimde sıçradı. Kelime kelime çeviren, deyimleri katleden makine çevirisinden, bugün deyimi deyimle karşılayabilen sistemlere geçişin motoru büyük ölçüde budur.

Bir avantaj daha var: eski sistemler kelimeleri sırayla işlemek zorundaydı; attention’da her kelime diğerlerine aynı anda bakabildiği için işlem paralel yürütülebiliyor. Bu, modern donanımla (GPU’larla) mükemmel eşleşti ve modellerin devasa ölçeklere büyütülebilmesinin önünü açtı. Büyük dil modellerinin bugünkü boyutlara ulaşması, attention’ın bu paralelliği olmadan pratik olarak mümkün değildi.

Sınırları da bilelim

Bu site abartıyı sevmiyor, o yüzden madalyonun öbür yüzü: attention’ın da bedeli var.

En bilineni maliyet: her kelime her kelimeye baktığı için, metin uzadıkça yapılacak karşılaştırma sayısı kabaca karesiyle büyür. Metni iki katına çıkarın, iş yükü dörde katlansın. Modellerin bağlam penceresinin — yani tek seferde işleyebildikleri metin miktarının — sınırlı olmasının temel nedenlerinden biri budur. Bu sınırı esnetmek için pek çok yaklaşım geliştirildi ve pencereler yıllar içinde ciddi büyüdü; ama “sonsuz metne bakmak” hâlâ bedava değil.

İkincisi: attention, doğru yere bakmayı garanti etmez. Model, öğrendiği örüntülere göre en olası bakışı atar — ve örüntü yanıltıcıysa yanlış yere bakar, üstelik bunu fark edecek bir iç denetimi yoktur. Modelin kendinden emin şekilde saçmalayabilmesinin (halüsinasyonun) mekanizmasıyla akrabadır bu; ayrıntısı halüsinasyon neden olur yazısında.

Aklınızda kalsın

  1. Dilde anlam, kelimeler arası ilişkidedir — “o” zamirinin neyi gösterdiği, cümlenin geri kalanına bağlıdır.
  2. Attention, her kelimenin diğerlerine ilgililik puanı verip önemli olanlardan bilgi toplamasıdır — bulanık özet taşımak yerine, ihtiyaç anında doğru yere bakmak.
  3. Bu bakış örüntüleri öğrenilir, yazılmaz — ve mekanizma paralel çalıştığı için modellerin devleşmesini mümkün kılmıştır.

Bir dahaki sefere bir sohbet botu, otuz cümle önce söylediğiniz bir ayrıntıyı yerinde kullandığında, perde arkasında ne olduğunu biliyorsunuz: binlerce küçük “kafa dönüşü”, her kelime için, her katmanda. Sihir yok; iyi bir fikrin ölçeklenmiş hali var.

Kaynaklar

  • Vaswani, A. vd. (2017). Attention Is All You Need. NeurIPS 2017. Yalnızca attention’a dayanan transformer mimarisini tanıtan ve paralel eğitimin önünü açan makale. arxiv.org/abs/1706.03762
  • Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015. Attention fikrini makine çevirisine ilk uygulayan; modelin kaynak cümlenin ilgili kısımlarına “bakmasını” sağlayan makale. arxiv.org/abs/1409.0473
  • Clark, K., Khandelwal, U., Levy, O. & Manning, C. D. (2019). What Does BERT Look At? An Analysis of BERT’s Attention. arXiv. Bazı attention kafalarının söz dizimi ve zamir-isim (eşgönderim) ilişkileri gibi dilbilimsel örüntüler yakaladığını gösteren analiz. arxiv.org/abs/1906.04341
  • Tay, Y., Dehghani, M., Bahri, D. & Metzler, D. (2022). Efficient Transformers: A Survey. arXiv. Attention’ın metin uzunluğuyla karesel büyüyen maliyetini azaltmaya çalışan mimarilerin taraması. arxiv.org/abs/2009.06732