Multimodal (çok kipli) model, yalnızca metinle değil; görüntü, ses, video gibi birden fazla veri türüyle (“kip” ya da “modalite” ile) çalışabilen yapay zekâ modelidir. Girdi olarak bu türlerin birkaçını aynı anda alabilir, çıktı olarak da üretebilir. GPT-4o, Claude ve Gemini gibi güncel büyük dil modelleri artık multimodaldır: onlara fotoğraf gösterip metinle soru sorabilirsiniz.
Somut örnekler: Buzdolabınızın içinin fotoğrafını çekip “bunlarla ne pişirebilirim?” diye sormak; el yazısı bir faturayı yükleyip tabloya dönüştürtmek; bir grafiğin ekran görüntüsünü verip “bu veride tuhaflık var mı?” demek; sesli konuşup sesli cevap almak. Bunların hepsinde model, farklı veri türlerini ortak bir anlam uzayında birleştirir — teknik olarak görüntü de metin gibi parçalara bölünüp embedding vektörlerine çevrilir ve Transformer bu vektörleri tek dilmiş gibi işler.
Neden önemli?
Çünkü gerçek dünya tek kipli değildir. İnsan bir toplantıda sözleri, ses tonunu, slaytları ve yüz ifadelerini birlikte işler; sadece metin anlayan model bu bağlamın büyük kısmını kaçırır. Multimodallik, yapay zekâyı “yazışılan araç” olmaktan çıkarıp görüp duyabilen bir asistana dönüştürür — bu da onu AI ajanları için kritik hâle getirir: ekranı görebilen bir ajan, arayüzleri insan gibi kullanabilir. Karıştırılmaması gereken nokta: birden çok ayrı modelin (bir görüntü modeli + bir dil modeli) boru hattıyla bağlanması değil, tek modelin kipleri birlikte anlaması gerçek multimodalliktir.