Çıkarım (inference), eğitimi tamamlanmış bir yapay zeka modelinin yeni bir girdiye karşılık çıktı ürettiği aşamadır. Eğitim, modelin parametrelerinin milyarlarca örnek üzerinden ayarlandığı, aylar süren tek seferlik bir süreçtir; çıkarım ise bu donmuş parametrelerle her kullanıcı isteğinde tekrar tekrar yapılan hesaplamadır. ChatGPT’ye veya Claude’a yazdığınız her mesaj bir çıkarım isteğidir: model prompt’unuzu alır ve cevabı token token üretir.
Benzetme: eğitim, bir aşçının yıllarca süren mesleki eğitimidir; çıkarım ise o aşçının her akşam yemek pişirmesi. Eğitim bir kez yapılır ama pahalıdır; çıkarım ucuzdur ama milyonlarca kullanıcı için günde milyarlarca kez tekrarlanır — bu yüzden toplam maliyette çıkarım çoğu zaman eğitimi geçer.
Neden önemli?
Yapay zekanın hız, maliyet ve enerji sorunlarının çoğu çıkarım tarafındadır. Bir modelin cevabı ne kadar hızlı yazdığı (token/saniye), API fiyatları ve GPU ihtiyacı hep çıkarım verimliliğine bağlıdır. Bu yüzden sektör, modeli küçültmeden hızlandıran tekniklere büyük yatırım yapar: nicemleme parametreleri düşük hassasiyette saklar, model damıtma büyük modelin bilgisini küçük modele aktarır, uzman karışımı mimarileri her istekte parametrelerin yalnızca bir kısmını çalıştırır.