GPU (Graphics Processing Unit, grafik işlem birimi), binlerce basit çekirdek barındıran ve aynı anda çok sayıda hesaplamayı paralel yapabilen bir işlemcidir. Adından anlaşılacağı gibi aslında oyun grafikleri için tasarlandı; ama yapay sinir ağlarının temel işlemi olan matris çarpımı da tıpkı grafik işleme gibi “aynı basit hesabı milyonlarca kez yap” işi olduğundan, GPU’lar yapay zekânın standart donanımı hâline geldi.
Farkı bir benzetmeyle görelim: CPU, her türlü karmaşık işi yapabilen 8-16 kişilik bir uzman ekiptir. GPU ise tek tip işi çok hızlı yapan 10 binlerce kişilik bir işçi ordusudur. Bir milyon zarfı pullamak için uzman ekip değil işçi ordusu istersiniz — model eğitimi tam da böyle bir iştir. Bu paralellik olmasaydı, bugün haftalar süren derin öğrenme eğitimleri yıllar alırdı; modern yapay zekâ patlamasının donanım ayağı budur.
Neden bu kadar konuşuluyor?
Çünkü GPU, yapay zekâ ekonomisinin darboğazı hâline geldi. Büyük dil modellerini eğitmek on binlerce GPU’nun aylarca çalışmasını gerektirir; modeli kullanıcılara sunmak (inference) da sürekli GPU gücü ister. NVIDIA’nın dünyanın en değerli şirketlerinden biri olması, ülkelerin GPU ihracatını kısıtlaması ve “GPU kıtlığı” haberlerinin sebebi budur. Modelin parametre sayısı ve bağlam penceresi büyüdükçe gereken GPU belleği de büyür — yapay zekânın maliyeti büyük ölçüde GPU maliyetidir.