Benchmark (kıyaslama testi), yapay zeka modellerini aynı standart soru veya görev setiyle sınayıp puanlayan ölçüm aracıdır. Tıpkı üniversite sınavının tüm öğrencilere aynı soruları sorması gibi, benchmark da tüm modellere aynı testi uygular; böylece “hangi model daha iyi?” sorusu izlenime değil, karşılaştırılabilir sayılara dayanır.
Bilinen örnekler alanlara göre çeşitlenir: MMLU genel bilgi ve muhakemeyi, HumanEval ve SWE-bench kod yazmayı, GSM8K ve AIME matematiği, GPQA doktora düzeyi bilimi ölçer. LMArena gibi platformlar ise sabit soru yerine kullanıcıların iki anonim modelin cevabını oylamasıyla sıralama çıkarır. Yeni bir büyük dil modeli duyurulduğunda gördüğünüz karşılaştırma tabloları bu benchmark puanlarıdır.
Neden dikkatle okunmalı?
Benchmark’ların bilinen zaafları vardır. En önemlisi veri sızıntısıdır: test soruları modelin eğitim verisine karışmışsa model soruyu çözmez, hatırlar — bu, aşırı öğrenmenin sınav ezberciliği hâlidir ve puanı şişirir. Ayrıca modeller popüler testlere göre optimize edildikçe benchmark’lar doygunluğa ulaşır ve ayırt ediciliğini yitirir; bu yüzden sürekli daha zor testler üretilir. Kural şudur: tek bir puana değil, birden çok benchmark’a ve kendi kullanım senaryonuzdaki gerçek performansa bakın. Tarihsel bağlam için: alanın ilk “benchmark’ı” sayılabilecek Turing Testi bile aynı dersi verir — tek ölçüt, zekânın tamamını ölçmez.