Tokenizer, ham metni büyük dil modelinin anlayabileceği en küçük parçalara — tokenlere — bölen sistemdir. Model kelimeleri değil, tokenizer’ın önceden belirlediği bu alt birimleri işler; her token, modelin kelime dağarcığındaki (vocabulary) bir sayıya karşılık gelir. Bölme işi rastgele değildir: tokenizer, eğitim sırasında büyük bir metin yığınında hangi harf dizilerinin sık birlikte geçtiğini öğrenip kendi sözlüğünü oluşturur (yaygın yöntem: Byte-Pair Encoding).
Benzetme: tokenizer bir eczanenin ilaç paketleme makinesi gibidir — gelen hammaddeyi (metni) standart, önceden tanımlı dozlara (tokenlere) böler; eczane (model) bu dozlarla çalışır, hammaddeyle değil. Sık kullanılan bir kelime (“ve”, “bir”) tek bir doz/token olarak paketlenirken, nadir görülen veya bilinmeyen bir kelime birden fazla küçük parçaya bölünerek paketlenir.
Neden önemli?
Tokenizer’ın sözlüğü hangi dilde, hangi veriyle eğitildiyse o dile göre optimize olur. Çoğu büyük model İngilizce ağırlıklı veriyle eğitilen tokenizer kullandığı için Türkçe gibi eklemeli diller aynı anlamı ifade etmek için daha fazla token harcar — bu hem maliyeti hem bağlam penceresinin ne kadar metin sığdırabileceğini doğrudan etkiler. Tokenizasyonun neden bu kadar önemli olduğu ve dil bazında nasıl farklılaştığı Tokenizasyon: Yapay Zeka Metni Nasıl Parçalar? yazısında ayrıntılı anlatılıyor. Kötü bir tokenizasyon, modelin basit bir yazım hatasını ya da nadir bir özel ismi hatalı bölüp yanlış yorumlamasına da yol açabilir.