Token, büyük dil modellerinin metni işlerken kullandığı en küçük birimdir. Model, metni harf harf ya da kelime kelime değil, token token okur ve üretir. Bir token bazen tam bir kelime (“araba”), bazen bir kelimenin parçası (“ara” + “ba”), bazen de tek bir noktalama işareti olabilir. Metni tokenlere bölen sisteme tokenizer denir.
Somut bir örnek: “Yapay zekâ öğreniyorum.” cümlesi bir modelde şuna benzer parçalara ayrılabilir: Yapay, zek, â, öğren, iyorum, . — yani 4 kelimelik cümle 6 token tutabilir. Kaba bir kural olarak İngilizce’de 1 token ortalama 4 harfe denk gelir; Türkçe gibi eklemeli dillerde kelimeler daha çok parçaya bölündüğü için aynı metin genellikle daha fazla token tutar.
Neden umursamalısınız?
Çünkü yapay zekâ dünyasında her şey tokenle ölçülür. API kullanımının ücreti token başına hesaplanır; modelin bir seferde işleyebileceği metin miktarı (bağlam penceresi) token cinsinden sınırlıdır; modelin cevap üretme hızı “saniyede token” ile ifade edilir. Uzun bir dokümanı modele verdiğinizde “context limit aşıldı” hatası alıyorsanız, sebep karakter değil token sayısıdır. Model her tokeni embedding denen bir sayı dizisine çevirerek işler — yani token, insan dili ile modelin matematiksel dünyası arasındaki köprüdür.