Token nedir? Yapay zekâ metni nasıl sayar

Token, bir dil modelinin metni işlerken kullandığı en küçük birimdir. Model cümleyi harf harf ya da kelime kelime okumaz. Metni önce tokenlara böler, her tokenı bir sayıya çevirir ve bütün hesabı bu sayılarla yapar. Bir token bazen tam bir kelime, bazen kelimenin bir parçası, bazen de tek bir noktalama işaretidir.

Kısa ve sık kullanılan "ev" gibi bir kelime tek token olabilir. "Evlerimizden" gibi uzun bir kelime ise birkaç parçaya bölünür. Bölmenin nasıl yapılacağı modelin hazırlanması sırasında belirlenir, bu yüzden aynı cümle iki farklı modelde farklı sayıda token tutabilir.

Bu işi yapan bileşene tokenizer denir. Yaygın yöntemler, eğitim verisinde sık geçen harf dizilerini tek parça olarak saklar; en bilineni BPE (byte pair encoding). Sık görülen diziler tek token olur, nadir görülenler küçük parçalara ayrılır.

OpenAI'ın kullanıcılarına verdiği kaba hesaba göre İngilizce metinde bir token ortalama dört karaktere, yani bir kelimenin yaklaşık dörtte üçüne denk gelir. Türkçe sondan eklemeli bir dildir ve tokenizer'lar çoğunlukla İngilizce ağırlıklı veriyle hazırlanır. Bu yüzden aynı içeriği taşıyan Türkçe bir metin genellikle daha fazla token tutar.

API üzerinden kullanılan modellerin çoğu, modele gönderilen ve modelin ürettiği token sayısına göre ücretlendirilir. Üretilen tokenlar genellikle okunanlardan daha pahalıdır. Uzun bir talimat ve uzun bir cevap faturaya doğrudan yansır.

Modelin tek seferde dikkate alabildiği metin de token cinsinden sınırlıdır. Bu sınıra bağlam penceresi (context window) denir. Cevap hızı da tokenla ilgilidir: model cevabı token token üretir, uzun bir cevabın ekrana gelmesi bu yüzden daha uzun sürer.

Aynı işi daha az tokenla yaptırmak hem maliyeti hem bekleme süresini düşürür. Kısa ve net bir prompt yazmak, uzun belgelerin yalnız ilgili bölümünü göndermek ve cevabın uzunluğunu açıkça sınırlamak ilk akla gelen yollardır.

Kurumsal belgelerle çalışan sistemlerde bu seçimi RAG yapar: her soruda arşivin tamamı gönderilmez, soruyla ilgili birkaç parça seçilip modele verilir. Böylece hem fatura hem cevap süresi kısalır.