B\u00fcy\u00fck Dil Modelleri (LLM’ler) d\u00fcnyas\u0131nda etkili ve maliyet a\u00e7\u0131s\u0131ndan verimli \u00e7\u00f6z\u00fcmler geli\u015ftirmek, \u00e7o\u011fu zaman g\u00f6zden ka\u00e7an ancak kritik bir kavram olan “token” y\u00f6netimine dayan\u0131r. Bu makale, yapay zeka uygulamalar\u0131n\u0131z\u0131n performans\u0131n\u0131, maliyetini ve genel verimlili\u011fini derinden etkileyen tokenizasyon s\u00fcrecini ve token say\u0131m\u0131n\u0131n neden vazge\u00e7ilmez oldu\u011funu s\u0131f\u0131rdan ele al\u0131yor.<\/p>\n
Yapay zeka modelleri, insan dilini do\u011frudan “kelime” olarak alg\u0131lamazlar. Bunun yerine, metni daha k\u00fc\u00e7\u00fck, i\u015flenebilir par\u00e7alara ay\u0131r\u0131rlar. \u0130\u015fte bu par\u00e7alara “token” ad\u0131n\u0131 veriyoruz. Tokenizasyon, bir metni bu token ad\u0131 verilen birimlere b\u00f6lme s\u00fcrecidir. Bu s\u00fcre\u00e7, bir metni anlamsal ve yap\u0131sal olarak en verimli \u015fekilde temsil etmek i\u00e7in tasarlanm\u0131\u015ft\u0131r. Her bir token, modelin anlayabilece\u011fi say\u0131sal bir temsiline (embedding) d\u00f6n\u00fc\u015ft\u00fcr\u00fcl\u00fcr ve model bu say\u0131lar \u00fczerinde i\u015flem yapar.<\/p>\n
Tokenizasyon algoritmalar\u0131 olduk\u00e7a \u00e7e\u015fitlidir ve her birinin kendine \u00f6zg\u00fc avantajlar\u0131 ve dezavantajlar\u0131 bulunur. En yayg\u0131n kullan\u0131lan yakla\u015f\u0131mlardan baz\u0131lar\u0131 \u015funlard\u0131r:<\/p>\n
Peki, tokenizasyon neden bu kadar hayati? \u00c7\u00fcnk\u00fc yapay zeka modelleri, \u00f6zellikle de B\u00fcy\u00fck Dil Modelleri (LLM’ler), her bir token’\u0131 i\u015flemek i\u00e7in hesaplama kaynaklar\u0131 kullan\u0131r. Modelin bir metni ne kadar iyi anlayabildi\u011fi ve ne kadar do\u011fru yan\u0131tlar \u00fcretebildi\u011fi, b\u00fcy\u00fck \u00f6l\u00e7\u00fcde tokenizasyonun kalitesine ba\u011fl\u0131d\u0131r. Anlaml\u0131 ve tutarl\u0131 tokenler, modelin dilin n\u00fcanslar\u0131n\u0131 daha iyi kavramas\u0131na olanak tan\u0131r. Ayr\u0131ca, token say\u0131s\u0131, modelin i\u015fleyebilece\u011fi maksimum metin uzunlu\u011funu (ba\u011flam penceresi) ve dolay\u0131s\u0131yla modelin haf\u0131zas\u0131n\u0131 do\u011frudan belirler. Bu, \u00f6zellikle uzun diyaloglar veya kapsaml\u0131 belge analizleri gibi senaryolarda kritik bir rol oynar.<\/p>\n
Bir \u00f6rnekle a\u00e7\u0131klayacak olursak, “Yapay zeka gelece\u011fi \u015fekillendiriyor.” c\u00fcmlesi farkl\u0131 tokenizasyon y\u00f6ntemleriyle farkl\u0131 say\u0131larda token \u00fcretebilir. Basit bir kelime tabanl\u0131 tokenizasyon ile bu c\u00fcmle 4 token (Yapay, zeka, gelece\u011fi, \u015fekillendiriyor.) olabilirken, alt kelime tabanl\u0131 bir tokenizasyon ile “\u015fekillendiriyor” kelimesi “\u015fekil”, “lendir”, “iyor” gibi par\u00e7alara ayr\u0131larak toplam token say\u0131s\u0131 artabilir. Bu farkl\u0131l\u0131klar, modelin i\u00e7sel temsillerini ve \u00e7\u0131kt\u0131lar\u0131n\u0131 do\u011frudan etkiler. Bu nedenle, tokenizasyon s\u00fcreci, dil modellerinin hem anlama hem de \u00fcretme yetenekleri i\u00e7in temel bir yap\u0131 ta\u015f\u0131d\u0131r. Tokenlar\u0131n do\u011fru bir \u015fekilde y\u00f6netilmesi, modelin dilin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 daha iyi kavramas\u0131na ve daha tutarl\u0131, alakal\u0131 yan\u0131tlar \u00fcretmesine olanak tan\u0131r.<\/p>\n
Yapay zeka modelleriyle \u00e7al\u0131\u015f\u0131rken token say\u0131m\u0131n\u0131n \u00f6nemini anlamak, sadece teknik bir detaydan ibaret de\u011fildir; ayn\u0131 zamanda projenizin b\u00fct\u00e7esi, kullan\u0131c\u0131 deneyimi ve modelin yeteneklerinin s\u0131n\u0131rlar\u0131n\u0131 belirleyen temel bir fakt\u00f6rd\u00fcr. Tokenlar, LLM’lerin \u00e7al\u0131\u015fma bi\u00e7iminin merkezinde yer ald\u0131\u011f\u0131ndan, bunlar\u0131n nas\u0131l say\u0131ld\u0131\u011f\u0131n\u0131 ve y\u00f6netildi\u011fini bilmek, ak\u0131ll\u0131 ve verimli uygulamalar geli\u015ftirmenin anahtar\u0131d\u0131r. Bu durum, \u00f6zellikle ticari API’ler \u00fczerinden hizmet al\u0131rken veya b\u00fcy\u00fck \u00f6l\u00e7ekli uygulamalar geli\u015ftirirken daha da belirginle\u015fir.<\/p>\n
\u00c7o\u011fu ticari B\u00fcy\u00fck Dil Modeli (LLM) API’si (\u00f6rne\u011fin OpenAI, Anthropic), kulland\u0131\u011f\u0131n\u0131z token say\u0131s\u0131na g\u00f6re \u00fccretlendirme yapar. Bu \u00fccretlendirme genellikle hem girdi (prompt) tokenlar\u0131 hem de \u00e7\u0131kt\u0131 (model yan\u0131t\u0131) tokenlar\u0131 i\u00e7in ayr\u0131 ayr\u0131 hesaplan\u0131r. Dolay\u0131s\u0131yla, ne kadar \u00e7ok token g\u00f6nderir ve al\u0131rsan\u0131z, maliyetiniz de o kadar artar. \u00d6zellikle y\u00fcksek hacimli uygulamalar veya uzun metinlerle \u00e7al\u0131\u015fan projeler i\u00e7in bu maliyetler h\u0131zla artabilir. \u00d6rne\u011fin, bir m\u00fc\u015fteri hizmetleri botu g\u00fcnde binlerce etkile\u015fim ger\u00e7ekle\u015ftiriyorsa ve her bir etkile\u015fim ortalama 500 token i\u00e7eriyorsa, ay sonunda ciddi bir fatura ile kar\u015f\u0131la\u015fmak i\u015ften bile de\u011fildir. Bu nedenle, promptlar\u0131n\u0131z\u0131 optimize etmek ve gereksiz token kullan\u0131m\u0131ndan ka\u00e7\u0131nmak, maliyetleri d\u00fc\u015f\u00fcrmek i\u00e7in kritik bir ad\u0131md\u0131r. Token ba\u015f\u0131na d\u00fc\u015fen maliyetler k\u00fc\u00e7\u00fck g\u00f6r\u00fcnse de, \u00f6l\u00e7eklendik\u00e7e b\u00fcy\u00fck farklar yaratabilir.<\/p>\n
Modelin i\u015fleyece\u011fi token say\u0131s\u0131 artt\u0131k\u00e7a, yan\u0131t \u00fcretme s\u00fcresi de (latency) do\u011fru orant\u0131l\u0131 olarak artar. \u00d6zellikle ger\u00e7ek zamanl\u0131 etkile\u015fim gerektiren uygulamalarda, uzun yan\u0131t s\u00fcreleri kullan\u0131c\u0131 deneyimini olumsuz etkileyebilir. Bir sohbet botunun her yan\u0131t i\u00e7in saniyelerce beklemesi, kullan\u0131c\u0131lar\u0131n sabr\u0131n\u0131 zorlayabilir ve uygulaman\u0131n kullan\u0131labilirli\u011fini d\u00fc\u015f\u00fcrebilir. Daha az token, daha h\u0131zl\u0131 i\u015flem anlam\u0131na gelir. Bu durum, \u00f6zellikle d\u00fc\u015f\u00fck gecikme s\u00fcresi gerektiren uygulamalar, \u00f6rne\u011fin canl\u0131 \u00e7eviri veya anl\u0131k destek sistemleri i\u00e7in hayati \u00f6nem ta\u015f\u0131r. Promptlar\u0131n\u0131z\u0131 daha k\u0131sa ve \u00f6z tutarak, modelin daha az veri i\u015flemesini sa\u011flayabilir ve b\u00f6ylece yan\u0131t s\u00fcrelerini \u00f6nemli \u00f6l\u00e7\u00fcde iyile\u015ftirebilirsiniz. H\u0131zl\u0131 yan\u0131tlar, kullan\u0131c\u0131 memnuniyetini art\u0131r\u0131r ve uygulaman\u0131z\u0131n genel kalitesini y\u00fckseltir.<\/p>\n
Her B\u00fcy\u00fck Dil Modeli’nin belirli bir “ba\u011flam penceresi” veya “token limiti” vard\u0131r. Bu limit, modelin tek bir sorguda veya sohbette i\u015fleyebilece\u011fi maksimum token say\u0131s\u0131n\u0131 ifade eder. Bu limit a\u015f\u0131ld\u0131\u011f\u0131nda, model genellikle en eski tokenlar\u0131 unutur veya hata verir. \u00d6rne\u011fin, GPT-3.5’in 4k tokenlik bir ba\u011flam penceresi varken, GPT-4’\u00fcn 32k token’a kadar \u00e7\u0131kan versiyonlar\u0131 mevcuttur. Bu limit, modelin ne kadar bilgiyi “hat\u0131rlayabilece\u011fini” veya tek seferde ne kadar uzun bir metni i\u015fleyebilece\u011fini belirler. Uzun sohbet ge\u00e7mi\u015fleri, detayl\u0131 belgeler veya karma\u015f\u0131k talimatlar i\u00e7eren promptlar, bu limiti kolayca a\u015fabilir. Bu durumda, modelin \u00f6nceki konu\u015fmalar\u0131 veya metnin \u00f6nemli k\u0131s\u0131mlar\u0131n\u0131 “unutmas\u0131” ve tutars\u0131z yan\u0131tlar vermesi ka\u00e7\u0131n\u0131lmaz hale gelir. Ba\u011flam penceresini etkin bir \u015fekilde y\u00f6netmek, \u00f6zellikle uzun s\u00fcreli diyaloglarda veya b\u00fcy\u00fck veri setleriyle \u00e7al\u0131\u015f\u0131rken modelin tutarl\u0131l\u0131\u011f\u0131n\u0131 ve performans\u0131n\u0131 korumak i\u00e7in elzemdir. Bu, uygulaman\u0131z\u0131n g\u00fcvenilirli\u011fi ve do\u011frulu\u011fu i\u00e7in kritik bir konudur.<\/p>\n
Ger\u00e7ek D\u00fcnya Senaryosu: Hukuki Belge \u00d6zetleme Uygulamas\u0131<\/strong><\/p>\n Bir hukuk firmas\u0131 i\u00e7in uzun dava dosyalar\u0131n\u0131 \u00f6zetleyen bir yapay zeka uygulamas\u0131 geli\u015ftirdi\u011finizi d\u00fc\u015f\u00fcnelim. Her bir dava dosyas\u0131 y\u00fczlerce sayfa metin i\u00e7erebilir. E\u011fer bu metnin tamam\u0131n\u0131 do\u011frudan LLM’e g\u00f6nderirseniz:<\/p>\n Bu senaryoda, token y\u00f6netimi kritik hale gelir. Metni daha k\u00fc\u00e7\u00fck par\u00e7alara ay\u0131rmak (chunking), her par\u00e7ay\u0131 ayr\u0131 ayr\u0131 \u00f6zetleyip ard\u0131ndan bu \u00f6zetleri birle\u015ftirerek nihai bir \u00f6zet olu\u015fturmak gibi stratejiler devreye girer. Bu yakla\u015f\u0131mlar sayesinde hem maliyetler kontrol alt\u0131nda tutulur hem de modelin ba\u011flam penceresi etkin bir \u015fekilde kullan\u0131l\u0131r. B\u00f6ylece, hem verimli hem de do\u011fru sonu\u00e7lar elde edilebilir.<\/p>\n Token say\u0131m\u0131n\u0131n ne kadar \u00f6nemli oldu\u011funu anlad\u0131\u011f\u0131m\u0131za g\u00f6re, \u015fimdi s\u0131ra bunu pratikte nas\u0131l yapabilece\u011fimize geldi. Farkl\u0131 B\u00fcy\u00fck Dil Modelleri, farkl\u0131 tokenizasyon algoritmalar\u0131 kulland\u0131\u011f\u0131 i\u00e7in, bir model i\u00e7in do\u011fru olan token say\u0131m y\u00f6ntemi ba\u015fka bir model i\u00e7in yanl\u0131\u015f olabilir. Bu nedenle, genellikle kulland\u0131\u011f\u0131n\u0131z modelin geli\u015ftiricisi taraf\u0131ndan sa\u011flanan veya tavsiye edilen k\u00fct\u00fcphaneleri kullanmak en do\u011fru yakla\u015f\u0131md\u0131r. Bu, hem do\u011frulu\u011fu garanti eder hem de gelecekteki model g\u00fcncellemeleriyle uyumlulu\u011fu sa\u011flar.<\/p>\n En yayg\u0131n kullan\u0131lan LLM’ler i\u00e7in token say\u0131m\u0131 yapman\u0131n birka\u00e7 yolu vard\u0131r:<\/p>\n \u015eimdi, pop\u00fcler k\u00fct\u00fcphaneleri kullanarak token say\u0131m\u0131n\u0131 nas\u0131l yapabilece\u011fimize dair birka\u00e7 pratik \u00f6rne\u011fe g\u00f6z atal\u0131m. Bu \u00f6rnekler, farkl\u0131 senaryolarda token say\u0131m\u0131n\u0131 nas\u0131l uygulayabilece\u011finizi g\u00f6stermektedir.<\/p>\n \u00d6ncelikle Ard\u0131ndan, a\u015fa\u011f\u0131daki Python kodunu kullanarak token say\u0131m\u0131 yapabilirsiniz:<\/p>\n Yukar\u0131daki \u00f6rnekte, Transformers k\u00fct\u00fcphanesini y\u00fckleyin:<\/p>\n Daha sonra, bir modelin tokenizer’\u0131n\u0131 y\u00fckleyerek token say\u0131m\u0131 yapabilirsiniz:<\/p>\n Bu \u00f6rnekler, farkl\u0131 model aileleri i\u00e7in token say\u0131m\u0131n\u0131n nas\u0131l yap\u0131ld\u0131\u011f\u0131n\u0131 g\u00f6stermektedir. Her zaman kulland\u0131\u011f\u0131n\u0131z modele en uygun arac\u0131 se\u00e7mek, do\u011fru ve tutarl\u0131 sonu\u00e7lar alman\u0131z\u0131 sa\u011flayacakt\u0131r. Bu pratik bilgilerle, yapay zeka uygulamalar\u0131n\u0131zda token y\u00f6netimini daha bilin\u00e7li bir \u015fekilde ele alabilir ve hem maliyet hem de performans a\u00e7\u0131s\u0131ndan optimize edilmi\u015f \u00e7\u00f6z\u00fcmler geli\u015ftirebilirsiniz.<\/p>\n Token say\u0131m\u0131n\u0131n temellerini kavrad\u0131ktan sonra, s\u0131ra geldi bu bilgiyi daha ak\u0131ll\u0131ca ve verimli bir \u015fekilde kullanmaya. Geli\u015fmi\u015f token y\u00f6netimi stratejileri, hem maliyetleri optimize etmenize hem de modelin performans\u0131n\u0131 ve ba\u011flam anlama yetene\u011fini en \u00fcst d\u00fczeye \u00e7\u0131karman\u0131za yard\u0131mc\u0131 olacakt\u0131r. Bu b\u00f6l\u00fcm, deneyimli kullan\u0131c\u0131lar i\u00e7in pratik ipu\u00e7lar\u0131 ve p\u00fcf noktalar\u0131 sunmaktad\u0131r. Bu stratejileri uygulayarak, yapay zeka uygulamalar\u0131n\u0131z\u0131n potansiyelini tam olarak ortaya \u00e7\u0131karabilirsiniz.<\/p>\n Prompt (istem) m\u00fchendisli\u011fi, LLM’lerden istenen \u00e7\u0131kt\u0131y\u0131 almak i\u00e7in promptlar\u0131 tasarlama sanat\u0131d\u0131r. Ayn\u0131 zamanda token optimizasyonu i\u00e7in de g\u00fc\u00e7l\u00fc bir ara\u00e7t\u0131r. Daha k\u0131sa, daha net ve daha odaklanm\u0131\u015f promptlar, gereksiz token kullan\u0131m\u0131n\u0131 azalt\u0131rken modelin daha h\u0131zl\u0131 ve do\u011fru yan\u0131tlar \u00fcretmesine olanak tan\u0131r. Bu sayede hem maliyetler d\u00fc\u015fer hem de modelin i\u015f y\u00fck\u00fc azal\u0131r.<\/p>\n Ba\u011flam penceresi limitleri nedeniyle, \u00e7ok uzun metinleri tek seferde bir LLM’e g\u00f6ndermek genellikle m\u00fcmk\u00fcn de\u011fildir. Bu durumda, metni daha k\u00fc\u00e7\u00fck, y\u00f6netilebilir par\u00e7alara ay\u0131rma (chunking) ve bu par\u00e7alar\u0131 i\u015fleme teknikleri devreye girer. Bu yakla\u015f\u0131mlar, b\u00fcy\u00fck veri setleriyle \u00e7al\u0131\u015f\u0131rken bile modelin etkin bir \u015fekilde kullan\u0131lmas\u0131n\u0131 sa\u011flar:<\/p>\n Vaka Analizi: B\u00fcy\u00fck Bir Perakendecinin M\u00fc\u015fteri Hizmetleri Botunda Token Optimizasyonu<\/strong><\/p>\n T\u00fcrkiye’nin \u00f6nde gelen e-ticaret sitelerinden biri, m\u00fc\u015fteri hizmetleri s\u00fcre\u00e7lerini otomatikle\u015ftirmek i\u00e7in bir yapay zeka destekli sohbet botu kullanmaya karar verdi. Ancak, ilk denemelerde botun maliyetleri beklenenden \u00e7ok daha y\u00fcksek \u00e7\u0131kt\u0131 ve yan\u0131t s\u00fcreleri uzundu. Bu durum, m\u00fc\u015fteri memnuniyetini d\u00fc\u015f\u00fcr\u00fcrken operasyonel maliyetleri art\u0131r\u0131yordu.<\/p>\n Problem, botun her etkile\u015fimde t\u00fcm sohbet ge\u00e7mi\u015fini (bazen 20-30 mesaja kadar) ve hatta kullan\u0131c\u0131n\u0131n \u00f6nceki sipari\u015f detaylar\u0131n\u0131 i\u00e7eren uzun bir bilgiyi LLM’e g\u00f6ndermesiydi. Bu durum, her sorguda binlerce token kullan\u0131lmas\u0131na neden oluyordu ve modelin ba\u011flam penceresi limitlerini zorluyordu.<\/p>\n \u00c7\u00f6z\u00fcm olarak a\u015fa\u011f\u0131daki token optimizasyon stratejileri uyguland\u0131:<\/p>\n Bu optimizasyonlar sonucunda, perakendeci ayl\u0131k API maliyetlerinde %40’\u0131n \u00fczerinde bir d\u00fc\u015f\u00fc\u015f sa\u011flad\u0131 ve botun ortalama yan\u0131t s\u00fcresi %25 oran\u0131nda k\u0131sald\u0131. M\u00fc\u015fteri memnuniyeti artarken, operasyonel verimlilik de \u00f6nemli \u00f6l\u00e7\u00fcde iyile\u015fti. Bu vaka analizi, token y\u00f6netiminin sadece teorik bir kavram olmad\u0131\u011f\u0131n\u0131, ayn\u0131 zamanda somut i\u015f sonu\u00e7lar\u0131 \u00fczerinde do\u011frudan bir etkisi oldu\u011funu a\u00e7\u0131k\u00e7a g\u00f6stermektedir.<\/p>\n Farkl\u0131 dillerin, ayn\u0131 metin i\u00e7in farkl\u0131 token say\u0131lar\u0131na yol a\u00e7abilece\u011fini unutmamak \u00f6nemlidir. \u00d6zellikle T\u00fcrk\u00e7e gibi eklemeli dillerde (agglutinative languages), kelimeler k\u00f6k ve eklerle uzad\u0131\u011f\u0131 i\u00e7in \u0130ngilizce’ye k\u0131yasla daha az kelimeyle daha fazla anlam ifade edilebilir. Ancak bu, token say\u0131s\u0131n\u0131n da daha az olaca\u011f\u0131 anlam\u0131na gelmez; bazen tek bir uzun T\u00fcrk\u00e7e kelime, \u0130ngilizce’deki birka\u00e7 kelimeye e\u015fit token say\u0131s\u0131na sahip olabilir. \u00d6rne\u011fin, “gelenekselle\u015ftiremediklerimizdenmi\u015fsinizcesine” gibi bir kelime, \u0130ngilizce’de birka\u00e7 kelimeyle ifade edilebilirken, T\u00fcrk\u00e7e’de tek bir kelime olmas\u0131na ra\u011fmen \u00e7ok say\u0131da alt kelime token\u0131 i\u00e7erebilir. \u00c7ok dilli uygulamalar geli\u015ftirirken bu farkl\u0131l\u0131klar\u0131 g\u00f6z \u00f6n\u00fcnde bulundurarak testler yapmak ve buna g\u00f6re stratejiler geli\u015ftirmek \u00f6nemlidir. Bu, \u00e7eviri veya \u00e7ok dilli sohbet botlar\u0131 gibi uygulamalarda maliyet ve performans tahminleri i\u00e7in kritik bir fakt\u00f6rd\u00fcr.<\/p>\n B\u00fcy\u00fck Dil Modelleri (LLM’ler) ile \u00e7al\u0131\u015f\u0131rken tokenlar\u0131n ne oldu\u011funu, nas\u0131l say\u0131ld\u0131\u011f\u0131n\u0131 ve maliyet, performans ile ba\u011flam penceresi \u00fczerindeki etkilerini anlamak, sadece bir teknik bilgi olmaktan \u00f6te, ba\u015far\u0131l\u0131 yapay zeka uygulamalar\u0131 geli\u015ftirmenin temel ta\u015f\u0131d\u0131r. T\u0131pk\u0131 bir \u00e7ift\u00e7inin ekinleri filizlenmeden \u00f6nce tohumlar\u0131n\u0131 saymas\u0131 gibi, bir yapay zeka geli\u015ftiricisinin de promptlar\u0131n\u0131 g\u00f6ndermeden \u00f6nce tokenlar\u0131n\u0131 saymas\u0131, kaynaklar\u0131 verimli kullanman\u0131n ve beklenmedik maliyetlerden ka\u00e7\u0131nman\u0131n anahtar\u0131d\u0131r.<\/p>\n Bu makalede ele ald\u0131\u011f\u0131m\u0131z gibi, do\u011fru tokenizasyon y\u00f6ntemlerini se\u00e7mek, prompt m\u00fchendisli\u011fi tekniklerini kullanmak, uzun metinleri ak\u0131ll\u0131ca i\u015flemek ve modelin ba\u011flam penceresi limitlerini g\u00f6z \u00f6n\u00fcnde bulundurmak, yapay zeka projelerinizin ba\u015far\u0131s\u0131 i\u00e7in kritik \u00f6neme sahiptir. Tokenlar\u0131 etkin bir \u015fekilde y\u00f6netmek, daha h\u0131zl\u0131, daha uygun maliyetli ve daha yetenekli yapay zeka uygulamalar\u0131 olu\u015fturman\u0131z\u0131 sa\u011flayacakt\u0131r. Unutmay\u0131n, her bir token \u00f6nemlidir ve onlar\u0131 dikkatli bir \u015fekilde y\u00f6netmek, yapay zeka yolculu\u011funuzda size \u00f6nemli avantajlar sa\u011flayacakt\u0131r. Bu yakla\u015f\u0131m, sadece bug\u00fcn\u00fcn de\u011fil, gelece\u011fin yapay zeka uygulamalar\u0131n\u0131 \u015fekillendirmede de kilit bir rol oynayacakt\u0131r.<\/p>\n #YapayZeka #LLM #TokenY\u00f6netimi #Do\u011falDil\u0130\u015fleme #PromptM\u00fchendisli\u011fi<\/p>\n","protected":false},"excerpt":{"rendered":"B\u00fcy\u00fck Dil Modelleri (LLM’ler) d\u00fcnyas\u0131nda etkili ve maliyet a\u00e7\u0131s\u0131ndan verimli \u00e7\u00f6z\u00fcmler geli\u015ftirmek, \u00e7o\u011fu zaman g\u00f6zden ka\u00e7an ancak kritik bir kavram olan “token” y\u00f6netimine dayan\u0131r.","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-43259","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n\n
Token Say\u0131m\u0131n\u0131 Ger\u00e7ekle\u015ftirmek: Pratik Y\u00f6ntemler ve Ara\u00e7lar<\/h2>\n
Pop\u00fcler K\u00fct\u00fcphaneler ve API Ara\u00e7lar\u0131<\/h3>\n
\n
Ad\u0131m Ad\u0131m Python \u00d6rnekleri<\/h3>\n
Tiktoken ile Token Say\u0131m\u0131 (OpenAI Modelleri \u0130\u00e7in)<\/h4>\n
tiktoken<\/code> k\u00fct\u00fcphanesini y\u00fcklemeniz gerekir:<\/p>\npip install tiktoken<\/code><\/pre>\n<\/p><\/div>\nimport tiktoken\n\ndef count_tokens_openai(text: str, model_name: str) -> int:\n \"\"\"\n Belirtilen OpenAI modeli i\u00e7in metindeki token say\u0131s\u0131n\u0131 hesaplar.\n \"\"\"\n try:\n encoding = tiktoken.encoding_for_model(model_name)\n except KeyError:\n # Model bulunamazsa varsay\u0131lan olarak cl100k_base kullan\u0131l\u0131r\n # Bu, GPT-4, GPT-3.5-turbo gibi modeller i\u00e7in ge\u00e7erlidir.\n encoding = tiktoken.get_encoding(\"cl100k_base\")\n \n return len(encoding.encode(text))\n\ntext_to_analyze = \"B\u00fcy\u00fck dil modelleri gelece\u011fin teknolojisidir. Yapay zeka uygulamalar\u0131 hayat\u0131m\u0131z\u0131 kolayla\u015ft\u0131r\u0131yor.\"\nmodel_for_counting = \"gpt-4\" # veya \"gpt-3.5-turbo\"\n\ntoken_count = count_tokens_openai(text_to_analyze, model_for_counting)\nprint(f\"'{text_to_analyze}' metni {model_for_counting} modeli i\u00e7in {token_count} token i\u00e7eriyor.\")\n\n# Mesaj format\u0131ndaki token say\u0131m\u0131 (ChatGPT API format\u0131 i\u00e7in)\ndef num_tokens_from_messages(messages, model=\"gpt-3.5-turbo\"):\n \"\"\"Return the number of tokens used by a list of messages.\"\"\"\n try:\n encoding = tiktoken.encoding_for_model(model)\n except KeyError:\n encoding = tiktoken.get_encoding(\"cl100k_base\")\n if model in {\n \"gpt-3.5-turbo\",\n \"gpt-3.5-turbo-0301\",\n \"gpt-4\",\n \"gpt-4-0314\",\n \"gpt-4-32k\",\n \"gpt-4-32k-0314\",\n }:\n tokens_per_message = 4 # every message follows <|start|>{role\/name}\\n{content}<|end|>\n tokens_per_name = -1 # if there's a name, the role is omitted\n elif model == \"gpt-3.5-turbo-0613\": # gpt-3.5-turbo-0613\n tokens_per_message = 3\n tokens_per_name = 1\n elif model == \"gpt-3.5-turbo-16k\": # gpt-3.5-turbo-16k-0613\n tokens_per_message = 3\n tokens_per_name = 1\n elif model == \"gpt-4-0613\": # gpt-4-0613\n tokens_per_message = 3\n tokens_per_name = 1\n elif model == \"gpt-3.5-turbo-1106\": # gpt-3.5-turbo-1106\n tokens_per_message = 3\n tokens_per_name = 1\n elif model == \"gpt-4-1106-preview\": # gpt-4-1106-preview\n tokens_per_message = 3\n tokens_per_name = 1\n else:\n raise NotImplementedError(f\"\"\"num_tokens_from_messages() is not implemented for model {model}. See https:\/\/github.com\/openai\/openai-python\/blob\/main\/chatml.md for information on how messages are converted to tokens.\"\"\")\n num_tokens = 0\n for message in messages:\n num_tokens += tokens_per_message\n for key, value in message.items():\n num_tokens += len(encoding.encode(value))\n if key == \"name\":\n num_tokens += tokens_per_name\n num_tokens += 3 # every reply is primed with <|start|>assistant<|message|>\n return num_tokens\n\nmessages = [\n {\"role\": \"system\", \"content\": \"Sen yard\u0131mc\u0131 bir yapay zeka asistan\u0131s\u0131n.\"},\n {\"role\": \"user\", \"content\": \"Merhaba, nas\u0131ls\u0131n?\"}\n]\n\ntoken_count_messages = num_tokens_from_messages(messages, model=\"gpt-3.5-turbo\")\nprint(f\"Mesaj listesi i\u00e7in {token_count_messages} token kullan\u0131ld\u0131.\")<\/code><\/pre>\n<\/p><\/div>\ncount_tokens_openai<\/code> fonksiyonu basit bir metin i\u00e7in token say\u0131s\u0131n\u0131 hesaplarken, num_tokens_from_messages<\/code> fonksiyonu ise OpenAI’\u0131n sohbet (chat) API format\u0131ndaki mesaj listeleri i\u00e7in token say\u0131s\u0131n\u0131 daha do\u011fru bir \u015fekilde hesaplar. Bu, sistem mesajlar\u0131, kullan\u0131c\u0131 mesajlar\u0131 ve hatta modelin kendi yan\u0131t\u0131n\u0131n ba\u015flang\u0131c\u0131 i\u00e7in kullan\u0131lan \u00f6zel tokenlar\u0131 hesaba katt\u0131\u011f\u0131 i\u00e7in \u00f6nemlidir. Bu detaylar, API maliyetlerinin do\u011fru bir \u015fekilde tahmin edilmesi i\u00e7in hayati \u00f6nem ta\u015f\u0131r.<\/p>\nHugging Face Transformers ile Token Say\u0131m\u0131<\/h4>\n
pip install transformers<\/code><\/pre>\n<\/p><\/div>\nfrom transformers import AutoTokenizer\n\ndef count_tokens_hf(text: str, model_name: str) -> int:\n \"\"\"\n Belirtilen Hugging Face modeli i\u00e7in metindeki token say\u0131s\u0131n\u0131 hesaplar.\n \"\"\"\n tokenizer = AutoTokenizer.from_pretrained(model_name)\n tokens = tokenizer.encode(text)\n return len(tokens)\n\ntext_to_analyze_hf = \"Bu bir Hugging Face tokenizer denemesidir.\"\nmodel_for_counting_hf = \"bert-base-uncased\" # veya \"gpt2\", \"dbmdz\/bert-base-turkish-cased\"\n\ntoken_count_hf = count_tokens_hf(text_to_analyze_hf, model_for_counting_hf)\nprint(f\"'{text_to_analyze_hf}' metni {model_for_counting_hf} modeli i\u00e7in {token_count_hf} token i\u00e7eriyor.\")<\/code><\/pre>\n<\/p><\/div>\nGeli\u015fmi\u015f Token Y\u00f6netimi Stratejileri: Daha Ak\u0131ll\u0131 ve Verimli Kullan\u0131m \u0130\u00e7in \u0130pu\u00e7lar\u0131<\/h2>\n
Prompt M\u00fchendisli\u011fi ile Token Optimizasyonu<\/h3>\n
\n
Uzun Metinleri \u0130\u015fleme Teknikleri (Chunking ve \u00d6zetleme Zincirleri)<\/h3>\n
\n
\n
\u00c7ok Dilli Modellerde Tokenizasyon Farkl\u0131l\u0131klar\u0131<\/h3>\n
Sonu\u00e7: Tokenlar\u0131 Anlamak, Yapay Zekay\u0131 Anlamakt\u0131r<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n
\n
tiktoken<\/code>, Hugging Face ekosistemindeki modeller i\u00e7in transformers<\/code> k\u00fct\u00fcphanesindeki ilgili tokenizer’\u0131 kullanman\u0131z en do\u011frusudur. Genellikle model sa\u011flay\u0131c\u0131s\u0131n\u0131n \u00f6nerdi\u011fi arac\u0131 kullanmak en g\u00fcvenilir sonucu verir ve API \u00fccretlendirmesiyle uyumlulu\u011fu garanti eder.<\/dd>\n