B\u00fcy\u00fck Dil Modelleri (LLM’ler) ve \u00dcretken Yapay Zeka uygulamalar\u0131n\u0131n y\u00fckseli\u015fiyle birlikte, metin i\u015fleme ve \u00f6zellikle metin b\u00f6l\u00fcmleme (chunking) s\u00fcre\u00e7leri kritik bir \u00f6neme sahip olmu\u015ftur. LLM’lerin s\u0131n\u0131rl\u0131 ba\u011flam pencereleri, uzun metinlerin do\u011frudan i\u015flenmesini zorla\u015ft\u0131r\u0131rken, Bilgi Geri Kazan\u0131m Destekli \u00dcretim (RAG) sistemleri i\u00e7in do\u011fru ve anlaml\u0131 “chunk”lar olu\u015fturmak, modelin performans\u0131n\u0131 do\u011frudan etkiler. \u0130\u015fte tam bu noktada, farkl\u0131 metin t\u00fcrlerini (c\u00fcmleler, kodlar, dok\u00fcmanlar) ak\u0131ll\u0131ca ve esnek bir \u015fekilde b\u00f6l\u00fcmleyebilen Chunklet-py<\/strong> k\u00fct\u00fcphanesi devreye giriyor. Bu makalede, Chunklet-py’nin sundu\u011fu \u00e7\u00f6z\u00fcmleri, neden bu kadar \u00f6nemli oldu\u011funu ve \u00e7e\u015fitli kullan\u0131m senaryolar\u0131nda nas\u0131l fark yaratt\u0131\u011f\u0131n\u0131 detayl\u0131ca inceleyece\u011fiz.<\/p>\n Metin b\u00f6l\u00fcmleme, b\u00fcy\u00fck metin bloklar\u0131n\u0131 daha k\u00fc\u00e7\u00fck, y\u00f6netilebilir ve anlaml\u0131 par\u00e7alara ay\u0131rma i\u015flemidir. Bu i\u015flem, modern do\u011fal dil i\u015fleme (NLP) ve yapay zeka uygulamalar\u0131 i\u00e7in temel bir ad\u0131md\u0131r.<\/p>\n B\u00fcy\u00fck dil modelleri, belirli bir anda i\u015fleyebilecekleri token say\u0131s\u0131yla s\u0131n\u0131rl\u0131d\u0131r. Bu “ba\u011flam penceresi” s\u0131n\u0131rlamas\u0131, uzun dok\u00fcmanlar\u0131n veya konu\u015fmalar\u0131n tek seferde i\u015flenmesini engeller. Metinleri anlaml\u0131 par\u00e7alara b\u00f6lmek, LLM’lerin bu par\u00e7alar\u0131 ayr\u0131 ayr\u0131 i\u015flemesine ve daha sonra birle\u015ftirilmi\u015f bilgiyi kullanmas\u0131na olanak tan\u0131r. Aksi takdirde, model \u00f6nemli bilgileri ka\u00e7\u0131rabilir veya anlams\u0131z \u00e7\u0131kt\u0131lar \u00fcretebilir.<\/p>\n RAG sistemleri, LLM’lerin harici bir bilgi taban\u0131ndan ilgili bilgileri almas\u0131n\u0131 sa\u011flayarak yan\u0131t kalitesini art\u0131r\u0131r. Bu sistemlerde, bilgi taban\u0131ndaki dok\u00fcmanlar genellikle vekt\u00f6r veritabanlar\u0131nda saklanmadan \u00f6nce k\u00fc\u00e7\u00fck par\u00e7alara ayr\u0131l\u0131r. Do\u011fru boyutta ve i\u00e7erikteki chunk’lar, sorguyla en alakal\u0131 bilgilerin daha verimli bir \u015fekilde al\u0131nmas\u0131n\u0131 sa\u011flar. \u00c7ok b\u00fcy\u00fck chunk’lar g\u00fcr\u00fclt\u00fcye neden olabilirken, \u00e7ok k\u00fc\u00e7\u00fck chunk’lar ba\u011flam kayb\u0131na yol a\u00e7abilir.<\/p>\n Metin b\u00f6l\u00fcmleme, sadece LLM’ler i\u00e7in de\u011fil, genel NLP g\u00f6revleri i\u00e7in de bir \u00f6n i\u015fleme ad\u0131m\u0131d\u0131r. Metin s\u0131n\u0131fland\u0131rma, \u00f6zetleme, bilgi \u00e7\u0131kar\u0131m\u0131 gibi g\u00f6revlerde, verilerin belirli bir boyutta veya yap\u0131da olmas\u0131 gerekebilir. Chunking, bu t\u00fcr g\u00f6revler i\u00e7in veri setlerini haz\u0131rlamada esneklik ve kontrol sa\u011flar.<\/p>\n Chunklet-py<\/strong>, Python tabanl\u0131, farkl\u0131 metin t\u00fcrlerini (c\u00fcmleler, kodlar, yap\u0131land\u0131r\u0131lm\u0131\u015f dok\u00fcmanlar) ak\u0131ll\u0131ca ve esnek bir \u015fekilde b\u00f6l\u00fcmlemek i\u00e7in tasarlanm\u0131\u015f a\u00e7\u0131k kaynakl\u0131 bir k\u00fct\u00fcphanedir. Geleneksel metin b\u00f6l\u00fcmleme y\u00f6ntemlerinin s\u0131n\u0131rlamalar\u0131n\u0131 a\u015fmay\u0131 hedefler.<\/p>\n Geleneksel metin b\u00f6l\u00fcmleme y\u00f6ntemleri genellikle basit karakter veya kelime say\u0131s\u0131na dayal\u0131 kesme i\u015flemleri yapar. Bu y\u00f6ntemler, metnin anlamsal b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc g\u00f6z ard\u0131 edebilir. \u00d6rne\u011fin, bir c\u00fcmlenin ortas\u0131ndan kesmek veya bir kod blo\u011funu anlams\u0131z bir yerden b\u00f6lmek, ba\u011flam kayb\u0131na ve hatal\u0131 sonu\u00e7lara yol a\u00e7ar. Ayr\u0131ca, farkl\u0131 metin t\u00fcrleri (kod, d\u00fcz metin, Markdown) i\u00e7in tek bir “herkese uyan tek beden” yakla\u015f\u0131m\u0131 genellikle yetersiz kal\u0131r.<\/p>\n Chunklet-py, bu sorunlar\u0131 \u00e7\u00f6zmek i\u00e7in mod\u00fcler ve strateji tabanl\u0131 bir yakla\u015f\u0131m benimser. Farkl\u0131 metin t\u00fcrleri i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015f b\u00f6l\u00fcmleme stratejileri sunar. Bu sayede, metnin yap\u0131s\u0131na ve i\u00e7eri\u011fine uygun, anlamsal b\u00fct\u00fcnl\u00fc\u011f\u00fc koruyan chunk’lar olu\u015fturulabilir. K\u00fct\u00fcphane, sadece b\u00f6lme i\u015flemini yapmakla kalmaz, ayn\u0131 zamanda her bir chunk i\u00e7in ilgili meta verileri de (kaynak, ba\u015flang\u0131\u00e7\/biti\u015f konumu vb.) tutar.<\/p>\n Chunklet-py’nin temel \u00f6zellikleri \u015funlard\u0131r:<\/p>\n D\u00fcz metinlerin i\u015flenmesinde, c\u00fcmle s\u0131n\u0131rlar\u0131n\u0131 do\u011fru bir \u015fekilde belirlemek, anlamsal b\u00fct\u00fcnl\u00fc\u011f\u00fc korumak i\u00e7in hayati \u00f6neme sahiptir. Chunklet-py, bu konuda geli\u015fmi\u015f yetenekler sunar.<\/p>\n Chunklet-py, basit nokta i\u015faretlerine dayal\u0131 b\u00f6lme yerine, do\u011fal dilin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 anlayan geli\u015fmi\u015f algoritmalar kullan\u0131r. K\u0131saltmalar (\u00f6rn. “Dr.”, “vb.”), say\u0131lar veya \u00f6zel karakterler i\u00e7eren durumlar gibi zorlu senaryolarda bile do\u011fru c\u00fcmle s\u0131n\u0131rlar\u0131n\u0131 tespit etmeye \u00e7al\u0131\u015f\u0131r. Bu, \u00f6zellikle RAG sistemlerinde, bir sorguyla e\u015fle\u015fen k\u00fc\u00e7\u00fck ve anlaml\u0131 c\u00fcmle par\u00e7ac\u0131klar\u0131n\u0131 bulmak i\u00e7in kritiktir.<\/p>\n Bir metni c\u00fcmlelerine ay\u0131rmak i\u00e7in Chunklet-py’yi kullanmak olduk\u00e7a basittir:<\/p>\n <\/code><\/p>\n Bu kod, verilen metni c\u00fcmlelerine ay\u0131racak ve her bir c\u00fcmlenin metnini ve ili\u015fkili meta verilerini (\u00f6rne\u011fin, orijinal metindeki ba\u015flang\u0131\u00e7 ve biti\u015f indeksleri) g\u00f6sterecektir.<\/p>\n Chunklet-py'nin \u00f6nemli bir \u00f6zelli\u011fi, her bir chunk ile birlikte zengin meta veriler sa\u011flamas\u0131d\u0131r. Bu meta veriler, chunk'\u0131n orijinal dok\u00fcmandaki konumunu, chunk t\u00fcr\u00fcn\u00fc ve di\u011fer ba\u011flamsal bilgileri i\u00e7erebilir. Bu bilgiler, \u00f6zellikle RAG sistemlerinde, al\u0131nan chunk'\u0131n kayna\u011f\u0131n\u0131 ve ba\u011flam\u0131n\u0131 anlamak i\u00e7in \u00e7ok de\u011ferlidir.<\/p>\n Yaz\u0131l\u0131m projeleri i\u00e7in kod tabanlar\u0131, genellikle binlerce sat\u0131r kodu i\u00e7erir. Bu kodlar\u0131 anlaml\u0131 ve i\u015flenebilir par\u00e7alara ay\u0131rmak, kod analizi, dok\u00fcmantasyon olu\u015fturma veya LLM'lere kod hakk\u0131nda soru sorma gibi g\u00f6revler i\u00e7in hayati \u00f6neme sahiptir.<\/p>\n Chunklet-py, programlama dillerinin s\u00f6zdizimini ve yap\u0131s\u0131n\u0131 anlayarak kod b\u00f6l\u00fcmlemesi yapar. Bu, fonksiyonlar, s\u0131n\u0131flar, metodlar veya mant\u0131ksal bloklar gibi yap\u0131sal birimlere g\u00f6re b\u00f6lme anlam\u0131na gelir. Basit karakter say\u0131s\u0131na dayal\u0131 b\u00f6lme, bir fonksiyonun ortas\u0131ndan kesilmesine neden olabilirken, Chunklet-py bu t\u00fcr anlams\u0131z kesmeleri \u00f6nler. Bu sayede, her bir kod chunk'\u0131, kendi i\u00e7inde tutarl\u0131 ve anla\u015f\u0131l\u0131r bir mant\u0131ksal birim olur.<\/p>\n Chunklet-py, Tree-sitter gibi g\u00fc\u00e7l\u00fc ayr\u0131\u015ft\u0131rma k\u00fct\u00fcphaneleriyle entegre olarak bir\u00e7ok pop\u00fcler programlama dilini destekleyebilir. Python, JavaScript, Java, C++, Go ve Rust gibi diller i\u00e7in ak\u0131ll\u0131 b\u00f6l\u00fcmleme yetenekleri sunar. K\u00fct\u00fcphanenin tasar\u0131m\u0131, gelecekte daha fazla dil deste\u011fi eklemeye a\u00e7\u0131kt\u0131r.<\/p>\n Bir Python kodunu fonksiyonlar\u0131na veya s\u0131n\u0131flar\u0131na g\u00f6re b\u00f6lmek i\u00e7in Chunklet-py'yi kullanabiliriz:<\/p>\n <\/code><\/p>\n Bu \u00f6rnekte, Yap\u0131land\u0131r\u0131lm\u0131\u015f dok\u00fcmanlar, \u00f6zellikle Markdown, reStructuredText veya HTML gibi formatlarda, kendi i\u00e7inde hiyerar\u015fik bir yap\u0131ya sahiptir. Chunklet-py, bu yap\u0131lar\u0131 anlayarak daha anlaml\u0131 b\u00f6l\u00fcmlemeler yapabilir.<\/p>\n Markdown dok\u00fcmanlar\u0131 genellikle ba\u015fl\u0131klar ( Chunklet-py, kullan\u0131c\u0131lar\u0131n kendi b\u00f6l\u00fcmleme stratejilerini tan\u0131mlamas\u0131na veya mevcut stratejileri \u00f6zelle\u015ftirmesine olanak tan\u0131r. \u00d6rne\u011fin, bir Markdown dok\u00fcman\u0131n\u0131 sadece H1 ve H2 ba\u015fl\u0131klar\u0131na g\u00f6re b\u00f6lmek veya belirli bir karakter say\u0131s\u0131n\u0131 a\u015fan chunk'lar\u0131 daha da alt b\u00f6l\u00fcmlere ay\u0131rmak m\u00fcmk\u00fcnd\u00fcr. Bu esneklik, farkl\u0131 dok\u00fcman t\u00fcrleri ve kullan\u0131m senaryolar\u0131 i\u00e7in optimum chunking \u00e7\u00f6z\u00fcmleri olu\u015fturmay\u0131 sa\u011flar.<\/p>\n Bir Markdown dok\u00fcman\u0131n\u0131 ba\u015fl\u0131klar\u0131na g\u00f6re b\u00f6lmek i\u00e7in a\u015fa\u011f\u0131daki gibi bir kullan\u0131m sergilenebilir:<\/p>\n <\/code> # Markdown dok\u00fcman\u0131n\u0131 ba\u015fl\u0131klar\u0131na g\u00f6re b\u00f6l\u00fcmleme for i, chunk in enumerate(chunks): Bu \u00f6rnekte, \"Giri\u015f\", \"Temel \u00d6zellikler\" ve \"Kurulum\" gibi ba\u015fl\u0131klar alt\u0131nda yer alan i\u00e7erikler ayr\u0131 chunk'lar olarak i\u015flenecektir. Her chunk'\u0131n Chunklet-py, temel b\u00f6l\u00fcmleme yeteneklerinin \u00f6tesinde, daha karma\u015f\u0131k ihtiya\u00e7lara y\u00f6nelik geli\u015fmi\u015f \u00f6zellikler ve entegrasyonlar sunar.<\/p>\n Bazen sabit boyutlu chunk'lar yerine, i\u00e7eri\u011fe ba\u011fl\u0131 olarak dinamik boyutlarda chunk'lar olu\u015fturmak veya chunk'lar aras\u0131nda belirli bir \u00e7ak\u0131\u015fma (overlap) sa\u011flamak istenebilir. \u00c7ak\u0131\u015fmalar, bir chunk'\u0131n sonundaki veya ba\u015f\u0131ndaki ba\u011flam\u0131n bir sonraki\/\u00f6nceki chunk'a ta\u015f\u0131nmas\u0131n\u0131 sa\u011flayarak, LLM'lerin daha iyi ba\u011flam anlamas\u0131na yard\u0131mc\u0131 olur. Chunklet-py, bu t\u00fcr dinamik boyutland\u0131rma ve \u00e7ak\u0131\u015fma stratejilerini destekler.<\/p>\n Chunklet-py'nin mod\u00fcler yap\u0131s\u0131 sayesinde, kullan\u0131c\u0131lar kendi \u00f6zel b\u00f6l\u00fcmleme stratejilerini kolayca tan\u0131mlayabilirler. Belirli bir dosya format\u0131 (\u00f6rn. XML, JSON) veya \u00f6zel bir i\u015f mant\u0131\u011f\u0131na g\u00f6re b\u00f6l\u00fcmleme yap\u0131lmas\u0131 gerekti\u011finde, k\u00fct\u00fcphanenin geni\u015fletilebilir mimarisi bu t\u00fcr \u00f6zelle\u015ftirmelere olanak tan\u0131r. Bu, Chunklet-py'yi \u00e7ok \u00e7e\u015fitli projeler i\u00e7in uyarlanabilir bir ara\u00e7 haline getirir.<\/p>\n Chunklet-py taraf\u0131ndan olu\u015fturulan anlaml\u0131 chunk'lar, do\u011frudan Pinecone, Weaviate, ChromaDB gibi pop\u00fcler vekt\u00f6r veritabanlar\u0131na aktar\u0131labilir. Her chunk ile birlikte gelen meta veriler, vekt\u00f6r veritaban\u0131nda ek filtreleme ve daha hassas bilgi aramalar\u0131 i\u00e7in kullan\u0131labilir. Bu entegrasyon, RAG sistemlerinin temelini olu\u015fturur ve LLM uygulamalar\u0131n\u0131n bilgi eri\u015fim yeteneklerini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r.<\/p>\n Chunklet-py'nin esnekli\u011fi ve g\u00fc\u00e7l\u00fc \u00f6zellikleri, onu \u00e7e\u015fitli alanlarda vazge\u00e7ilmez bir ara\u00e7 haline getirir.<\/p>\n Chunklet-py, LLM'ler i\u00e7in veri haz\u0131rl\u0131\u011f\u0131n\u0131n merkezinde yer al\u0131r. Soru-cevap sistemleri, otomatik \u00f6zetleme, chatbotlar ve kod tamamlama ara\u00e7lar\u0131 gibi uygulamalarda, LLM'lere sunulan bilginin kalitesini art\u0131r\u0131r. Anlaml\u0131 chunk'lar sayesinde, LLM'ler daha do\u011fru, ilgili ve ba\u011flaml\u0131 yan\u0131tlar \u00fcretebilir.<\/p>\n Kurumsal arama motorlar\u0131, dok\u00fcman y\u00f6netim sistemleri ve bilgi tabanlar\u0131 i\u00e7in Chunklet-py, i\u00e7eri\u011fin indekslenmesi ve aranabilir hale getirilmesi s\u00fcrecini optimize eder. Kullan\u0131c\u0131lar\u0131n arad\u0131\u011f\u0131 bilgilere daha h\u0131zl\u0131 ve do\u011fru bir \u015fekilde ula\u015fmas\u0131n\u0131 sa\u011flar.<\/p>\n A\u00e7\u0131k kaynakl\u0131 bir proje olarak Chunklet-py, topluluk katk\u0131lar\u0131na a\u00e7\u0131kt\u0131r. Yeni diller i\u00e7in kod b\u00f6l\u00fcmleme deste\u011fi, farkl\u0131 dok\u00fcman formatlar\u0131 i\u00e7in stratejiler veya geli\u015fmi\u015f chunking algoritmalar\u0131 geli\u015ftirmeye ilgi duyan herkes projeye katk\u0131da bulunabilir. Bu, k\u00fct\u00fcphanenin s\u00fcrekli olarak geli\u015fmesini ve daha geni\u015f bir kullan\u0131c\u0131 taban\u0131na hizmet etmesini sa\u011flar.<\/p>\n Metin b\u00f6l\u00fcmleme, modern yapay zeka ve do\u011fal dil i\u015fleme uygulamalar\u0131n\u0131n temel ta\u015flar\u0131ndan biridir. Chunklet-py<\/strong>, bu karma\u015f\u0131k g\u00f6revi, farkl\u0131 metin t\u00fcrleri i\u00e7in ak\u0131ll\u0131, esnek ve mod\u00fcler bir yakla\u015f\u0131mla basitle\u015ftirir. C\u00fcmlelerden kod bloklar\u0131na, yap\u0131land\u0131r\u0131lm\u0131\u015f dok\u00fcmanlardan \u00f6zel formatlara kadar geni\u015f bir yelpazede anlaml\u0131 chunk'lar olu\u015fturma yetene\u011fiyle, LLM'lerin ba\u011flam anlama yeteneklerini geli\u015ftirir, RAG sistemlerinin verimlili\u011fini art\u0131r\u0131r ve genel olarak metin i\u015fleme s\u00fcre\u00e7lerini optimize eder. Chunklet-py, geli\u015ftiricilere ve ara\u015ft\u0131rmac\u0131lara, veri haz\u0131rl\u0131\u011f\u0131 a\u015famas\u0131nda zaman kazand\u0131ran ve daha kaliteli sonu\u00e7lar elde etmelerini sa\u011flayan g\u00fc\u00e7l\u00fc bir ara\u00e7 sunmaktad\u0131r. Bu k\u00fct\u00fcphane, metin tabanl\u0131 yapay zeka uygulamalar\u0131n\u0131n gelece\u011finde \u00f6nemli bir rol oynamaya adayd\u0131r.<\/p>\n Chunklet-py, Tree-sitter entegrasyonu sayesinde Python, JavaScript, Java, C++, Go, Rust gibi bir\u00e7ok pop\u00fcler programlama dili i\u00e7in dil bilgisine duyarl\u0131 kod b\u00f6l\u00fcmleme deste\u011fi sunmaktad\u0131r. Desteklenen dillerin listesi s\u00fcrekli geni\u015flemektedir.<\/p>\n Chunklet-py ile dok\u00fcmanlar\u0131n\u0131z\u0131 (d\u00fcz metin, Markdown, kod vb.) anlaml\u0131 chunk'lara b\u00f6ld\u00fckten sonra, bu chunk'lar\u0131 ve ili\u015fkili meta verilerini (kaynak, konum vb.) bir vekt\u00f6r veritaban\u0131na (\u00f6rn. Pinecone, ChromaDB) g\u00f6mebilirsiniz. Kullan\u0131c\u0131 sorgular\u0131 geldi\u011finde, vekt\u00f6r veritaban\u0131ndan en alakal\u0131 chunk'lar\u0131 alarak LLM'ye sunabilirsiniz.<\/p>\n Evet, Chunklet-py'nin mod\u00fcler yap\u0131s\u0131 sayesinde kendi \u00f6zel b\u00f6l\u00fcmleme stratejilerinizi (custom chunkers) tan\u0131mlayabilir ve uygulayabilirsiniz. Bu, belirli bir dosya format\u0131na veya i\u015f mant\u0131\u011f\u0131na \u00f6zel b\u00f6l\u00fcmleme ihtiya\u00e7lar\u0131n\u0131z oldu\u011funda b\u00fcy\u00fck esneklik sa\u011flar.<\/p>\n Chunklet-py, b\u00f6l\u00fcmleme stratejilerine g\u00f6re chunk'lar aras\u0131nda \u00e7ak\u0131\u015fma ayarlama se\u00e7enekleri sunar. Bu genellikle Chunklet-py'yi Python paket y\u00f6neticisi pip ile kolayca kurabilirsiniz: 1. Metin B\u00f6l\u00fcmleme Neden Bu Kadar \u00d6nemli?<\/h3>\n
LLM’lerin Ba\u011flam Penceresi S\u0131n\u0131rlamalar\u0131<\/h4>\n
RAG (Retrieval Augmented Generation) Sistemlerinde Verimlilik<\/h4>\n
Veri Haz\u0131rl\u0131\u011f\u0131 ve \u00d6n \u0130\u015fleme<\/h4>\n
2. Chunklet-py Nedir ve Neden Farkl\u0131d\u0131r?<\/h3>\n
Geleneksel Y\u00f6ntemlerin S\u0131n\u0131rlamalar\u0131<\/h4>\n
Chunklet-py’nin Mod\u00fcler ve Esnek Yakla\u015f\u0131m\u0131<\/h4>\n
Temel \u00d6zelliklere Genel Bak\u0131\u015f<\/h4>\n
\n
3. Chunklet-py ile C\u00fcmle B\u00f6l\u00fcmleme (Sentence Chunking)<\/h3>\n
Ak\u0131ll\u0131 C\u00fcmle S\u0131n\u0131rlar\u0131 Tespiti<\/h4>\n
Kod \u00d6rne\u011fi: Temel C\u00fcmle B\u00f6l\u00fcmleme<\/h4>\n
\nfrom chunklet import chunk_text\n\ntext = \"\"\"\nMerhaba d\u00fcnya. Bu bir test c\u00fcmlesidir. Chunklet-py, metinleri b\u00f6lmek i\u00e7in harika bir ara\u00e7t\u0131r.\nDr. Smith, yar\u0131n 9:00'da ba\u015flayacak olan konferansta konu\u015facak.\n\"\"\"\n\n# C\u00fcmle baz\u0131nda b\u00f6l\u00fcmleme\nchunks = chunk_text(text, strategy=\"sentence\")\n\nfor i, chunk in enumerate(chunks):\n print(f\"Chunk {i+1}: '{chunk.text}'\")\n print(f\" Meta: {chunk.metadata}\")\n print(\"-\" * 20)\n<\/pre>\nMeta Veri Y\u00f6netimi<\/h4>\n
4. Chunklet-py ile Kod B\u00f6l\u00fcmleme (Code Chunking)<\/h3>\n
Dil Bilgisine Duyarl\u0131 B\u00f6l\u00fcmleme<\/h4>\n
Desteklenen Programlama Dilleri<\/h4>\n
Kod \u00d6rne\u011fi: Python Kodu B\u00f6l\u00fcmleme<\/h4>\n
\nfrom chunklet import chunk_code\n\npython_code = \"\"\"\ndef calculate_sum(a, b):\n # Bu bir toplama fonksiyonudur\n return a + b\n\nclass MyClass:\n def __init__(self, value):\n self.value = value\n\n def get_value(self):\n return self.value\n\n# Ana program ak\u0131\u015f\u0131\nif __name__ == \"__main__\":\n result = calculate_sum(10, 20)\n print(f\"Toplam: {result}\")\n obj = MyClass(30)\n print(f\"De\u011fer: {obj.get_value()}\")\n\"\"\"\n\n# Python kodu baz\u0131nda b\u00f6l\u00fcmleme\nchunks = chunk_code(python_code, language=\"python\")\n\nfor i, chunk in enumerate(chunks):\n print(f\"Chunk {i+1} (Type: {chunk.metadata.get('chunk_type')}):\")\n print(f\"'{chunk.text}'\")\n print(f\" Meta: {chunk.metadata}\")\n print(\"-\" * 20)\n<\/pre>\ncalculate_sum<\/code> fonksiyonu, MyClass<\/code> s\u0131n\u0131f\u0131 ve ana program ak\u0131\u015f\u0131 ayr\u0131 chunk'lar olarak alg\u0131lanacakt\u0131r. Her chunk'\u0131n chunk_type<\/code> meta verisi, onun bir fonksiyon mu, s\u0131n\u0131f m\u0131 yoksa ba\u015fka bir kod blo\u011fu mu oldu\u011funu belirtecektir.<\/p>\n5. Chunklet-py ile Dok\u00fcman B\u00f6l\u00fcmleme (Document Chunking)<\/h3>\n
Markdown ve Di\u011fer Yap\u0131sal Metinler<\/h4>\n
#<\/code>, ##<\/code>, vb.), listeler ve kod bloklar\u0131 gibi \u00f6\u011felerle d\u00fczenlenir. Chunklet-py, bu yap\u0131sal i\u015faretleri kullanarak dok\u00fcman\u0131 mant\u0131ksal b\u00f6l\u00fcmlere ay\u0131rabilir. \u00d6rne\u011fin, her bir H2 ba\u015fl\u0131\u011f\u0131 alt\u0131nda yer alan i\u00e7eri\u011fi ayr\u0131 bir chunk olarak ele alabilir. Bu, bir dok\u00fcman\u0131 \u00f6zetlemek, belirli bir b\u00f6l\u00fcm hakk\u0131nda soru sormak veya dok\u00fcmantasyon olu\u015fturmak i\u00e7in son derece faydal\u0131d\u0131r.<\/p>\n\u00d6zelle\u015ftirilebilir B\u00f6l\u00fcmleme Stratejileri<\/h4>\n
Kod \u00d6rne\u011fi: Markdown Dok\u00fcman\u0131 B\u00f6l\u00fcmleme<\/h4>\n
\nfrom chunklet import chunk_document\n\nmarkdown_doc = \"\"\"\n# Giri\u015f\nBu dok\u00fcman, Chunklet-py k\u00fct\u00fcphanesini tan\u0131tmaktad\u0131r.\n\n## Temel \u00d6zellikler\nChunklet-py'nin ana \u00f6zellikleri \u015funlard\u0131r:\n- C\u00fcmle b\u00f6l\u00fcmleme\n- Kod b\u00f6l\u00fcmleme\n- Dok\u00fcman b\u00f6l\u00fcmleme\n\n### C\u00fcmle B\u00f6l\u00fcmleme Detaylar\u0131\nC\u00fcmleler, dilbilgisel yap\u0131ya g\u00f6re ayr\u0131l\u0131r.\n\n## Kurulum\nK\u00fct\u00fcphaneyi pip ile kurabilirsiniz:\npip install chunklet-py<\/pre>\n
\n\"\"\"<\/p>\n
\nchunks = chunk_document(markdown_doc, strategy=\"markdown\")<\/p>\n
\n print(f\"Chunk {i+1} (Level: {chunk.metadata.get('level')}):\")
\n print(f\"'{chunk.text}'\")
\n print(f\" Meta: {chunk.metadata}\")
\n print(\"-\" * 20)
\n<\/code><\/p>\nlevel<\/code> meta verisi, ba\u015fl\u0131\u011f\u0131n seviyesini (\u00f6rn. H1 i\u00e7in 1, H2 i\u00e7in 2) g\u00f6sterecektir.<\/p>\n6. Geli\u015fmi\u015f \u00d6zellikler ve Entegrasyonlar<\/h3>\n
Dinamik Chunk Boyutlar\u0131 ve \u00c7ak\u0131\u015fmalar<\/h4>\n
\u00d6zel B\u00f6l\u00fcmleyiciler Olu\u015fturma<\/h4>\n
Vekt\u00f6r Veritabanlar\u0131 ile Entegrasyon<\/h4>\n
7. Chunklet-py Kullan\u0131m Alanlar\u0131 ve Gelece\u011fi<\/h3>\n
B\u00fcy\u00fck Dil Modelleri (LLM) Uygulamalar\u0131<\/h4>\n
Bilgi Eri\u015fim Sistemleri<\/h4>\n
Geli\u015ftirme ve Katk\u0131da Bulunma<\/h4>\n
Sonu\u00e7<\/h3>\n
SSS (S\u0131k Sorulan Sorular)<\/h3>\n
Chunklet-py hangi programlama dilleri i\u00e7in kod b\u00f6l\u00fcmleme deste\u011fi sunuyor?<\/h4>\n
Chunklet-py'yi RAG sistemlerinde nas\u0131l kullanabilirim?<\/h4>\n
\u00d6zel bir metin format\u0131 i\u00e7in Chunklet-py'yi kullanabilir miyim?<\/h4>\n
Chunk'lar aras\u0131nda \u00e7ak\u0131\u015fma (overlap) nas\u0131l ayarlan\u0131r?<\/h4>\n
chunk_text<\/code>, chunk_code<\/code> veya chunk_document<\/code> fonksiyonlar\u0131na overlap<\/code> parametresi gibi arg\u00fcmanlar ge\u00e7irilerek yap\u0131land\u0131r\u0131l\u0131r. Bu \u00f6zellik, ba\u011flam kayb\u0131n\u0131 azaltmak i\u00e7in \u00f6nemlidir.<\/p>\nChunklet-py'nin kurulumu nas\u0131l yap\u0131l\u0131r?<\/h4>\n
pip install chunklet-py<\/code>. Ek olarak, kod b\u00f6l\u00fcmleme gibi \u00f6zellikler i\u00e7in Tree-sitter dil ayr\u0131\u015ft\u0131r\u0131c\u0131lar\u0131n\u0131n da kurulmas\u0131 gerekebilir.<\/p>\n","protected":false},"excerpt":{"rendered":"Chunklet-py: Tek K\u00fct\u00fcphane, T\u00fcm B\u00f6l\u00fcnmeler – C\u00fcmle, Kod, Dok\u00fcman\nB\u00fcy\u00fck Dil Modelleri (LLM’ler) ve \u00dcretken Yapay Zeka uygulamalar\u0131n\u0131n y\u00fckseli\u015fi…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-36629","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n