B\u00fcy\u00fck dil modelleri (LLM’ler) ve yapay zeka uygulamalar\u0131, metin tabanl\u0131 verilerle \u00e7al\u0131\u015f\u0131rken \u00e7o\u011fu zaman belirli s\u0131n\u0131rlamalarla kar\u015f\u0131la\u015f\u0131r. \u00d6zellikle uzun dok\u00fcmanlar\u0131 veya karma\u015f\u0131k bilgi y\u0131\u011f\u0131nlar\u0131n\u0131 i\u015flemek gerekti\u011finde, bu modellerin token (jeton) limitleri \u00f6nemli bir engel te\u015fkil edebilir. \u0130\u015fte tam da bu noktada par\u00e7alama (chunking) devreye girer. Ancak metinleri yaln\u0131zca rastgele par\u00e7alara ay\u0131rmak, genellikle anlam b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc bozar ve yapay zekan\u0131n ba\u011flam\u0131 do\u011fru bir \u015fekilde anlamas\u0131n\u0131 engeller. Peki, metinleri anlamsal olarak tutarl\u0131 bir \u015fekilde par\u00e7alamak i\u00e7in neden bir g\u00f6mme (embedding) API’sine ihtiya\u00e7 duyar\u0131z? Bu makale, anlamsal par\u00e7alaman\u0131n temelini, geleneksel y\u00f6ntemlerin eksikliklerini ve g\u00f6mme API’lerinin bu s\u00fcre\u00e7teki vazge\u00e7ilmez rol\u00fcn\u00fc derinlemesine inceleyecektir.<\/p>\n
G\u00fcn\u00fcm\u00fcz d\u00fcnyas\u0131nda bilgi ak\u0131\u015f\u0131 hi\u00e7 olmad\u0131\u011f\u0131 kadar h\u0131zl\u0131 ve hacimli. \u015eirketler, binlerce sayfal\u0131k teknik dok\u00fcmanlardan m\u00fc\u015fteri destek kay\u0131tlar\u0131na, hukuki s\u00f6zle\u015fmelerden pazarlama materyallerine kadar devasa metin y\u0131\u011f\u0131nlar\u0131 ile \u00e7al\u0131\u015fmak durumunda kal\u0131yor. Bu metinlerin yapay zeka modelleri taraf\u0131ndan verimli bir \u015fekilde i\u015flenmesi, g\u00fcn\u00fcm\u00fcz\u00fcn en b\u00fcy\u00fck zorluklar\u0131ndan biridir. B\u00fcy\u00fck dil modelleri (LLM’ler) her ne kadar metin anlama ve \u00fcretme konusunda \u00e7\u0131\u011f\u0131r a\u00e7sa da, belirli bir girdi (input) boyutuyla s\u0131n\u0131rl\u0131d\u0131rlar. Bu limit, genellikle “token limiti” olarak adland\u0131r\u0131l\u0131r ve modelin tek seferde i\u015fleyebilece\u011fi kelime veya alt kelime birimi say\u0131s\u0131n\u0131 belirler. \u00d6rne\u011fin, bir model 4096 token limitine sahipse, bu limitin \u00fczerindeki metinleri do\u011frudan i\u015fleyemez.<\/p>\n
Bu s\u0131n\u0131rlaman\u0131n \u00fcstesinden gelmek i\u00e7in “par\u00e7alama” (chunking) ad\u0131 verilen bir teknik kullan\u0131l\u0131r. Par\u00e7alama, uzun bir metni daha k\u00fc\u00e7\u00fck, y\u00f6netilebilir par\u00e7alara ay\u0131rma i\u015flemidir. Bu sayede, her bir par\u00e7a LLM’nin token limitine uygun hale getirilir ve model taraf\u0131ndan ayr\u0131 ayr\u0131 i\u015flenebilir. Ancak par\u00e7alama sadece teknik bir gereklilik olman\u0131n \u00f6tesinde, ayn\u0131 zamanda bilginin daha kolay indekslenmesini, aranmas\u0131n\u0131 ve geri \u00e7a\u011fr\u0131lmas\u0131n\u0131 (retrieval) sa\u011flar. \u00d6zellikle, Retrieval Augmented Generation (RAG) sistemleri gibi uygulamalarda, kullan\u0131c\u0131n\u0131n sorgusuna en alakal\u0131 bilgi par\u00e7alar\u0131n\u0131 bulup LLM’ye sunmak kritik \u00f6neme sahiptir. Yanl\u0131\u015f par\u00e7alanm\u0131\u015f bir metin, alakas\u0131z veya eksik bilgi par\u00e7alar\u0131n\u0131n geri \u00e7a\u011fr\u0131lmas\u0131na yol a\u00e7arak LLM’nin hatal\u0131 veya kalitesiz yan\u0131tlar \u00fcretmesine neden olabilir. Dolay\u0131s\u0131yla, par\u00e7alama sadece bir zorunluluk de\u011fil, ayn\u0131 zamanda yapay zeka sistemlerinin etkinli\u011fini do\u011frudan etkileyen stratejik bir ad\u0131md\u0131r.<\/p>\n
Metin par\u00e7alama ihtiyac\u0131 ortaya \u00e7\u0131kt\u0131\u011f\u0131nda, akla ilk gelen ve en basit y\u00f6ntemler genellikle “geleneksel par\u00e7alama” olarak adland\u0131r\u0131l\u0131r. Bu y\u00f6ntemler, metni belirli kurallara veya sabit boyutlara g\u00f6re ay\u0131r\u0131r ve genellikle metnin anlamsal i\u00e7eri\u011fini dikkate almazlar. Yayg\u0131n geleneksel par\u00e7alama y\u00f6ntemleri \u015funlard\u0131r:<\/p>\n
* Karakter Tabanl\u0131 Par\u00e7alama (Character-based Chunking):<\/strong> En basit yakla\u015f\u0131md\u0131r. Metni belirli bir karakter say\u0131s\u0131na g\u00f6re b\u00f6ler. \u00d6rne\u011fin, her 500 karakterde bir yeni bir par\u00e7a olu\u015fturulur. Bu geleneksel y\u00f6ntemlerin uygulanmas\u0131 olduk\u00e7a kolayd\u0131r. \u0130\u015fte basit bir Python \u00f6rne\u011fi:<\/p>\n <\/code>\n<\/div>\n S\u0131n\u0131rl\u0131l\u0131klar Nelerdir?<\/strong><\/p>\n Geleneksel par\u00e7alama y\u00f6ntemleri basit olmalar\u0131na ra\u011fmen ciddi s\u0131n\u0131rlamalara sahiptir:<\/p>\n 1. Anlam B\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fcn Bozulmas\u0131:<\/strong> En b\u00fcy\u00fck sorun budur. \u00d6rne\u011fin, bir karakter tabanl\u0131 par\u00e7alama, bir c\u00fcmlenin veya bir fikrin tam ortas\u0131ndan kesilmesine neden olabilir. Bir paragraf\u0131n en \u00f6nemli k\u0131sm\u0131n\u0131n bir par\u00e7an\u0131n sonunda, a\u00e7\u0131klamas\u0131n\u0131n ise di\u011fer par\u00e7an\u0131n ba\u015f\u0131nda kalmas\u0131, ba\u011flam\u0131n kaybolmas\u0131na yol a\u00e7ar. Bu durum, \u00f6zellikle Retrieval Augmented Generation (RAG) sistemlerinde, LLM'nin alakas\u0131z veya eksik bilgi par\u00e7alar\u0131yla beslenmesine neden olur. Bu s\u0131n\u0131rlamalar, \u00f6zellikle yapay zeka modellerinin karma\u015f\u0131k sorulara do\u011fru ve ba\u011flamsal olarak uygun yan\u0131tlar vermesi beklendi\u011finde, anlamsal par\u00e7alaman\u0131n neden vazge\u00e7ilmez oldu\u011funu a\u00e7\u0131k\u00e7a ortaya koymaktad\u0131r.<\/p>\n Geleneksel par\u00e7alama y\u00f6ntemlerinin metnin anlamsal b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc korumakta yetersiz kalmas\u0131, \"anlamsal par\u00e7alama\" (semantic chunking) kavram\u0131n\u0131n ortaya \u00e7\u0131kmas\u0131na neden olmu\u015ftur. Anlamsal par\u00e7alama, ad\u0131ndan da anla\u015f\u0131laca\u011f\u0131 gibi, metni yaln\u0131zca fiziksel uzunlu\u011funa g\u00f6re de\u011fil, ayn\u0131 zamanda i\u00e7erdi\u011fi anlam ve ba\u011flam ili\u015fkilerine g\u00f6re mant\u0131ksal birimlere ay\u0131rma s\u00fcrecidir. Temel ama\u00e7, her bir par\u00e7an\u0131n kendi i\u00e7inde tutarl\u0131, eksiksiz ve anlaml\u0131 bir bilgi blo\u011fu olu\u015fturmas\u0131n\u0131 sa\u011flamakt\u0131r. B\u00f6ylece, bir par\u00e7a okundu\u011funda veya bir yapay zeka modeline verildi\u011finde, o par\u00e7adaki bilginin ba\u011flam\u0131 kaybolmam\u0131\u015f olur.<\/p>\n Anlamsal Par\u00e7alama Nas\u0131l \u00c7al\u0131\u015f\u0131r?<\/strong><\/p>\n Anlamsal par\u00e7alaman\u0131n temelinde, metinler aras\u0131ndaki veya metin par\u00e7alar\u0131 aras\u0131ndaki anlamsal benzerli\u011fi \u00f6l\u00e7me yetene\u011fi yatar. Bu s\u00fcre\u00e7 genellikle a\u015fa\u011f\u0131daki ad\u0131mlar\u0131 i\u00e7erir:<\/p>\n 1. Metni K\u00fc\u00e7\u00fck Birimlere Ay\u0131rma:<\/strong> \u00d6ncelikle, uzun metin daha y\u00f6netilebilir, atomik birimlere ayr\u0131l\u0131r. Bu birimler genellikle c\u00fcmleler veya \u00e7ok k\u0131sa paragraflar olabilir. Bu a\u015famada ama\u00e7, hen\u00fcz anlamsal par\u00e7alar olu\u015fturmak de\u011fil, daha sonra analiz edilecek temel yap\u0131 ta\u015flar\u0131n\u0131 elde etmektir. \u00d6rne\u011fin, bir \u015firket politikalar\u0131 dok\u00fcman\u0131n\u0131 ele alal\u0131m. Geleneksel bir par\u00e7alama, \"\u0130zin Politikas\u0131\"n\u0131n ortas\u0131ndan kesip, \"Seyahat Giderleri Politikas\u0131\"n\u0131n bir k\u0131sm\u0131n\u0131 ayn\u0131 par\u00e7aya dahil edebilir. Anlamsal par\u00e7alama ise, \"\u0130zin Politikas\u0131\" ile ilgili t\u00fcm c\u00fcmleleri bir araya getirerek tek bir par\u00e7a olu\u015fturur ve \"Seyahat Giderleri Politikas\u0131\"n\u0131 tamamen ayr\u0131 bir par\u00e7a olarak ele al\u0131r. Bu sayede, \"\u0130zin politikas\u0131 nedir?\" diye bir soru soruldu\u011funda, yapay zeka sistemi, yaln\u0131zca izin politikas\u0131yla ilgili t\u00fcm bilgileri i\u00e7eren par\u00e7ay\u0131 geri \u00e7a\u011f\u0131rabilir ve \u00e7ok daha do\u011fru ve alakal\u0131 bir yan\u0131t \u00fcretebilir. Bu yakla\u015f\u0131m, \u00f6zellikle RAG sistemlerinin etkinli\u011fini ve genel olarak yapay zeka uygulamalar\u0131n\u0131n ba\u011flam anlama yetene\u011fini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r.<\/p>\n Anlamsal par\u00e7alaman\u0131n kalbinde yatan ve onu geleneksel y\u00f6ntemlerden ay\u0131ran temel teknoloji, \"g\u00f6mme\" (embedding) ad\u0131 verilen bir yap\u0131d\u0131r. G\u00f6mme, metin, resim, ses gibi karma\u015f\u0131k veri t\u00fcrlerini, bilgisayarlar\u0131n anlayabilece\u011fi ve i\u015fleyebilece\u011fi say\u0131sal vekt\u00f6rlere d\u00f6n\u00fc\u015ft\u00fcrme i\u015flemidir. Metin g\u00f6mmeleri \u00f6zelinde, kelimelerin, c\u00fcmlelerin veya t\u00fcm dok\u00fcmanlar\u0131n anlamsal i\u00e7eri\u011fini yakalayan y\u00fcksek boyutlu say\u0131sal vekt\u00f6rler (say\u0131 dizileri) elde ederiz. Bu vekt\u00f6rler, \"vekt\u00f6r uzay\u0131\" ad\u0131 verilen \u00e7ok boyutlu bir alanda konumland\u0131r\u0131l\u0131r ve anlamsal olarak birbirine yak\u0131n olan metinler, bu uzayda birbirine daha yak\u0131n noktalarda yer al\u0131r.<\/p>\n G\u00f6mme API'leri Nedir ve Nas\u0131l \u00c7al\u0131\u015f\u0131r?<\/strong><\/p>\n G\u00f6mme API'leri (Application Programming Interface - Uygulama Programlama Aray\u00fcz\u00fc), geli\u015ftiricilerin kendi metinlerini bu say\u0131sal vekt\u00f6rlere d\u00f6n\u00fc\u015ft\u00fcrmelerini sa\u011flayan bulut tabanl\u0131 hizmetlerdir. Bu API'ler, genellikle derin \u00f6\u011frenme modelleri, \u00f6zellikle transformat\u00f6r tabanl\u0131 sinir a\u011flar\u0131 taraf\u0131ndan desteklenir. Bu modeller, milyarlarca kelimelik metin verisi \u00fczerinde e\u011fitilerek, kelimeler ve kavramlar aras\u0131ndaki karma\u015f\u0131k ili\u015fkileri \u00f6\u011frenirler.<\/p>\n \u00c7al\u0131\u015fma prensibi olduk\u00e7a basittir:<\/p>\n 1. Metin Giri\u015fi:<\/strong> Geli\u015ftirici, d\u00f6n\u00fc\u015ft\u00fcrmek istedi\u011fi metni (bir kelime, c\u00fcmle, paragraf veya dok\u00fcman) API'ye g\u00f6nderir. Bu vekt\u00f6rler, bir metnin \"anlamsal parmak izi\" gibidir. \u0130ki metnin g\u00f6mme vekt\u00f6rleri aras\u0131ndaki mesafe veya benzerlik (genellikle kosin\u00fcs benzerli\u011fi ile \u00f6l\u00e7\u00fcl\u00fcr), o iki metnin anlamsal olarak ne kadar ili\u015fkili oldu\u011funu g\u00f6sterir. \u00d6rne\u011fin, \"elma\" ve \"armut\" kelimelerinin vekt\u00f6rleri, \"araba\" kelimesinin vekt\u00f6r\u00fcnden \u00e7ok daha yak\u0131n olacakt\u0131r, \u00e7\u00fcnk\u00fc anlamsal olarak birbirlerine daha benzerdirler.<\/p>\n Neden Bir API Kullanmal\u0131y\u0131z?<\/strong><\/p>\n Kendi g\u00f6mme modelimizi e\u011fitmek veya \u00e7al\u0131\u015ft\u0131rmak olduk\u00e7a maliyetli ve karma\u015f\u0131k bir s\u00fcre\u00e7tir. G\u00f6mme API'leri, bu y\u00fck\u00fc \u00fczerimizden alarak geli\u015ftiricilere \u015fu avantajlar\u0131 sunar:<\/p>\n * Kolay Eri\u015fim:<\/strong> Karma\u015f\u0131k makine \u00f6\u011frenimi altyap\u0131s\u0131 kurmaya gerek kalmadan, basit bir API \u00e7a\u011fr\u0131s\u0131 ile g\u00fc\u00e7l\u00fc g\u00f6mme modellerine eri\u015fim sa\u011flarlar. \u0130\u015fte pop\u00fcler bir g\u00f6mme API'sinin (\u00f6rne\u011fin OpenAI) Python ile \u00e7a\u011fr\u0131lmas\u0131na dair kavramsal bir kod \u00f6rne\u011fi:<\/p>\n <\/code>\n<\/div>\n G\u00f6mme API'leri, metni say\u0131lara d\u00f6n\u00fc\u015ft\u00fcrerek anlamsal par\u00e7alama, arama, k\u00fcmeleme ve \u00f6neri sistemleri gibi bir\u00e7ok yapay zeka uygulamas\u0131n\u0131n temelini olu\u015fturur. Bu \"sihirli\" d\u00f6n\u00fc\u015f\u00fcm, makinelerin insan dilinin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 ve n\u00fcanslar\u0131n\u0131 anlamas\u0131na olanak tan\u0131r.<\/p>\n Anlamsal par\u00e7alama, metinleri anlam b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc koruyarak k\u00fc\u00e7\u00fck, y\u00f6netilebilir birimlere ay\u0131rma sanat\u0131d\u0131r. Bu s\u00fcrecin geleneksel y\u00f6ntemlerden ayr\u0131lmas\u0131n\u0131 sa\u011flayan ve ona ger\u00e7ek g\u00fcc\u00fcn\u00fc veren temel bile\u015fen, hi\u00e7 \u015f\u00fcphesiz bir g\u00f6mme (embedding) API'sidir. Embedding API'leri olmadan, anlamsal par\u00e7alama sadece teorik bir kavram olarak kal\u0131r; \u00e7\u00fcnk\u00fc metinler aras\u0131ndaki \"anlam\" fark\u0131n\u0131 veya benzerli\u011fini say\u0131sal olarak \u00f6l\u00e7menin ba\u015fka pratik bir yolu yoktur.<\/p>\n Embedding API'nin Anlamsal Par\u00e7alamadaki Ad\u0131m Ad\u0131m Rol\u00fc:<\/strong><\/p>\n 1. Atomik Birimlerin G\u00f6mme Vekt\u00f6rlerinin Olu\u015fturulmas\u0131:<\/strong> Par\u00e7alama s\u00fcrecinin ba\u015f\u0131nda, uzun metin genellikle c\u00fcmleler veya \u00e7ok k\u0131sa paragraflar gibi daha k\u00fc\u00e7\u00fck, \"atomik\" birimlere ayr\u0131l\u0131r. Embedding API'si, bu her bir atomik metin birimini al\u0131r ve onu anlamsal olarak temsil eden y\u00fcksek boyutlu bir say\u0131sal vekt\u00f6re (embedding) d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Bu, her bir c\u00fcmlenin veya k\u0131sa paragraf\u0131n bir \"anlam parmak izi\"ne sahip olmas\u0131 anlam\u0131na gelir. Vaka Analizi: Bir \u015eirket Dok\u00fcman\u0131n\u0131n Par\u00e7alanmas\u0131<\/strong><\/p>\n Bir \u015firketin 50 sayfal\u0131k \"\u00c7al\u0131\u015fan El Kitab\u0131\" oldu\u011funu varsayal\u0131m. Bu el kitab\u0131, izin politikalar\u0131ndan, seyahat giderlerine, i\u015f g\u00fcvenli\u011fi kurallar\u0131ndan, performans de\u011ferlendirme s\u00fcre\u00e7lerine kadar bir\u00e7ok farkl\u0131 konuyu i\u00e7eriyor.<\/p>\n * Geleneksel Par\u00e7alama:<\/strong> El kitab\u0131n\u0131 her 500 kelimede bir b\u00f6ld\u00fc\u011f\u00fcm\u00fczde, \"\u0130zin Politikas\u0131\"n\u0131n ortas\u0131nda kesilip, kalan k\u0131sm\u0131n\u0131n \"Seyahat Giderleri Politikas\u0131\"n\u0131n ba\u015flang\u0131c\u0131yla birle\u015fme olas\u0131l\u0131\u011f\u0131 \u00e7ok y\u00fcksektir. Bu durumda, \"Y\u0131ll\u0131k izin hakk\u0131m ne kadar?\" diye soruldu\u011funda, LLM'ye sunulan par\u00e7ada sadece izin politikas\u0131n\u0131n yar\u0131s\u0131 ve alakas\u0131z seyahat bilgileri olabilir, bu da yanl\u0131\u015f veya eksik bir cevaba yol a\u00e7ar. Bu yakla\u015f\u0131m sayesinde, \"Y\u0131ll\u0131k izin hakk\u0131m ne kadar?\" sorusuna verilen yan\u0131t, yaln\u0131zca ilgili ve ba\u011flamsal olarak tutarl\u0131 bilgileri i\u00e7eren par\u00e7adan gelir, bu da LLM'nin \u00e7ok daha do\u011fru ve g\u00fcvenilir cevaplar \u00fcretmesini sa\u011flar. Embedding API'leri, bu anlamsal \u00f6l\u00e7\u00fcm\u00fc m\u00fcmk\u00fcn k\u0131lan tek pratik ve \u00f6l\u00e7eklenebilir ara\u00e7 oldu\u011fundan, anlamsal par\u00e7alama s\u00fcrecinin vazge\u00e7ilmez bir bile\u015fenidir.<\/p>\n Anlamsal par\u00e7alama ve Embedding API'lerinin entegrasyonu, yapay zeka destekli uygulamalar\u0131n performans\u0131n\u0131 ve kullan\u0131c\u0131 deneyimini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131ran kritik bir teknolojidir. \u00d6zellikle bilgi geri \u00e7a\u011f\u0131rma (Retrieval Augmented Generation - RAG) sistemlerinde, bu ikilinin g\u00fcc\u00fc tam anlam\u0131yla ortaya \u00e7\u0131kar. \u0130\u015fte ger\u00e7ek d\u00fcnya senaryolar\u0131ndan baz\u0131 vaka analizleri:<\/p>\n Bir\u00e7ok b\u00fcy\u00fck \u015firket, \u00e7al\u0131\u015fanlar\u0131 veya m\u00fc\u015fterileri i\u00e7in kapsaml\u0131 bilgi tabanlar\u0131na (knowledge base) sahiptir. Bu tabanlar, teknik dok\u00fcmanlar, \u00fcr\u00fcn k\u0131lavuzlar\u0131, insan kaynaklar\u0131 politikalar\u0131, yasal belgeler ve \u015firket i\u00e7i y\u00f6nergeler gibi y\u00fczlerce, hatta binlerce sayfadan olu\u015fabilir. Bu kadar b\u00fcy\u00fck bir metin y\u0131\u011f\u0131n\u0131 i\u00e7inde spesifik bir bilgiye ula\u015fmak, geleneksel anahtar kelime aramalar\u0131yla bile zorlu olabilir.<\/p>\n * Problem:<\/strong> \u00c7al\u0131\u015fanlar, \u015firket i\u00e7i bir soru sordu\u011funda (\u00f6rne\u011fin, \"Yeni esnek \u00e7al\u0131\u015fma politikas\u0131 nedir?\" veya \"Yurt d\u0131\u015f\u0131 seyahat avans\u0131 nas\u0131l talep edilir?\"), genellikle ilgili bilgiye h\u0131zl\u0131ca ula\u015fmakta zorlan\u0131r. Geleneksel par\u00e7alama ile olu\u015fturulmu\u015f bir RAG sistemi, alakas\u0131z veya eksik bilgi par\u00e7alar\u0131n\u0131 geri \u00e7a\u011f\u0131rarak LLM'nin yetersiz cevaplar vermesine neden olabilir.
\n* Kelime Tabanl\u0131 Par\u00e7alama (Word-based Chunking):<\/strong> Metni belirli bir kelime say\u0131s\u0131na g\u00f6re b\u00f6ler. \u00d6rne\u011fin, her 100 kelimede bir par\u00e7a olu\u015fturulur. Bu y\u00f6ntem, karakter tabanl\u0131ya g\u00f6re biraz daha okunabilir par\u00e7alar \u00fcretebilir.
\n* C\u00fcmle Tabanl\u0131 Par\u00e7alama (Sentence-based Chunking):<\/strong> Metni c\u00fcmlelere ay\u0131r\u0131r ve her c\u00fcmleyi ayr\u0131 bir par\u00e7a olarak kabul eder. Bazen birden fazla c\u00fcmleyi birle\u015ftirerek belirli bir uzunlu\u011fa ula\u015fana kadar tek bir par\u00e7a olu\u015fturulur.
\n* Paragraf Tabanl\u0131 Par\u00e7alama (Paragraph-based Chunking):<\/strong> Metni paragraflara ay\u0131r\u0131r. Her paragraf ayr\u0131 bir par\u00e7a haline gelir. Bu, anlamsal b\u00fct\u00fcnl\u00fc\u011f\u00fc koruma a\u00e7\u0131s\u0131ndan di\u011ferlerinden daha iyi olabilir, ancak paragraflar\u0131n \u00e7ok uzun veya \u00e7ok k\u0131sa olma durumlar\u0131 sorun yaratabilir.<\/p>\n\ndef karakter_tabanli_parcala(metin, parca_boyutu):\n parcalar = []\n for i in range(0, len(metin), parca_boyutu):\n parcalar.append(metin[i:i + parca_boyutu])\n return parcalar\n\ndef cumle_tabanli_parcala(metin):\n # Basit bir c\u00fcmle ay\u0131r\u0131c\u0131, ger\u00e7ek uygulamalarda daha geli\u015fmi\u015f k\u00fct\u00fcphaneler kullan\u0131l\u0131r\n parcalar = metin.split('. ')\n return [p.strip() + '.' for p in parcalar if p.strip()]\n\nuzun_metin = \"B\u00fcy\u00fck dil modelleri metinleri i\u015flerken token limitleri ile kar\u015f\u0131la\u015f\u0131r. Bu limitler, uzun dok\u00fcmanlar\u0131n do\u011frudan i\u015flenmesini zorla\u015ft\u0131r\u0131r. Par\u00e7alama, bu sorunu \u00e7\u00f6zmek i\u00e7in kullan\u0131lan temel bir tekniktir. Ancak geleneksel par\u00e7alama y\u00f6ntemleri anlamsal b\u00fct\u00fcnl\u00fc\u011f\u00fc bozabilir. Bu durum, yapay zeka uygulamalar\u0131n\u0131n performans\u0131n\u0131 d\u00fc\u015f\u00fcrebilir.\"\n\nprint(\"Karakter Tabanl\u0131 Par\u00e7alama:\")\nfor i, parca in enumerate(karakter_tabanli_parcala(uzun_metin, 100)):\n print(f\"Par\u00e7a {i+1}: {parca}\\n\")\n\nprint(\"C\u00fcmle Tabanl\u0131 Par\u00e7alama:\")\nfor i, parca in enumerate(cumle_tabanli_parcala(uzun_metin)):\n print(f\"Par\u00e7a {i+1}: {parca}\\n\")\n <\/pre>\n
\n2. Ba\u011flamsal Kay\u0131p:<\/strong> Sabit boyutlu par\u00e7alar, bir konunun ba\u015flang\u0131c\u0131 ile sonu aras\u0131ndaki ili\u015fkinin kopmas\u0131na yol a\u00e7abilir. Bir kod blo\u011fu \u00f6rne\u011fini d\u00fc\u015f\u00fcn\u00fcn: Bir fonksiyon tan\u0131m\u0131n\u0131n yar\u0131s\u0131 bir par\u00e7ada, di\u011fer yar\u0131s\u0131 ba\u015fka bir par\u00e7ada kal\u0131rsa, her iki par\u00e7a da tek ba\u015f\u0131na anlams\u0131z hale gelir.
\n3. Optimizasyon Eksikli\u011fi:<\/strong> Par\u00e7alar\u0131n i\u00e7eri\u011fi rastgele oldu\u011fu i\u00e7in, hangi par\u00e7an\u0131n bir sorguya daha alakal\u0131 oldu\u011funu belirlemek zorla\u015f\u0131r. Bu da arama (search) performans\u0131n\u0131 d\u00fc\u015f\u00fcr\u00fcr ve gereksiz yere daha fazla par\u00e7an\u0131n i\u015flenmesine neden olabilir.
\n4. Uyarlanabilirlik Sorunlar\u0131:<\/strong> Metin t\u00fcrleri ve yap\u0131lar\u0131 \u00e7ok \u00e7e\u015fitlidir. Bir blog yaz\u0131s\u0131 i\u00e7in iyi \u00e7al\u0131\u015fan bir par\u00e7alama boyutu, bir teknik k\u0131lavuz veya bir hukuki dok\u00fcman i\u00e7in uygun olmayabilir. Geleneksel y\u00f6ntemler, metnin yap\u0131s\u0131na veya i\u00e7eri\u011fine g\u00f6re ak\u0131ll\u0131ca uyum sa\u011flayamaz.<\/p>\nAnlamsal Par\u00e7alama (Semantic Chunking) Nedir ve Nas\u0131l \u00c7al\u0131\u015f\u0131r?<\/h2>\n
\n2. Her Birimin G\u00f6mme (Embedding) Vekt\u00f6r\u00fcn\u00fc Olu\u015fturma:<\/strong> \u0130\u015fte anlamsal par\u00e7alaman\u0131n kalbi buradad\u0131r. Her bir k\u00fc\u00e7\u00fck metin birimi (c\u00fcmle veya k\u0131sa paragraf), bir g\u00f6mme modeli (embedding model) arac\u0131l\u0131\u011f\u0131yla y\u00fcksek boyutlu bir say\u0131sal vekt\u00f6re d\u00f6n\u00fc\u015ft\u00fcr\u00fcl\u00fcr. Bu vekt\u00f6rlere \"g\u00f6mme vekt\u00f6rleri\" veya \"embedding'ler\" denir. Bu vekt\u00f6rler, metin biriminin anlamsal i\u00e7eri\u011fini matematiksel olarak temsil eder. Anlamsal olarak benzer metinler, vekt\u00f6r uzay\u0131nda birbirine daha yak\u0131n konumlan\u0131r.
\n3. Anlamsal Benzerli\u011fi \u00d6l\u00e7me:<\/strong> Ard\u0131ndan, ard\u0131\u015f\u0131k metin birimlerinin g\u00f6mme vekt\u00f6rleri aras\u0131ndaki anlamsal benzerlik hesaplan\u0131r. Genellikle kosin\u00fcs benzerli\u011fi (cosine similarity) gibi metrikler kullan\u0131l\u0131r. Bu metrik, iki vekt\u00f6r aras\u0131ndaki a\u00e7\u0131y\u0131 \u00f6l\u00e7erek ne kadar benzer olduklar\u0131n\u0131 g\u00f6sterir. Y\u00fcksek bir kosin\u00fcs benzerli\u011fi, iki metin biriminin anlamsal olarak birbirine yak\u0131n oldu\u011fu anlam\u0131na gelirken, d\u00fc\u015f\u00fck bir benzerlik, farkl\u0131 konulara i\u015faret edebilir.
\n4. Par\u00e7alama Noktalar\u0131n\u0131 Belirleme:<\/strong> Anlamsal benzerlik de\u011ferleri bir e\u015fik de\u011ferine g\u00f6re de\u011ferlendirilir. E\u011fer ard\u0131\u015f\u0131k iki metin birimi aras\u0131ndaki anlamsal benzerlik belirli bir e\u015fi\u011fin alt\u0131na d\u00fc\u015ferse, bu bir \"par\u00e7alama noktas\u0131\" olarak kabul edilir. Yani, iki birim aras\u0131nda konu de\u011fi\u015fimi veya \u00f6nemli bir ba\u011flamsal kopu\u015f oldu\u011fu varsay\u0131l\u0131r.
\n5. Par\u00e7alar\u0131 Birle\u015ftirme:<\/strong> Par\u00e7alama noktalar\u0131 belirlendikten sonra, bu noktalar aras\u0131nda kalan t\u00fcm k\u00fc\u00e7\u00fck metin birimleri birle\u015ftirilerek tek bir anlamsal par\u00e7a (semantic chunk) olu\u015fturulur. Bu par\u00e7alar, kendi i\u00e7lerinde anlam b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc koruyan ve belirli bir konuyu veya fikri kapsayan bloklard\u0131r.<\/p>\nG\u00f6mme (Embedding) API'leri: Metni Say\u0131lara D\u00f6n\u00fc\u015ft\u00fcren Sihir<\/h2>\n
\n2. Model \u0130\u015fleme:<\/strong> API, bu metni kendi b\u00fcnyesindeki \u00f6nceden e\u011fitilmi\u015f g\u00f6mme modeline (\u00f6rne\u011fin, OpenAI'nin text-embedding-ada-002<\/code> modeli, Cohere'nin embed-english-v3.0<\/code> modeli veya \u00e7e\u015fitli Hugging Face modelleri) iletir.
\n3. Vekt\u00f6r \u00c7\u0131k\u0131\u015f\u0131:<\/strong> Model, metnin anlamsal i\u00e7eri\u011fini temsil eden, genellikle 1536, 768 veya daha farkl\u0131 boyutlarda olabilen bir say\u0131sal vekt\u00f6r (float say\u0131 dizisi) d\u00f6nd\u00fcr\u00fcr.<\/p>\n
\n* Y\u00fcksek Kalite:<\/strong> Bu API'lerin arkas\u0131ndaki modeller, genellikle devasa veri k\u00fcmeleri \u00fczerinde e\u011fitilmi\u015f ve alan\u0131nda uzman ekipler taraf\u0131ndan optimize edilmi\u015ftir. Bu da y\u00fcksek kaliteli ve do\u011fru g\u00f6mmeler elde etmemizi sa\u011flar.
\n* Maliyet Etkinli\u011fi:<\/strong> Kendi modellerinizi e\u011fitmek i\u00e7in gereken GPU kaynaklar\u0131, enerji ve uzmanl\u0131k maliyetleri yerine, kulland\u0131\u011f\u0131n\u0131z kadar \u00f6deme yapars\u0131n\u0131z.
\n* \u00d6l\u00e7eklenebilirlik:<\/strong> B\u00fcy\u00fck veri hacimlerini i\u015flemek i\u00e7in kolayca \u00f6l\u00e7eklenebilirler.
\n* S\u00fcrekli Geli\u015fim:<\/strong> API sa\u011flay\u0131c\u0131lar\u0131, modellerini s\u00fcrekli olarak g\u00fcnceller ve geli\u015ftirir, bu da kullan\u0131c\u0131lar\u0131n her zaman en yeni ve en iyi performans\u0131 elde etmesini sa\u011flar.<\/p>\n\n# Ger\u00e7ek bir API \u00e7a\u011fr\u0131s\u0131 i\u00e7in 'openai' k\u00fct\u00fcphanesini y\u00fcklemeniz gerekir: pip install openai\nimport os\n# from openai import OpenAI # Bu sat\u0131r ger\u00e7ek kullan\u0131mda aktif hale getirilmeli\n\n# OpenAI API anahtar\u0131n\u0131z\u0131 ortam de\u011fi\u015fkeni olarak ayarlay\u0131n veya do\u011frudan atay\u0131n\n# client = OpenAI(api_key=os.environ.get(\"OPENAI_API_KEY\")) # Ger\u00e7ek kullan\u0131mda aktif\n\ndef metin_gommen_al(metin):\n # Bu fonksiyon, ger\u00e7ek bir API \u00e7a\u011fr\u0131s\u0131n\u0131 sim\u00fcle etmektedir.\n # Ger\u00e7ekte, client.embeddings.create gibi bir y\u00f6ntem kullan\u0131l\u0131r.\n # Burada sadece kavramsal bir \u00e7\u0131kt\u0131 g\u00f6sterilmektedir.\n\n print(f\"'{metin[:30]}...' i\u00e7in g\u00f6mme olu\u015fturuluyor...\")\n # response = client.embeddings.create(\n # input=metin,\n # model=\"text-embedding-ada-002\"\n # )\n # return response.data[0].embedding\n\n # \u00d6rnek bir sahte g\u00f6mme vekt\u00f6r\u00fc d\u00f6nd\u00fcrelim (ger\u00e7ekte bu kadar k\u0131sa olmaz)\n return [0.1, 0.2, 0.3, 0.4, 0.5] # Ger\u00e7ek g\u00f6mmeler \u00e7ok daha uzun say\u0131 dizileridir\n\nmetin1 = \"Yapay zeka modelleri metinleri anlama konusunda \u00e7ok ba\u015far\u0131l\u0131d\u0131r.\"\nmetin2 = \"Makine \u00f6\u011frenimi algoritmalar\u0131 b\u00fcy\u00fck veri setlerini i\u015fler.\"\nmetin3 = \"Mutfakta yemek yapmak harika bir hobidir.\"\n\nembedding1 = metin_gommen_al(metin1)\nembedding2 = metin_gommen_al(metin2)\nembedding3 = metin_gommen_al(metin3)\n\nprint(f\"Metin 1 G\u00f6mme (\u0130lk 5 \u00f6\u011fe): {embedding1[:5]}...\")\nprint(f\"Metin 2 G\u00f6mme (\u0130lk 5 \u00f6\u011fe): {embedding2[:5]}...\")\nprint(f\"Metin 3 G\u00f6mme (\u0130lk 5 \u00f6\u011fe): {embedding3[:5]}...\")\n\n# Ger\u00e7ek bir senaryoda, bu vekt\u00f6rler aras\u0131ndaki benzerlik hesaplan\u0131rd\u0131.\n# \u00d6rne\u011fin, metin1 ve metin2'nin vekt\u00f6rleri birbirine daha yak\u0131n olurken,\n# metin3'\u00fcn vekt\u00f6r\u00fc di\u011ferlerinden uzak olacakt\u0131r.\n <\/pre>\nAnlamsal Par\u00e7alama S\u00fcrecinde Embedding API'nin Kritik Rol\u00fc<\/h2>\n
\n2. Anlamsal Benzerlik Hesaplamas\u0131:<\/strong> Elde edilen g\u00f6mme vekt\u00f6rleri, ard\u0131\u015f\u0131k metin birimleri aras\u0131ndaki anlamsal benzerli\u011fi hesaplamak i\u00e7in kullan\u0131l\u0131r. Genellikle kosin\u00fcs benzerli\u011fi (cosine similarity) ad\u0131 verilen matematiksel bir y\u00f6ntem tercih edilir. Kosin\u00fcs benzerli\u011fi, iki vekt\u00f6r aras\u0131ndaki a\u00e7\u0131y\u0131 \u00f6l\u00e7er; a\u00e7\u0131 ne kadar k\u00fc\u00e7\u00fckse, vekt\u00f6rler ve dolay\u0131s\u0131yla temsil ettikleri metinler o kadar anlamsal olarak benzerdir.
\n * \u00d6rne\u011fin, \"\u015eirketimiz yeni bir insan kaynaklar\u0131 politikas\u0131 yay\u0131nlad\u0131.\" c\u00fcmlesi ile hemen ard\u0131ndan gelen \"Bu politika, \u00e7al\u0131\u015fanlar\u0131m\u0131z\u0131n izin haklar\u0131n\u0131 d\u00fczenlemektedir.\" c\u00fcmlesinin g\u00f6mme vekt\u00f6rleri aras\u0131nda y\u00fcksek bir kosin\u00fcs benzerli\u011fi beklenir. \u00c7\u00fcnk\u00fc her iki c\u00fcmle de \"insan kaynaklar\u0131 politikas\u0131\" ve \"izin haklar\u0131\" gibi konularla anlamsal olarak ili\u015fkilidir.
\n3. Konu De\u011fi\u015fikliklerinin Tespiti (Par\u00e7alama Noktalar\u0131):<\/strong> Embedding API'sinden gelen g\u00f6mmeler sayesinde hesaplanan anlamsal benzerlik de\u011ferleri, metin i\u00e7indeki konu de\u011fi\u015fikliklerini tespit etmek i\u00e7in kullan\u0131l\u0131r. E\u011fer ard\u0131\u015f\u0131k iki metin birimi aras\u0131ndaki anlamsal benzerlik belirli bir e\u015fik de\u011ferinin alt\u0131na d\u00fc\u015ferse, bu durum bir konu de\u011fi\u015fikli\u011fine veya ba\u011flamsal bir kopu\u015fa i\u015faret eder. Bu noktalar, yeni bir anlamsal par\u00e7an\u0131n ba\u015flang\u0131c\u0131 olarak belirlenir. \u00d6rne\u011fin, \"\u0130zin politikas\u0131 g\u00fcncellendi.\" c\u00fcmlesi ile \"Yeni pazarlama stratejimiz dijital kanallara odaklanacak.\" c\u00fcmlesi aras\u0131nda d\u00fc\u015f\u00fck bir benzerlik beklenir, bu da bir par\u00e7alama noktas\u0131 olu\u015fturur.
\n4. Anlamsal Par\u00e7alar\u0131n Olu\u015fturulmas\u0131:<\/strong> Tespit edilen par\u00e7alama noktalar\u0131 kullan\u0131larak, atomik birimler bir araya getirilir. B\u00f6ylece, her bir anlamsal par\u00e7a, kendi i\u00e7inde tutarl\u0131 ve belirli bir konuyu veya fikri ele alan bir metin blo\u011fu haline gelir. Bu par\u00e7alar, LLM'lere beslendi\u011finde veya bilgi geri \u00e7a\u011f\u0131rma (retrieval) sistemlerinde kullan\u0131ld\u0131\u011f\u0131nda, ba\u011flam\u0131n eksiksiz bir \u015fekilde aktar\u0131lmas\u0131n\u0131 sa\u011flar.<\/p>\n
\n* Anlamsal Par\u00e7alama (Embedding API ile):<\/strong>
\n 1. El kitab\u0131 c\u00fcmlelere ayr\u0131l\u0131r.
\n 2. Her c\u00fcmlenin g\u00f6mme vekt\u00f6r\u00fc, bir Embedding API'si (\u00f6rne\u011fin OpenAI'nin text-embedding-ada-002<\/code>) arac\u0131l\u0131\u011f\u0131yla elde edilir.
\n 3. Ard\u0131\u015f\u0131k c\u00fcmlelerin g\u00f6mme vekt\u00f6rleri aras\u0131ndaki kosin\u00fcs benzerli\u011fi hesaplan\u0131r.
\n 4. \"\u0130zin Politikas\u0131\" ile ilgili c\u00fcmleler aras\u0131ndaki benzerlik y\u00fcksekken, \"\u0130zin Politikas\u0131\"n\u0131n son c\u00fcmlesi ile \"Seyahat Giderleri Politikas\u0131\"n\u0131n ilk c\u00fcmlesi aras\u0131ndaki benzerlik belirgin \u015fekilde d\u00fc\u015fer. Bu d\u00fc\u015f\u00fc\u015f, bir par\u00e7alama noktas\u0131 olarak i\u015faretlenir.
\n 5. Sonu\u00e7 olarak, \"\u0130zin Politikas\u0131\" ile ilgili t\u00fcm bilgiler tek bir anlamsal par\u00e7a olarak, \"Seyahat Giderleri Politikas\u0131\" ise tamamen ayr\u0131 bir anlamsal par\u00e7a olarak olu\u015fturulur.<\/p>\nGer\u00e7ek D\u00fcnya Senaryolar\u0131nda Anlamsal Par\u00e7alama ve Embedding API Kullan\u0131m\u0131<\/h2>\n
Vaka Analizi 1: Kurumsal Bilgi Tabanlar\u0131 ve RAG Sistemleri<\/h3>\n
\n* \u00c7\u00f6z\u00fcm:<\/strong> \u015eirket, bilgi taban\u0131ndaki t\u00fcm dok\u00fcmanlar\u0131 anlamsal par\u00e7alama ve bir Embedding API'si (\u00f6rne\u011fin Google'\u0131n text-embedding-gecko<\/code> veya Cohere'nin modelleri) kullanarak i\u015fler.
\n 1. Her dok\u00fcman, c\u00fcmleler veya k\u0131sa paragraflar gibi k\u00fc\u00e7\u00fck birimlere ayr\u0131l\u0131r.
\n 2. Her birimin g\u00f6mme vekt\u00f6r\u00fc, Embedding API arac\u0131l\u0131\u011f\u0131yla olu\u015fturulur.
\n 3. Bu g\u00f6mme vekt\u00f6rleri, bir vekt\u00f6r<\/p>\n","protected":false},"excerpt":{"rendered":"Anlamsal Par\u00e7alama Neden Bir G\u00f6mme (Embedding) API’sine \u0130htiya\u00e7 Duyar?","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-41568","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n