G\u00fcn\u00fcm\u00fcz\u00fcn h\u0131zla geli\u015fen yapay zeka d\u00fcnyas\u0131nda, B\u00fcy\u00fck Dil Modelleri (LLM’ler) hayat\u0131m\u0131z\u0131n ayr\u0131lmaz bir par\u00e7as\u0131 haline geldi. Ancak bu modellerin g\u00fcncel bilgiye eri\u015fimi veya belirli bir alandaki uzmanl\u0131k gerektiren sorular\u0131 do\u011fru yan\u0131tlamas\u0131 her zaman kolay de\u011fildir. \u0130\u015fte tam bu noktada, Geri Getirme Art\u0131r\u0131lm\u0131\u015f \u00dcretim (Retrieval-Augmented Generation – RAG) devreye giriyor. RAG, LLM’lerin kendi e\u011fitim verilerinin \u00f6tesine ge\u00e7erek harici bilgi kaynaklar\u0131ndan ilgili verileri almas\u0131n\u0131 ve bu bilgileri kullanarak daha do\u011fru, g\u00fcncel ve ba\u011flama uygun yan\u0131tlar \u00fcretmesini sa\u011flayan g\u00fc\u00e7l\u00fc bir mimaridir. Ancak RAG sistemlerini b\u00fcy\u00fck \u00f6l\u00e7ekte \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle de d\u00fc\u015f\u00fck gecikme (latency) ve y\u00fcksek performans beklentileri oldu\u011funda, \u00f6nemli zorluklar\u0131 beraberinde getirir. Gecikme, kullan\u0131c\u0131 deneyimini do\u011frudan etkileyen ve sistemin genel verimlili\u011fini belirleyen kritik bir fakt\u00f6rd\u00fcr. Bu teknik makalede, RAG sistemlerindeki gecikmeyi %40’a varan oranlarda azaltmak i\u00e7in par\u00e7alama (chunking), geri getirme (retrieval) stratejileri ve Bayes\u00e7i arama gibi ileri d\u00fczey optimizasyon tekniklerini ad\u0131m ad\u0131m inceleyece\u011fiz. Uygulamal\u0131 \u00f6rnekler ve ger\u00e7ek d\u00fcnya senaryolar\u0131yla, sistemlerinizi nas\u0131l daha h\u0131zl\u0131 ve verimli hale getirebilece\u011finizi ke\u015ffedeceksiniz.<\/p>\n
RAG (Retrieval-Augmented Generation), B\u00fcy\u00fck Dil Modellerinin (LLM) yeteneklerini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131ran yenilik\u00e7i bir yakla\u015f\u0131md\u0131r. Temelde, bir kullan\u0131c\u0131 bir soru sordu\u011funda veya bir sorgu yapt\u0131\u011f\u0131nda, RAG sistemi \u00f6nce ilgili harici bilgi kaynaklar\u0131ndan (belgeler, veritabanlar\u0131, web sayfalar\u0131 vb.) en alakal\u0131 bilgileri “geri getirir”. Ard\u0131ndan, bu geri getirilen bilgiler, LLM’ye ba\u011flam olarak sunulur ve LLM, bu ba\u011flam\u0131 kullanarak nihai yan\u0131t\u0131 “\u00fcretir”. Bu s\u00fcre\u00e7, LLM’lerin “hal\u00fcsinasyon” yapma (ger\u00e7ek olmayan bilgiler \u00fcretme) e\u011filimini azalt\u0131r, yan\u0131tlar\u0131n do\u011frulu\u011funu art\u0131r\u0131r ve en \u00f6nemlisi, LLM’lerin e\u011fitim verileri d\u0131\u015f\u0131ndaki g\u00fcncel bilgilere eri\u015fmesini sa\u011flar.<\/p>\n
RAG’\u0131n temel faydalar\u0131 saymakla bitmez. \u0130lk olarak, modellerin g\u00fcncel kalmas\u0131n\u0131 sa\u011flar. LLM’ler belirli bir tarihe kadar olan verilerle e\u011fitilir; RAG sayesinde, model en son olaylar veya bilgiler hakk\u0131nda bile do\u011fru yan\u0131tlar verebilir. \u0130kinci olarak, yan\u0131tlar\u0131n do\u011frulu\u011funu ve g\u00fcvenilirli\u011fini art\u0131r\u0131r. Model, yan\u0131tlar\u0131n\u0131 belirli, kan\u0131tlanabilir kaynaklara dayand\u0131rd\u0131\u011f\u0131 i\u00e7in, \u00fcretilen i\u00e7erik \u00e7ok daha sa\u011flam olur. Son olarak, RAG, LLM’lerin belirli bir alana \u00f6zg\u00fc, ni\u015f bilgilere eri\u015fimini kolayla\u015ft\u0131r\u0131r; bu da teknik destek, yasal dan\u0131\u015fmanl\u0131k veya bilimsel ara\u015ft\u0131rma gibi alanlarda paha bi\u00e7ilmezdir.<\/p>\n
Ancak, RAG sistemlerinin b\u00fcy\u00fck \u00f6l\u00e7ekte devreye al\u0131nmas\u0131, \u00f6zellikle de binlerce veya milyonlarca belgeyle \u00e7al\u0131\u015f\u0131ld\u0131\u011f\u0131nda, kendi i\u00e7inde ciddi zorluklar bar\u0131nd\u0131r\u0131r. Bu zorluklar\u0131n ba\u015f\u0131nda gecikme (latency) gelir. Bir kullan\u0131c\u0131 bir soru sordu\u011funda, sistemin ilgili belgeleri bulmas\u0131, bunlar\u0131 i\u015flemesi ve LLM’ye sunarak yan\u0131t \u00fcretmesi zaman al\u0131r. Bu s\u00fcre\u00e7teki herhangi bir yava\u015flama, kullan\u0131c\u0131 deneyimini olumsuz etkiler. Y\u00fcksek gecikme, \u00f6zellikle ger\u00e7ek zamanl\u0131 sohbet botlar\u0131, sanal asistanlar veya kritik i\u015f s\u00fcre\u00e7leri i\u00e7in kabul edilemezdir.<\/p>\n
Gecikmenin yan\u0131 s\u0131ra, maliyet de \u00f6nemli bir fakt\u00f6rd\u00fcr. Her geri getirme i\u015flemi ve LLM \u00e7a\u011fr\u0131s\u0131 hesaplama kaynaklar\u0131 t\u00fcketir. E\u011fer geri getirilen bilgiler \u00e7ok fazla veya alakas\u0131z olursa, hem LLM’nin i\u015f y\u00fck\u00fc artar hem de gereksiz yere kaynak harcan\u0131r. Ayr\u0131ca, geri getirilen bilgilerin alaka d\u00fczeyi de kritik \u00f6neme sahiptir. Yanl\u0131\u015f veya alakas\u0131z bilgilerin geri getirilmesi, LLM’nin yanl\u0131\u015f yan\u0131tlar \u00fcretmesine yol a\u00e7abilir, bu da RAG’\u0131n temel amac\u0131na ayk\u0131r\u0131d\u0131r. Bu nedenlerle, RAG sistemlerinin par\u00e7alama, geri getirme ve genel s\u00fcre\u00e7lerini optimize etmek, sadece performans i\u00e7in de\u011fil, ayn\u0131 zamanda maliyet etkinli\u011fi ve yan\u0131t kalitesi i\u00e7in de hayati \u00f6neme sahiptir.<\/p>\n
RAG sistemlerinin temelini olu\u015fturan en kritik ad\u0131mlardan biri, bilginin “par\u00e7alara” (chunks) ayr\u0131lmas\u0131d\u0131r. Bu par\u00e7alama s\u00fcreci, b\u00fcy\u00fck belgeleri veya veri k\u00fcmelerini daha k\u00fc\u00e7\u00fck, y\u00f6netilebilir ve anlaml\u0131 birimlere b\u00f6lmeyi ifade eder. Par\u00e7alaman\u0131n kalitesi, geri getirme (retrieval) a\u015famas\u0131n\u0131n ba\u015far\u0131s\u0131n\u0131 do\u011frudan etkiler. E\u011fer par\u00e7alar \u00e7ok b\u00fcy\u00fck olursa, i\u00e7erisindeki alakas\u0131z bilgiler LLM’ye gereksiz y\u00fck bindirir ve yan\u0131t kalitesini d\u00fc\u015f\u00fcrebilir. Tersine, e\u011fer par\u00e7alar \u00e7ok k\u00fc\u00e7\u00fck olursa, ba\u011flam kaybolabilir ve LLM’nin yeterli bilgiye sahip olmamas\u0131 nedeniyle do\u011fru yan\u0131tlar \u00fcretmesi zorla\u015fabilir.<\/p>\n
Par\u00e7alama stratejilerini se\u00e7erken g\u00f6z \u00f6n\u00fcnde bulundurmam\u0131z gereken birka\u00e7 temel y\u00f6ntem bulunmaktad\u0131r:<\/p>\n
1. Sabit Boyutlu Par\u00e7alama (Fixed-size Chunking)<\/strong>: En basit yakla\u015f\u0131md\u0131r. Belgeyi belirli bir karakter veya kelime say\u0131s\u0131na g\u00f6re e\u015fit par\u00e7alara b\u00f6leriz. 2. Anlamsal Par\u00e7alama (Semantic Chunking)<\/strong>: Bu y\u00f6ntem, belgenin do\u011fal yap\u0131s\u0131n\u0131 ve anlamsal b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc korumay\u0131 hedefler. C\u00fcmle s\u0131n\u0131rlar\u0131n\u0131, paragraf ayr\u0131mlar\u0131n\u0131 veya ba\u015fl\u0131k yap\u0131lar\u0131n\u0131 dikkate alarak par\u00e7alar olu\u015fturulur. 3. \u00d6zyinelemeli Karakter Par\u00e7alama (Recursive Character Text Splitting)<\/strong>: Bu strateji, belgeleri belirli ayra\u00e7lara (\u00f6rne\u011fin, “\\n\\n”, “\\n”, “.”, ” “) g\u00f6re \u00f6zyinelemeli olarak b\u00f6lmeye \u00e7al\u0131\u015f\u0131r. E\u011fer par\u00e7a hala \u00e7ok b\u00fcy\u00fckse, bir sonraki ayra\u00e7 kullan\u0131larak daha da b\u00f6l\u00fcn\u00fcr. Bu, anlamsal b\u00fct\u00fcnl\u00fc\u011f\u00fc korurken par\u00e7alar\u0131 y\u00f6netilebilir boyutlara indirmeyi ama\u00e7lar. Par\u00e7a boyutu ve \u00f6rt\u00fc\u015fme miktar\u0131, par\u00e7alama stratejisinin en kritik parametreleridir. \u00c7ok k\u00fc\u00e7\u00fck par\u00e7alar, LLM’nin yeterli ba\u011flam\u0131 alamamas\u0131na neden olabilirken, \u00e7ok b\u00fcy\u00fck par\u00e7alar, LLM’ye gereksiz ve alakas\u0131z bilgiler y\u00fckleyerek performans\u0131 d\u00fc\u015f\u00fcrebilir ve maliyeti art\u0131rabilir. Genellikle 200-1000 token (kelime benzeri birim) aral\u0131\u011f\u0131 tercih edilmekle birlikte, en iyi boyut, veri k\u00fcmesinin t\u00fcr\u00fcne ve kullan\u0131m senaryosuna g\u00f6re deneysel olarak belirlenmelidir. \u00d6rt\u00fc\u015fme (overlap) ise, par\u00e7alar aras\u0131ndaki ge\u00e7i\u015flerde ba\u011flam kayb\u0131n\u0131 \u00f6nlemek i\u00e7in kullan\u0131l\u0131r; \u00f6rne\u011fin, bir \u00f6nceki par\u00e7an\u0131n son birka\u00e7 c\u00fcmlesinin bir sonraki par\u00e7an\u0131n ba\u015f\u0131nda tekrar yer almas\u0131 gibi.<\/p>\n Par\u00e7alama i\u015flemi s\u0131ras\u0131nda, her par\u00e7aya ili\u015fkili meta veriler (metadata) eklemek de b\u00fcy\u00fck fayda sa\u011flar. Bu meta veriler, par\u00e7an\u0131n orijinal belgedeki konumunu, yazar\u0131n\u0131, tarihini, konusunu veya herhangi bir \u00f6zel etiketini i\u00e7erebilir. Geri getirme a\u015famas\u0131nda, bu meta veriler, arama sonu\u00e7lar\u0131n\u0131 filtrelemek veya \u00f6nceliklendirmek i\u00e7in kullan\u0131labilir, b\u00f6ylece alaka d\u00fczeyi daha da art\u0131r\u0131l\u0131r.<\/p>\n A\u015fa\u011f\u0131da, Python ile basit bir \u00f6zyinelemeli karakter par\u00e7alama \u00f6rne\u011fi g\u00f6sterilmi\u015ftir:<\/p>\n Bu kod \u00f6rne\u011fi, metni Par\u00e7alama i\u015flemiyle belgelerimizi anlaml\u0131 ve y\u00f6netilebilir birimlere ay\u0131rd\u0131ktan sonra, bir sonraki kritik ad\u0131m, bir kullan\u0131c\u0131 sorgusu geldi\u011finde bu par\u00e7alar aras\u0131ndan en ilgili olanlar\u0131 h\u0131zl\u0131 ve do\u011fru bir \u015fekilde geri getirmektir. Geri getirme (retrieval) mekanizmalar\u0131n\u0131n etkinli\u011fi, LLM'ye sunulan ba\u011flam\u0131n kalitesini do\u011frudan belirler ve dolay\u0131s\u0131yla nihai yan\u0131t\u0131n do\u011frulu\u011funu ve gecikme s\u00fcresini etkiler.<\/p>\n Modern RAG sistemlerinde geri getirme, genellikle vekt\u00f6r veritabanlar\u0131 (vector databases) ve g\u00f6mme (embeddings) teknolojileri arac\u0131l\u0131\u011f\u0131yla ger\u00e7ekle\u015ftirilir. Bir g\u00f6mme modeli, metin par\u00e7alar\u0131n\u0131 y\u00fcksek boyutlu bir vekt\u00f6r uzay\u0131nda say\u0131sal temsillerine (vekt\u00f6rlerine) d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Bu vekt\u00f6rler, metinlerin anlamsal anlamlar\u0131n\u0131 yakalar; yani anlamsal olarak benzer metinler, vekt\u00f6r uzay\u0131nda birbirine daha yak\u0131n konumlan\u0131r.<\/p>\n Vekt\u00f6r Veritabanlar\u0131 ve Benzerlik Aramas\u0131:<\/strong> Bu temel vekt\u00f6r tabanl\u0131 arama olduk\u00e7a etkilidir, ancak b\u00fcy\u00fck \u00f6l\u00e7ekli sistemlerde performans darbo\u011fazlar\u0131 yaratabilir:<\/p>\n 1. Alakas\u0131z Par\u00e7alar (Irrelevant Chunks)<\/strong>: Bazen en y\u00fcksek benzerlik skoruna sahip par\u00e7alar bile sorguyla tam olarak ilgili olmayabilir. Bu, LLM'ye gereksiz ba\u011flam sa\u011flayarak yan\u0131t kalitesini d\u00fc\u015f\u00fcrebilir ve LLM'nin i\u015fleme s\u00fcresini art\u0131rabilir. Bu sorunlar\u0131 a\u015fmak ve geri getirme kalitesini art\u0131rmak i\u00e7in geli\u015fmi\u015f teknikler kullan\u0131l\u0131r:<\/p>\n * Yeniden S\u0131ralama (Re-ranking)<\/strong>: \u0130lk geri getirme a\u015famas\u0131nda (\u00f6rne\u011fin, vekt\u00f6r veritaban\u0131ndan) elde edilen top-N par\u00e7ay\u0131, daha g\u00fc\u00e7l\u00fc ve hesaplama a\u00e7\u0131s\u0131ndan daha maliyetli bir model (\u00f6rne\u011fin, bir \u00e7apraz kodlay\u0131c\u0131 - cross-encoder) kullanarak tekrar de\u011ferlendirme i\u015flemidir. Bu ikinci a\u015fama, par\u00e7alar\u0131n sorguyla olan alaka d\u00fczeyini daha derinlemesine analiz eder ve en alakal\u0131 olanlar\u0131 en \u00fcste ta\u015f\u0131r. Yeniden s\u0131ralama, LLM'ye sunulan ba\u011flam\u0131n kalitesini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131rken, sadece k\u00fc\u00e7\u00fck bir par\u00e7a k\u00fcmesi \u00fczerinde \u00e7al\u0131\u015ft\u0131\u011f\u0131 i\u00e7in genel gecikmeye nispeten daha az etki eder.<\/p>\n * Hibrit Arama (Hybrid Search)<\/strong>: Vekt\u00f6r tabanl\u0131 anlamsal aramay\u0131, geleneksel anahtar kelime tabanl\u0131 arama (BM25 veya TF-IDF gibi) ile birle\u015ftiren bir yakla\u015f\u0131md\u0131r. Vekt\u00f6r aramas\u0131 anlamsal benzerlikleri yakalarken, anahtar kelime aramas\u0131 tam e\u015fle\u015fmeleri ve nadir terimleri bulmada daha iyidir. Bu iki y\u00f6ntemin sonu\u00e7lar\u0131n\u0131 birle\u015ftirmek (\u00f6rne\u011fin, Reciprocal Rank Fusion - RRF kullanarak), daha kapsaml\u0131 ve alakal\u0131 sonu\u00e7lar elde edilmesini sa\u011flar.<\/p>\n * \u00c7ok A\u015famal\u0131 Geri Getirme (Multi-stage Retrieval)<\/strong>: Sorguyu a\u015famal\u0131 olarak rafine eden bir yakla\u015f\u0131md\u0131r. \u0130lk a\u015famada daha geni\u015f bir arama yap\u0131l\u0131r, ard\u0131ndan elde edilen sonu\u00e7lar \u00fczerinde daha spesifik sorgular veya filtrelemeler uygulanarak nihai par\u00e7alar elde edilir. \u00d6rne\u011fin, \u00f6nce genel bir konuyla ilgili belgeler getirilir, ard\u0131ndan bu belgeler i\u00e7inden belirli bir tarihe veya yazara ait olanlar filtrelenir.<\/p>\n Geri getirme mekanizmalar\u0131n\u0131n optimize edilmesi, sadece LLM'ye daha iyi ba\u011flam sa\u011flamakla kalmaz, ayn\u0131 zamanda gereksiz LLM \u00e7a\u011fr\u0131lar\u0131n\u0131 ve i\u015fleme y\u00fck\u00fcn\u00fc azaltarak sistemin genel gecikmesini ve maliyetini d\u00fc\u015f\u00fcrmeye yard\u0131mc\u0131 olur. Ancak bu optimizasyonlar genellikle ek hesaplama ad\u0131mlar\u0131 anlam\u0131na gelir, bu da dikkatli bir dengelemeyi gerektirir.<\/p>\n RAG sistemleri, LLM'lere harici bilgi entegrasyonu konusunda devrim niteli\u011finde olsa da, b\u00fcy\u00fck \u00f6l\u00e7ekte ve ger\u00e7ek zamanl\u0131 uygulamalarda kar\u015f\u0131la\u015f\u0131lan en b\u00fcy\u00fck zorluklardan biri y\u00fcksek gecikmedir (latency). Gecikme, bir kullan\u0131c\u0131n\u0131n sorguyu g\u00f6ndermesi ile sistemden yan\u0131t almas\u0131 aras\u0131nda ge\u00e7en s\u00fcreyi ifade eder. \u00d6zellikle m\u00fc\u015fteri hizmetleri botlar\u0131, interaktif asistanlar veya kritik i\u015f s\u00fcre\u00e7leri gibi senaryolarda, kabul edilebilir bir kullan\u0131c\u0131 deneyimi i\u00e7in d\u00fc\u015f\u00fck gecikme hayati \u00f6neme sahiptir.<\/p>\n RAG sistemindeki gecikmeyi etkileyen temel fakt\u00f6rler \u015funlard\u0131r:<\/p>\n 1. G\u00f6mme Olu\u015fturma (Embedding Generation)<\/strong>: Kullan\u0131c\u0131 sorgusunun vekt\u00f6r temsile d\u00f6n\u00fc\u015ft\u00fcr\u00fclmesi zaman al\u0131r. \u00d6zellikle yo\u011fun y\u00fck alt\u0131nda, bu i\u015flem bir darbo\u011faz olu\u015fturabilir. Bu gecikme fakt\u00f6rlerini azaltmak i\u00e7in ba\u015flang\u0131\u00e7ta baz\u0131 genel optimizasyonlar uygulanabilir:<\/p>\n * \u00d6nbellekleme (Caching)<\/strong>: S\u0131k\u00e7a sorulan sorgular veya s\u0131k\u00e7a kullan\u0131lan par\u00e7alar \u00f6nbelle\u011fe al\u0131narak, tekrar eden i\u015flemlerde vekt\u00f6r veritaban\u0131 sorgusu veya LLM \u00e7\u0131kar\u0131m\u0131 atlanabilir. Bu, \u00f6zellikle pop\u00fcler konular veya statik bilgiler i\u00e7in etkilidir. Ancak bu temel \u00e7\u00f6z\u00fcmler, genellikle belirli bir noktaya kadar etkilidir. \u00d6zellikle dinamik ve karma\u015f\u0131k sorgular\u0131n oldu\u011fu durumlarda, sabit parametrelerle \u00e7al\u0131\u015fmak optimal performans\u0131 garantilemez. \u00d6rne\u011fin, her sorgu i\u00e7in ayn\u0131 say\u0131da par\u00e7ay\u0131 (k) geri getirmek, baz\u0131 sorgular i\u00e7in gereksiz gecikmeye neden olurken, di\u011ferleri i\u00e7in yetersiz ba\u011flam sa\u011flayabilir. \u0130\u015fte bu noktada, daha ak\u0131ll\u0131 ve adaptif bir yakla\u015f\u0131m olan Bayes\u00e7i Arama (Bayesian Search) devreye girer. Bu y\u00f6ntem, sistemin kendi performans\u0131n\u0131 \u00f6\u011frenmesini ve geri getirme s\u00fcrecini dinamik olarak ayarlamas\u0131n\u0131 sa\u011flayarak, gecikmeyi \u00f6nemli \u00f6l\u00e7\u00fcde azaltma potansiyeli sunar.<\/p>\n Geleneksel RAG sistemlerinde, geri getirme (retrieval) a\u015famas\u0131ndaki parametreler (\u00f6rne\u011fin, ka\u00e7 par\u00e7a getirilece\u011fi - Bayes\u00e7i Arama Nedir?<\/strong> RAG Geri Getirme S\u00fcrecine Uygulanmas\u0131:<\/strong> S\u00fcre\u00e7 kabaca \u015fu ad\u0131mlar\u0131 izler:<\/p>\n 1. Parametre Alan\u0131n\u0131 Tan\u0131mlama<\/strong>: Optimize edilecek parametrelerin aral\u0131\u011f\u0131 belirlenir (\u00f6rne\u011fin, Gecikmeyi %40 Azaltmadaki Rol\u00fc:<\/strong> * Dinamik Bu dinamik optimizasyon sayesinde, RAG sistemi her sorgu i\u00e7in \"tam olarak yeterli\" ba\u011flam\u0131 \"m\u00fcmk\u00fcn olan en h\u0131zl\u0131\" \u015fekilde getirir. Bu da genel sistem gecikmesinde \u00f6nemli bir d\u00fc\u015f\u00fc\u015fe yol a\u00e7ar. Bir vaka analizinde g\u00f6r\u00fcld\u00fc\u011f\u00fc gibi, Bayes\u00e7i Arama, \u00f6zellikle y\u00fcksek hacimli ve de\u011fi\u015fken sorgu yap\u0131s\u0131na sahip sistemlerde, gereksiz hesaplama y\u00fck\u00fcn\u00fc ortadan kald\u0131rarak %40'a varan gecikme azalmalar\u0131 sa\u011flayabilir. Bu, sadece kullan\u0131c\u0131 deneyimini iyile\u015ftirmekle kalmaz, ayn\u0131 zamanda operasyonel maliyetleri de d\u00fc\u015f\u00fcr\u00fcr.<\/p>\n Bir teknoloji \u015firketinin, m\u00fc\u015fteri destek s\u00fcre\u00e7lerini otomatikle\u015ftirmek i\u00e7in b\u00fcy\u00fck \u00f6l\u00e7ekli bir RAG tabanl\u0131 sohbet botu (chatbot) geli\u015ftirdi\u011fini varsayal\u0131m. Bu bot, \u015firketin geni\u015f \u00fcr\u00fcn yelpazesine ait teknik dok\u00fcmanlar, SSS sayfalar\u0131, forum tart\u0131\u015fmalar\u0131 ve m\u00fc\u015fteri notlar\u0131ndan olu\u015fan devasa bir bilgi taban\u0131n\u0131 kullanarak m\u00fc\u015fteri sorular\u0131n\u0131 yan\u0131tl\u0131yor. \u0130lk a\u015famada bot, temel RAG mimarisiyle \u00e7al\u0131\u015f\u0131yor ancak performans sorunlar\u0131 ya\u015f\u0131yor. M\u00fc\u015fteriler, yan\u0131tlar\u0131n gecikmeli gelmesinden \u015fikayet\u00e7i ve \u015firket, LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n y\u00fcksek maliyetinden endi\u015fe duyuyor.<\/p>\n Problem:<\/strong> Uygulanan Optimizasyon Stratejileri:<\/strong><\/p>\n \u015eirket, bu sorunlar\u0131 \u00e7\u00f6zmek i\u00e7in kapsaml\u0131 bir optimizasyon s\u00fcreci ba\u015flatt\u0131:<\/p>\n 1. Ak\u0131ll\u0131 Par\u00e7alama (Chunking) Stratejisi<\/strong>: 2. Geli\u015fmi\u015f Geri Getirme (Retrieval) Mekanizmalar\u0131<\/strong>: 3. Bayes\u00e7i Arama ile Dinamik Parametre Optimizasyonu<\/strong>: Sonu\u00e7lar:<\/strong><\/p>\n Uygulanan bu kapsaml\u0131 optimizasyonlar sayesinde, teknoloji \u015firketi RAG sisteminde dikkate de\u011fer iyile\u015fmeler elde etti:<\/p>\n * Gecikmede %40 Azalma<\/strong>: Ortalama yan\u0131t s\u00fcresi 5-7 saniyeden 3-4 saniyeye d\u00fc\u015ft\u00fc. Bu, m\u00fc\u015fteri memnuniyetini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rd\u0131. Bu vaka analizi, par\u00e7alama, geri getirme ve Bayes\u00e7i Arama gibi ileri d\u00fczey optimizasyon tekniklerinin bir kombinasyonunun, b\u00fcy\u00fck \u00f6l\u00e7ekli RAG sistemlerinde hem performans hem de maliyet etkinli\u011fi a\u00e7\u0131s\u0131ndan ne kadar d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc olabilece\u011fini a\u00e7\u0131k\u00e7a g\u00f6stermektedir. Dinamik ve adaptif yakla\u015f\u0131mlar, sabit parametrelerle \u00e7al\u0131\u015fman\u0131n getirdi\u011fi k\u0131s\u0131tlamalar\u0131 a\u015farak daha ak\u0131ll\u0131 ve verimli sistemler olu\u015fturman\u0131n anahtar\u0131d\u0131r.<\/p>\n B\u00fcy\u00fck \u00d6l\u00e7ekte RAG optimizasyonu, g\u00fcn\u00fcm\u00fcz\u00fcn yapay zeka destekli uygulamalar\u0131n\u0131n ba\u015far\u0131s\u0131 i\u00e7in kritik bir ad\u0131md\u0131r. Bu makalede, RAG sistemlerindeki gecikmeyi azaltmak, yan\u0131t kalitesini art\u0131rmak ve operasyonel maliyetleri d\u00fc\u015f\u00fcrmek i\u00e7in par\u00e7alama (chunking), geri getirme (retrieval) ve Bayes\u00e7i arama gibi temel stratejileri detayl\u0131ca inceledik. Etkili par\u00e7alama teknikleriyle bilginin do\u011fru yap\u0131land\u0131r\u0131lmas\u0131, hibrit ve yeniden s\u0131ralamal\u0131 geri getirme mekanizmalar\u0131yla en alakal\u0131 bilgilere h\u0131zl\u0131 eri\u015fim ve son olarak Bayes\u00e7i arama ile dinamik parametre optimizasyonu, RAG sistemlerinin performans\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rma potansiyeline sahiptir. Ger\u00e7ek d\u00fcnya vaka analizi, bu entegre yakla\u015f\u0131mlar\u0131n, bir teknoloji \u015firketinin m\u00fc\u015fteri destek botunun gecikmesini %40 oran\u0131nda azaltarak hem kullan\u0131c\u0131 deneyimini iyile\u015ftirdi\u011fini hem de maliyetleri d\u00fc\u015f\u00fcrd\u00fc\u011f\u00fcn\u00fc a\u00e7\u0131k\u00e7a ortaya koymu\u015ftur.<\/p>\n Unutulmamal\u0131d\u0131r ki, her RAG sistemi benzersizdir ve en iyi optimizasyon stratejileri, kullan\u0131lan veri setinin do\u011fas\u0131na, uygulama senaryosuna ve performans hedeflerine g\u00f6re de\u011fi\u015fiklik g\u00f6sterebilir. Bu nedenle, burada bahsedilen tekniklerin kendi sistemlerinizde dikkatlice test edilmesi ve ayarlanmas\u0131 b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r. Gelecekte, RAG sistemleri daha da ak\u0131ll\u0131 hale gelecek, adaptif par\u00e7alama, \u00e7ok modlu geri getirme ve kendi kendini d\u00fczelten ajanlar gibi yenilik\u00e7i yakla\u015f\u0131mlarla performans s\u0131n\u0131rlar\u0131n\u0131 zorlamaya devam edecektir.<\/p>\n 1. RAG sistemlerinde gecikme neden bu kadar \u00f6nemlidir?<\/strong> 2. Par\u00e7alama (chunking) stratejisi RAG performans\u0131n\u0131 nas\u0131l etkiler?<\/strong> 3. Bayes\u00e7i Arama, RAG gecikmesini tam olarak nas\u0131l azalt\u0131r?<\/strong> 4. Yeniden s\u0131ralama (re-ranking) her zaman gerekli midir?<\/strong> 5. RAG optimizasyonunda maliyet fakt\u00f6r\u00fc nas\u0131l ele al\u0131n\u0131r?<\/strong> #RAGOptimizasyonu #B\u00fcy\u00fckDilModelleri #Makine\u00d6\u011frenimi #VeriBilimi #GecikmeAzaltma<\/p>\n
\n * Avantajlar\u0131<\/strong>: Uygulamas\u0131 kolayd\u0131r.
\n * Dezavantajlar\u0131<\/strong>: C\u00fcmleleri veya paragraflar\u0131 ortadan b\u00f6lebilir, bu da ba\u011flamsal b\u00fct\u00fcnl\u00fc\u011f\u00fc bozabilir.
\n * Uygulama \u0130pu\u00e7lar\u0131<\/strong>: Genellikle belirli bir “overlap” (\u00f6rt\u00fc\u015fme) miktar\u0131 ile kullan\u0131l\u0131r. \u00d6rne\u011fin, 500 kelimelik par\u00e7alar olu\u015ftururken, her yeni par\u00e7an\u0131n \u00f6nceki par\u00e7adan 50 kelime i\u00e7ermesini sa\u011flayarak ba\u011flam kayb\u0131n\u0131 azaltabiliriz.<\/p>\n
\n * Avantajlar\u0131<\/strong>: Par\u00e7alar genellikle daha anlaml\u0131 ve ba\u011flamsal olarak tutarl\u0131d\u0131r, bu da geri getirme kalitesini art\u0131r\u0131r.
\n * Dezavantajlar\u0131<\/strong>: Uygulamas\u0131 sabit boyutlu par\u00e7alamaya g\u00f6re daha karma\u015f\u0131kt\u0131r, do\u011fal dil i\u015fleme (NLP) teknikleri gerektirebilir.
\n * Uygulama \u0130pu\u00e7lar\u0131<\/strong>: Ba\u015fl\u0131klar, alt ba\u015fl\u0131klar ve paragraflar gibi yap\u0131sal elementler kullan\u0131larak par\u00e7alar olu\u015fturulabilir. Ayr\u0131ca, c\u00fcmle g\u00f6mme (sentence embeddings) kullanarak c\u00fcmleler aras\u0131ndaki anlamsal benzerlikleri tespit edip ilgili c\u00fcmleleri bir arada tutan gruplar olu\u015fturmak da m\u00fcmk\u00fcnd\u00fcr.<\/p>\n
\n * Avantajlar\u0131<\/strong>: Hem yap\u0131sal b\u00fct\u00fcnl\u00fc\u011f\u00fc koruma hem de par\u00e7a boyutunu kontrol etme aras\u0131nda iyi bir denge sa\u011flar.
\n * Dezavantajlar\u0131<\/strong>: Ayra\u00e7lar\u0131n do\u011fru se\u00e7ilmesi \u00f6nemlidir; yanl\u0131\u015f ayra\u00e7lar ba\u011flam\u0131 bozabilir.<\/p>\n\nfrom typing import List\n\ndef recursive_character_text_splitter(text: str, chunk_size: int, chunk_overlap: int, separators: List[str]) -> List[str]:\n chunks = []\n current_text = text\n \n for separator in separators:\n if separator == \"\": # Fallback to character splitting\n if len(current_text) > chunk_size:\n for i in range(0, len(current_text), chunk_size - chunk_overlap):\n chunks.append(current_text[i:i + chunk_size])\n else:\n chunks.append(current_text)\n return chunks\n\n parts = current_text.split(separator)\n temp_chunks = []\n for part in parts:\n if len(part) > chunk_size:\n # If a part is still too big, try next separator recursively\n temp_chunks.extend(recursive_character_text_splitter(part, chunk_size, chunk_overlap, separators[separators.index(separator)+1:]))\n else:\n temp_chunks.append(part)\n \n # Merge small chunks if possible and apply overlap\n merged_chunks = []\n if temp_chunks:\n current_chunk = temp_chunks[0]\n for i in range(1, len(temp_chunks)):\n if len(current_chunk) + len(separator) + len(temp_chunks[i]) <= chunk_size + chunk_overlap: # Allow overlap for merging\n current_chunk += separator + temp_chunks[i]\n else:\n merged_chunks.append(current_chunk)\n # Apply overlap for the next chunk\n overlap_text = current_chunk[-(chunk_overlap):] if len(current_chunk) > chunk_overlap else \"\"\n current_chunk = overlap_text + separator + temp_chunks[i] if overlap_text else temp_chunks[i]\n merged_chunks.append(current_chunk)\n \n if all(len(c) <= chunk_size for c in merged_chunks) and merged_chunks:\n return merged_chunks\n else:\n current_text = separator.join(parts) # Reconstruct and try next separator if not fully processed\n\n return chunks # Fallback if no separator works as intended\n\n\n# \u00d6rnek kullan\u0131m:\ntext = \"Bu uzun bir metin. C\u00fcmleler aras\u0131na nokta koydum. Paragraflar aras\u0131nda \u00e7ift yeni sat\u0131r var.\\n\\nBu ikinci paragraf. Daha fazla bilgi i\u00e7eriyor. Deneme ama\u00e7l\u0131 uzun bir metin.\"\nseparators = [\"\\n\\n\", \"\\n\", \". \", \" \"] # Denenecek ayra\u00e7lar\nchunk_size = 50\nchunk_overlap = 10\n\nchunks = recursive_character_text_splitter(text, chunk_size, chunk_overlap, separators)\nfor i, chunk in enumerate(chunks):\n print(f\"Par\u00e7a {i+1} ({len(chunk)} karakter): {chunk}\")\n\n# \u00c7\u0131kt\u0131 \u00f6rne\u011fi (ger\u00e7ek \u00e7\u0131kt\u0131, chunk_size ve overlap'a g\u00f6re de\u011fi\u015fir):\n# Par\u00e7a 1 (30 karakter): Bu uzun bir metin. C\u00fcmleler aras\u0131na\n# Par\u00e7a 2 (40 karakter): aras\u0131na nokta koydum. Paragraflar aras\u0131nda\n# Par\u00e7a 3 (43 karakter): aras\u0131nda \u00e7ift yeni sat\u0131r var. Bu ikinci paragraf.\n# Par\u00e7a 4 (39 karakter): ikinci paragraf. Daha fazla bilgi i\u00e7eriyor.\n# Par\u00e7a 5 (30 karakter): i\u00e7eriyor. Deneme ama\u00e7l\u0131 uzun bir metin.\n <\/code><\/pre>\n<\/div>\nseparators<\/code> listesindeki ayra\u00e7lara g\u00f6re b\u00f6lmeye \u00e7al\u0131\u015f\u0131r. E\u011fer bir par\u00e7a hala chunk_size<\/code>'dan b\u00fcy\u00fckse, bir sonraki ayra\u00e7la daha da b\u00f6l\u00fcn\u00fcr. chunk_overlap<\/code> ise par\u00e7alar aras\u0131 ba\u011flam\u0131n korunmas\u0131na yard\u0131mc\u0131 olur. Do\u011fru par\u00e7alama stratejisi, RAG sisteminizin verimlili\u011fi ve do\u011frulu\u011fu i\u00e7in temel bir ad\u0131md\u0131r.<\/p>\nGeri Getirme (Retrieval) Mekanizmalar\u0131n\u0131 Geli\u015ftirme: En \u0130lgili Bilgiye H\u0131zl\u0131 Eri\u015fim<\/h3>\n
\nT\u00fcm par\u00e7alar\u0131n vekt\u00f6rleri bir vekt\u00f6r veritaban\u0131na (\u00f6rne\u011fin, Pinecone, Weaviate, Milvus, Faiss) depolan\u0131r. Bir kullan\u0131c\u0131 sorgusu geldi\u011finde, bu sorgu da ayn\u0131 g\u00f6mme modeli kullan\u0131larak bir vekt\u00f6re d\u00f6n\u00fc\u015ft\u00fcr\u00fcl\u00fcr. Ard\u0131ndan, vekt\u00f6r veritaban\u0131nda sorgu vekt\u00f6r\u00fcne en benzer par\u00e7alar\u0131n vekt\u00f6rleri aran\u0131r. Bu benzerlik genellikle kosin\u00fcs benzerli\u011fi (cosine similarity) gibi metriklerle hesaplan\u0131r.<\/p>\n\n# Basit bir g\u00f6mme ve benzerlik arama konsepti (Python pseudocode)\nfrom sklearn.metrics.pairwise import cosine_similarity\nimport numpy as np\n\n# \u00d6rnek g\u00f6mme vekt\u00f6rleri (ger\u00e7ekte bir embedding modeli ile olu\u015fturulur)\nchunk_embeddings = {\n \"par\u00e7a_1\": np.array([0.1, 0.2, 0.7, 0.4]),\n \"par\u00e7a_2\": np.array([0.8, 0.1, 0.2, 0.3]),\n \"par\u00e7a_3\": np.array([0.15, 0.25, 0.65, 0.35]), # par\u00e7a_1'e benzer\n \"par\u00e7a_4\": np.array([0.9, 0.05, 0.1, 0.25]) # par\u00e7a_2'ye benzer\n}\n\ndef generate_query_embedding(query_text: str):\n # Bu fonksiyon ger\u00e7ekte bir embedding modeli (\u00f6rn. Sentence-BERT) kullan\u0131r.\n # \u015eimdilik rastgele veya manuel bir vekt\u00f6r d\u00f6nd\u00fcrelim.\n if \"RAG optimizasyonu\" in query_text:\n return np.array([0.12, 0.22, 0.68, 0.38]) # par\u00e7a_1 ve par\u00e7a_3'e benzer bir sorgu\n elif \"h\u0131zl\u0131 arama\" in query_text:\n return np.array([0.85, 0.08, 0.18, 0.28]) # par\u00e7a_2 ve par\u00e7a_4'e benzer bir sorgu\n else:\n return np.random.rand(4) # Rastgele vekt\u00f6r\n\ndef retrieve_top_k_chunks(query_embedding, embeddings_dict, k=2):\n similarities = []\n for chunk_id, chunk_vec in embeddings_dict.items():\n similarity = cosine_similarity(query_embedding.reshape(1, -1), chunk_vec.reshape(1, -1))[0][0]\n similarities.append((chunk_id, similarity))\n \n # Benzerli\u011fe g\u00f6re s\u0131rala ve en \u00fcst k'y\u0131 d\u00f6nd\u00fcr\n similarities.sort(key=lambda x: x[1], reverse=True)\n return similarities[:k]\n\n# Kullan\u0131c\u0131 sorgusu\nuser_query = \"RAG optimizasyonu hakk\u0131nda bilgi ver.\"\nquery_vec = generate_query_embedding(user_query)\n\n# En iyi 2 par\u00e7ay\u0131 getir\ntop_chunks = retrieve_top_k_chunks(query_vec, chunk_embeddings, k=2)\nprint(f\"'{user_query}' i\u00e7in en ilgili par\u00e7alar: {top_chunks}\")\n\n# \u00c7\u0131kt\u0131 \u00f6rne\u011fi:\n# 'RAG optimizasyonu hakk\u0131nda bilgi ver.' i\u00e7in en ilgili par\u00e7alar: [('par\u00e7a_3', 0.999...), ('par\u00e7a_1', 0.999...)]\n <\/code><\/pre>\n<\/div>\n
\n2. G\u00fcr\u00fclt\u00fc (Noise)<\/strong>: Vekt\u00f6r veritabanlar\u0131, her zaman sorgunun tam olarak neyi arad\u0131\u011f\u0131n\u0131 m\u00fckemmel bir \u015fekilde anlamayabilir. Bu da alakas\u0131z ancak anlamsal olarak benzer g\u00f6r\u00fcnen par\u00e7alar\u0131n getirilmesine neden olabilir.
\n3. Kapsam Eksikli\u011fi<\/strong>: Bazen tek bir sorgu vekt\u00f6r\u00fc, \u00e7ok y\u00f6nl\u00fc bir sorgunun t\u00fcm n\u00fcanslar\u0131n\u0131 yakalamakta yetersiz kalabilir.<\/p>\nB\u00fcy\u00fck \u00d6l\u00e7ekli Sistemlerde Gecikme Sorunu ve \u00c7\u00f6z\u00fcmleri<\/h3>\n
\n2. Vekt\u00f6r Veritaban\u0131 Sorgusu (Vector Database Query)<\/strong>: Milyonlarca veya milyarlarca vekt\u00f6r aras\u0131nda en benzer par\u00e7alar\u0131 bulmak, vekt\u00f6r veritaban\u0131n\u0131n performans\u0131na, indeksleme stratejisine ve sorgunun karma\u015f\u0131kl\u0131\u011f\u0131na ba\u011fl\u0131 olarak zaman alabilir.
\n3. Geri Getirilen Par\u00e7alar\u0131n \u0130\u015flenmesi<\/strong>: Geri getirilen par\u00e7alar\u0131n LLM'ye g\u00f6nderilmeden \u00f6nce \u00f6n i\u015flenmesi (\u00f6rne\u011fin, birle\u015ftirme, filtreleme) ek s\u00fcre gerektirebilir.
\n4. Yeniden S\u0131ralama (Re-ranking)<\/strong>: E\u011fer yeniden s\u0131ralama modeli kullan\u0131l\u0131yorsa, bu modelin geri getirilen par\u00e7alar\u0131 de\u011ferlendirmesi de gecikmeye katk\u0131da bulunur. Daha sofistike modeller daha iyi alaka d\u00fczeyi sunsa da, daha uzun s\u00fcrebilir.
\n5. LLM \u00c7\u0131kar\u0131m\u0131 (LLM Inference)<\/strong>: En b\u00fcy\u00fck gecikme kayna\u011f\u0131 genellikle budur. LLM'nin geri getirilen ba\u011flam\u0131 ve sorguyu kullanarak yan\u0131t \u00fcretmesi, modelin boyutu, kullan\u0131lan donan\u0131m ve \u00fcretilecek yan\u0131t\u0131n uzunlu\u011funa g\u00f6re \u00f6nemli \u00f6l\u00e7\u00fcde de\u011fi\u015fir.<\/p>\n
\n* Paralel \u0130\u015fleme (Parallel Processing)<\/strong>: M\u00fcmk\u00fcn olan yerlerde, farkl\u0131 RAG ad\u0131mlar\u0131 paralel olarak \u00e7al\u0131\u015ft\u0131r\u0131labilir. \u00d6rne\u011fin, birden fazla par\u00e7an\u0131n g\u00f6mme olu\u015fturulmas\u0131 veya LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n e\u015f zamanl\u0131 yap\u0131lmas\u0131.
\n* Donan\u0131m Optimizasyonu<\/strong>: Daha h\u0131zl\u0131 GPU'lar, daha iyi a\u011f altyap\u0131s\u0131 ve optimize edilmi\u015f vekt\u00f6r veritaban\u0131 sunucular\u0131, genel performans\u0131 art\u0131rabilir.
\n* Model Kuantizasyonu\/Dam\u0131tma (Quantization\/Distillation)<\/strong>: Daha k\u00fc\u00e7\u00fck, daha h\u0131zl\u0131 g\u00f6mme modelleri veya LLM'ler kullanarak \u00e7\u0131kar\u0131m s\u00fcresini k\u0131saltmak m\u00fcmk\u00fcnd\u00fcr.
\n* Geri Getirilen Par\u00e7a Say\u0131s\u0131n\u0131 S\u0131n\u0131rlama<\/strong>: LLM'ye g\u00f6nderilen par\u00e7a say\u0131s\u0131n\u0131 (k de\u011feri) optimize etmek \u00f6nemlidir. \u00c7ok fazla par\u00e7a, LLM'nin i\u015fleme s\u00fcresini uzat\u0131rken, \u00e7ok az par\u00e7a ba\u011flam kayb\u0131na yol a\u00e7abilir.<\/p>\nBayes\u00e7i Arama ile Geri Getirme S\u00fcrecini Ak\u0131ll\u0131 Hale Getirme: Gecikmeyi Nas\u0131l Azalt\u0131r\u0131z?<\/h3>\n
k<\/code> de\u011feri, yeniden s\u0131ralama e\u015fikleri, hangi arama t\u00fcrlerinin kullan\u0131laca\u011f\u0131) genellikle sabit olarak belirlenir. Ancak bu sabit ayarlar, her sorgu tipi veya her kullan\u0131c\u0131 senaryosu i\u00e7in optimal olmayabilir. Baz\u0131 sorgular \u00e7ok az par\u00e7ayla bile do\u011fru yan\u0131t\u0131 bulabilirken, di\u011ferleri daha derinlemesine bir arama gerektirebilir. Bu durum, ya gereksiz yere fazla par\u00e7a getirerek gecikmeyi art\u0131r\u0131r ya da yetersiz par\u00e7a getirerek yan\u0131t kalitesini d\u00fc\u015f\u00fcr\u00fcr. \u0130\u015fte Bayes\u00e7i Arama (Bayesian Search) bu dinamik zorlu\u011fun \u00fcstesinden gelmek i\u00e7in g\u00fc\u00e7l\u00fc bir \u00e7\u00f6z\u00fcm sunar.<\/p>\n
\nBayes\u00e7i optimizasyon, bilinmeyen bir hedef fonksiyonunu (bu durumda, gecikmeyi en aza indirirken alaka d\u00fczeyini en \u00fcst d\u00fczeye \u00e7\u0131karma) en aza indirmek veya en \u00fcst d\u00fczeye \u00e7\u0131karmak i\u00e7in kullan\u0131lan bir makine \u00f6\u011frenimi tekni\u011fidir. Geleneksel optimizasyon y\u00f6ntemlerinin aksine, Bayes\u00e7i optimizasyon, hedef fonksiyonunun \u015fekli hakk\u0131nda \u00f6nceki inan\u00e7lar\u0131 (prior beliefs) kullan\u0131r ve bu inan\u00e7lar\u0131 her yeni denemeden elde edilen sonu\u00e7larla g\u00fcnceller. Bu, daha az deneme ile optimal veya optimuma yak\u0131n bir \u00e7\u00f6z\u00fcme ula\u015fmas\u0131n\u0131 sa\u011flar.<\/p>\n
\nRAG ba\u011flam\u0131nda, Bayes\u00e7i Arama, geri getirme parametrelerini (\u00f6rne\u011fin, k<\/code> de\u011feri, yeniden s\u0131ralama i\u00e7in e\u015fik de\u011feri, farkl\u0131 geri getirme algoritmalar\u0131n\u0131n a\u011f\u0131rl\u0131klar\u0131) dinamik olarak optimize etmek i\u00e7in kullan\u0131labilir. Ama\u00e7, belirli bir gecikme b\u00fct\u00e7esi dahilinde en y\u00fcksek alaka d\u00fczeyini (veya en d\u00fc\u015f\u00fck gecikmeyi, belirli bir alaka d\u00fczeyi e\u015fi\u011fini a\u015farken) elde etmektir.<\/p>\nk<\/code> de\u011feri 1 ile 10 aras\u0131nda, yeniden s\u0131ralama e\u015fi\u011fi 0.5 ile 0.9 aras\u0131nda).
\n2. Hedef Fonksiyonu Belirleme<\/strong>: Sistemin optimize etmek istedi\u011fi metrik tan\u0131mlan\u0131r. Bu, gecikme, alaka d\u00fczeyi (\u00f6rne\u011fin, kullan\u0131c\u0131 geri bildirimi, LLM de\u011ferlendirmesi), veya bunlar\u0131n bir kombinasyonu olabilir. \u00d6rne\u011fin, \"gecikmeyi minimize ederken, yan\u0131t\u0131n alaka d\u00fczeyinin belirli bir e\u015fi\u011fin \u00fczerinde olmas\u0131n\u0131 sa\u011flayan parametre kombinasyonu\".
\n3. Surrogate Model (Vekil Model) Olu\u015fturma<\/strong>: Bayes\u00e7i optimizasyon, hedef fonksiyonunun karma\u015f\u0131k ve maliyetli olabilece\u011fi durumlarda, bu fonksiyonun davran\u0131\u015f\u0131n\u0131 tahmin etmek i\u00e7in daha basit bir \"vekil model\" (genellikle Gaussian Process) kullan\u0131r. Bu model, daha \u00f6nce yap\u0131lan denemelerin sonu\u00e7lar\u0131na dayanarak, parametre alan\u0131ndaki di\u011fer noktalarda hedef fonksiyonunun nas\u0131l davranabilece\u011fine dair bir olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131 olu\u015fturur.
\n4. Edinim Fonksiyonu (Acquisition Function)<\/strong>: Vekil modelin sa\u011flad\u0131\u011f\u0131 olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131n\u0131 kullanarak, bir sonraki denemede hangi parametre kombinasyonunun test edilece\u011fine karar veren bir \"edinim fonksiyonu\" kullan\u0131l\u0131r. Bu fonksiyon, hem ke\u015fif (exploration - hen\u00fcz ke\u015ffedilmemi\u015f alanlar\u0131 deneme) hem de s\u00f6m\u00fcr\u00fc (exploitation - en iyi bilinen alanlar\u0131 daha fazla deneme) aras\u0131nda bir denge kurar.
\n5. Tekrarl\u0131 Optimizasyon<\/strong>: Edinim fonksiyonu taraf\u0131ndan \u00f6nerilen yeni parametre kombinasyonuyla RAG sistemi \u00e7al\u0131\u015ft\u0131r\u0131l\u0131r, hedef fonksiyonunun de\u011feri (gecikme ve\/veya alaka d\u00fczeyi) \u00f6l\u00e7\u00fcl\u00fcr. Bu yeni sonu\u00e7, vekil modeli g\u00fcncellemek i\u00e7in kullan\u0131l\u0131r ve s\u00fcre\u00e7 tekrarlan\u0131r.<\/p>\n
\nBayes\u00e7i Arama, \u00f6zellikle RAG sistemlerinde \"gereksiz yere fazla \u00e7al\u0131\u015fma\" sorununu \u00e7\u00f6zerek gecikmeyi azalt\u0131r. \u00d6rne\u011fin:<\/p>\nk<\/code> De\u011feri<\/strong>: Basit sorgular i\u00e7in k=2<\/code> veya k=3<\/code> yeterliyken, karma\u015f\u0131k sorgular i\u00e7in k=10<\/code> gerekebilir. Bayes\u00e7i Arama, sorgu \u00f6zelliklerine (uzunluk, anahtar kelime yo\u011funlu\u011fu, ge\u00e7mi\u015f performans) dayanarak k<\/code> de\u011ferini dinamik olarak ayarlayabilir. B\u00f6ylece, gereksiz yere fazla par\u00e7a i\u015flenmez, bu da vekt\u00f6r veritaban\u0131 sorgu s\u00fcresini, yeniden s\u0131ralama s\u00fcresini ve en \u00f6nemlisi LLM \u00e7\u0131kar\u0131m s\u00fcresini k\u0131salt\u0131r.
\n* Uyarlanabilir Yeniden S\u0131ralama<\/strong>: Her sorgu i\u00e7in pahal\u0131 bir yeniden s\u0131ralama modelini \u00e7al\u0131\u015ft\u0131rmak yerine, Bayes\u00e7i Arama, belirli ko\u015fullar alt\u0131nda yeniden s\u0131ralaman\u0131n atlan\u0131p atlanamayaca\u011f\u0131na veya daha hafif bir yeniden s\u0131ralama modelinin kullan\u0131l\u0131p kullan\u0131lamayaca\u011f\u0131na karar verebilir.
\n* Kaynak Tahsisi<\/strong>: Farkl\u0131 geri getirme algoritmalar\u0131n\u0131n (\u00f6rne\u011fin, vekt\u00f6r arama, anahtar kelime arama, meta veri filtreleme) kombinasyonlar\u0131n\u0131 ve a\u011f\u0131rl\u0131klar\u0131n\u0131 optimize ederek, en h\u0131zl\u0131 ve en alakal\u0131 sonu\u00e7lar\u0131 veren kombinasyonu bulabilir.<\/p>\nGer\u00e7ek D\u00fcnya Uygulamas\u0131: Bir Teknoloji \u015eirketinde %40 Gecikme Azaltma Vaka Analizi<\/h3>\n
\nSistemin kar\u015f\u0131la\u015ft\u0131\u011f\u0131 temel sorunlar \u015funlard\u0131:
\n1. Y\u00fcksek Gecikme<\/strong>: Ortalama yan\u0131t s\u00fcresi 5-7 saniye civar\u0131ndayd\u0131, bu da canl\u0131 sohbet deneyimi i\u00e7in kabul edilemezdi.
\n2. Alakas\u0131z Ba\u011flam<\/strong>: Geri getirilen par\u00e7alar\u0131n \u00f6nemli bir k\u0131sm\u0131 sorguyla tam olarak ilgili de\u011fildi, bu da LLM'nin gereksiz bilgi i\u015flemesine ve bazen yanl\u0131\u015f veya eksik yan\u0131tlar \u00fcretmesine neden oluyordu.
\n3. Y\u00fcksek Maliyet<\/strong>: Her sorgu i\u00e7in gere\u011finden fazla par\u00e7a LLM'ye g\u00f6nderildi\u011fi i\u00e7in, LLM token maliyetleri beklenenin \u00fczerindeydi.<\/p>\n
\n * \u00d6ncelikle, sabit boyutlu par\u00e7alamadan vazge\u00e7ilerek \u00f6zyinelemeli karakter par\u00e7alama<\/strong> ve anlamsal par\u00e7alama<\/strong> kombinasyonu uyguland\u0131. Belgeler, ba\u015fl\u0131klar, alt ba\u015fl\u0131klar ve paragraf s\u0131n\u0131rlar\u0131 dikkate al\u0131narak daha anlaml\u0131 par\u00e7alara ayr\u0131ld\u0131.
\n * Par\u00e7a boyutlar\u0131, farkl\u0131 belge t\u00fcrleri i\u00e7in (teknik dok\u00fcmanlar, SSS, forum yaz\u0131lar\u0131) \u00f6zel olarak ayarland\u0131. \u00d6rne\u011fin, teknik dok\u00fcmanlar i\u00e7in daha uzun par\u00e7alar (750 token), SSS i\u00e7in daha k\u0131sa ve \u00f6z par\u00e7alar (250 token) kullan\u0131ld\u0131.
\n * Her par\u00e7aya, belge t\u00fcr\u00fc, \u00fcr\u00fcn kategorisi ve yazar gibi zengin meta veriler<\/strong> eklendi.<\/p>\n
\n * Sadece vekt\u00f6r tabanl\u0131 arama yerine hibrit arama<\/strong> (vekt\u00f6r aramas\u0131 + BM25 anahtar kelime aramas\u0131) devreye al\u0131nd\u0131. Bu, hem anlamsal benzerlikleri hem de kesin anahtar kelime e\u015fle\u015fmelerini yakalamay\u0131 sa\u011flad\u0131.
\n * \u0130lk geri getirilen top-20 par\u00e7ay\u0131 yeniden s\u0131ralamak i\u00e7in hafif bir \u00e7apraz kodlay\u0131c\u0131 (cross-encoder) modeli<\/strong> eklendi. Bu model, LLM'ye g\u00f6nderilecek top-5 par\u00e7an\u0131n alaka d\u00fczeyini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rd\u0131.
\n * Meta veri filtrelemesi aktif olarak kullan\u0131ld\u0131. \u00d6rne\u011fin, \"X \u00fcr\u00fcn\u00fcyle ilgili garanti bilgisi\" sorgusunda, sadece \"\u00fcr\u00fcn: X\" ve \"konu: garanti\" meta verilerine sahip par\u00e7alar \u00f6nceliklendirildi.<\/p>\n
\n * En kritik ad\u0131m, geri getirme a\u015famas\u0131ndaki k<\/code> de\u011feri (LLM'ye g\u00f6nderilecek par\u00e7a say\u0131s\u0131) ve yeniden s\u0131ralama e\u015fi\u011fi gibi parametreleri optimize etmek i\u00e7in Bayes\u00e7i Arama<\/strong> mekanizmas\u0131n\u0131n entegre edilmesiydi.
\n * Sistem, ge\u00e7mi\u015f sorgular\u0131n gecikme s\u00fcrelerini ve manuel olarak etiketlenmi\u015f veya LLM taraf\u0131ndan de\u011ferlendirilmi\u015f alaka d\u00fczeylerini bir geri bildirim d\u00f6ng\u00fcs\u00fc olarak kulland\u0131.
\n * Bayes\u00e7i Arama, her yeni sorgu geldi\u011finde veya belirli bir zaman diliminde, k<\/code> de\u011feri ve yeniden s\u0131ralama e\u015fi\u011fi gibi parametrelerin en uygun kombinasyonunu tahmin etti. \u00d6rne\u011fin, basit \"\u00fcr\u00fcn fiyat\u0131\" sorgular\u0131 i\u00e7in k=2<\/code> ve yeniden s\u0131ralama atlan\u0131rken, karma\u015f\u0131k \"X \u00fcr\u00fcn\u00fcn\u00fcn Y hatas\u0131 nas\u0131l giderilir\" sorgular\u0131 i\u00e7in k=7<\/code> ve tam yeniden s\u0131ralama uyguland\u0131.
\n * Bu dinamik ayar, gereksiz yere fazla par\u00e7a i\u015flenmesini engelledi ve LLM'ye sadece en alakal\u0131 ve yeterli ba\u011flam\u0131n g\u00f6nderilmesini sa\u011flad\u0131.<\/p>\n
\n* Alaka D\u00fczeyinde Art\u0131\u015f<\/strong>: LLM'ye sunulan ba\u011flam\u0131n kalitesi artt\u0131\u011f\u0131 i\u00e7in, botun yan\u0131tlar\u0131n\u0131n do\u011frulu\u011fu ve kullan\u0131\u015fl\u0131l\u0131\u011f\u0131 %25 oran\u0131nda iyile\u015fti.
\n* Maliyet Tasarrufu<\/strong>: LLM'ye g\u00f6nderilen token say\u0131s\u0131 optimize edildi\u011fi i\u00e7in, ayl\u0131k LLM API maliyetlerinde %15'lik bir azalma sa\u011fland\u0131.<\/p>\nSonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h3>\n
S\u0131k\u00e7a Sorulan Sorular<\/h4>\n
\nGecikme (latency), bir kullan\u0131c\u0131n\u0131n sorgusuna yan\u0131t alma s\u00fcresini ifade eder. \u00d6zellikle canl\u0131 sohbet botlar\u0131 veya interaktif asistanlar gibi ger\u00e7ek zamanl\u0131 uygulamalarda y\u00fcksek gecikme, kullan\u0131c\u0131 deneyimini ciddi \u015fekilde olumsuz etkiler, memnuniyetsizli\u011fe yol a\u00e7ar ve uygulaman\u0131n kullan\u0131labilirli\u011fini azalt\u0131r. Ayr\u0131ca, gecikme, sistemin genel verimlili\u011fini ve i\u015f y\u00fck\u00fcn\u00fc de etkiler.<\/p>\n
\nPar\u00e7alama stratejisi, RAG sisteminin temelidir. Do\u011fru boyut ve anlamsal b\u00fct\u00fcnl\u00fc\u011fe sahip par\u00e7alar, geri getirme a\u015famas\u0131nda daha alakal\u0131 bilgilerin bulunmas\u0131n\u0131 sa\u011flar. Yanl\u0131\u015f par\u00e7alama (\u00e7ok b\u00fcy\u00fck veya \u00e7ok k\u00fc\u00e7\u00fck par\u00e7alar), LLM'ye alakas\u0131z veya yetersiz ba\u011flam sa\u011flayarak yan\u0131t kalitesini d\u00fc\u015f\u00fcrebilir ve LLM'nin i\u015fleme s\u00fcresini uzatarak gecikmeyi art\u0131rabilir.<\/p>\n
\nBayes\u00e7i Arama, RAG sisteminin geri getirme a\u015famas\u0131ndaki parametreleri (\u00f6rne\u011fin, LLM'ye g\u00f6nderilecek par\u00e7a say\u0131s\u0131 k<\/code>) dinamik olarak optimize eder. Her sorgu i\u00e7in sabit bir k<\/code> de\u011feri kullanmak yerine, Bayes\u00e7i Arama, ge\u00e7mi\u015f performansa ve sorgu \u00f6zelliklerine dayanarak en uygun k<\/code> de\u011ferini tahmin eder. Bu, gereksiz yere fazla par\u00e7a i\u015flenmesini \u00f6nler, b\u00f6ylece vekt\u00f6r veritaban\u0131 sorgu s\u00fcresini, yeniden s\u0131ralama s\u00fcresini ve en \u00f6nemlisi LLM \u00e7\u0131kar\u0131m s\u00fcresini k\u0131saltarak genel gecikmeyi azalt\u0131r.<\/p>\n
\nYeniden s\u0131ralama, ilk geri getirme a\u015famas\u0131ndan sonra elde edilen par\u00e7alar\u0131n alaka d\u00fczeyini daha da iyile\u015ftirmek i\u00e7in kullan\u0131l\u0131r. Genellikle LLM'ye sunulan ba\u011flam\u0131n kalitesini art\u0131r\u0131r. Ancak, her zaman gerekli olmayabilir. Basit sorgular veya y\u00fcksek performans gerektiren senaryolarda, yeniden s\u0131ralama ek gecikme yaratabilir. Bayes\u00e7i Arama gibi y\u00f6ntemler, yeniden s\u0131ralaman\u0131n ne zaman ve hangi yo\u011funlukta uygulanmas\u0131 gerekti\u011fine dinamik olarak karar verebilir.<\/p>\n
\nMaliyet, LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n token kullan\u0131m\u0131na ve genel hesaplama kaynaklar\u0131na ba\u011fl\u0131d\u0131r. Etkili par\u00e7alama ve geri getirme stratejileri, LLM'ye yaln\u0131zca en alakal\u0131 ve yeterli ba\u011flam\u0131n g\u00f6nderilmesini sa\u011flayarak gereksiz token kullan\u0131m\u0131n\u0131 azalt\u0131r. Bayes\u00e7i Arama, bu s\u00fcre\u00e7leri daha da optimize ederek, belirli bir performans seviyesini en d\u00fc\u015f\u00fck maliyetle elde etmeye yard\u0131mc\u0131 olabilir.<\/p>\n