Soul QA Bot, internet ba\u011flant\u0131s\u0131na ihtiya\u00e7 duymadan do\u011frudan cihaz\u0131n\u0131zda \u00e7al\u0131\u015fan, veri gizlili\u011fini en \u00fcst seviyeye ta\u015f\u0131yan yerel bir yapay zeka \u00e7\u00f6z\u00fcm\u00fcd\u00fcr. Bulut ba\u011f\u0131ml\u0131l\u0131\u011f\u0131n\u0131 tamamen ortadan kald\u0131ran bu sistem, hassas dok\u00fcmanlar\u0131n\u0131z\u0131 saniyeler i\u00e7inde analiz ederek en do\u011fru yan\u0131tlar\u0131 \u00fcretir.<\/p>\n
G\u00fcn\u00fcm\u00fczde yapay zeka teknolojileri inan\u0131lmaz bir h\u0131zla geli\u015fiyor; ancak bu geli\u015fmelerin b\u00fcy\u00fck bir k\u0131sm\u0131 devasa bulut sunucular\u0131na dayan\u0131yor. Peki, internet ba\u011flant\u0131s\u0131n\u0131n hi\u00e7 olmad\u0131\u011f\u0131 bir yer alt\u0131 maden oca\u011f\u0131nda, a\u00e7\u0131k denizdeki bir y\u00fck gemisinde veya gizlili\u011fin hayati \u00f6nem ta\u015f\u0131d\u0131\u011f\u0131 askeri bir tesiste ak\u0131ll\u0131 bir asistana ihtiya\u00e7 duyarsan\u0131z ne yapacaks\u0131n\u0131z? \u0130\u015fte tam bu noktada, geleneksel bulut tabanl\u0131 dil modellerinin s\u0131n\u0131rlar\u0131n\u0131 a\u015fan yeni nesil \u00e7\u00f6z\u00fcmler devreye giriyor. Kullan\u0131c\u0131lar art\u0131k verilerini \u00fc\u00e7\u00fcnc\u00fc taraf sunuculara g\u00f6ndermek istemiyor. Bunun yerine, kendi donan\u0131mlar\u0131nda \u00e7al\u0131\u015fan, g\u00fcvenli ve ba\u011f\u0131ms\u0131z sistemleri talep ediyorlar.<\/p>\n
Geleneksel b\u00fcy\u00fck dil modelleri (LLM – Large Language Models), sorular\u0131n\u0131z\u0131 i\u015flemek i\u00e7in s\u00fcrekli olarak uzak sunucularla ileti\u015fim kurmak zorundad\u0131r. Ancak bu durum, hem veri g\u00fcvenli\u011fi risklerini beraberinde getirir hem de y\u00fcksek internet bant geni\u015fli\u011fi gerektirir. \u00d6zellikle kurumsal \u015firketler, ticari s\u0131rlar\u0131n\u0131 ve m\u00fc\u015fteri verilerini genel bulut sa\u011flay\u0131c\u0131lar\u0131na emanet ederken iki kez d\u00fc\u015f\u00fcnmektedir. \u00dcstelik internet kesintileri, operasyonel s\u00fcre\u00e7leri an\u0131nda durma noktas\u0131na getirebilir. Bu nedenle, tamamen \u00e7evrimd\u0131\u015f\u0131 (offline) \u00e7al\u0131\u015fabilen zeki sistemlere olan y\u00f6nelim bir l\u00fcks olmaktan \u00e7\u0131k\u0131p temel bir g\u00fcvenlik ihtiyac\u0131na d\u00f6n\u00fc\u015fm\u00fc\u015ft\u00fcr.<\/p>\n
Buna ek olarak, k\u0131rsal b\u00f6lgelerde veya afet anlar\u0131nda kesintisiz bilgiye ula\u015fma ihtiyac\u0131 kritik bir fakt\u00f6rd\u00fcr. \u00d6rne\u011fin, \u00fclkemizde meydana gelen deprem felaketlerinde baz istasyonlar\u0131n\u0131n \u00e7\u00f6kmesiyle birlikte bilgi ak\u0131\u015f\u0131 tamamen durmu\u015ftu. Sahada arama kurtarma faaliyeti y\u00fcr\u00fcten ekiplerin teknik k\u0131lavuzlara, bina planlar\u0131na veya t\u0131bbi m\u00fcdahale rehberlerine eri\u015fmesi gerekebilir. \u0130\u015fte \u00e7evrimd\u0131\u015f\u0131 yapay zeka, hi\u00e7bir a\u011f ba\u011flant\u0131s\u0131 olmasa dahi bu devasa bilgi ar\u015fivini bir kurtarma uzman\u0131n\u0131n elindeki diz\u00fcst\u00fc bilgisayara s\u0131\u011fd\u0131r\u0131r. Nitekim yerel ortamda \u00e7al\u0131\u015fan yapay zeka modelleri, harici ba\u011flant\u0131ya duyulan zorunlulu\u011fu tamamen ortadan kald\u0131rarak operasyonel s\u00fcreklilik sunar.<\/p>\n
Son olarak, maliyet fakt\u00f6r\u00fcn\u00fc de unutmamak gerekir. Bulut tabanl\u0131 API (Uygulama Programlama Aray\u00fcz\u00fc) \u00e7a\u011fr\u0131lar\u0131, milyonlarca istek alan \u015firketler i\u00e7in ayl\u0131k binlerce dolarl\u0131k faturalar anlam\u0131na gelir. Oysa bir kez yerel donan\u0131ma kurulan Soul QA Bot gibi \u00e7evrimd\u0131\u015f\u0131 sistemler, sorgu ba\u015f\u0131na ek maliyet \u00fcretmez. Bu sayede \u015firketler, hem b\u00fct\u00e7elerini uzun vadede korur hem de veri egemenli\u011fini kendi b\u00fcnyelerinde tutman\u0131n konforunu ya\u015far.<\/p>\n
Soul QA Bot, internet ba\u011flant\u0131s\u0131 olmadan cihaz \u00fczerinde (on-device) soru-cevap ve bilgi \u00e7\u0131kar\u0131m\u0131 g\u00f6revlerini y\u00fcr\u00fcten hafifletilmi\u015f bir yapay zeka mimarisidir. Temelinde, RAG (Retrieval-Augmented Generation – Geri Getirmeyle G\u00fc\u00e7lendirilmi\u015f \u00dcretim) yakla\u015f\u0131m\u0131n\u0131 k\u00fc\u00e7\u00fck dil modelleri (SLM – Small Language Models) ile birle\u015ftiren kompakt bir yap\u0131 bar\u0131nd\u0131r\u0131r. Sistem, geleneksel modeller gibi t\u00fcm insanl\u0131k bilgisini ezberlemek yerine, kendisine y\u00fcklenen \u00f6zel belgeleri ak\u0131ll\u0131ca tarar ve en do\u011fru yan\u0131t\u0131 sentezler. B\u00f6ylece devasa sunucu \u00e7iftliklerine ihtiya\u00e7 kalmadan s\u0131radan bir t\u00fcketici bilgisayar\u0131nda dahi y\u00fcksek do\u011fruluk oran\u0131 yakalar.<\/p>\n
Sistemin i\u015fleyi\u015f mant\u0131\u011f\u0131 olduk\u00e7a zarif ve yal\u0131nd\u0131r. \u0130lk olarak, sisteme tan\u0131mlad\u0131\u011f\u0131n\u0131z PDF dosyalar\u0131, teknik raporlar veya \u015firket i\u00e7i y\u00f6netmelikler metin par\u00e7ac\u0131klar\u0131na (chunks) ayr\u0131l\u0131r. Ard\u0131ndan, bu metinler yerel bir embedding (metin temsil) modeli arac\u0131l\u0131\u011f\u0131yla matematiksel vekt\u00f6rlere d\u00f6n\u00fc\u015ft\u00fcr\u00fcl\u00fcr ve yerel bir vekt\u00f6r veri taban\u0131na kaydedilir. Kullan\u0131c\u0131 bir soru sordu\u011funda, bot interneti aramak yerine bu yerel veri taban\u0131n\u0131 tarar. En alakal\u0131 metin par\u00e7alar\u0131n\u0131 bulur ve bunlar\u0131 yerel olarak \u00e7al\u0131\u015fan dil modeline ba\u011flam (context) olarak iletir. Neticede model, yaln\u0131zca sa\u011flanan belgelerdeki do\u011frulanm\u0131\u015f bilgilere dayanarak yan\u0131t \u00fcretir.<\/p>\n
Bu mimarinin en b\u00fcy\u00fck teknik avantaj\u0131, hal\u00fcsinasyon (modelin uydurma bilgi \u00fcretmesi) ihtimalini neredeyse s\u0131f\u0131ra indirmesidir. \u00c7\u00fcnk\u00fc Soul QA Bot, bilmedi\u011fi bir soruyla kar\u015f\u0131la\u015ft\u0131\u011f\u0131nda internetteki rastgele bilgileri derlemek yerine, “Belgelerinizde bu bilginin kar\u015f\u0131l\u0131\u011f\u0131 yer almamaktad\u0131r” cevab\u0131n\u0131 a\u00e7\u0131k y\u00fcreklilikle verebilir. Bu mekanizma, hukuki metinler veya teknik bak\u0131m prosed\u00fcrleri gibi hataya yer olmayan sekt\u00f6rlerde g\u00fcvenilir bir kalkand\u0131r.<\/p>\n
Tamamen yerel bir yapay zeka ekosistemi in\u015fa etmek, donan\u0131m kaynaklar\u0131n\u0131n son derece optimize kullan\u0131lmas\u0131n\u0131 gerektirir. Soul QA Bot, y\u00fcksek performans sunarken d\u00fc\u015f\u00fck bellek t\u00fcketimini garanti eden modern a\u00e7\u0131k kaynakl\u0131 ara\u00e7lar \u00fczerinde y\u00fckselir. Bu ara\u00e7lar\u0131n bir araya gelmesi, \u00e7evrimd\u0131\u015f\u0131 \u00e7al\u0131\u015fmay\u0131 pratik bir ger\u00e7ekli\u011fe d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Geli\u015ftiriciler bu sistemde \u00e7o\u011funlukla C++ ve Python tabanl\u0131 hafif \u00e7al\u0131\u015fma ortamlar\u0131ndan yararlan\u0131r.<\/p>\n
Bu bile\u015fenler, birbirleriyle tam bir uyum i\u00e7inde \u00e7al\u0131\u015farak platformdan ba\u011f\u0131ms\u0131z bir deneyim sa\u011flar. \u00d6rne\u011fin, bir fabrika teknisyeni sahada sadece ta\u015f\u0131nabilir bir dayan\u0131kl\u0131 tablet (rugged tablet) kullanarak onlarca gigabaytl\u0131k makine ar\u0131za k\u0131lavuzlar\u0131 aras\u0131nda serbest\u00e7e arama yapabilir. \u0130\u015fletim sistemi ister Linux, ister macOS, isterse Windows olsun, altyap\u0131 ba\u011f\u0131ms\u0131z mod\u00fcller sayesinde her platformda kararl\u0131 bir performans elde edilir.<\/p>\n
Soul QA Bot mant\u0131\u011f\u0131n\u0131 kendi bilgisayar\u0131n\u0131zda kurmak ve internet eri\u015fimini keserek \u00e7al\u0131\u015ft\u0131rmak san\u0131ld\u0131\u011f\u0131 kadar karma\u015f\u0131k de\u011fildir. A\u015fa\u011f\u0131daki uygulamal\u0131 \u00f6rnekte, a\u00e7\u0131k kaynakl\u0131 ara\u00e7lar kullanarak yerel bir dok\u00fcman soru-cevap botunun \u00e7ekirdek yap\u0131s\u0131n\u0131 nas\u0131l in\u015fa edebilece\u011fimizi ad\u0131m ad\u0131m inceleyelim. Bu betik, belgelerinizi tarar, yerel olarak indeksler ve \u00e7evrimd\u0131\u015f\u0131 model yard\u0131m\u0131yla yan\u0131t \u00fcretir.<\/p>\n
\u0130lk ad\u0131mda gerekli olan Python k\u00fct\u00fcphanelerini ortam\u0131m\u0131za dahil ediyoruz. Bu i\u015flem i\u00e7in sisteminizde Yukar\u0131daki kod blo\u011fu \u00e7al\u0131\u015ft\u0131r\u0131ld\u0131\u011f\u0131nda, model harici hi\u00e7bir sunucuya tek bir veri paketi dahi g\u00f6ndermez. B\u00fct\u00fcn matematiksel i\u015flemler ve \u00e7\u0131kar\u0131m mekanizmalar\u0131 yerel i\u015flemciniz \u00fczerinde ger\u00e7ekle\u015fir. Bunun sonucunda, kablosuz a\u011f\u0131n\u0131z\u0131 ve mobil verinizi kapatsan\u0131z bile sistem kesintisiz olarak yan\u0131t vermeye devam eder. Bu t\u00fcr bir yakla\u015f\u0131m, bilhassa elektrik da\u011f\u0131t\u0131m \u015firketlerinin saha ekipleri i\u00e7in paha bi\u00e7ilmez bir pratiklik kazand\u0131r\u0131r.<\/p>\n Teknolojinin teorik ba\u015far\u0131s\u0131n\u0131 kan\u0131tlaman\u0131n en iyi yolu, zorlu ger\u00e7ek d\u00fcnya ko\u015fullar\u0131ndaki performans\u0131n\u0131 analiz etmektir. T\u00fcrkiye’nin Karadeniz b\u00f6lgesinde yer alan bir yer alt\u0131 k\u00f6m\u00fcr madeni i\u015fletmesini ele alal\u0131m. Yerin y\u00fczlerce metre alt\u0131nda hi\u00e7bir h\u00fccresel a\u011f veya kablosuz internet eri\u015fimi bulunmamaktad\u0131r. Ancak madencilerin ve i\u015f g\u00fcvenli\u011fi uzmanlar\u0131n\u0131n acil durum tahliye planlar\u0131, metan gaz\u0131 sens\u00f6r de\u011ferlerinin kritik e\u015fikleri ve karma\u015f\u0131k kaz\u0131c\u0131 makinelerin kullan\u0131m k\u0131lavuzlar\u0131 gibi devasa bir dok\u00fcmantasyona an\u0131nda ula\u015fmas\u0131 gerekmektedir.<\/p>\n Ge\u00e7mi\u015fte bu ekipler, kal\u0131n ciltler halindeki ka\u011f\u0131t k\u0131lavuzlar\u0131 ta\u015f\u0131mak zorundayd\u0131. Bu y\u00f6ntem ise aranan bilginin acil bir anda bulunmas\u0131n\u0131 dakikalarca geciktirmekteydi. Maden y\u00f6netimi, istasyonlara yerle\u015ftirdi\u011fi dayan\u0131kl\u0131 tabletlere Soul QA Bot mimarisini entegre etti. T\u00fcm teknik k\u0131lavuzlar ve acil eylem planlar\u0131 cihaza yerel olarak y\u00fcklendi. Maden \u00e7al\u0131\u015fanlar\u0131, tabletin mikrofonu arac\u0131l\u0131\u011f\u0131yla veya klavye \u00fczerinden “Sens\u00f6rde 4 numaral\u0131 hata kodu yan\u0131p s\u00f6n\u00fcyor, acil m\u00fcdahale ad\u0131mlar\u0131 nelerdir?” diye sorduklar\u0131nda, bot 1.5 saniye i\u00e7inde kesin ad\u0131mlar\u0131 s\u0131ralad\u0131. \u0130nternetin olmad\u0131\u011f\u0131 bu karanl\u0131k atmosferde bilgiye ula\u015f\u0131m s\u00fcresi %80 oran\u0131nda k\u0131sald\u0131.<\/p>\n Benzer bir senaryo afet y\u00f6netiminde de ge\u00e7erlidir. Arama kurtarma ekipleri yabanc\u0131 bir \u00fclkeye veya haberle\u015fme altyap\u0131s\u0131 \u00e7\u00f6km\u00fc\u015f bir \u015fehre gitti\u011finde dil engeli ve yabanc\u0131 bina standartlar\u0131 ile kar\u015f\u0131la\u015f\u0131r. Soul QA Bot, afet envanterine \u00f6nceden i\u015flenmi\u015f yerel haritalar\u0131, kimyasal madde g\u00fcvenlik bilgi formlar\u0131n\u0131 (MSDS) ve ilk yard\u0131m y\u00f6nergelerini afet g\u00f6revlisinin cebine koyar. Dolay\u0131s\u0131yla sistem, internetin yoklu\u011funda dahi insan hayat\u0131 kurtaran ak\u0131lc\u0131 bir destek mekanizmas\u0131na d\u00f6n\u00fc\u015f\u00fcr.<\/p>\n Do\u011fru kullan\u0131m senaryosu i\u00e7in do\u011fru teknolojiyi se\u00e7mek b\u00fcy\u00fck bir zorunluluktur. Her ne kadar bulut tabanl\u0131 yapay zeka modelleri muazzam parametre say\u0131lar\u0131yla genel k\u00fclt\u00fcr konular\u0131nda harikalar yaratsa da, teknik uzmanl\u0131k ve g\u00fcvenlik gerektiren alanlarda \u00e7evrimd\u0131\u015f\u0131 modeller \u00f6ne \u00e7\u0131kar. \u0130ki yakla\u015f\u0131m aras\u0131ndaki farklar\u0131 daha somut g\u00f6rebilmek ad\u0131na a\u015fa\u011f\u0131daki analizi inceleyelim.<\/p>\n Tablodan anla\u015f\u0131laca\u011f\u0131 \u00fczere, \u00e7evrimd\u0131\u015f\u0131 mimariler ba\u011f\u0131ms\u0131zl\u0131k ve mutlak kontrol arayan organizasyonlar i\u00e7in a\u00e7\u0131k ara \u00fcst\u00fcnd\u00fcr. \u00d6zellikle reg\u00fclasyonlar\u0131n \u00e7ok kat\u0131 oldu\u011fu bankac\u0131l\u0131k, sa\u011fl\u0131k ve savunma sanayii gibi alanlarda bulut \u00e7\u00f6z\u00fcmleri kullanmak yasal engellere tak\u0131labilir. \u00c7evrimd\u0131\u015f\u0131 mimari ise yerel mevzuatlara (\u00f6rne\u011fin KVKK ve GDPR) do\u011frudan uyumluluk sunar; zira ki\u015fisel veriler asla s\u0131n\u0131r \u00f6tesine veya \u015firket d\u0131\u015f\u0131na ta\u015f\u0131nmaz.<\/p>\n \u00c7evrimd\u0131\u015f\u0131 \u00e7al\u0131\u015fan bir yapay zekan\u0131n ba\u015far\u0131s\u0131, donan\u0131m kaynaklar\u0131n\u0131 ne kadar verimli kulland\u0131\u011f\u0131yla do\u011frudan ili\u015fkilidir. Normal \u015fartlarda 7 milyar parametreli bir model, 32-bit kayan nokta (FP32) hassasiyetinde yakla\u015f\u0131k 28 GB RAM alan\u0131 gerektirir. Bu durum, ta\u015f\u0131nabilir bir diz\u00fcst\u00fc bilgisayarda veya mobil bir cihazda modeli \u00e7al\u0131\u015ft\u0131rmay\u0131 imkans\u0131z k\u0131lar. Ancak quantization (nicemleme\/kuantizasyon) ad\u0131 verilen matematiksel s\u0131k\u0131\u015ft\u0131rma tekni\u011fi sayesinde bu a\u011f\u0131rl\u0131klar 4-bit (Q4_K_M) seviyesine indirgenebilir.<\/p>\n Kuantizasyon i\u015flemi s\u0131ras\u0131nda modelin a\u011f\u0131rl\u0131klar\u0131 aras\u0131ndaki n\u00fcanslar dikkatlice \u00f6l\u00e7eklenir. Bu sayede model boyutu 28 GB’tan yaln\u0131zca 4 GB seviyesine d\u00fc\u015ferken, mant\u0131ksal \u00e7\u0131kar\u0131m yetene\u011finde yaln\u0131zca %1 ila %3 aras\u0131nda \u00f6nemsiz bir kay\u0131p ya\u015fan\u0131r. \u00dcstelik bu s\u0131k\u0131\u015ft\u0131rma, modelin do\u011frudan modern CPU’larda yer alan AVX2 veya NEON y\u00f6nerge setleri \u00fczerinde optimize bir \u015fekilde ko\u015fmas\u0131n\u0131 sa\u011flar. B\u00f6ylece pahal\u0131 harici grafik kartlar\u0131na yat\u0131r\u0131m yapma zorunlulu\u011fu ortadan kalkar.<\/p>\n Di\u011fer bir ileri d\u00fczey optimizasyon stratejisi ise “Context Window Management” (Ba\u011flam Penceresi Y\u00f6netimi) tekni\u011fidir. Modelin bellek t\u00fcketimi, i\u00e7ine aktar\u0131lan metin uzad\u0131k\u00e7a karesel olarak artar. Bu sebeple Soul QA Bot, kullan\u0131c\u0131n\u0131n sorusuyla en y\u00fcksek anlamsal benzerli\u011fe sahip metin par\u00e7alar\u0131n\u0131 se\u00e7erken s\u0131k\u0131 bir filtreleme uygular. Re-ranking (yeniden s\u0131ralama) algoritmalar\u0131 devreye girerek, y\u00fczlerce sayfa aras\u0131ndan sadece en de\u011ferli 2-3 paragraf\u0131 se\u00e7ip modele besler. Bu sayede hem yan\u0131t s\u00fcresi milisaniyeler seviyesinde tutulur hem de i\u015flemci a\u015f\u0131r\u0131 y\u00fcklenmeden korunur.<\/p>\n Gelecek birka\u00e7 y\u0131l i\u00e7inde yapay zeka d\u00fcnyas\u0131nda iki temel e\u011filimin \u00e7at\u0131\u015fmas\u0131na tan\u0131k olaca\u011f\u0131z: Bir yanda trilyonlarca parametreli devasa bulut canavarlar\u0131, di\u011fer yanda ise cebimizdeki ak\u0131ll\u0131 telefonlarda, ak\u0131ll\u0131 saatlerde ve yerel sunucularda tamamen sessiz sedas\u0131z \u00e7al\u0131\u015fan ultra optimize k\u00fc\u00e7\u00fck zekalar. Soul QA Bot, bu ikinci ak\u0131m\u0131n \u00f6nc\u00fclerinden biridir. Donan\u0131m \u00fcreticilerinin i\u015flemcilere entegre etti\u011fi NPU (Neural Processing Unit – Yapay Zeka \u0130\u015flem Birimi) yongalar\u0131 yayg\u0131nla\u015ft\u0131k\u00e7a, \u00e7evrimd\u0131\u015f\u0131 modellerin \u00e7al\u0131\u015fma performans\u0131 g\u00fcn\u00fcm\u00fcz bulut sistemlerinin h\u0131z\u0131n\u0131 dahi geride b\u0131rakacakt\u0131r.<\/p>\n Yerel modeller sadece bilgi arama s\u00fcre\u00e7lerini de\u011fil, ayn\u0131 zamanda ki\u015fisel mahremiyeti de yeniden tan\u0131ml\u0131yor. Kullan\u0131c\u0131lar kendi g\u00fcnl\u00fcklerini, \u015firketler finansal analizlerini, hekimler ise hasta kay\u0131tlar\u0131n\u0131 hi\u00e7bir endi\u015fe duymadan bu sistemlerle analiz edebilecekler. Soul QA Bot tarz\u0131 yapay zeka sistemleri, teknolojiyi yeniden bireylerin ve ba\u011f\u0131ms\u0131z kurumlar\u0131n kontrol\u00fcne vererek g\u00fcc\u00fc merkezsizle\u015ftirmektedir.<\/p>\n 1. Soul QA Bot’u \u00e7al\u0131\u015ft\u0131rmak i\u00e7in mutlaka g\u00fc\u00e7l\u00fc bir ekran kart\u0131na (GPU) ihtiyac\u0131m var m\u0131?<\/strong> 2. \u00c7evrimd\u0131\u015f\u0131 bot sisteme yeni y\u00fcklenen belgeleri otomatik olarak tan\u0131yabilir mi?<\/strong> 3. Kendi \u015firket belgelerimi ekledi\u011fimde verilerim internete s\u0131zabilir mi?<\/strong> 4. Soul QA Bot T\u00fcrk\u00e7e dilinde ba\u015far\u0131l\u0131 yan\u0131tlar \u00fcretebilir mi?<\/strong> #YapayZeka #OfflineAI #VeriGizliligi #YerelModeller #MakineOgrenimi<\/p>\n","protected":false},"excerpt":{"rendered":"Soul QA Bot, internet ba\u011flant\u0131s\u0131na ihtiya\u00e7 duymadan do\u011frudan cihaz\u0131n\u0131zda \u00e7al\u0131\u015fan, veri gizlili\u011fini en \u00fcst seviyeye ta\u015f\u0131yan yerel bir yapay zeka \u00e7\u00f6z\u00fcm\u00fcd\u00fcr.","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-45043","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\nlangchain<\/code>, chromadb<\/code> ve llama-cpp-python<\/code> paketlerinin kurulu olmas\u0131 yeterlidir.<\/p>\nfrom langchain_community.llms import LlamaCpp\nfrom langchain_community.embeddings import HuggingFaceEmbeddings\nfrom langchain_community.vectorstores import Chroma\nfrom langchain.text_splitter import RecursiveCharacterTextSplitter\nfrom langchain.chains import RetrievalQA\nfrom langchain.docstore.document import Document\n\n# 1. Ad\u0131m: Yerel Dok\u00fcmanlar\u0131 Haz\u0131rlama\nornek_belge = \"\"\"\nTrafo Bak\u0131m Talimat\u0131: Y\u00fcksek gerilim trafolar\u0131nda ya\u011f s\u0131cakl\u0131\u011f\u0131 \n85 santigrat dereceyi a\u015ft\u0131\u011f\u0131nda B-4 valfi manuel olarak a\u00e7\u0131lmal\u0131d\u0131r. \nBu i\u015flem yap\u0131lmadan \u00f6nce ana \u015falterin indirilmesi zorunludur.\n\"\"\"\n\ndokumanlar = [Document(page_content=ornek_belge)]\nmetin_parcalayici = RecursiveCharacterTextSplitter(chunk_size=150, chunk_overlap=20)\nparcalar = metin_parcalayici.split_documents(dokumanlar)\n\n# 2. Ad\u0131m: Yerel Embedding Modeli Y\u00fckleme (\u0130nternetsiz Mod)\nembedding_araci = HuggingFaceEmbeddings(\n model_name=\"sentence-transformers\/all-MiniLM-L6-v2\",\n model_kwargs={'device': 'cpu'}\n)\n\n# 3. Ad\u0131m: Vekt\u00f6r Veri Taban\u0131n\u0131 Yerel Disk \u00dczerinde Olu\u015fturma\nvektor_deposu = Chroma.from_documents(\n documents=parcalar, \n embedding=embedding_araci,\n persist_directory=\".\/yerel_vektor_veritabani\"\n)\n\n# 4. Ad\u0131m: Yerel Dil Modelini Ba\u015flatma (GGUF Format\u0131nda)\nyerel_llm = LlamaCpp(\n model_path=\".\/modeller\/phi-3-mini-4k-instruct.Q4_K_M.gguf\",\n temperature=0.1,\n n_ctx=2048,\n verbose=False\n)\n\n# 5. Ad\u0131m: Soru-Cevap Zincirini Yap\u0131land\u0131rma\nqa_zinciri = RetrievalQA.from_chain_type(\n llm=yerel_llm,\n chain_type=\"stuff\",\n retriever=vektor_deposu.as_retriever(search_kwargs={\"k\": 1})\n)\n\n# 6. Ad\u0131m: \u00c7evrimd\u0131\u015f\u0131 Sorgulama\nsoru = \"Trafo ya\u011f s\u0131cakl\u0131\u011f\u0131 85 dereceyi ge\u00e7erse ne yap\u0131lmal\u0131?\"\ncevap = qa_zinciri.invoke({\"query\": soru})\nprint(\"Soru:\", soru)\nprint(\"Yan\u0131t:\", cevap[\"result\"])<\/code><\/pre>\n<\/div>\nGer\u00e7ek D\u00fcnya Vaka Analizi: Maden ve Afet Sahas\u0131nda \u00c7evrimd\u0131\u015f\u0131 Yapay Zeka<\/h2>\n
\u00c7evrimd\u0131\u015f\u0131 AI ile Bulut Tabanl\u0131 AI Kar\u015f\u0131la\u015ft\u0131rmas\u0131 Nas\u0131ld\u0131r?<\/h2>\n
\n\n
\n \n\u00d6zellik<\/th>\n Soul QA Bot (\u00c7evrimd\u0131\u015f\u0131)<\/th>\n Bulut Tabanl\u0131 Yapay Zeka<\/th>\n<\/tr>\n<\/thead>\n \n \u0130nternet Gereksinimi<\/td>\n Kesinlikle S\u0131f\u0131r<\/td>\n Kesintisiz Y\u00fcksek H\u0131z \u015eart<\/td>\n<\/tr>\n \n Veri Gizlili\u011fi<\/td>\n Maksimum (Veri cihazdan ayr\u0131lmaz)<\/td>\n D\u00fc\u015f\u00fck \/ Orta (Veri \u00fc\u00e7\u00fcnc\u00fc tarafa iletilir)<\/td>\n<\/tr>\n \n Gecikme S\u00fcresi (Latency)<\/td>\n Donan\u0131ma ba\u011fl\u0131; a\u011f gecikmesi s\u0131f\u0131r<\/td>\n A\u011f bant geni\u015fli\u011fine ba\u011fl\u0131 de\u011fi\u015fken gecikme<\/td>\n<\/tr>\n \n \u0130\u015fletme Maliyeti<\/td>\n Sabit (S\u0131f\u0131r ek API maliyeti)<\/td>\n \u0130stek ba\u015f\u0131na artan d\u00fczenli faturaland\u0131rma<\/td>\n<\/tr>\n \n Hal\u00fcsinasyon Riski<\/td>\n \u00c7ok D\u00fc\u015f\u00fck (Sadece dok\u00fcman\u0131 baz al\u0131r)<\/td>\n Orta \/ Y\u00fcksek (Model geni\u015f bilgi havuzundan \u00fcretir)<\/td>\n<\/tr>\n \n Donan\u0131m \u0130htiyac\u0131<\/td>\n Yeterli RAM ve modern bir CPU\/GPU<\/td>\n Herhangi bir internet taray\u0131c\u0131s\u0131 yeterli<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n \u0130leri D\u00fczey Optimizasyon: Quantization ve Model Boyutu K\u00fc\u00e7\u00fcltme<\/h2>\n
Gelece\u011fin \u00c7evrimd\u0131\u015f\u0131 Sistemleri ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular<\/h3>\n
\nHay\u0131r, kesinlikle zorunlu de\u011fildir. llama.cpp gibi optimize edilmi\u015f altyap\u0131lar ve kuantize modeller sayesinde modern bir i\u015flemci (Intel i5\/i7 veya Apple M serisi) ve minimum 8 GB RAM ile olduk\u00e7a ak\u0131c\u0131 bir soru-cevap deneyimi elde edebilirsiniz.<\/p>\n
\nEvet. Yerel veri dizinine yeni bir PDF veya metin dosyas\u0131 ekledi\u011finizde, yerel indeksleme beti\u011fini yeniden tetikleyerek birka\u00e7 saniye i\u00e7inde yeni belgeleri vekt\u00f6r veri taban\u0131na dahil edebilirsiniz. Bu s\u00fcre\u00e7 internet gerektirmez.<\/p>\n
\nHay\u0131r. Sistemin mimarisi tamamen yerel donan\u0131mda \u00e7al\u0131\u015fmak \u00fczere kurgulanm\u0131\u015ft\u0131r. A\u011f ba\u011flant\u0131n\u0131z\u0131 fiziksel olarak kesseniz dahi bot t\u00fcm i\u015flevlerini eksiksiz yerine getirir; veriler disk d\u0131\u015f\u0131na \u00e7\u0131kamaz.<\/p>\n
\nEvet. \u00d6zellikle son d\u00f6nemde a\u00e7\u0131k kaynak toplulu\u011fu taraf\u0131ndan e\u011fitilen veya \u00e7ok dilli (multilingual) olarak optimize edilen Phi-3, Llama-3 ve Mistral t\u00fcrevleri, teknik dok\u00fcman analizi ve T\u00fcrk\u00e7e yan\u0131t \u00fcretiminde olduk\u00e7a y\u00fcksek bir anlamsal do\u011fruluk sergilemektedir.<\/p>\n