LangChain ve Ollama ile Lokal LLMLer Kullanarak RAG Uygulamas\u0131 Geli\u015ftirme<\/p>\n
B\u00fcy\u00fck dil modelleri (LLM’ler) ve geri alma sorgulama (RAG) sistemleri, bilgiye eri\u015fim ve i\u015fleme \u015feklimizi d\u00f6n\u00fc\u015ft\u00fcr\u00fcyor. Ancak, gizlilik endi\u015feleri ve y\u00fcksek maliyetler nedeniyle, lokal LLM’lerin kullan\u0131m\u0131 giderek art\u0131yor. Bu makalede, LangChain k\u00fct\u00fcphanesi ve Ollama’n\u0131n g\u00fc\u00e7l\u00fc lokal LLM’lerini kullanarak bir RAG uygulamas\u0131 nas\u0131l olu\u015fturulaca\u011f\u0131n\u0131 ad\u0131m ad\u0131m a\u00e7\u0131klayaca\u011f\u0131z. \u00d6zellikle veri gizlili\u011fine \u00f6nem veren kurumlar i\u00e7in ideal bir \u00e7\u00f6z\u00fcm sunaca\u011f\u0131z.<\/p>\n
\u00d6ncelikle, kullanaca\u011f\u0131m\u0131z temel bile\u015fenleri tan\u0131yal\u0131m. LangChain, LLM’leri \u00e7e\u015fitli uygulamalarla entegre etmek i\u00e7in g\u00fc\u00e7l\u00fc bir k\u00fct\u00fcphanedir. Mod\u00fcler yap\u0131s\u0131 sayesinde, farkl\u0131 LLM’ler, veri kaynaklar\u0131 ve i\u015flem ad\u0131mlar\u0131 kolayca birle\u015ftirilebilir. Ollama ise, lokal olarak \u00e7al\u0131\u015fabilen, y\u00fcksek performansl\u0131 LLM’leri kolayca da\u011f\u0131tmay\u0131 sa\u011flayan bir platformdur. Bu sayede, verilerinizin g\u00fcvenli\u011fini sa\u011flayabilir ve maliyetleri d\u00fc\u015f\u00fcrebilirsiniz. \u0130ki teknolojinin birle\u015fimi, g\u00fc\u00e7l\u00fc ve g\u00fcvenli bir RAG sistemi olu\u015fturmam\u0131z\u0131 sa\u011flayacak. Ba\u015flang\u0131\u00e7 i\u00e7in, Python programlama diline ve temel paket y\u00f6netimine a\u015fina olman\u0131z faydal\u0131 olacakt\u0131r. Ayr\u0131ca, temel LLM kavramlar\u0131n\u0131 anlamak da \u00f6nemlidir. Daha fazla bilgi i\u00e7in Fatih Soysal’\u0131n ilgili yaz\u0131lar\u0131n\u0131 inceleyebilirsiniz (https:\/\/fatihsoysal.com).<\/p>\n
\u0130lk ad\u0131m, Ollama’y\u0131 kurup, istedi\u011finiz LLM’yi (\u00f6rne\u011fin, Llama 2) y\u00fcklemek. Ollama’n\u0131n kullan\u0131c\u0131 dostu aray\u00fcz\u00fc sayesinde bu i\u015flem olduk\u00e7a kolayd\u0131r. \u0130ndirme ve kurulum talimatlar\u0131n\u0131 Ollama’n\u0131n resmi web sitesinden bulabilirsiniz. Kurulumdan sonra, farkl\u0131 LLM’leri deneyebilir ve performanslar\u0131n\u0131 kar\u015f\u0131la\u015ft\u0131rabilirsiniz. \u00d6rne\u011fin, farkl\u0131 model b\u00fcy\u00fckl\u00fcklerinin performans\u0131na ve kaynak t\u00fcketimine bakabilirsiniz. Bu a\u015famada, sistem gereksinimlerini g\u00f6z \u00f6n\u00fcnde bulundurmak \u00f6nemlidir. B\u00fcy\u00fck LLM’ler daha fazla RAM ve i\u015flem g\u00fcc\u00fc gerektirir.<\/p>\n
RAG sisteminin kalbi, do\u011fru ve d\u00fczenli veridir. LangChain, \u00e7e\u015fitli veri kaynaklar\u0131n\u0131 (PDF, CSV, veritabanlar\u0131 vb.) okumay\u0131 ve i\u015flemeyi kolayla\u015ft\u0131ran ara\u00e7lar sunar. \u00d6ncelikle, verilerinizi uygun bir formata d\u00f6n\u00fc\u015ft\u00fcrmeniz gerekebilir. \u00d6rne\u011fin, bir PDF dosyas\u0131n\u0131 \u00f6n i\u015fleme tabi tutarak metin haline getirmeniz ve par\u00e7alara ay\u0131rman\u0131z gerekebilir. Bu ad\u0131mda, LangChain’in Veri haz\u0131rland\u0131ktan sonra, LangChain’i kullanarak RAG sistemini kurabiliriz. Bunun i\u00e7in, <\/code><\/p>\n Dikkat:<\/strong> Bu kod blo\u011fu, \u00f6rnek ama\u00e7l\u0131d\u0131r. Ger\u00e7ek bir uygulamada, kendi verilerinizi ve Ollama modelinizi kullanman\u0131z gerekecektir. Ayr\u0131ca, OpenAIEmbeddings yerine Ollama ile uyumlu bir embedding modeli kullanman\u0131z gerekmektedir. Ollama'n\u0131n embedding entegrasyonu, Ollama'n\u0131n yeteneklerine ba\u011fl\u0131 olarak de\u011fi\u015fiklik g\u00f6sterebilir ve g\u00fcncel Ollama dok\u00fcmantasyonuna bakman\u0131z tavsiye edilir.<\/p>\n Farkl\u0131 LLM'ler ve vekt\u00f6r veritabanlar\u0131 kullanarak performans kar\u015f\u0131la\u015ft\u0131rmalar\u0131 yapabilirsiniz. A\u015fa\u011f\u0131daki tabloda, birka\u00e7 olas\u0131 senaryoyu ve performans metriklerini g\u00f6steriyoruz:<\/p>\n Bu kar\u015f\u0131la\u015ft\u0131rmalar, verilerinizin b\u00fcy\u00fckl\u00fc\u011f\u00fc ve karma\u015f\u0131kl\u0131\u011f\u0131na g\u00f6re de\u011fi\u015febilir. En uygun yakla\u015f\u0131m\u0131 bulmak i\u00e7in deney yapman\u0131z gerekecektir.<\/p>\n Performans\u0131 art\u0131rmak i\u00e7in, vekt\u00f6r veritaban\u0131 optimizasyonu, LLM parametrelerinin ince ayarlanmas\u0131 ve indeksleme stratejilerinin iyile\u015ftirilmesi gibi ileri d\u00fczey teknikleri kullanabilirsiniz. \u00d6rne\u011fin, daha h\u0131zl\u0131 arama i\u00e7in farkl\u0131 indeksleme algoritmalar\u0131 deneyebilirsiniz. Ayr\u0131ca, LLM'nin yan\u0131tlar\u0131n\u0131 filtrelemek ve iyile\u015ftirmek i\u00e7in ek i\u015fleme ad\u0131mlar\u0131 ekleyebilirsiniz. B\u00fcy\u00fck \u00f6l\u00e7ekli uygulamalar i\u00e7in, da\u011f\u0131t\u0131lm\u0131\u015f sistemler ve bulut tabanl\u0131 \u00e7\u00f6z\u00fcmler kullanman\u0131z gerekebilir.<\/p>\n Bir m\u00fc\u015fteri destek sistemi d\u00fc\u015f\u00fcn\u00fcn. Bu sistem, \u015firketin i\u00e7 belgelerine (SSS, kullan\u0131m k\u0131lavuzlar\u0131 vb.) eri\u015febilir ve m\u00fc\u015fteri sorular\u0131na h\u0131zl\u0131 ve do\u011fru cevaplar verebilir. Bir di\u011fer \u00f6rnek ise, akademik ara\u015ft\u0131rma alan\u0131d\u0131r. Bilim insanlar\u0131, geni\u015f bir literat\u00fcr taban\u0131na eri\u015ferek ara\u015ft\u0131rmalar\u0131n\u0131 h\u0131zland\u0131rabilir ve yeni ke\u015fifler yapabilir. Bu t\u00fcr uygulamalar, verilerin gizlili\u011fi ve g\u00fcvenli\u011fi konusunda hassast\u0131r. Ollama ile lokal olarak \u00e7al\u0131\u015fabilen bir RAG sistemi, bu endi\u015feleri giderebilir.<\/p>\n Bu makalede, LangChain ve Ollama'y\u0131 kullanarak bir RAG uygulamas\u0131 olu\u015fturman\u0131n temel ad\u0131mlar\u0131n\u0131 a\u00e7\u0131klad\u0131k. Lokal LLM'lerin kullan\u0131m\u0131, veri gizlili\u011fi ve maliyet a\u00e7\u0131s\u0131ndan \u00f6nemli avantajlar sunar. Ancak, performans ve \u00f6l\u00e7eklendirme gibi zorluklar da mevcuttur. Uygun bir yakla\u015f\u0131m se\u00e7mek i\u00e7in deney yapman\u0131z ve sisteminizi ihtiya\u00e7lar\u0131n\u0131za g\u00f6re optimize etmeniz \u00f6nemlidir. Daha fazla bilgi i\u00e7in Fatih Soysal'\u0131n di\u011fer yaz\u0131lar\u0131n\u0131 inceleyebilirsiniz (https:\/\/fatihsoysal.com).<\/p>\n Yazar: Fatih Soysal<\/p>\n","protected":false},"excerpt":{"rendered":"LangChain ve Ollama ile Lokal LLMLer Kullanarak RAG Uygulamas\u0131 Geli\u015ftirme B\u00fcy\u00fck dil modelleri (LLM’ler) ve geri alma sorgulama…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-28058","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\nTextSplitter<\/code> gibi yard\u0131mc\u0131 s\u0131n\u0131flar\u0131ndan faydalanabilirsiniz. Veri temizli\u011fi ve \u00f6n i\u015fleme ad\u0131mlar\u0131, sisteminizin do\u011frulu\u011funu ve performans\u0131n\u0131 do\u011frudan etkiler. Bu nedenle, bu ad\u0131ma yeterince zaman ay\u0131rman\u0131z \u00f6nemlidir. \u0130yi bir veri temizleme stratejisi olu\u015fturmak i\u00e7in, verilerinizin yap\u0131s\u0131n\u0131 ve olas\u0131 sorunlar\u0131 dikkatlice incelemeniz gerekir.<\/p>\nLangChain ile Geri Alma Sorgulama (RAG) Sistemi Kurulumu<\/h2>\n
LangChain<\/code>‘in RetrievalQA<\/code> s\u0131n\u0131f\u0131ndan yararlanaca\u011f\u0131z. Bu s\u0131n\u0131f, vekt\u00f6r veritabanlar\u0131n\u0131 kullanarak, sorular\u0131 ilgili par\u00e7alara e\u015fle\u015ftirir ve LLM’ye bu par\u00e7alar\u0131 g\u00f6nderir. LLM, bu par\u00e7alar\u0131 kullanarak cevab\u0131 olu\u015fturur. A\u015fa\u011f\u0131daki kod blo\u011fu, basit bir RAG sistemi kurulumunu g\u00f6stermektedir:<\/p>\nfrom langchain.chains import RetrievalQA\nfrom langchain.embeddings import OpenAIEmbeddings\nfrom langchain.vectorstores import FAISS\nfrom langchain.llms import Ollama\nfrom langchain.text_splitter import CharacterTextSplitter\n\n# \u00d6rnek Veriler (Ger\u00e7ek verilerinizi burada kullan\u0131n)\ndocuments = [\"Bu bir \u00f6rnek belge.\", \"\u0130kinci \u00f6rnek belge.\"]\n\n# Metin par\u00e7alama\ntext_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)\ntexts = text_splitter.split_documents(documents)\n\n# G\u00f6mme olu\u015fturma (OpenAI yerine Ollama'n\u0131n embedding'lerini kullanmak i\u00e7in uygun de\u011fi\u015fiklikler yap\u0131n)\nembeddings = OpenAIEmbeddings() # Ollama embedding entegrasyonu burada yap\u0131lmal\u0131.\n\n# Vekt\u00f6r veritaban\u0131 olu\u015fturma\ndb = FAISS.from_documents(texts, embeddings)\n\n# Ollama LLM'si\nllm = Ollama(model=\"your_ollma_model\") # Kendi Ollama modelinizin ad\u0131n\u0131 girin.\n\n# RetrievalQA chain'i olu\u015fturma\nqa = RetrievalQA.from_chain_type(llm=llm, chain_type=\"stuff\", retriever=db.as_retriever())\n\n# Soru sorma\nquery = \"\u00d6rnek belgeler hakk\u0131nda bilgi ver.\"\nanswer = qa({\"query\": query})[\"result\"]\nprint(answer)<\/pre>\nPerformans Kar\u015f\u0131la\u015ft\u0131rmalar\u0131: Farkl\u0131 Yakla\u015f\u0131mlar<\/h2>\n
\n
\n LLM<\/th>\n Vekt\u00f6r Veritaban\u0131<\/th>\n Do\u011fruluk<\/th>\n H\u0131z<\/th>\n Kaynak T\u00fcketimi<\/th>\n<\/tr>\n \n Ollama Llama 2 7B<\/td>\n FAISS<\/td>\n Y\u00fcksek<\/td>\n Orta<\/td>\n Orta<\/td>\n<\/tr>\n \n Ollama Llama 2 13B<\/td>\n Chroma<\/td>\n \u00c7ok Y\u00fcksek<\/td>\n D\u00fc\u015f\u00fck<\/td>\n Y\u00fcksek<\/td>\n<\/tr>\n \n ...<\/td>\n ...<\/td>\n ...<\/td>\n ...<\/td>\n ...<\/td>\n<\/tr>\n<\/table>\n \u0130leri D\u00fczey Teknikler: Optimize Etme ve \u00d6l\u00e7eklendirme<\/h2>\n
Ger\u00e7ek D\u00fcnya Senaryolar\u0131: Vaka Analizi<\/h2>\n
Sonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular:<\/h3>\n
\n