B\u00fcy\u00fck Dil Modelleri (Large Language Models – LLM’ler), yapay zeka alan\u0131nda son y\u0131llar\u0131n en \u00e7\u0131\u011f\u0131r a\u00e7\u0131c\u0131 geli\u015fmelerinden biri olmu\u015ftur. Metin anlama, \u00fcretme, \u00e7eviri ve \u00f6zetleme gibi yetenekleriyle bir\u00e7ok sekt\u00f6rde devrim yaratma potansiyeli ta\u015f\u0131maktad\u0131rlar. Ancak, bu modellerin \u00e7o\u011fu genellikle bulut tabanl\u0131 API’ler arac\u0131l\u0131\u011f\u0131yla eri\u015filebilir olup, beraberinde gizlilik endi\u015feleri, maliyetler ve \u00f6zelle\u015ftirme k\u0131s\u0131tlamalar\u0131 getirmektedir. Meta’n\u0131n LLaMA (Large Language Model Meta AI) ailesi, \u00f6zellikle LLaMA 2 ve LLaMA 3’\u00fcn a\u00e7\u0131k kaynak olarak sunulmas\u0131yla, bu durumu temelden de\u011fi\u015ftirmi\u015f ve g\u00fc\u00e7l\u00fc LLM’lerin bireysel geli\u015ftiriciler ve kurulu\u015flar taraf\u0131ndan yerel sistemlerde \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131n\u0131n \u00f6n\u00fcn\u00fc a\u00e7m\u0131\u015ft\u0131r.<\/p>\n
Bu makale, LLaMA ailesi modellerini yerel bir ortamda ba\u015far\u0131yla kurmak ve \u00e7al\u0131\u015ft\u0131rmak i\u00e7in kapsaml\u0131 bir rehber sunmaktad\u0131r. Donan\u0131m ve yaz\u0131l\u0131m gereksinimlerinden model se\u00e7imine, farkl\u0131 kurulum y\u00f6ntemlerinden performans optimizasyonlar\u0131na kadar her a\u015famay\u0131 detayland\u0131racak, b\u00f6ylece kullan\u0131c\u0131lar\u0131n kendi makinelerinde g\u00fc\u00e7l\u00fc bir yapay zeka asistan\u0131na sahip olmalar\u0131n\u0131 sa\u011flayacakt\u0131r. LLaMA’n\u0131n evrimini, yerel \u00e7al\u0131\u015ft\u0131rman\u0131n avantajlar\u0131n\u0131, pratik kurulum ad\u0131mlar\u0131n\u0131 ve kar\u015f\u0131la\u015f\u0131labilecek olas\u0131 sorunlar\u0131 ele alarak, okuyucular\u0131n bu teknolojiye tam anlam\u0131yla hakim olmalar\u0131na yard\u0131mc\u0131 olmay\u0131 hedefliyoruz.<\/p>\n
LLaMA, Meta AI taraf\u0131ndan geli\u015ftirilen ve genel ama\u00e7l\u0131 metin \u00fcretimi ve anlama g\u00f6revleri i\u00e7in tasarlanm\u0131\u015f bir dizi temel dil modelidir. \u0130lk olarak 2023 ba\u015flar\u0131nda duyurulan LLaMA 1, o d\u00f6nemdeki en g\u00fc\u00e7l\u00fc kapal\u0131 kaynak modellerle rekabet edebilecek performans\u0131 sunarken, s\u0131n\u0131rl\u0131 bir ara\u015ft\u0131rmac\u0131 kitlesine eri\u015fimle sunulmu\u015ftu. Ancak ger\u00e7ek d\u00f6n\u00fcm noktas\u0131, Temmuz 2023’te tamamen a\u00e7\u0131k kaynak olarak piyasaya s\u00fcr\u00fclen LLaMA 2 ile ya\u015fand\u0131. LLaMA 2, 7B, 13B ve 70B parametre boyutlar\u0131nda modellerle geldi ve ticari kullan\u0131m da dahil olmak \u00fczere geni\u015f bir kitleye \u00fccretsiz eri\u015fim sa\u011flad\u0131. Bu hamle, yapay zeka toplulu\u011funda b\u00fcy\u00fck yank\u0131 uyand\u0131rd\u0131 ve LLM’lerin demokratikle\u015fmesi yolunda \u00f6nemli bir ad\u0131m oldu.<\/p>\n
LLaMA 2’nin ba\u015far\u0131s\u0131n\u0131n ard\u0131ndan Meta, kod odakl\u0131 g\u00f6revler i\u00e7in optimize edilmi\u015f Code LLaMA’y\u0131 ve daha sonra da LLaMA 3’\u00fc duyurdu. LLaMA 3, 8B ve 70B parametreli modelleriyle daha da geli\u015ftirilmi\u015f performans, daha uzun ba\u011flam penceresi ve daha iyi ak\u0131l y\u00fcr\u00fctme yetenekleri sunarak a\u00e7\u0131k kaynak LLM’ler aras\u0131nda \u00e7\u0131tay\u0131 y\u00fckseltti. Bu s\u00fcrekli evrim ve Meta’n\u0131n a\u00e7\u0131k kaynak felsefesi, sadece ara\u015ft\u0131rmay\u0131 h\u0131zland\u0131rmakla kalmay\u0131p, ayn\u0131 zamanda k\u00fc\u00e7\u00fck \u015firketlerin ve bireysel geli\u015ftiricilerin b\u00fcy\u00fck teknoloji \u015firketlerinin sundu\u011fu API’lara ba\u011f\u0131ml\u0131 kalmadan kendi yapay zeka \u00e7\u00f6z\u00fcmlerini geli\u015ftirmelerine olanak tan\u0131m\u0131\u015ft\u0131r. LLaMA modelleri, Hugging Face gibi platformlarda h\u0131zla benimsenmi\u015f ve \u00e7e\u015fitli ince ayarl\u0131 (fine-tuned) versiyonlar\u0131 ortaya \u00e7\u0131km\u0131\u015ft\u0131r, bu da ekosistemin dinamizmini art\u0131rm\u0131\u015ft\u0131r.<\/p>\n
LLaMA gibi g\u00fc\u00e7l\u00fc bir dil modelini kendi sisteminizde \u00e7al\u0131\u015ft\u0131rmak, bulut tabanl\u0131 API’lere k\u0131yasla bir dizi \u00f6nemli avantaj sunar:<\/p>\n
Veri gizlili\u011fi, \u00f6zellikle hassas veya ki\u015fisel bilgilerle \u00e7al\u0131\u015f\u0131rken kritik bir endi\u015fe kayna\u011f\u0131d\u0131r. Bulut tabanl\u0131 API’lar kullan\u0131ld\u0131\u011f\u0131nda, verilerinizin \u00fc\u00e7\u00fcnc\u00fc taraf sunucular\u0131na g\u00f6nderilmesi gerekir. Yerel bir kurulumda ise t\u00fcm verileriniz kendi donan\u0131m\u0131n\u0131zda kal\u0131r ve internet \u00fczerinden d\u0131\u015far\u0131ya \u00e7\u0131kmaz. Bu, \u00f6zellikle \u015firket i\u00e7i projeler, yasal d\u00fczenlemelere tabi sekt\u00f6rler veya ki\u015fisel notlar gibi hassas i\u00e7eriklerle \u00e7al\u0131\u015fan kullan\u0131c\u0131lar i\u00e7in b\u00fcy\u00fck bir g\u00fcvence sa\u011flar. Veri ihlali veya yetkisiz eri\u015fim riski \u00f6nemli \u00f6l\u00e7\u00fcde azal\u0131r.<\/p>\n
Bulut tabanl\u0131 LLM API’lar\u0131 genellikle kullan\u0131m ba\u015f\u0131na veya token ba\u015f\u0131na \u00fccretlendirilir. Yo\u011fun kullan\u0131m durumlar\u0131nda bu maliyetler h\u0131zla artabilir. Kendi donan\u0131m\u0131n\u0131zda LLaMA \u00e7al\u0131\u015ft\u0131rd\u0131\u011f\u0131n\u0131zda, ba\u015flang\u0131\u00e7taki donan\u0131m yat\u0131r\u0131m\u0131n\u0131n ard\u0131ndan herhangi bir kullan\u0131m \u00fccreti \u00f6demezsiniz. Uzun vadede, \u00f6zellikle s\u00fcrekli ve y\u00fcksek hacimli yapay zeka g\u00f6revleri olan geli\u015ftiriciler ve \u015firketler i\u00e7in bu \u00f6nemli bir maliyet tasarrufu anlam\u0131na gelir.<\/p>\n
Yerel kurulum, model \u00fczerinde tam kontrol sahibi olman\u0131z\u0131 sa\u011flar. Bu, modeli belirli bir g\u00f6reve veya veri k\u00fcmesine g\u00f6re ince ayar yapabilme (fine-tuning), farkl\u0131 optimizasyon tekniklerini deneyebilme veya modelin mimarisini daha derinlemesine inceleyebilme \u00f6zg\u00fcrl\u00fc\u011f\u00fc anlam\u0131na gelir. API’lar genellikle belirli parametrelerle s\u0131n\u0131rl\u0131d\u0131r ve modelin \u00e7ekirdek davran\u0131\u015f\u0131n\u0131 de\u011fi\u015ftirme imkan\u0131 sunmazken, yerel bir kurulumda her katmana ve her detaya eri\u015febilirsiniz. Bu, ara\u015ft\u0131rma ve geli\u015ftirme projeleri i\u00e7in vazge\u00e7ilmezdir.<\/p>\n
\u0130nternet ba\u011flant\u0131s\u0131n\u0131n olmad\u0131\u011f\u0131 veya kesintili oldu\u011fu durumlarda bile LLaMA’y\u0131 yerel olarak kullanmaya devam edebilirsiniz. Bu, saha \u00e7al\u0131\u015fmalar\u0131, uzak konumlar veya a\u011f altyap\u0131s\u0131n\u0131n g\u00fcvenilir olmad\u0131\u011f\u0131 ortamlar i\u00e7in b\u00fcy\u00fck bir avantajd\u0131r. \u0130nternet ba\u011f\u0131ml\u0131l\u0131\u011f\u0131 olmadan s\u00fcrekli eri\u015fim, i\u015f ak\u0131\u015f\u0131n\u0131n kesintiye u\u011framamas\u0131n\u0131 sa\u011flar.<\/p>\n
Akademisyenler, \u00f6\u011frenciler ve ba\u011f\u0131ms\u0131z ara\u015ft\u0131rmac\u0131lar i\u00e7in LLaMA’y\u0131 yerel olarak \u00e7al\u0131\u015ft\u0131rmak, LLM’lerin i\u00e7 i\u015fleyi\u015fini anlamak ve yeni algoritmalar veya uygulamalar geli\u015ftirmek i\u00e7in paha bi\u00e7ilmez bir f\u0131rsat sunar. Modelin \u00e7\u0131kt\u0131s\u0131n\u0131, ara katmanlar\u0131n\u0131 ve parametrelerini do\u011frudan g\u00f6zlemleyebilir, deneyler yapabilir ve yapay zeka alan\u0131ndaki bilgilerinizi derinle\u015ftirebilirsiniz. Bu, teorik bilginin prati\u011fe d\u00f6k\u00fclmesi i\u00e7in ideal bir ortamd\u0131r.<\/p>\n
LLaMA gibi b\u00fcy\u00fck bir dil modelini yerel olarak \u00e7al\u0131\u015ft\u0131rmak, belirli donan\u0131m ve yaz\u0131l\u0131m gereksinimlerini kar\u015f\u0131lamay\u0131 gerektirir. Bu gereksinimler, modelin boyutu ve se\u00e7ilen \u00e7al\u0131\u015ft\u0131rma y\u00f6ntemine g\u00f6re de\u011fi\u015fiklik g\u00f6sterebilir.<\/p>\n
* GPU (Grafik \u0130\u015flem Birimi):<\/strong> LLaMA’y\u0131 verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak i\u00e7in g\u00fc\u00e7l\u00fc bir NVIDIA GPU neredeyse zorunludur. \u00d6zellikle CUDA \u00e7ekirdeklerine sahip ve yeterli miktarda VRAM’e (Video RAM) sahip bir kart gereklidir. * \u0130\u015fletim Sistemi:<\/strong> Linux (Ubuntu, Debian vb.) genellikle en iyi performans\u0131 ve en sorunsuz kurulum deneyimini sunar. Windows (WSL2 ile) ve macOS (Apple Silicon M serisi \u00e7ipleri i\u00e7in) de desteklenmektedir, ancak baz\u0131 optimizasyonlar ve ara\u00e7lar Linux’ta daha iyi \u00e7al\u0131\u015fabilir. LLaMA modellerine eri\u015fim, modelin s\u00fcr\u00fcm\u00fcne ve tercih etti\u011finiz formata g\u00f6re farkl\u0131l\u0131k g\u00f6sterir.<\/p>\n LLaMA 2 ve LLaMA 3’\u00fcn orijinal s\u00fcr\u00fcmleri i\u00e7in Meta’n\u0131n resmi web sitesi \u00fczerinden bir ba\u015fvuru formu doldurman\u0131z gerekmektedir. Bu formda ad\u0131n\u0131z, e-posta adresiniz ve kullan\u0131m amac\u0131n\u0131z gibi bilgiler istenir. Onayland\u0131ktan sonra, modelleri do\u011frudan Meta’n\u0131n sunucular\u0131ndan indirebilece\u011finiz bir ba\u011flant\u0131 al\u0131rs\u0131n\u0131z. Bu y\u00f6ntem, modelin orijinal, tam hassasiyetli (FP16) versiyonlar\u0131na eri\u015fim sa\u011flar.<\/p>\n En yayg\u0131n ve pratik eri\u015fim y\u00f6ntemi, Hugging Face Hub’d\u0131r. Meta’n\u0131n onay\u0131ndan sonra veya topluluk taraf\u0131ndan d\u00f6n\u00fc\u015ft\u00fcr\u00fclm\u00fc\u015f modeller i\u00e7in Hugging Face, merkezi bir depo g\u00f6revi g\u00f6r\u00fcr. Burada, \u00e7e\u015fitli ince ayarl\u0131 (fine-tuned) LLaMA versiyonlar\u0131n\u0131, farkl\u0131 hassasiyetlerdeki (FP16, BF16) modelleri ve \u00f6zellikle * Quantized Modeller (GGML\/GGUF):<\/strong> Bu modeller, orijinal LLaMA modellerinin daha az bit hassasiyetine (\u00f6rne\u011fin, 4-bit veya 8-bit) s\u0131k\u0131\u015ft\u0131r\u0131lm\u0131\u015f versiyonlar\u0131d\u0131r. Bu s\u0131k\u0131\u015ft\u0131rma, modelin VRAM ve sistem belle\u011fi gereksinimlerini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r, bu da daha m\u00fctevaz\u0131 donan\u0131mlara sahip kullan\u0131c\u0131lar i\u00e7in LLaMA’y\u0131 \u00e7al\u0131\u015ft\u0131r\u0131labilir hale getirir. GGML (GPT-GEnerative Model Language) ve daha yeni GGUF format\u0131, LLaMA modellerini yerel olarak \u00e7al\u0131\u015ft\u0131rmak i\u00e7in birka\u00e7 farkl\u0131 y\u00f6ntem bulunmaktad\u0131r. Her birinin kendi avantajlar\u0131 ve hedef kullan\u0131c\u0131 kitlesi vard\u0131r.<\/p>\n Bu y\u00f6ntem, Hugging Face * Hugging Face Hub’dan bir LLaMA modelini se\u00e7in. \u00d6rne\u011fin, Bu y\u00f6ntem, modelin davran\u0131\u015f\u0131n\u0131 derinlemesine incelemek veya modelin \u00fczerine ek katmanlar in\u015fa etmek isteyen geli\u015ftiriciler i\u00e7in idealdir. Ancak, GPU h\u0131zland\u0131rmas\u0131n\u0131 etkinle\u015ftirmek i\u00e7in derleme s\u0131ras\u0131nda belirli bayraklar\u0131 kullanman\u0131z gerekir.<\/p>\n * NVIDIA CUDA i\u00e7in:<\/strong><\/p>\n * AMD ROCm i\u00e7in:<\/strong><\/p>\n * Apple Metal (macOS) i\u00e7in:<\/strong><\/p>\n * Sadece CPU i\u00e7in (GPU yoksa):<\/strong><\/p>\n Derleme i\u015flemi birka\u00e7 dakika s\u00fcrebilir. Ba\u015far\u0131l\u0131 olursa, Hugging Face Hub’da “GGUF” filtresini kullanarak LLaMA modellerinin GGUF format\u0131ndaki versiyonlar\u0131n\u0131 bulabilirsiniz. \u00d6rne\u011fin, TheBloke’un * Bu, yerel bir API endpoint’i olu\u015fturur ve di\u011fer uygulamalar\u0131n modelle etkile\u015fime girmesini sa\u011flar.<\/p>\n Teknik bilgiye daha az sahip kullan\u0131c\u0131lar veya h\u0131zl\u0131 bir ba\u015flang\u0131\u00e7 yapmak isteyenler i\u00e7in, LLaMA modellerini \u00e7al\u0131\u015ft\u0131rmay\u0131 kolayla\u015ft\u0131ran \u00e7e\u015fitli kullan\u0131c\u0131 dostu aray\u00fczler ve platformlar mevcuttur.<\/p>\n Ollama, LLaMA ve di\u011fer pop\u00fcler LLM’leri tek bir komutla indirip \u00e7al\u0131\u015ft\u0131rman\u0131z\u0131 sa\u011flayan, kullan\u0131m\u0131 son derece kolay bir ara\u00e7t\u0131r. Linux, macOS ve Windows (\u00f6nizleme) i\u00e7in mevcuttur.<\/p>\n * Kurulum:<\/strong> Web sitesinden (ollama.ai) indirip kurun. Ollama, modelleri otomatik olarak indirir ve sisteminizdeki en iyi donan\u0131m (GPU veya CPU) \u00fczerinde \u00e7al\u0131\u015ft\u0131r\u0131r. Ayr\u0131ca, yerel bir API endpoint’i de sunar, b\u00f6ylece di\u011fer uygulamalar Ollama \u00fczerinden modellere eri\u015febilir.<\/p>\n LM Studio, \u00f6zellikle Windows ve macOS kullan\u0131c\u0131lar\u0131 i\u00e7in tasarlanm\u0131\u015f, tamamen grafik aray\u00fcz tabanl\u0131 bir \u00e7\u00f6z\u00fcmd\u00fcr.<\/p>\n * \u00d6zellikleri:<\/strong> * Jan (jan.ai):<\/strong> A\u00e7\u0131k kaynakl\u0131, yerel LLM’leri \u00e7al\u0131\u015ft\u0131ran bir masa\u00fcst\u00fc uygulamas\u0131d\u0131r. \u00c7e\u015fitli modelleri destekler ve LM Studio’ya benzer bir kullan\u0131c\u0131 deneyimi sunar. Bu kullan\u0131c\u0131 dostu aray\u00fczler, teknik detaylarla u\u011fra\u015fmak istemeyen veya h\u0131zl\u0131 bir \u015fekilde prototip olu\u015fturmak isteyen kullan\u0131c\u0131lar i\u00e7in m\u00fckemmel se\u00e7eneklerdir.<\/p>\n LLaMA modellerini yerel ortamda \u00e7al\u0131\u015ft\u0131r\u0131rken performans\u0131 art\u0131rmak ve kaynak t\u00fcketimini optimize etmek i\u00e7in birka\u00e7 teknik bulunmaktad\u0131r:<\/p>\n * Quantization (Nicemleme):<\/strong> Daha \u00f6nce de bahsedildi\u011fi gibi, model a\u011f\u0131rl\u0131klar\u0131n\u0131 daha d\u00fc\u015f\u00fck bit hassasiyetine (\u00f6rne\u011fin, 16-bit’ten 8-bit’e veya 4-bit’e) s\u0131k\u0131\u015ft\u0131rmak, VRAM ve RAM kullan\u0131m\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r. Bu, \u00f6zellikle s\u0131n\u0131rl\u0131 donan\u0131ma sahip sistemler i\u00e7in LLaMA’y\u0131 \u00e7al\u0131\u015ft\u0131r\u0131labilir hale getirmenin anahtar\u0131d\u0131r. GGML\/GGUF formatlar\u0131 bu konuda en iyi performans\u0131 sunar. Yerel olarak \u00e7al\u0131\u015fan bir LLaMA modeli, \u00e7e\u015fitli pratik ve yarat\u0131c\u0131 senaryolarda kullan\u0131labilir:<\/p>\n * Metin \u00dcretimi:<\/strong> Hikaye yazma, \u015fiir olu\u015fturma, senaryo tasla\u011f\u0131 haz\u0131rlama, e-posta taslaklar\u0131 veya blog g\u00f6nderileri yazma gibi yarat\u0131c\u0131 metin \u00fcretimi g\u00f6revleri. LLaMA kurulumu ve kullan\u0131m\u0131 s\u0131ras\u0131nda baz\u0131 yayg\u0131n sorunlarla kar\u015f\u0131la\u015f\u0131labilir. \u0130\u015fte bunlardan baz\u0131lar\u0131 ve olas\u0131 \u00e7\u00f6z\u00fcmleri:<\/p>\n * VRAM Yetersizli\u011fi:<\/strong> LLaMA modellerinin a\u00e7\u0131k kaynak olarak sunulmas\u0131, b\u00fcy\u00fck dil modellerinin eri\u015filebilirli\u011fi ve kullan\u0131m\u0131 konusunda paradigma de\u011fi\u015fikli\u011fine yol a\u00e7m\u0131\u015ft\u0131r. Meta’n\u0131n bu stratejisi, yapay zeka alan\u0131ndaki inovasyonu h\u0131zland\u0131rm\u0131\u015f, ara\u015ft\u0131rmac\u0131lar ve geli\u015ftiriciler i\u00e7in yeni kap\u0131lar a\u00e7m\u0131\u015ft\u0131r. LLaMA 2 ve LLaMA 3 gibi modeller, sadece bulut tabanl\u0131 \u00e7\u00f6z\u00fcmlere alternatif sunmakla kalmam\u0131\u015f, ayn\u0131 zamanda gizlilik, maliyet etkinli\u011fi ve \u00f6zelle\u015ftirme gibi konularda \u00f6nemli avantajlar sa\u011flam\u0131\u015ft\u0131r.<\/p>\n Yerel ortamda LLaMA \u00e7al\u0131\u015ft\u0131rmak, ba\u015flang\u0131\u00e7ta baz\u0131 teknik zorluklar bar\u0131nd\u0131rsa da, Gelecekte, LLaMA ailesinin daha da b\u00fcy\u00fck, daha yetenekli ve daha verimli modellerle geni\u015flemesi beklenmektedir. A\u00e7\u0131k kaynak LLM ekosistemi, ince ayarl\u0131 modeller, yeni ara\u00e7lar ve topluluk katk\u0131lar\u0131yla b\u00fcy\u00fcmeye devam edecektir. Bu durum, yapay zekan\u0131n daha geni\u015f kitleler taraf\u0131ndan benimsenmesini ve \u00e7e\u015fitli sekt\u00f6rlerdeki uygulamalar\u0131n \u00e7e\u015fitlenmesini sa\u011flayacakt\u0131r. Kendi sisteminizde LLaMA’y\u0131 \u00e7al\u0131\u015ft\u0131rmak, sadece g\u00fc\u00e7l\u00fc bir yapay zeka arac\u0131na sahip olmakla kalmaz, ayn\u0131 zamanda bu heyecan verici ve h\u0131zla geli\u015fen alanda aktif bir oyuncu olman\u0131z\u0131 sa\u011flar. Bu makalede sunulan bilgilerle, LLaMA yolculu\u011funuza g\u00fcvenle ba\u015flayabilir ve b\u00fcy\u00fck dil modellerinin s\u0131n\u0131rs\u0131z potansiyelini ke\u015ffedebilirsiniz.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"LLaMA’y\u0131 \u00c7al\u0131\u015ft\u0131rmak: B\u00fcy\u00fck Dil Modellerinin Yerel Ortamda Kurulumu ve Kullan\u0131m\u0131\nB\u00fcy\u00fck Dil Modelleri (Large Language Models – LLM’ler), ya","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-39228","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n * VRAM:<\/strong> Bu, en kritik fakt\u00f6rd\u00fcr.
\n * 7B (7 Milyar Parametre) modeller:<\/strong> Tam hassasiyet (FP16) i\u00e7in yakla\u015f\u0131k 14 GB VRAM, 8-bit quantization i\u00e7in 7-8 GB, 4-bit quantization (GGML\/GGUF) i\u00e7in 4-5 GB VRAM. NVIDIA GeForce RTX 3060 (12GB), RTX 3080 (10GB) veya \u00fczeri kartlar genellikle 4-bit versiyonlar\u0131 i\u00e7in yeterlidir.
\n * 13B (13 Milyar Parametre) modeller:<\/strong> Tam hassasiyet i\u00e7in yakla\u015f\u0131k 26 GB VRAM, 8-bit i\u00e7in 13-14 GB, 4-bit quantization i\u00e7in 7-8 GB VRAM. NVIDIA GeForce RTX 3090 (24GB), RTX 4080 (16GB), RTX 4090 (24GB) gibi kartlar idealdir.
\n * 70B (70 Milyar Parametre) modeller:<\/strong> Bu modeller i\u00e7in 4-bit quantization ile bile en az 40-50 GB VRAM gereklidir. Bu genellikle NVIDIA A100 (80GB), H100 veya birden fazla RTX 4090 (NVLink ile) gibi profesyonel veya \u00fcst d\u00fczey t\u00fcketici kartlar\u0131n\u0131n bir kombinasyonunu gerektirir.
\n * AMD GPU’lar i\u00e7in ROCm deste\u011fi olan baz\u0131 \u00e7\u00f6z\u00fcmler mevcut olsa da, NVIDIA CUDA ekosistemi hala daha olgun ve yayg\u0131n olarak desteklenmektedir.
\n* CPU (Merkezi \u0130\u015flem Birimi):<\/strong> Modern bir \u00e7ok \u00e7ekirdekli i\u015flemci (Intel i7\/i9 veya AMD Ryzen 7\/9 serisi) \u00f6nerilir. \u00d6zellikle GPU VRAM’i yetersiz kald\u0131\u011f\u0131nda model katmanlar\u0131n\u0131n bir k\u0131sm\u0131n\u0131 CPU’ya y\u00fcklemek (offloading) i\u00e7in g\u00fc\u00e7l\u00fc bir CPU performans\u0131 \u00f6nemlidir.
\n* RAM (Sistem Belle\u011fi):<\/strong> GPU VRAM’ine ek olarak, sistem belle\u011fi de \u00f6nemlidir. Genellikle GPU VRAM’inin 1.5 ila 2 kat\u0131 kadar RAM \u00f6nerilir. \u00d6rne\u011fin, 4-bit 7B model i\u00e7in 16 GB sistem RAM’i yeterli olabilirken, 13B veya 70B modellerin CPU’ya y\u00fcklenen k\u0131s\u0131mlar\u0131 i\u00e7in 32 GB veya 64 GB RAM gerekebilir.
\n* Depolama:<\/strong> Model dosyalar\u0131 olduk\u00e7a b\u00fcy\u00fckt\u00fcr. 7B model i\u00e7in 13 GB, 13B model i\u00e7in 26 GB ve 70B model i\u00e7in 130 GB’a kadar disk alan\u0131 gerekebilir. Quantized (s\u0131k\u0131\u015ft\u0131r\u0131lm\u0131\u015f) versiyonlar daha az yer kaplasa da (\u00f6rne\u011fin, 4-bit 70B model i\u00e7in 40 GB), h\u0131zl\u0131 bir NVMe SSD kullanmak model y\u00fckleme s\u00fcrelerini ve genel performans\u0131 art\u0131racakt\u0131r.<\/p>\nYaz\u0131l\u0131m Gereksinimleri<\/h4>\n
\n* Python:<\/strong> Python 3.9 veya \u00fczeri (tercihen 3.10 veya 3.11) gereklidir. Sanal ortamlar (venv veya conda) kullanmak, ba\u011f\u0131ml\u0131l\u0131k \u00e7ak\u0131\u015fmalar\u0131n\u0131 \u00f6nlemek i\u00e7in \u015fiddetle tavsiye edilir.
\n* CUDA Toolkit (NVIDIA GPU i\u00e7in):<\/strong> NVIDIA GPU kullan\u0131yorsan\u0131z, CUDA Toolkit’in ve cuDNN’in do\u011fru s\u00fcr\u00fcm\u00fcn\u00fc y\u00fcklemeniz gerekir. Bu, GPU’nuzun yapay zeka hesaplamalar\u0131 i\u00e7in etkin bir \u015fekilde kullan\u0131lmas\u0131n\u0131 sa\u011flar. S\u00fcr\u00fcm uyumlulu\u011fu, PyTorch veya Transformers k\u00fct\u00fcphanesinin gereksinimlerine g\u00f6re de\u011fi\u015febilir.
\n* Git:<\/strong> Model depolar\u0131n\u0131 ve ara\u00e7lar\u0131 klonlamak i\u00e7in Git’e ihtiyac\u0131n\u0131z olacak.
\n* Pip veya Conda:<\/strong> Python paket y\u00f6neticileri (Pip veya Conda), gerekli k\u00fct\u00fcphaneleri kurmak i\u00e7in kullan\u0131lacakt\u0131r.<\/p>\nLLaMA Modellerine Eri\u015fim<\/h3>\n
Meta’dan Resmi Ba\u015fvuru<\/h4>\n
Hugging Face Hub \u00dczerinden<\/h4>\n
llama.cpp<\/code> gibi projeler i\u00e7in optimize edilmi\u015f quantized (nicelenmi\u015f) modelleri bulabilirsiniz.<\/p>\nllama.cpp<\/code> projesi taraf\u0131ndan geli\u015ftirilmi\u015ftir ve CPU \u00fczerinde bile \u015fa\u015f\u0131rt\u0131c\u0131 derecede iyi performans sunabilir. TheBloke gibi topluluk \u00fcyeleri, Hugging Face \u00fczerinde LLaMA modellerinin bir\u00e7ok quantized versiyonunu yay\u0131nlamaktad\u0131r.<\/p>\nKurulum Y\u00f6ntemleri<\/h3>\n
1. Saf PyTorch\/Transformers K\u00fct\u00fcphanesi ile (Geli\u015fmi\u015f Kullan\u0131c\u0131lar i\u00e7in)<\/h4>\n
transformers<\/code> k\u00fct\u00fcphanesini kullanarak LLaMA’y\u0131 do\u011frudan PyTorch \u00fczerinde \u00e7al\u0131\u015ft\u0131rmay\u0131 i\u00e7erir. Daha fazla esneklik ve kontrol sa\u011flar ancak daha fazla VRAM gerektirebilir.<\/p>\nAd\u0131m 1: Sanal Ortam Olu\u015fturma ve Gerekli K\u00fct\u00fcphaneleri Kurma<\/h5>\n
python -m venv llama_env\nsource llama_env\/bin\/activate # Linux\/macOS\nllama_env\\Scripts\\activate # Windows<\/h2>\npip install torch transformers accelerate bitsandbytes sentencepiece<\/code><\/pre>\n
torch<\/code>: PyTorch derin \u00f6\u011frenme \u00e7at\u0131s\u0131.
\n* transformers<\/code>: Hugging Face’in model k\u00fct\u00fcphanesi.
\n* accelerate<\/code>: Modelin birden fazla GPU’da veya CPU\/GPU aras\u0131nda da\u011f\u0131t\u0131lmas\u0131na yard\u0131mc\u0131 olur.
\n* bitsandbytes<\/code>: 8-bit veya 4-bit nicemleme (quantization) i\u00e7in kullan\u0131l\u0131r, VRAM kullan\u0131m\u0131n\u0131 azalt\u0131r.
\n* sentencepiece<\/code>: LLaMA’n\u0131n kulland\u0131\u011f\u0131 tokenizer i\u00e7in gereklidir.<\/p>\nAd\u0131m 2: Model \u0130ndirme ve Y\u00fckleme<\/h5>\n
meta-llama\/Llama-2-7b-hf<\/code>. Bu modeli \u00e7al\u0131\u015ft\u0131rmak i\u00e7in Hugging Face hesab\u0131n\u0131z\u0131n Meta’dan onay alm\u0131\u015f olmas\u0131 ve token’\u0131n\u0131z\u0131 girmeniz gerekebilir.<\/p>\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\nimport torch\n\nmodel_id = \"meta-llama\/Llama-2-7b-hf\" # Veya ba\u015fka bir LLaMA 2\/3 modeli\n\n4-bit quantization ile modeli y\u00fckleme<\/h2>\n
Bu, VRAM kullan\u0131m\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r.<\/h2>\nbnb_config = BitsAndBytesConfig(\n load_in_4bit=True,\n bnb_4bit_quant_type=\"nf4\",\n bnb_4bit_compute_dtype=torch.bfloat16,\n bnb_4bit_use_double_quant=True,\n)\n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = AutoModelForCausalLM.from_pretrained(\n model_id,\n quantization_config=bnb_config,\n device_map=\"auto\" # GPU varsa otomatik olarak GPU'ya y\u00fckler\n)\n\n
Modelin GPU'ya y\u00fcklendi\u011fini kontrol edin<\/h2>\nprint(model.device)<\/code><\/pre>\n
Ad\u0131m 3: Metin \u00dcretimi (\u00c7\u0131kar\u0131m)<\/h5>\n
prompt = \"Yapay zeka nedir ve nas\u0131l \u00e7al\u0131\u015f\u0131r?\"\ninputs = tokenizer(prompt, return_tensors=\"pt\").to(model.device)\n\nMetin \u00fcretimi<\/h2>\noutputs = model.generate(\n inputs.input_ids,\n max_new_tokens=200,\n num_return_sequences=1,\n do_sample=True,\n top_k=50,\n top_p=0.95,\n temperature=0.7\n)\n\ngenerated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)\nprint(generated_text)<\/code><\/pre>\n
bitsandbytes<\/code> ile 4-bit nicemleme yap\u0131lsa bile, llama.cpp<\/code> gibi \u00e7\u00f6z\u00fcmlere g\u00f6re daha fazla VRAM t\u00fcketebilir ve kurulumu daha karma\u015f\u0131k olabilir.<\/p>\n2.
llama.cpp<\/code> ile (En Pop\u00fcler ve Verimli Y\u00f6ntem)<\/h4>\nllama.cpp<\/code>, Georgi Gerganov taraf\u0131ndan geli\u015ftirilen, LLaMA modellerini C++ ile optimize edilmi\u015f bir \u015fekilde CPU veya GPU \u00fczerinde \u00e7al\u0131\u015ft\u0131rmak i\u00e7in tasarlanm\u0131\u015f bir projedir. \u00d6zellikle d\u00fc\u015f\u00fck kaynakl\u0131 sistemlerde bile \u015fa\u015f\u0131rt\u0131c\u0131 derecede iyi performans sunar ve GGML\/GGUF format\u0131ndaki quantized modellerle \u00e7al\u0131\u015f\u0131r.<\/p>\nAd\u0131m 1:
llama.cpp<\/code> Deposunu Klonlama ve Derleme<\/h5>\ngit clone https:\/\/github.com\/ggerganov\/llama.cpp.git\ncd llama.cpp<\/code><\/pre>\nmake LLAMA_CUBLAS=1<\/code><\/pre>\nmake LLAMA_HIPBLAS=1<\/code><\/pre>\nmake LLAMA_METAL=1<\/code><\/pre>\nmake<\/code><\/pre>\nmain<\/code>, server<\/code> gibi y\u00fcr\u00fct\u00fclebilir dosyalar llama.cpp<\/code> dizininde olu\u015facakt\u0131r.<\/p>\nAd\u0131m 2: GGUF Format\u0131nda Model \u0130ndirme<\/h5>\n
Llama-2-7B-Chat-GGUF<\/code> deposundan bir model indirebilirsiniz. wget<\/code> veya Hugging Face CLI kullanarak indirebilirsiniz:<\/p>\n# \u00d6rnek: Llama-2-7B-Chat-GGUF modelinin Q4_K_M versiyonunu indirme\nModel boyutuna g\u00f6re dosya ad\u0131 ve URL de\u011fi\u015fecektir.<\/h2>\n
Bu komutu, llama.cpp dizininin d\u0131\u015f\u0131nda veya modeller i\u00e7in ayr\u0131 bir dizinde \u00e7al\u0131\u015ft\u0131r\u0131n.<\/h2>\nmkdir models\ncd models\nwget https:\/\/huggingface.co\/TheBloke\/Llama-2-7B-Chat-GGUF\/resolve\/main\/llama-2-7b-chat.Q4_K_M.gguf<\/code><\/pre>\n
Ad\u0131m 3: Model \u00c7al\u0131\u015ft\u0131rma<\/h5>\n
llama.cpp<\/code> dizinine geri d\u00f6n\u00fcn ve main<\/code> program\u0131n\u0131 kullanarak modeli \u00e7al\u0131\u015ft\u0131r\u0131n:<\/p>\ncd .. # models dizininden geri d\u00f6nmek i\u00e7in\n.\/main -m .\/models\/llama-2-7b-chat.Q4_K_M.gguf -p \"Merhaba, nas\u0131ls\u0131n?\" -n 128 --temp 0.7 --top-k 40 --top-p 0.95<\/code><\/pre>\n-m<\/code>: Model dosyas\u0131n\u0131n yolu.
\n* -p<\/code>: Ba\u015flang\u0131\u00e7 prompt’u (istem).
\n* -n<\/code>: \u00dcretilecek maksimum token say\u0131s\u0131.
\n* --temp<\/code>: Rastgelelik derecesi (temperature).
\n* --top-k<\/code>, --top-p<\/code>: Metin \u00fcretimini kontrol eden parametreler.
\n* -ngl -ngl 30<\/code> 30 katman\u0131 GPU’ya y\u00fckler, kalanlar\u0131 CPU’da i\u015fler. Bu, VRAM’i optimize etmek i\u00e7in \u00f6nemlidir.<\/p>\nllama.cpp<\/code> ayr\u0131ca bir API sunucusu da sa\u011flayabilir:<\/p>\n.\/server -m .\/models\/llama-2-7b-chat.Q4_K_M.gguf -c 4096 --host 0.0.0.0 --port 8000 -ngl 30<\/code><\/pre>\nllama.cpp<\/code>, performans\u0131, donan\u0131m esnekli\u011fi (CPU, GPU, Apple Silicon deste\u011fi) ve nispeten d\u00fc\u015f\u00fck kaynak t\u00fcketimi nedeniyle LLaMA modellerini yerel olarak \u00e7al\u0131\u015ft\u0131rmak i\u00e7in en pop\u00fcler ve \u00f6nerilen y\u00f6ntemlerden biridir.<\/p>\n3. Kullan\u0131c\u0131 Dostu Aray\u00fczler ile (Ollama, LM Studio, Jan, Faraday)<\/h4>\n
Ollama<\/h5>\n
\n* Model \u0130ndirme ve \u00c7al\u0131\u015ft\u0131rma:<\/strong><\/p>\nollama run llama2 # LLaMA 2'yi indirir ve sohbet modunda ba\u015flat\u0131r\n ollama run codellama # Code LLaMA'y\u0131 indirir ve ba\u015flat\u0131r<\/code><\/pre>\nLM Studio<\/h5>\n
\n * Model ke\u015ffi ve indirme: Hugging Face’deki GGUF modellerini kolayca arayabilir ve indirebilirsiniz.
\n * Sohbet aray\u00fcz\u00fc: \u0130ndirdi\u011finiz modellerle do\u011frudan sohbet edebilirsiniz.
\n * Yerel sunucu: OpenAI API’sine benzer bir yerel API endpoint’i olu\u015fturarak di\u011fer uygulamalar\u0131n modelle etkile\u015fime girmesini sa\u011flar.
\n * Donan\u0131m ayarlar\u0131: GPU offloading gibi ayarlar\u0131 kolayca yap\u0131land\u0131rabilirsiniz.
\n* Kullan\u0131m:<\/strong> LM Studio’yu indirip kurduktan sonra, aray\u00fcz \u00fczerinden istedi\u011finiz modeli se\u00e7ip indirebilir ve hemen kullanmaya ba\u015flayabilirsiniz.<\/p>\nDi\u011ferleri: Jan ve Faraday<\/h5>\n
\n* Faraday (faraday.dev):<\/strong> Ki\u015fisel yapay zeka asistanlar\u0131 olu\u015fturmaya odaklanm\u0131\u015f, yerel LLM \u00e7al\u0131\u015ft\u0131rma yetene\u011fine sahip ba\u015fka bir masa\u00fcst\u00fc uygulamas\u0131d\u0131r.<\/p>\nModel Optimizasyonu ve Performans \u0130pu\u00e7lar\u0131<\/h3>\n
\n* GPU Offloading:<\/strong> llama.cpp<\/code> gibi ara\u00e7lar, model katmanlar\u0131n\u0131n bir k\u0131sm\u0131n\u0131 GPU’ya, kalan\u0131n\u0131 ise CPU’ya y\u00fckleme yetene\u011fi sunar (-ngl<\/code> parametresi). Bu, \u00f6zellikle VRAM’iniz modelin tamam\u0131n\u0131 bar\u0131nd\u0131rmak i\u00e7in yeterli olmad\u0131\u011f\u0131nda kullan\u0131\u015fl\u0131d\u0131r. En kritik veya performans yo\u011fun katmanlar\u0131 GPU’da tutarak genel performans\u0131 dengeleyebilirsiniz.
\n* Flash Attention:<\/strong> Baz\u0131 transformers<\/code> tabanl\u0131 uygulamalarda ve PyTorch’un daha yeni s\u00fcr\u00fcmlerinde Flash Attention gibi teknikler, dikkat mekanizmas\u0131n\u0131n hesaplama maliyetini ve VRAM kullan\u0131m\u0131n\u0131 azaltarak performans\u0131 art\u0131rabilir. Bu, daha uzun ba\u011flam pencereleriyle \u00e7al\u0131\u015f\u0131rken \u00f6zellikle faydal\u0131d\u0131r.
\n* Batch Size:<\/strong> \u00c7\u0131kar\u0131m (inference) yaparken ayn\u0131 anda i\u015flenecek girdi say\u0131s\u0131n\u0131 (batch size) ayarlamak performans\u0131 etkileyebilir. Genellikle daha b\u00fcy\u00fck batch size’lar daha iyi GPU kullan\u0131m\u0131 sa\u011flar ancak daha fazla VRAM t\u00fcketir.
\n* Sistem Kaynaklar\u0131 Y\u00f6netimi:<\/strong> LLaMA gibi b\u00fcy\u00fck modeller, \u00f6nemli sistem kaynaklar\u0131 t\u00fcketir. Model \u00e7al\u0131\u015f\u0131rken arka plandaki gereksiz uygulamalar\u0131 kapatmak, sisteminizin model i\u00e7in daha fazla RAM ve CPU kayna\u011f\u0131 ay\u0131rmas\u0131na olanak tan\u0131r.
\n* Do\u011fru Model Se\u00e7imi:<\/strong> \u0130htiya\u00e7lar\u0131n\u0131za ve donan\u0131m\u0131n\u0131za uygun boyutta ve nicelenme seviyesinde bir model se\u00e7mek \u00e7ok \u00f6nemlidir. Her zaman en b\u00fcy\u00fck model en iyi se\u00e7enek de\u011fildir; bazen daha k\u00fc\u00e7\u00fck, iyi nicelenmi\u015f bir model, daha iyi bir kullan\u0131c\u0131 deneyimi sunabilir.<\/p>\nLLaMA’y\u0131 Kullan\u0131m Senaryolar\u0131<\/h3>\n
\n* Soru-Cevap ve Bilgi Edinme:<\/strong> Belirli bir konu hakk\u0131nda sorular sorma ve modelden bilgi alma. \u00d6zellikle kendi belgeleriniz \u00fczerinde ince ayar yap\u0131lm\u0131\u015f bir modelle, dahili bilgi taban\u0131n\u0131zdan sorular\u0131 yan\u0131tlayabilirsiniz.
\n* \u00d6zetleme:<\/strong> Uzun metinleri (makaleler, raporlar, toplant\u0131 notlar\u0131) daha k\u0131sa ve \u00f6z \u00f6zetlere d\u00f6n\u00fc\u015ft\u00fcrme.
\n* Kod \u00dcretimi ve D\u00fczeltme:<\/strong> Belirli bir programlama dilinde kod par\u00e7ac\u0131klar\u0131 olu\u015fturma, mevcut kodu a\u00e7\u0131klama, hatalar\u0131 bulma veya kodu optimize etme. Code LLaMA bu t\u00fcr g\u00f6revler i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015ft\u0131r.
\n* \u00c7eviri:<\/strong> Farkl\u0131 diller aras\u0131nda metin \u00e7evirisi yapma (modelin e\u011fitim verilerine ba\u011fl\u0131 olarak).
\n* Veri Analizi:<\/strong> Do\u011fal dil kullanarak veri setleri hakk\u0131nda sorular sorma ve modelden \u00f6ng\u00f6r\u00fcler veya \u00f6zetler alma.
\n* E\u011fitim ve Sim\u00fclasyon:<\/strong> Diyalog sistemleri, sanal asistanlar veya oyun karakterleri i\u00e7in konu\u015fma ve davran\u0131\u015f modelleri geli\u015ftirme ve test etme.
\n* Yarat\u0131c\u0131 Fikir F\u0131rt\u0131nas\u0131:<\/strong> Yeni fikirler \u00fcretmek, farkl\u0131 perspektifler ke\u015ffetmek veya yarat\u0131c\u0131 engelleri a\u015fmak i\u00e7in bir beyin f\u0131rt\u0131nas\u0131 orta\u011f\u0131 olarak kullanma.<\/p>\nKar\u015f\u0131la\u015f\u0131labilecek Sorunlar ve \u00c7\u00f6z\u00fcmleri<\/h3>\n
\n * Belirti:<\/strong> Model y\u00fcklenirken “CUDA out of memory” hatas\u0131 veya \u00e7ok yava\u015f \u00e7\u0131kar\u0131m.
\n * \u00c7\u00f6z\u00fcm:<\/strong> Daha k\u00fc\u00e7\u00fck bir model kullan\u0131n (\u00f6rne\u011fin, 13B yerine 7B). Modelin daha y\u00fcksek nicelenmi\u015f (quantized) bir versiyonunu (\u00f6rne\u011fin, Q4_K_M yerine Q2_K) deneyin. llama.cpp<\/code> kullan\u0131yorsan\u0131z, -ngl<\/code> parametresi ile GPU’ya daha az katman y\u00fckleyin. transformers<\/code> kullan\u0131yorsan\u0131z, load_in_8bit<\/code> veya load_in_4bit<\/code> gibi nicemleme se\u00e7eneklerini etkinle\u015ftirin.
\n* Kurulum Hatalar\u0131 (Ba\u011f\u0131ml\u0131l\u0131klar, CUDA):<\/strong>
\n * Belirti:<\/strong> pip install<\/code> s\u0131ras\u0131nda hata, make<\/code> komutunun ba\u015far\u0131s\u0131z olmas\u0131, “CUDA not found” uyar\u0131lar\u0131.
\n * \u00c7\u00f6z\u00fcm:<\/strong> Python sanal ortam\u0131 kulland\u0131\u011f\u0131n\u0131zdan emin olun. CUDA Toolkit ve cuDNN’in do\u011fru s\u00fcr\u00fcmlerinin y\u00fckl\u00fc oldu\u011fundan ve PATH’inize eklendi\u011finden emin olun. GPU s\u00fcr\u00fcc\u00fclerinizin g\u00fcncel oldu\u011funu kontrol edin. llama.cpp<\/code> i\u00e7in, derleme komutunda do\u011fru bayra\u011f\u0131 (\u00f6rne\u011fin, LLAMA_CUBLAS=1<\/code>) kulland\u0131\u011f\u0131n\u0131zdan emin olun.
\n* Yava\u015f Performans:<\/strong>
\n * Belirti:<\/strong> Metin \u00fcretimi \u00e7ok yava\u015f, model yan\u0131t vermekte gecikiyor.
\n * \u00c7\u00f6z\u00fcm:<\/strong> GPU h\u0131zland\u0131rmas\u0131n\u0131n etkin oldu\u011fundan emin olun (CUDA, Metal). Nicelenmi\u015f modeller kullan\u0131n. llama.cpp<\/code> kullan\u0131yorsan\u0131z, -ngl<\/code> parametresini deneyerek GPU’ya daha fazla katman y\u00fcklemeye \u00e7al\u0131\u015f\u0131n (VRAM yeterliyse). Arka plan uygulamalar\u0131n\u0131 kapatarak sistem kaynaklar\u0131n\u0131 bo\u015falt\u0131n.
\n* Model Kalitesi veya Alakas\u0131z Yan\u0131tlar:<\/strong>
\n * Belirti:<\/strong> Model istenen kalitede yan\u0131tlar \u00fcretmiyor veya konu d\u0131\u015f\u0131na \u00e7\u0131k\u0131yor.
\n * \u00c7\u00f6z\u00fcm:<\/strong> Daha iyi bir prompt (istem) yazmaya \u00e7al\u0131\u015f\u0131n. \u0130steminizi daha spesifik, a\u00e7\u0131k ve y\u00f6nlendirici hale getirin. Farkl\u0131 model versiyonlar\u0131n\u0131 veya ince ayarl\u0131 modelleri deneyin (\u00f6rne\u011fin, chat<\/code> versiyonlar\u0131 sohbet i\u00e7in daha iyidir). temperature<\/code>, top_k<\/code>, top_p<\/code> gibi parametreleri ayarlayarak modelin yarat\u0131c\u0131l\u0131\u011f\u0131n\u0131 veya tutarl\u0131l\u0131\u011f\u0131n\u0131 de\u011fi\u015ftirebilirsiniz.
\n* Disk Alan\u0131 Yetersizli\u011fi:<\/strong>
\n * Belirti:<\/strong> Model indirme veya kurulum s\u0131ras\u0131nda disk alan\u0131 hatas\u0131.
\n * \u00c7\u00f6z\u00fcm:<\/strong> Modellerin b\u00fcy\u00fck boyutlu oldu\u011funu unutmay\u0131n. Yeterli bo\u015f disk alan\u0131n\u0131z oldu\u011fundan emin olun. Gereksiz dosyalar\u0131 temizleyin veya modelleri daha b\u00fcy\u00fck bir diske indirin.<\/p>\nGelecek ve Sonu\u00e7<\/h3>\n
llama.cpp<\/code>, Ollama, LM Studio gibi ara\u00e7lar sayesinde bu s\u00fcre\u00e7 giderek daha kolay hale gelmektedir. Donan\u0131m gereksinimleri hala y\u00fcksek olsa da, nicemleme teknikleri ve s\u00fcrekli geli\u015ftirilen optimizasyonlar sayesinde daha m\u00fctevaz\u0131 sistemlerde bile bu modelleri \u00e7al\u0131\u015ft\u0131rmak m\u00fcmk\u00fcn olmaktad\u0131r.<\/p>\n