B\u00fcy\u00fck Dil Modelleri (LLM’ler) g\u00fcn\u00fcm\u00fcz teknolojisinin en heyecan verici geli\u015fmelerinden biri haline geldi. Ancak, bu modelleri kendi sistemlerinizde, \u00f6zellikle de gizlilik, maliyet kontrol\u00fc veya geli\u015ftirme esnekli\u011fi gibi nedenlerle yerel olarak \u00e7al\u0131\u015ft\u0131rmak genellikle karma\u015f\u0131k ve zaman al\u0131c\u0131 bir s\u00fcre\u00e7tir. \u0130\u015fte tam bu noktada Nanocl devreye giriyor. Bu makale, Nanocl’un g\u00fcc\u00fcn\u00fc kullanarak yerel LLM’leri nas\u0131l 5 dakikadan k\u0131sa s\u00fcrede kurup \u00e7al\u0131\u015ft\u0131rabilece\u011finizi ad\u0131m ad\u0131m a\u00e7\u0131klayacak, b\u00f6ylece geli\u015ftiricilere ve teknoloji merakl\u0131lar\u0131na e\u015fsiz bir kolayl\u0131k sunacak.<\/p>\n
B\u00fcy\u00fck Dil Modellerini (LLM’ler) yerel sistemlerde \u00e7al\u0131\u015ft\u0131rma fikri, bir\u00e7ok kullan\u0131c\u0131 ve kurulu\u015f i\u00e7in giderek daha cazip hale geliyor. Bu yakla\u015f\u0131m, bulut tabanl\u0131 \u00e7\u00f6z\u00fcmlerin sundu\u011fu kolayl\u0131klara k\u0131yasla belirli avantajlar sunarken, beraberinde baz\u0131 teknik zorluklar\u0131 da getirir.<\/p>\n
Yerel LLM \u00e7al\u0131\u015ft\u0131rman\u0131n en b\u00fcy\u00fck avantajlar\u0131ndan biri, hassas verilerinizi kontrol alt\u0131nda tutma yetene\u011fidir. Bulut tabanl\u0131 LLM’ler kullan\u0131l\u0131rken, verilerinizin \u00fc\u00e7\u00fcnc\u00fc taraf sunucular\u0131na g\u00f6nderilmesi ve i\u015flenmesi gerekir. Bu durum, \u00f6zellikle ki\u015fisel veriler, ticari s\u0131rlar veya d\u00fczenlemeye tabi bilgilerle \u00e7al\u0131\u015f\u0131rken \u00f6nemli gizlilik ve g\u00fcvenlik endi\u015feleri yaratabilir. Yerel bir kurulumla, t\u00fcm verileriniz kendi altyap\u0131n\u0131zda kal\u0131r, bu da veri s\u0131z\u0131nt\u0131s\u0131 riskini azalt\u0131r ve GDPR, HIPAA gibi d\u00fczenlemelere uyumu kolayla\u015ft\u0131r\u0131r.<\/p>\n
Bulut tabanl\u0131 LLM servisleri genellikle kullan\u0131m ba\u015f\u0131na \u00f6deme modeline sahiptir. Yo\u011fun kullan\u0131m durumlar\u0131nda veya uzun s\u00fcreli projelerde bu maliyetler h\u0131zla artabilir. Yerel bir LLM kurulumu, ba\u015flang\u0131\u00e7taki donan\u0131m yat\u0131r\u0131m\u0131na ra\u011fmen, uzun vadede daha maliyet etkin bir \u00e7\u00f6z\u00fcm sunabilir. Ayr\u0131ca, kaynak kullan\u0131m\u0131n\u0131z\u0131 tamamen kontrol edebilir, gereksiz harcamalardan ka\u00e7\u0131nabilir ve b\u00fct\u00e7enizi daha verimli y\u00f6netebilirsiniz.<\/p>\n
Yerel bir ortam, geli\u015ftiricilere LLM’ler \u00fczerinde tam kontrol sa\u011flar. Modelleri \u00f6zelle\u015ftirmek, farkl\u0131 parametrelerle denemeler yapmak, yeni \u00f6zellikler eklemek veya mevcut modelleri kendi veri setlerinizle ince ayar yapmak \u00e7ok daha kolayd\u0131r. Bulut servislerinde bu t\u00fcr esneklikler genellikle k\u0131s\u0131tl\u0131d\u0131r veya ek maliyetler gerektirir. Yerel kurulum, h\u0131zl\u0131 iterasyon ve deneysel geli\u015ftirmeler i\u00e7in ideal bir kum havuzu sunar.<\/p>\n
LLM’leri yerel olarak \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle donan\u0131m uyumlulu\u011fu, ba\u011f\u0131ml\u0131l\u0131k y\u00f6netimi, yaz\u0131l\u0131m kurulumu ve optimizasyon konular\u0131nda \u00f6nemli zorluklar bar\u0131nd\u0131r\u0131r. Farkl\u0131 modellerin farkl\u0131 gereksinimleri olabilir (\u00f6rne\u011fin, GPU belle\u011fi, belirli k\u00fct\u00fcphane s\u00fcr\u00fcmleri). Bu karma\u015f\u0131kl\u0131klar, kurulum s\u00fcrecini acemi kullan\u0131c\u0131lar i\u00e7in g\u00f6z korkutucu hale getirebilir ve deneyimli geli\u015ftiriciler i\u00e7in bile zaman al\u0131c\u0131 olabilir. Nanocl, bu zorluklar\u0131 ortadan kald\u0131rarak kurulum s\u00fcrecini basitle\u015ftirmeyi hedefler.<\/p>\n
Nanocl, modern uygulama da\u011f\u0131t\u0131m\u0131 ve y\u00f6netimi i\u00e7in tasarlanm\u0131\u015f hafif, a\u00e7\u0131k kaynakl\u0131 bir konteyner orkestrasyon arac\u0131d\u0131r. Docker’a benzer bir yakla\u015f\u0131mla, ancak daha minimalist ve h\u0131zl\u0131 bir yap\u0131ya sahip olarak, uygulamalar\u0131 izole edilmi\u015f ortamlarda \u00e7al\u0131\u015ft\u0131rmay\u0131 ve y\u00f6netmeyi kolayla\u015ft\u0131r\u0131r. LLM’leri yerel olarak \u00e7al\u0131\u015ft\u0131rma ba\u011flam\u0131nda, Nanocl’un \u00f6nemi, karma\u015f\u0131k kurulum s\u00fcre\u00e7lerini basitle\u015ftirmesi ve “5 dakikadan k\u0131sa s\u00fcrede” vaadini ger\u00e7e\u011fe d\u00f6n\u00fc\u015ft\u00fcrmesidir.<\/p>\n
Nanocl, bir sunucu (daemon) ve bir istemci (CLI) mimarisine sahiptir. Sunucu, konteynerleri, a\u011flar\u0131 ve depolamay\u0131 y\u00f6netirken, istemci bu sunucuyla etkile\u015fim kurarak komutlar\u0131 y\u00fcr\u00fct\u00fcr. Bu yap\u0131, kaynaklar\u0131 verimli kullan\u0131r ve da\u011f\u0131t\u0131lm\u0131\u015f sistemlerde bile tutarl\u0131 bir deneyim sunar. Nanocl, “namespace” ve “cargo” gibi kavramlarla uygulamalar\u0131 mant\u0131ksal birimler halinde d\u00fczenleyerek y\u00f6netimi kolayla\u015ft\u0131r\u0131r.<\/p>\n
Nanocl, uygulamalar\u0131 konteynerler i\u00e7inde \u00e7al\u0131\u015ft\u0131rarak ba\u011f\u0131ml\u0131l\u0131k sorunlar\u0131n\u0131 ortadan kald\u0131r\u0131r. Bir LLM modelini \u00e7al\u0131\u015ft\u0131rmak i\u00e7in gereken t\u00fcm yaz\u0131l\u0131mlar (Python, belirli k\u00fct\u00fcphaneler, model dosyalar\u0131 vb.) tek bir konteyner imaj\u0131nda paketlenir. Bu, “benim makinemde \u00e7al\u0131\u015f\u0131yor” sorununu \u00e7\u00f6zerek, farkl\u0131 sistemlerde tutarl\u0131 ve g\u00fcvenilir bir \u00e7al\u0131\u015fma ortam\u0131 sa\u011flar. Ayr\u0131ca, konteynerler izole edildi\u011fi i\u00e7in, farkl\u0131 LLM modellerini veya di\u011fer uygulamalar\u0131 birbirine kar\u0131\u015ft\u0131rmadan ayn\u0131 sistem \u00fczerinde kolayca \u00e7al\u0131\u015ft\u0131rabilirsiniz.<\/p>\n
Nanocl’un tasar\u0131m felsefesinin merkezinde basitlik ve h\u0131z yer al\u0131r. Geleneksel konteyner orkestrasyon ara\u00e7lar\u0131n\u0131n karma\u015f\u0131kl\u0131\u011f\u0131ndan ka\u00e7\u0131narak, kullan\u0131c\u0131lar\u0131n h\u0131zla uygulama da\u011f\u0131t\u0131m\u0131 yapmas\u0131na olanak tan\u0131r. Komut sat\u0131r\u0131 aray\u00fcz\u00fc sezgiseldir ve \u00f6\u011frenme e\u011frisi d\u00fc\u015f\u00fckt\u00fcr. Bu, \u00f6zellikle LLM’leri denemek veya h\u0131zl\u0131 prototipler geli\u015ftirmek isteyen kullan\u0131c\u0131lar i\u00e7in b\u00fcy\u00fck bir avantajd\u0131r.<\/p>\n
* Hafif ve H\u0131zl\u0131:<\/strong> D\u00fc\u015f\u00fck kaynak t\u00fcketimi ve h\u0131zl\u0131 ba\u015flang\u0131\u00e7 s\u00fcreleri. Nanocl ile yerel bir LLM’i \u00e7al\u0131\u015ft\u0131rmak, \u015fa\u015f\u0131rt\u0131c\u0131 derecede basittir. Bu b\u00f6l\u00fcmde, gerekli \u00f6n ko\u015fullardan ba\u015flayarak, Nanocl’u kurma ve ilk LLM servisinizi ba\u015flatma ad\u0131mlar\u0131n\u0131 detayland\u0131raca\u011f\u0131z.<\/p>\n Nanocl’u ve bir LLM’i \u00e7al\u0131\u015ft\u0131rmak i\u00e7in minimum sistem gereksinimleri \u015funlard\u0131r:<\/p>\n Nanocl’u kurmak olduk\u00e7a basittir. Genellikle tek bir komutla halledilebilir:<\/p>\n <\/code><\/p>\n Bu komut, Nanocl'un kurulum beti\u011fini indirir ve \u00e7al\u0131\u015ft\u0131r\u0131r. Kurulum tamamland\u0131ktan sonra, Nanocl servisinin \u00e7al\u0131\u015ft\u0131\u011f\u0131ndan emin olmak i\u00e7in a\u015fa\u011f\u0131daki komutu kullanabilirsiniz:<\/p>\n <\/code><\/p>\n Bu komut, Nanocl sunucusunun durumunu ve versiyon bilgilerini g\u00f6sterecektir.<\/p>\n Nanocl, herhangi bir Docker uyumlu konteyner imaj\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rabilir. LLM'ler i\u00e7in en pop\u00fcler ve kullan\u0131m\u0131 kolay yakla\u015f\u0131mlardan biri Ollama projesini kullanmakt\u0131r. Ollama, \u00e7e\u015fitli LLM modellerini (Llama 2, Mistral, Gemma vb.) tek bir konteyner i\u00e7inde \u00e7al\u0131\u015ft\u0131rman\u0131za olanak tan\u0131r ve kullan\u0131m\u0131 basitle\u015ftirir.<\/p>\n Bu \u00f6rnekte Ollama'y\u0131 kullanaca\u011f\u0131z. Ollama'n\u0131n Docker imaj\u0131n\u0131 kullanarak bir LLM servisi olu\u015fturaca\u011f\u0131z.<\/p>\n \u015eimdi Nanocl \u00fczerinde bir LLM servisi olu\u015ftural\u0131m. Bu s\u00fcre\u00e7, bir \"namespace\" olu\u015fturma, bir \"cargo\" tan\u0131mlama ve da\u011f\u0131tma ad\u0131mlar\u0131n\u0131 i\u00e7erir.<\/p>\n 1. Namespace Olu\u015fturma:<\/strong> Uygulamalar\u0131n\u0131z\u0131 d\u00fczenlemek i\u00e7in bir namespace olu\u015fturun.<\/p>\n <\/code><\/p>\n 2. Cargo Tan\u0131mlama:<\/strong> LLM servisimizi tan\u0131mlayan bir YAML dosyas\u0131 olu\u015ftural\u0131m. \u00d6rne\u011fin, <\/code><\/p>\n * 3. Cargo'yu Da\u011f\u0131tma:<\/strong> YAML dosyas\u0131n\u0131 kullanarak cargo'yu olu\u015fturun ve da\u011f\u0131t\u0131n.<\/p>\n <\/code><\/p>\n Bu komut, Ollama konteynerini ba\u015flatacak ve Nanocl onu y\u00f6netmeye ba\u015flayacakt\u0131r. Ollama imaj\u0131 hen\u00fcz yerel olarak mevcut de\u011filse, Nanocl onu otomatik olarak indirecektir.<\/p>\n 4. LLM Modelini \u0130ndirme ve Kullanma:<\/strong> Ollama servisi \u00e7al\u0131\u015fmaya ba\u015flad\u0131ktan sonra, bir LLM modelini indirebilir ve onunla etkile\u015fim kurabilirsiniz.<\/p>\n Yeni bir terminal a\u00e7\u0131n ve Ollama CLI's\u0131n\u0131 kullanarak bir model indirin:<\/p>\n <\/code><\/p>\n *Not: Model indikten sonra, onunla sohbet etmeye ba\u015flayabilirsiniz:<\/p>\n <\/code><\/p>\n Art\u0131k yerel LLM'inizle etkile\u015fim kurabilirsiniz! Bu ad\u0131mlar\u0131n tamam\u0131, internet h\u0131z\u0131n\u0131za ve model boyutuna ba\u011fl\u0131 olarak 5 dakikadan k\u0131sa s\u00fcrebilir.<\/p>\n Nanocl, yerel LLM'lerinizi \u00e7al\u0131\u015ft\u0131rman\u0131n \u00f6tesinde, onlar\u0131 etkin bir \u015fekilde y\u00f6netmek ve gerekti\u011finde \u00f6l\u00e7eklendirmek i\u00e7in de g\u00fc\u00e7l\u00fc ara\u00e7lar sunar. Bu, \u00f6zellikle geli\u015ftirme ortamlar\u0131nda veya birden fazla LLM modelini ayn\u0131 anda \u00e7al\u0131\u015ft\u0131rmak istedi\u011finizde kritik \u00f6neme sahiptir.<\/p>\n Nanocl, \u00e7al\u0131\u015ft\u0131rd\u0131\u011f\u0131n\u0131z t\u00fcm \"cargo\"lar\u0131n (uygulamalar\u0131n) durumunu kolayca izlemenizi sa\u011flar. Bu, LLM servisinizin sorunsuz \u00e7al\u0131\u015ft\u0131\u011f\u0131ndan emin olmak i\u00e7in \u00f6nemlidir.<\/p>\n <\/code><\/p>\n Bu komut, <\/code><\/p>\n Bu, LLM servisinizin \u00e7\u0131kt\u0131s\u0131n\u0131 ve olas\u0131 hatalar\u0131 g\u00f6rmenizi sa\u011flar.<\/p>\n LLM servisinizin konfig\u00fcrasyonunu (\u00f6rne\u011fin, port ayarlar\u0131, ba\u011flanan dizinler veya GPU ayarlar\u0131) g\u00fcncellemeniz gerekebilir. Nanocl, bu t\u00fcr g\u00fcncellemeleri sorunsuz bir \u015fekilde yapman\u0131za olanak tan\u0131r.<\/p>\n <\/code><\/p>\n Nanocl, de\u011fi\u015fiklikleri alg\u0131lar ve servisi yeni konfig\u00fcrasyonla yeniden ba\u015flat\u0131r. Bu, kesinti s\u00fcresini minimumda tutarak h\u0131zl\u0131 iterasyonlar yapman\u0131z\u0131 sa\u011flar.<\/p>\n LLM'ler, \u00f6zellikle b\u00fcy\u00fck modeller, \u00f6nemli miktarda CPU, RAM ve GPU kayna\u011f\u0131 t\u00fcketebilir. Nanocl, cargo tan\u0131mlar\u0131n\u0131zda bu kaynaklar\u0131 y\u00f6netmenize olanak tan\u0131r. \u00d6rne\u011fin, bir konteynere belirli bir CPU veya bellek s\u0131n\u0131r\u0131 atayabilirsiniz.<\/p>\n <\/code><\/p>\n Bu ayarlar, sisteminizin a\u015f\u0131r\u0131 y\u00fcklenmesini \u00f6nlemeye ve di\u011fer uygulamalar\u0131n\u0131z\u0131n da sorunsuz \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flamaya yard\u0131mc\u0131 olur.<\/p>\n Nanocl'un konteyner tabanl\u0131 yap\u0131s\u0131 sayesinde, ayn\u0131 sistem \u00fczerinde birden fazla farkl\u0131 LLM modelini veya ayn\u0131 modelin farkl\u0131 versiyonlar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rabilirsiniz. Her LLM i\u00e7in ayr\u0131 bir cargo tan\u0131m\u0131 olu\u015fturarak ve farkl\u0131 portlar atayarak bunu ba\u015farabilirsiniz.<\/p>\n \u00d6rne\u011fin, Llama 2 i\u00e7in bir cargo ve Mistral i\u00e7in ba\u015fka bir cargo tan\u0131mlayabilirsiniz:<\/p>\n <\/code><\/p>\n Bu \u015fekilde, her model kendi izole ortam\u0131nda \u00e7al\u0131\u015f\u0131r ve birbirini etkilemez.<\/p>\n Nanocl ile yerel LLM'leri \u00e7al\u0131\u015ft\u0131rmak, \u00e7e\u015fitli pratik senaryolar i\u00e7in kap\u0131lar a\u00e7ar ve geli\u015ftiricilere \u00f6nemli avantajlar sunar. \u0130\u015fte baz\u0131 kullan\u0131m senaryolar\u0131 ve Nanocl ile LLM'lerinizden en iyi \u015fekilde yararlanmak i\u00e7in ipu\u00e7lar\u0131.<\/p>\n Nanocl, geli\u015ftiriciler i\u00e7in ideal bir prototipleme ortam\u0131 sa\u011flar. Yeni fikirleri h\u0131zla test edebilir, farkl\u0131 LLM modellerini deneyebilir ve uygulamalar\u0131n\u0131z\u0131 yerel olarak geli\u015ftirirken bulut maliyetlerinden ka\u00e7\u0131nabilirsiniz. Bir fikri test etmek i\u00e7in birka\u00e7 dakikada bir LLM servisi kurup kald\u0131rabilirsiniz.<\/p>\n * \u0130pucu:<\/strong> Geli\u015ftirme s\u0131ras\u0131nda farkl\u0131 LLM modelleri aras\u0131nda h\u0131zl\u0131ca ge\u00e7i\u015f yapmak i\u00e7in her model i\u00e7in ayr\u0131 bir cargo tan\u0131m\u0131 olu\u015fturun ve gerekti\u011finde Hassas verilerle \u00e7al\u0131\u015fan uygulamalar (\u00f6rne\u011fin, sa\u011fl\u0131k, finans veya ki\u015fisel veriler i\u00e7eren uygulamalar) i\u00e7in yerel LLM'ler vazge\u00e7ilmezdir. Nanocl, bu t\u00fcr uygulamalar\u0131 g\u00fcvenli bir \u015fekilde kendi altyap\u0131n\u0131zda \u00e7al\u0131\u015ft\u0131rman\u0131za olanak tan\u0131r, b\u00f6ylece verilerin \u00fc\u00e7\u00fcnc\u00fc taraf sunucular\u0131na asla ula\u015fmamas\u0131n\u0131 sa\u011flars\u0131n\u0131z.<\/p>\n * \u0130pucu:<\/strong> Konteynerinize sadece ihtiya\u00e7 duydu\u011fu a\u011f eri\u015fimini verin ve \u0130nternet ba\u011flant\u0131s\u0131n\u0131n s\u0131n\u0131rl\u0131 veya hi\u00e7 olmad\u0131\u011f\u0131 ortamlarda (\u00f6rne\u011fin, saha \u00e7al\u0131\u015fmalar\u0131, uzaktan b\u00f6lgeler veya belirli g\u00fcvenlik gereksinimleri olan ortamlar) yerel LLM'ler hayati \u00f6neme sahiptir. Nanocl ile kurulan bir LLM, internet ba\u011flant\u0131s\u0131 olmadan da tam kapasiteyle \u00e7al\u0131\u015fabilir.<\/p>\n * \u0130pucu:<\/strong> LLM imajlar\u0131n\u0131 ve modellerini \u00f6nceden indirerek \u00e7evrimd\u0131\u015f\u0131 kullan\u0131m i\u00e7in haz\u0131rl\u0131kl\u0131 olun.<\/p>\n Yerel LLM'lerden en iyi performans\u0131 almak i\u00e7in baz\u0131 optimizasyonlar yapabilirsiniz:<\/p>\n B\u00fcy\u00fck Dil Modellerini yerel sistemlerde \u00e7al\u0131\u015ft\u0131rmak, gizlilik, maliyet kontrol\u00fc ve geli\u015ftirme esnekli\u011fi a\u00e7\u0131s\u0131ndan say\u0131s\u0131z avantaj sunar. Ancak, bu s\u00fcre\u00e7 geleneksel olarak karma\u015f\u0131k ve zaman al\u0131c\u0131 olmu\u015ftur. Nanocl, hafif, h\u0131zl\u0131 ve konteyner tabanl\u0131 mimarisiyle bu zorluklar\u0131 ortadan kald\u0131rarak, LLM'leri 5 dakikadan k\u0131sa s\u00fcrede kurup \u00e7al\u0131\u015ft\u0131rma vaadini ger\u00e7e\u011fe d\u00f6n\u00fc\u015ft\u00fcrmektedir. Geli\u015ftiriciler, ara\u015ft\u0131rmac\u0131lar ve teknoloji merakl\u0131lar\u0131 art\u0131k karma\u015f\u0131k ba\u011f\u0131ml\u0131l\u0131klarla u\u011fra\u015fmak yerine, do\u011frudan modelin kendisiyle etkile\u015fime ge\u00e7meye odaklanabilirler. Nanocl'un basitli\u011fi ve g\u00fcc\u00fc, yapay zeka teknolojilerini daha eri\u015filebilir ve y\u00f6netilebilir hale getirerek, yerel LLM ekosisteminin geli\u015fimine \u00f6nemli bir katk\u0131 sa\u011flamaktad\u0131r. Kendi LLM'nizi Nanocl ile bug\u00fcn \u00e7al\u0131\u015ft\u0131rmaya ba\u015flay\u0131n ve yapay zekan\u0131n potansiyelini parmaklar\u0131n\u0131z\u0131n ucunda deneyimleyin!<\/p>\n Nanocl, Linux tabanl\u0131 da\u011f\u0131t\u0131mlar\u0131 (Ubuntu, Debian, Fedora vb.) ve macOS'u tam olarak destekler. Windows kullan\u0131c\u0131lar\u0131 i\u00e7in WSL2 (Windows Subsystem for Linux) arac\u0131l\u0131\u011f\u0131yla Linux ortam\u0131nda \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131 \u00f6nerilir.<\/p>\n Evet, Nanocl Docker uyumlu herhangi bir konteyner imaj\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rabilir. Ollama gibi ara\u00e7lar, pop\u00fcler LLM modellerini (Llama 2, Mistral, Gemma vb.) konteynerize edilmi\u015f bir \u015fekilde sunarak bu s\u00fcreci basitle\u015ftirir. Kendi \u00f6zel LLM'nizi bir Docker imaj\u0131na paketleyerek de Nanocl ile \u00e7al\u0131\u015ft\u0131rabilirsiniz.<\/p>\n Evet, Nanocl, Docker'\u0131n GPU deste\u011fi \u00f6zelliklerini devral\u0131r. NVIDIA GPU'lar i\u00e7in Evet, Nanocl a\u00e7\u0131k kaynakl\u0131 bir projedir ve tamamen \u00fccretsiz olarak kullan\u0131labilir. Herhangi bir lisans \u00fccreti veya kullan\u0131m k\u0131s\u0131tlamas\u0131 yoktur.<\/p>\n Performans, b\u00fcy\u00fck \u00f6l\u00e7\u00fcde sisteminizin donan\u0131m\u0131na (\u00f6zellikle CPU, RAM ve GPU), LLM modelinin boyutuna ve kuantizasyon seviyesine ba\u011fl\u0131d\u0131r. Nanocl'un kendisi hafif oldu\u011fu i\u00e7in performans \u00fczerinde minimum ek y\u00fck bindirir. Uygun donan\u0131m ve GPU h\u0131zland\u0131rmas\u0131 ile yerel LLM'ler olduk\u00e7a iyi performans g\u00f6sterebilir.<\/p>\n","protected":false},"excerpt":{"rendered":"Nanocl, Linux tabanl\u0131 da\u011f\u0131t\u0131mlar\u0131 (Ubuntu, Debian, Fedora vb.) ve macOS’u tam olarak destekler. Windows kullan\u0131c\u0131lar\u0131 i\u00e7in WSL2 (Windows Subsystem f…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-36554","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n* Konteyner Y\u00f6netimi:<\/strong> Uygulamalar\u0131 konteynerler i\u00e7inde izole etme ve \u00e7al\u0131\u015ft\u0131rma.
\n* Namespace’ler:<\/strong> Uygulamalar\u0131 mant\u0131ksal gruplar halinde d\u00fczenleme.
\n* Cargo’lar:<\/strong> Uygulama tan\u0131mlar\u0131n\u0131 ve konfig\u00fcrasyonlar\u0131n\u0131 y\u00f6netme.
\n* A\u011f Y\u00f6netimi:<\/strong> Konteynerler aras\u0131 ve d\u0131\u015f d\u00fcnya ile ileti\u015fim kurma.
\n* Depolama Y\u00f6netimi:<\/strong> Kal\u0131c\u0131 veri depolama \u00e7\u00f6z\u00fcmleri sunma.
\n* API Deste\u011fi:<\/strong> Otomasyon ve entegrasyon i\u00e7in g\u00fc\u00e7l\u00fc bir API.<\/p>\nNanocl ile LLM’leri 5 Dakikada Kurulum Ad\u0131mlar\u0131<\/h3>\n
\u00d6n Ko\u015fullar ve Sistem Gereksinimleri<\/h4>\n
\n
Nanocl Kurulumu<\/h4>\n
\ncurl -sSL https:\/\/get.nanocl.io | bash\n<\/pre>\n\nnanocl info\n<\/pre>\nLLM Modelini Se\u00e7me ve Haz\u0131rlama<\/h4>\n
Nanocl \u00dczerinde LLM Servisini Ba\u015flatma<\/h4>\n
\n nanocl nsp create my-llm-namespace\n <\/pre>\nollama-llm.yaml<\/code> ad\u0131nda bir dosya:<\/p>\n\n # ollama-llm.yaml\n ApiVersion: v0.1\n Kind: Cargo\n Metadata:\n Name: ollama-llm\n Namespace: my-llm-namespace\n Spec:\n Container:\n Image: ollama\/ollama:latest\n Env:\n - OLLAMA_HOST=0.0.0.0:11434\n HostConfig:\n PortBindings:\n 11434\/tcp:\n - HostPort: \"11434\"\n - HostIp: \"0.0.0.0\"\n Binds:\n - \/var\/ollama:\/root\/.ollama # Modelleri kal\u0131c\u0131 depolamak i\u00e7in\n # GPU deste\u011fi i\u00e7in, e\u011fer varsa:\n # Runtime: nvidia # NVIDIA GPU i\u00e7in\n # Devices:\n # - HostPath: \/dev\/nvidia0 # \u00d6rnek\n # - HostPath: \/dev\/nvidia-uvm\n # - HostPath: \/dev\/nvidia-modeset\n # - HostPath: \/dev\/nvidiactl\n # - HostPath: \/dev\/nvidia-caps\/nvidia-cap1\n # - HostPath: \/dev\/nvidia-caps\/nvidia-cap2\n <\/pre>\nImage: ollama\/ollama:latest<\/code>: Ollama'n\u0131n en son Docker imaj\u0131n\u0131 kullan\u0131r.
\n * OLLAMA_HOST<\/code>: Ollama servisinin t\u00fcm aray\u00fczlerden eri\u015filebilir olmas\u0131n\u0131 sa\u011flar.
\n * PortBindings<\/code>: Konteynerin 11434 portunu host makinenin 11434 portuna y\u00f6nlendirir.
\n * Binds<\/code>: \/var\/ollama<\/code> dizinini konteyner i\u00e7indeki \/root\/.ollama<\/code> dizinine ba\u011flar. Bu, indirdi\u011finiz LLM modellerinin Nanocl konteyneri yeniden ba\u015flat\u0131lsa bile kal\u0131c\u0131 olmas\u0131n\u0131 sa\u011flar. \/var\/ollama<\/code> dizininin host makinenizde mevcut oldu\u011fundan emin olun.
\n * Runtime: nvidia<\/code> ve Devices<\/code>: E\u011fer bir NVIDIA GPU'nuz varsa ve Docker\/Nanocl GPU deste\u011fi i\u00e7in yap\u0131land\u0131r\u0131lm\u0131\u015fsa, bu sat\u0131rlar\u0131 yorumdan \u00e7\u0131kararak GPU h\u0131zland\u0131rmas\u0131n\u0131 etkinle\u015ftirebilirsiniz. Di\u011fer GPU'lar i\u00e7in ilgili runtime ve device tan\u0131mlar\u0131n\u0131 kullanman\u0131z gerekebilir.<\/p>\n\n nanocl cargo create -f ollama-llm.yaml\n <\/pre>\n\n ollama pull llama2 # Veya mistral, gemma vb.\n <\/pre>\nollama<\/code> CLI arac\u0131n\u0131n sisteminizde y\u00fckl\u00fc olmas\u0131 gerekir. E\u011fer y\u00fckl\u00fc de\u011filse, curl -fsSL https:\/\/ollama.com\/install.sh | sh<\/code> komutuyla kurabilirsiniz.*<\/p>\n\n ollama run llama2\n <\/pre>\nNanocl ile LLM Y\u00f6netimi ve \u00d6l\u00e7eklendirme<\/h3>\n
Servislerin Durumunu \u0130zleme<\/h4>\n
\nnanocl cargo ls -n my-llm-namespace\n<\/pre>\nmy-llm-namespace<\/code> i\u00e7indeki t\u00fcm cargo'lar\u0131 ve onlar\u0131n mevcut durumlar\u0131n\u0131 (\u00e7al\u0131\u015f\u0131yor, durduruldu, ba\u015far\u0131s\u0131z vb.) listeler. Ayr\u0131ca, belirli bir cargo'nun detayl\u0131 loglar\u0131n\u0131 g\u00f6r\u00fcnt\u00fclemek i\u00e7in:<\/p>\n\nnanocl cargo logs ollama-llm -n my-llm-namespace\n<\/pre>\nKonfig\u00fcrasyon G\u00fcncellemeleri<\/h4>\n
ollama-llm.yaml<\/code> dosyas\u0131nda de\u011fi\u015fiklikler yapt\u0131ktan sonra, cargo'yu yeniden da\u011f\u0131tman\u0131z yeterlidir:<\/p>\n\nnanocl cargo deploy -f ollama-llm.yaml\n<\/pre>\nKaynak Y\u00f6netimi ve Optimizasyon<\/h4>\n
\n# ollama-llm.yaml (Kaynak s\u0131n\u0131rlar\u0131 eklenmi\u015f hali)\n...\nSpec:\n Container:\n Image: ollama\/ollama:latest\n HostConfig:\n ...\n Resources:\n Limits:\n Memory: 8g # 8 GB RAM s\u0131n\u0131r\u0131\n Cpu: 4 # 4 CPU \u00e7ekirde\u011fi s\u0131n\u0131r\u0131\n Reservations:\n Memory: 4g # Minimum 4 GB RAM ay\u0131r\n...\n<\/pre>\nBirden Fazla LLM \u00c7al\u0131\u015ft\u0131rma<\/h4>\n
\n# mistral-llm.yaml\nApiVersion: v0.1\nKind: Cargo\nMetadata:\n Name: mistral-llm\n Namespace: my-llm-namespace\nSpec:\n Container:\n Image: ollama\/ollama:latest\n Env:\n - OLLAMA_HOST=0.0.0.0:11435 # Farkl\u0131 port\n HostConfig:\n PortBindings:\n 11434\/tcp: # Ollama konteyneri i\u00e7inde 11434 kullan\u0131r\n - HostPort: \"11435\" # Host makinede 11435 kullan\n - HostIp: \"0.0.0.0\"\n Binds:\n - \/var\/ollama-mistral:\/root\/.ollama # Farkl\u0131 depolama dizini\n<\/pre>\nPratik Kullan\u0131m Senaryolar\u0131 ve \u0130pu\u00e7lar\u0131<\/h3>\n
Geli\u015ftirme ve Prototipleme<\/h4>\n
nanocl cargo start\/stop<\/code> komutlar\u0131n\u0131 kullan\u0131n.<\/p>\nVeri G\u00fcvenli\u011fi Odakl\u0131 Uygulamalar<\/h4>\n
Binds<\/code> ile model ve veri depolama alanlar\u0131n\u0131 g\u00fcvenli bir \u015fekilde y\u00f6netin.<\/p>\n\u00c7evrimd\u0131\u015f\u0131 \u00c7al\u0131\u015fma \u0130htiya\u00e7lar\u0131<\/h4>\n
Performans \u0130pu\u00e7lar\u0131<\/h4>\n
\n
Runtime: nvidia<\/code> ve Devices<\/code> ayarlar\u0131n\u0131 do\u011fru yap\u0131land\u0131rd\u0131\u011f\u0131n\u0131zdan emin olun.<\/li>\nResources<\/code> b\u00f6l\u00fcm\u00fcn\u00fc kullanarak LLM konteynerinize yeterli CPU ve RAM ay\u0131rd\u0131\u011f\u0131n\u0131zdan emin olun, ancak di\u011fer sistem s\u00fcre\u00e7lerini bo\u011fmayacak \u015fekilde dengeli bir da\u011f\u0131t\u0131m yap\u0131n.<\/li>\n<\/ol>\nSonu\u00e7<\/h3>\n
SSS (S\u0131k Sorulan Sorular)<\/h3>\n
Nanocl hangi i\u015fletim sistemlerini destekler?<\/h4>\n
Herhangi bir LLM modelini Nanocl ile \u00e7al\u0131\u015ft\u0131rabilir miyim?<\/h4>\n
Nanocl ile GPU deste\u011fi var m\u0131?<\/h4>\n
Runtime: nvidia<\/code> ve uygun Devices<\/code> tan\u0131mlar\u0131 ile GPU h\u0131zland\u0131rmas\u0131n\u0131 etkinle\u015ftirebilirsiniz. AMD GPU'lar i\u00e7in ROCm gibi alternatif runtime'lar ve device tan\u0131mlar\u0131 gerekebilir. Sisteminizde uygun GPU s\u00fcr\u00fcc\u00fclerinin kurulu oldu\u011fundan emin olun.<\/p>\nNanocl \u00fccretsiz mi?<\/h4>\n
Nanocl ile \u00e7al\u0131\u015fan yerel LLM'lerin performans\u0131 nas\u0131l?<\/h4>\n