B\u00fcy\u00fck dil modellerinin (LLM) g\u00fcc\u00fc, son y\u0131llarda teknoloji d\u00fcnyas\u0131n\u0131 kas\u0131p kavurdu. Ancak bu modelleri genellikle bulut tabanl\u0131 sunucularda veya y\u00fcksek performansl\u0131 bilgisayarlarda \u00e7al\u0131\u015ft\u0131rmak gerekir. Peki ya bu g\u00fc\u00e7l\u00fc yapay zekay\u0131, kaynaklar\u0131 daha k\u0131s\u0131tl\u0131 olan kenar cihazlara (edge devices) ta\u015f\u0131yabilirsek? \u0130\u015fte bu soru, \u00f6zellikle gizlilik, d\u00fc\u015f\u00fck gecikme s\u00fcresi ve \u00e7evrimd\u0131\u015f\u0131 \u00e7al\u0131\u015fma gibi avantajlar\u0131 arayan geli\u015ftiriciler ve merakl\u0131lar i\u00e7in b\u00fcy\u00fck \u00f6nem ta\u015f\u0131yor. Bu makalede, NVIDIA’n\u0131n pop\u00fcler mini bilgisayar\u0131 Jetson Nano \u00fczerinde, LLM’leri yerel olarak \u00e7al\u0131\u015ft\u0131rmay\u0131 sa\u011flayan Ollama platformunun performans\u0131n\u0131 basit bir benchmark (k\u0131yaslama) ile inceleyece\u011fiz. Amac\u0131m\u0131z, bu ikilinin potansiyelini anlamak ve kenar yapay zeka uygulamalar\u0131 i\u00e7in ger\u00e7ek\u00e7i beklentiler olu\u015fturmakt\u0131r.<\/p>\n
Kenar yapay zeka (edge AI), yapay zeka algoritmalar\u0131n\u0131n verilerin topland\u0131\u011f\u0131 cihaza yak\u0131n bir yerde, yani “kenarda” \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131 anlam\u0131na gelir. Bu yakla\u015f\u0131m, verilerin buluta g\u00f6nderilmesinin getirdi\u011fi gecikmeyi, bant geni\u015fli\u011fi maliyetini ve gizlilik endi\u015felerini ortadan kald\u0131rarak bir\u00e7ok avantaj sunar. Bu ba\u011flamda, NVIDIA Jetson Nano gibi cihazlar, kompakt boyutlar\u0131 ve entegre GPU (Grafik \u0130\u015flem Birimi) yetenekleri sayesinde kenar yapay zeka projeleri i\u00e7in ideal platformlardan biri haline gelmi\u015ftir. Jetson Nano, geli\u015ftiricilere ve hobi sahiplerine, derin \u00f6\u011frenme modellerini d\u00fc\u015f\u00fck g\u00fc\u00e7 t\u00fcketimiyle \u00e7al\u0131\u015ft\u0131rma imkan\u0131 sunar. D\u00f6rt \u00e7ekirdekli ARM i\u015flemcisi ve 128 \u00e7ekirdekli NVIDIA Maxwell GPU’su ile, g\u00f6r\u00fcnt\u00fc i\u015fleme, nesne tan\u0131ma ve hatta baz\u0131 orta \u00f6l\u00e7ekli dil modellerini \u00e7al\u0131\u015ft\u0131rma kapasitesine sahiptir. Bu cihaz, \u00f6zellikle prototipleme ve k\u00fc\u00e7\u00fck \u00f6l\u00e7ekli da\u011f\u0131t\u0131mlar i\u00e7in olduk\u00e7a pop\u00fclerdir.<\/p>\n
\u00d6te yandan, Ollama, b\u00fcy\u00fck dil modellerini yerel olarak \u00e7al\u0131\u015ft\u0131rmay\u0131 son derece basitle\u015ftiren a\u00e7\u0131k kaynakl\u0131 bir platformdur. Geli\u015ftiricilerin ve kullan\u0131c\u0131lar\u0131n \u00e7e\u015fitli LLM’leri (Llama 2, Mistral, Code Llama gibi) kendi bilgisayarlar\u0131nda veya sunucular\u0131nda kolayca kurup \u00e7al\u0131\u015ft\u0131rmas\u0131na olanak tan\u0131r. Ollama, model indirme, kurulum ve \u00e7al\u0131\u015ft\u0131rma s\u00fcre\u00e7lerini tek bir komut sat\u0131r\u0131 aray\u00fcz\u00fc (CLI) ile basitle\u015ftirir. Bu, karma\u015f\u0131k ba\u011f\u0131ml\u0131l\u0131klarla u\u011fra\u015fmak yerine do\u011frudan modelin kendisiyle etkile\u015fime ge\u00e7meye odaklanmay\u0131 sa\u011flar. Ollama’n\u0131n en b\u00fcy\u00fck avantajlar\u0131ndan biri, kullan\u0131c\u0131 dostu aray\u00fcz\u00fc ve geni\u015f model k\u00fct\u00fcphanesi sayesinde, yerel LLM deneyimini her seviyeden kullan\u0131c\u0131ya ula\u015ft\u0131rmas\u0131d\u0131r. Ayr\u0131ca, REST API deste\u011fi sayesinde di\u011fer uygulamalarla entegrasyonu da olduk\u00e7a kolayd\u0131r. Jetson Nano gibi bir kenar cihazda Ollama kullanmak, hem donan\u0131m\u0131n yapay zeka yeteneklerini sonuna kadar kullanmak hem de LLM’leri \u00e7evrimd\u0131\u015f\u0131 ve gizlili\u011fe duyarl\u0131 ortamlarda \u00e7al\u0131\u015ft\u0131rmak i\u00e7in g\u00fc\u00e7l\u00fc bir kombinasyon olu\u015fturur. Bu iki teknolojinin bir araya gelmesi, otonom sistemlerden ak\u0131ll\u0131 ev uygulamalar\u0131na, end\u00fcstriyel otomasyondan e\u011fitime kadar geni\u015f bir yelpazede yeni olanaklar yarat\u0131r. \u00d6zellikle, hassas verilerin buluta g\u00f6nderilmesini istemeyen i\u015fletmeler veya ki\u015fisel projeler i\u00e7in bu yerel \u00e7\u00f6z\u00fcm, vazge\u00e7ilmez bir alternatif sunar. Bu sayede, internet ba\u011flant\u0131s\u0131n\u0131n olmad\u0131\u011f\u0131 yerlerde bile geli\u015fmi\u015f yapay zeka yeteneklerinden faydalanmak m\u00fcmk\u00fcn hale gelir.<\/p>\n
B\u00fcy\u00fck dil modellerini (LLM) bulut tabanl\u0131 hizmetler yerine Jetson Nano gibi kenar cihazlarda \u00e7al\u0131\u015ft\u0131rman\u0131n bir\u00e7ok \u00f6nemli avantaj\u0131 vard\u0131r ve bu avantajlar, \u00e7e\u015fitli ger\u00e7ek d\u00fcnya senaryolar\u0131nda kritik farklar yaratabilir. \u00d6ncelikle, gizlilik ve veri g\u00fcvenli\u011fi<\/strong> en b\u00fcy\u00fck etkenlerden biridir. Hassas ki\u015fisel veriler, ticari s\u0131rlar veya sa\u011fl\u0131k bilgileri i\u00e7eren metinlerin bulut sunucular\u0131na g\u00f6nderilmesi her zaman bir risk ta\u015f\u0131r. Yerel olarak \u00e7al\u0131\u015fan bir LLM, verilerin cihazdan ayr\u0131lmamas\u0131n\u0131 sa\u011flayarak bu riskleri ortadan kald\u0131r\u0131r. \u00d6rne\u011fin, bir doktor muayenehanesinde hastalar\u0131n semptomlar\u0131n\u0131 analiz eden bir yapay zeka asistan\u0131, verileri yerel olarak i\u015fleyerek hasta gizlili\u011fini en \u00fcst d\u00fczeyde koruyabilir. Bu, KVKK (Ki\u015fisel Verilerin Korunmas\u0131 Kanunu) gibi d\u00fczenlemelere uyum a\u00e7\u0131s\u0131ndan da b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r.<\/p>\n \u0130kinci olarak, d\u00fc\u015f\u00fck gecikme s\u00fcresi (latency)<\/strong>, kenar cihazlarda LLM \u00e7al\u0131\u015ft\u0131rman\u0131n bir di\u011fer \u00f6nemli faydas\u0131d\u0131r. Bulut tabanl\u0131 \u00e7\u00f6z\u00fcmlerde, verilerin sunucuya gidip gelmesi ve i\u015flenmesi belirli bir zaman al\u0131r. Bu gecikme, ger\u00e7ek zamanl\u0131 uygulamalarda kabul edilemez olabilir. Otonom ara\u00e7lar, end\u00fcstriyel robotlar veya ak\u0131ll\u0131 ev sistemleri gibi uygulamalarda, saniyenin binde biri kadar gecikmeler bile kritik sonu\u00e7lara yol a\u00e7abilir. Jetson Nano \u00fczerinde \u00e7al\u0131\u015fan bir LLM, komutlar\u0131 veya sens\u00f6r verilerini an\u0131nda i\u015fleyerek \u00e7ok daha h\u0131zl\u0131 yan\u0131t s\u00fcreleri sa\u011flar. \u00d6rne\u011fin, bir ak\u0131ll\u0131 ev asistan\u0131, kullan\u0131c\u0131n\u0131n sesli komutlar\u0131n\u0131 internet ba\u011flant\u0131s\u0131na ihtiya\u00e7 duymadan an\u0131nda anlay\u0131p i\u015fleyerek, \u0131\u015f\u0131klar\u0131 a\u00e7ma veya termostat\u0131 ayarlama gibi g\u00f6revleri gecikmesiz bir \u015fekilde yerine getirebilir.<\/p>\n \u00dc\u00e7\u00fcnc\u00fc olarak, \u00e7evrimd\u0131\u015f\u0131 \u00e7al\u0131\u015fma yetene\u011fi<\/strong>, kenar yapay zekan\u0131n vazge\u00e7ilmez bir \u00f6zelli\u011fidir. \u0130nternet ba\u011flant\u0131s\u0131n\u0131n kesintili oldu\u011fu veya hi\u00e7 olmad\u0131\u011f\u0131 uzak b\u00f6lgelerde, \u015fantiyelerde, gemilerde veya do\u011fal afet durumlar\u0131nda, bulut tabanl\u0131 sistemler i\u015flevsiz hale gelir. Ancak Jetson Nano gibi bir cihazda yerel olarak \u00e7al\u0131\u015fan bir LLM, internet ba\u011flant\u0131s\u0131ndan ba\u011f\u0131ms\u0131z olarak \u00e7al\u0131\u015fmaya devam eder. Bir maden oca\u011f\u0131nda ar\u0131za tespiti yapan veya bir tar\u0131m arazisinde bitki hastal\u0131klar\u0131n\u0131 analiz eden bir yapay zeka sistemi, \u00e7evrimd\u0131\u015f\u0131 olsa bile kritik verileri i\u015flemeye devam edebilir. Bu, kesintisiz operasyon ve g\u00fcvenilir performans sa\u011flar.<\/p>\n D\u00f6rd\u00fcnc\u00fc olarak, maliyet etkinli\u011fi<\/strong>, \u00f6zellikle b\u00fcy\u00fck \u00f6l\u00e7ekli da\u011f\u0131t\u0131mlarda \u00f6nemli bir avantajd\u0131r. Bulut tabanl\u0131 LLM hizmetleri genellikle kullan\u0131m ba\u015f\u0131na \u00fccretlendirilir ve bu maliyetler, yo\u011fun kullan\u0131mlarda h\u0131zla artabilir. Kenar cihazlarda yerel olarak LLM \u00e7al\u0131\u015ft\u0131rmak, ba\u015flang\u0131\u00e7ta donan\u0131m yat\u0131r\u0131m\u0131 gerektirse de, uzun vadede i\u015fletme maliyetlerini d\u00fc\u015f\u00fcrebilir. \u00d6zellikle binlerce cihaz\u0131n bulundu\u011fu IoT (Nesnelerin \u0130nterneti) projelerinde, her bir cihaz\u0131n buluta veri g\u00f6ndermesi yerine yerel olarak i\u015flem yapmas\u0131, bant geni\u015fli\u011fi ve bulut kaynaklar\u0131 a\u00e7\u0131s\u0131ndan b\u00fcy\u00fck tasarruflar sa\u011flayabilir. Bir fabrika otomasyon sisteminde, y\u00fczlerce sens\u00f6rden gelen veriyi yerel olarak analiz eden bir Jetson Nano, bulut tabanl\u0131 bir \u00e7\u00f6z\u00fcme k\u0131yasla \u00e7ok daha ekonomik olabilir.<\/p>\n Son olarak, ki\u015fiselle\u015ftirme ve esneklik<\/strong>, kenar LLM’lerinin sundu\u011fu di\u011fer bir art\u0131d\u0131r. Yerel olarak bar\u0131nd\u0131r\u0131lan modeller, belirli bir kullan\u0131c\u0131 veya uygulama i\u00e7in daha kolay bir \u015fekilde ince ayarlanabilir (fine-tune) veya \u00f6zelle\u015ftirilebilir. Bu, modelin belirli bir jargon, veri k\u00fcmesi veya kullan\u0131m senaryosu i\u00e7in daha verimli hale getirilmesini sa\u011flar. \u00d6rne\u011fin, belirli bir \u015firketin m\u00fc\u015fteri hizmetleri i\u00e7in \u00f6zel olarak e\u011fitilmi\u015f bir LLM, bulut tabanl\u0131 genel bir modelden \u00e7ok daha etkili olabilir ve bu \u00f6zelle\u015ftirme, kenar cihazda daha kolay ve g\u00fcvenli bir \u015fekilde yap\u0131labilir. Bu avantajlar bir araya geldi\u011finde, Jetson Nano ve Ollama gibi \u00e7\u00f6z\u00fcmler, yapay zekay\u0131 daha eri\u015filebilir, g\u00fcvenli ve verimli hale getirerek bir\u00e7ok sekt\u00f6rde devrim yaratma potansiyeli ta\u015f\u0131r.<\/p>\n Jetson Nano \u00fczerinde Ollama ve b\u00fcy\u00fck dil modellerini \u00e7al\u0131\u015ft\u0131rmak i\u00e7in \u00f6ncelikle cihaz\u0131n\u0131z\u0131 haz\u0131rlaman\u0131z ve ard\u0131ndan Ollama’y\u0131 kurman\u0131z gerekir. Bu s\u00fcre\u00e7, ad\u0131m ad\u0131m ilerlendi\u011finde olduk\u00e7a basittir ve temel Linux komut bilgisi olan herkes taraf\u0131ndan rahatl\u0131kla yap\u0131labilir. Bu b\u00f6l\u00fcmde, Jetson Nano’nuzu nas\u0131l haz\u0131rlayaca\u011f\u0131n\u0131z\u0131 ve Ollama’y\u0131 nas\u0131l kuraca\u011f\u0131n\u0131z\u0131 detayl\u0131 bir \u015fekilde a\u00e7\u0131klayaca\u011f\u0131z.<\/p>\n Jetson Nano’nuzu kullanabilmeniz i\u00e7in \u00f6ncelikle NVIDIA’n\u0131n JetPack SDK’s\u0131n\u0131 kurman\u0131z gerekmektedir. JetPack, i\u015fletim sistemi (Ubuntu), CUDA, cuDNN ve TensorRT gibi derin \u00f6\u011frenme k\u00fct\u00fcphanelerini i\u00e7erir ve GPU’nun t\u00fcm potansiyelini kullanman\u0131z\u0131 sa\u011flar.<\/p>\n Jetson Nano’nuz haz\u0131r oldu\u011funda, Ollama’y\u0131 kurmak olduk\u00e7a kolayd\u0131r. Ollama, kurulum beti\u011fi sayesinde tek bir komutla sisteme entegre edilebilir. Terminali a\u00e7\u0131n ve a\u015fa\u011f\u0131daki komutu \u00e7al\u0131\u015ft\u0131r\u0131n:<\/p>\n Bu komut, Ollama’y\u0131 indirip sisteminize kuracakt\u0131r. Kurulum tamamland\u0131ktan sonra, Ollama servisinin \u00e7al\u0131\u015f\u0131p \u00e7al\u0131\u015fmad\u0131\u011f\u0131n\u0131 kontrol etmek i\u00e7in a\u015fa\u011f\u0131daki komutu kullanabilirsiniz:<\/p>\n E\u011fer servis \u00e7al\u0131\u015fm\u0131yorsa, ba\u015flatmak i\u00e7in Bu komutu \u00e7al\u0131\u015ft\u0131rd\u0131ktan sonra, de\u011fi\u015fikli\u011fin etkili olmas\u0131 i\u00e7in oturumu kapat\u0131p tekrar a\u00e7man\u0131z veya Jetson Nano’yu yeniden ba\u015flatman\u0131z gerekebilir.<\/p>\n Ollama kurulduktan sonra, s\u0131ra modelleri indirmeye gelir. Ollama, \u00e7e\u015fitli pop\u00fcler LLM’leri kolayca indirmenizi sa\u011flar. Jetson Nano gibi kaynaklar\u0131 k\u0131s\u0131tl\u0131 bir cihazda, daha k\u00fc\u00e7\u00fck boyutlu veya nicemlenmi\u015f (quantized) modelleri tercih etmek performans\u0131 art\u0131racakt\u0131r. \u00d6rne\u011fin, Llama 2’nin 7B parametreli versiyonunu indirmek i\u00e7in:<\/p>\n Veya daha k\u00fc\u00e7\u00fck ve h\u0131zl\u0131 olabilecek Mistral modelini indirmek i\u00e7in:<\/p>\n Modelin indirilmesi, internet ba\u011flant\u0131n\u0131z\u0131n h\u0131z\u0131na ve modelin boyutuna ba\u011fl\u0131 olarak biraz zaman alabilir. Modeller genellikle Gigabaytlarca yer kaplad\u0131\u011f\u0131 i\u00e7in, SD kart\u0131n\u0131zda yeterli bo\u015f alan oldu\u011fundan emin olun. Modelleri indirdikten sonra, Art\u0131k Jetson Nano’nuzda Ollama kurulu ve istedi\u011finiz b\u00fcy\u00fck dil modelleri haz\u0131r. Bir sonraki ad\u0131m, bu modelleri \u00e7al\u0131\u015ft\u0131rmak ve performanslar\u0131n\u0131 k\u0131yaslamakt\u0131r. Bu kurulum s\u00fcreci, kenar cihazlarda yapay zeka uygulamalar\u0131 geli\u015ftirmek i\u00e7in sa\u011flam bir temel olu\u015fturur ve geli\u015ftiricilerin h\u0131zl\u0131 bir \u015fekilde prototip olu\u015fturmalar\u0131na ve denemeler yapmalar\u0131na olanak tan\u0131r. \u00d6zellikle, bu t\u00fcr bir yerel kurulum, bulut tabanl\u0131 \u00e7\u00f6z\u00fcmlere ba\u011f\u0131ml\u0131l\u0131\u011f\u0131 azaltarak daha \u00f6zerk ve g\u00fcvenli yapay zeka sistemleri kurman\u0131n \u00f6n\u00fcn\u00fc a\u00e7ar. Bu sayede, internet ba\u011flant\u0131s\u0131 olmayan veya k\u0131s\u0131tl\u0131 olan ortamlarda bile geli\u015fmi\u015f dil i\u015fleme yeteneklerinden faydalanmak m\u00fcmk\u00fcn hale gelir.<\/p>\n Jetson Nano \u00fczerinde Ollama ile b\u00fcy\u00fck dil modellerinin (LLM) performans\u0131n\u0131 de\u011ferlendirmek i\u00e7in sistematik bir k\u0131yaslama (benchmark) metodolojisi izlemek \u00f6nemlidir. Bu, farkl\u0131 modellerin veya ayn\u0131 modelin farkl\u0131 nicemleme (quantization) seviyelerinin cihaz \u00fczerindeki davran\u0131\u015flar\u0131n\u0131 anlamam\u0131z\u0131 sa\u011flar. Temel olarak, bir LLM’nin kenar bir cihazda ne kadar “kullan\u0131labilir” oldu\u011funu belirleyen birka\u00e7 anahtar metrik bulunmaktad\u0131r. Bu metrikleri do\u011fru bir \u015fekilde \u00f6l\u00e7erek, ger\u00e7ek d\u00fcnya uygulamalar\u0131 i\u00e7in en uygun modeli ve yap\u0131land\u0131rmay\u0131 se\u00e7ebiliriz.<\/p>\n Bu metrik, modelin saniyede ka\u00e7 kelime par\u00e7ac\u0131\u011f\u0131 (token) \u00fcretti\u011fini g\u00f6sterir. Bir LLM’nin yan\u0131t verme h\u0131z\u0131n\u0131n en do\u011frudan g\u00f6stergesidir. Daha y\u00fcksek token\/s de\u011feri, modelin daha h\u0131zl\u0131 yan\u0131t \u00fcretti\u011fi anlam\u0131na gelir. \u00d6zellikle interaktif sohbet botlar\u0131 veya ger\u00e7ek zamanl\u0131 metin \u00fcretimi gerektiren uygulamalar i\u00e7in bu metrik kritik \u00f6neme sahiptir. Jetson Nano gibi bir cihazda, bu de\u011fer genellikle masa\u00fcst\u00fc bilgisayarlara g\u00f6re daha d\u00fc\u015f\u00fck olacakt\u0131r, ancak yine de modelin ne kadar verimli \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 g\u00f6sterir. \u00d6l\u00e7\u00fcm i\u00e7in, belirli bir uzunlukta (\u00f6rne\u011fin 100 token) bir yan\u0131t \u00fcretmesini isteyip ge\u00e7en s\u00fcreyi kaydedebiliriz. Ollama’n\u0131n komut sat\u0131r\u0131 aray\u00fcz\u00fc, genellikle bu bilgiyi do\u011frudan \u00e7\u0131kt\u0131s\u0131nda sa\u011flar.<\/p>\n LLM’ler, \u00f6zellikle b\u00fcy\u00fck olanlar\u0131, \u00f6nemli miktarda RAM (Rastgele Eri\u015fim Belle\u011fi) t\u00fcketir. Jetson Nano’nun s\u0131n\u0131rl\u0131 RAM’i (genellikle 4GB veya 8GB) g\u00f6z \u00f6n\u00fcne al\u0131nd\u0131\u011f\u0131nda, modelin ne kadar bellek kulland\u0131\u011f\u0131n\u0131 anlamak \u00e7ok \u00f6nemlidir. Yetersiz bellek, takas alan\u0131 (swap space) kullan\u0131m\u0131na yol a\u00e7abilir, bu da performans\u0131 ciddi \u015fekilde d\u00fc\u015f\u00fcr\u00fcr. Modelin y\u00fcklenmesi ve \u00e7al\u0131\u015fmas\u0131 s\u0131ras\u0131nda kullan\u0131lan RAM miktar\u0131n\u0131 takip etmek i\u00e7in Linux’un Gecikme s\u00fcresi, bir iste\u011fin g\u00f6nderilmesi ile modelin ilk token’\u0131 \u00fcretmeye ba\u015flamas\u0131 aras\u0131ndaki s\u00fcreyi ifade eder. Bu, kullan\u0131c\u0131n\u0131n bir yan\u0131t beklerken hissetti\u011fi “bekleme s\u00fcresi”dir. D\u00fc\u015f\u00fck gecikme s\u00fcresi, daha ak\u0131c\u0131 ve duyarl\u0131 bir kullan\u0131c\u0131 deneyimi sunar. \u00d6zellikle k\u0131sa ve h\u0131zl\u0131 yan\u0131tlar beklenen uygulamalarda (\u00f6rne\u011fin komut i\u015fleme) bu metrik, token \u00fcretim h\u0131z\u0131ndan bile daha \u00f6nemli olabilir. Gecikme s\u00fcresini \u00f6l\u00e7mek i\u00e7in, bir komutun ba\u015flang\u0131c\u0131ndan ilk \u00e7\u0131kt\u0131n\u0131n g\u00f6r\u00fcnmesine kadar ge\u00e7en s\u00fcreyi takip etmek gereklidir.<\/p>\n Modelin parametre say\u0131s\u0131 (\u00f6rne\u011fin 7B, 13B) ve nicemleme (quantization) seviyesi (\u00f6rne\u011fin Q4_K_M, Q8_0) performans\u0131 do\u011frudan etkiler. Daha k\u00fc\u00e7\u00fck modeller ve daha d\u00fc\u015f\u00fck nicemleme seviyeleri (daha az hassasiyetle depolanan a\u011f\u0131rl\u0131klar), genellikle daha az bellek kullan\u0131r ve daha h\u0131zl\u0131 \u00e7al\u0131\u015f\u0131r, ancak bazen do\u011fruluktan \u00f6d\u00fcn verebilir. Jetson Nano gibi bir cihazda, genellikle 7B parametreli modellerin nicemlenmi\u015f (\u00f6rne\u011fin Q4_K_M) versiyonlar\u0131 en uygun dengeyi sunar. Farkl\u0131 nicemleme seviyelerindeki ayn\u0131 modelin performans\u0131n\u0131 k\u0131yaslamak, en iyi dengeyi bulmak i\u00e7in \u00f6nemlidir.<\/p>\n Bu benchmark i\u00e7in, Jetson Nano’da makul bir \u015fekilde \u00e7al\u0131\u015fmas\u0131 beklenen pop\u00fcler ve nispeten k\u00fc\u00e7\u00fck modelleri se\u00e7ece\u011fiz:<\/p>\n Her bir model i\u00e7in ayn\u0131 prompt (girdi metni) ile testler yaparak, yukar\u0131daki metrikleri kar\u015f\u0131la\u015ft\u0131raca\u011f\u0131z. \u00d6rne\u011fin, “Bana yapay zeka hakk\u0131nda 100 kelimelik bir \u00f6zet yaz.” gibi standart bir prompt kullanabiliriz. Bu sistematik yakla\u015f\u0131m, Jetson Nano’da Ollama ile LLM \u00e7al\u0131\u015ft\u0131rmak isteyen herkese yol g\u00f6sterecek de\u011ferli veriler sa\u011flayacakt\u0131r.<\/p>\n \u015eimdi s\u0131ra geldi Jetson Nano’muzu ve Ollama kurulumumuzu pratik testlerle s\u0131namaya. Bu b\u00f6l\u00fcmde, belirledi\u011fimiz modelleri ve prompt’lar\u0131 kullanarak benchmark testlerini nas\u0131l yapaca\u011f\u0131m\u0131z\u0131 ve elde etti\u011fimiz (varsay\u0131msal) sonu\u00e7lar\u0131 nas\u0131l yorumlayaca\u011f\u0131m\u0131z\u0131 ele alaca\u011f\u0131z. Unutmayal\u0131m ki, ger\u00e7ek sonu\u00e7lar Jetson Nano modelinize (4GB\/8GB), JetPack s\u00fcr\u00fcm\u00fcn\u00fcze, SD kart h\u0131z\u0131n\u0131za ve di\u011fer sistem y\u00fcklerine g\u00f6re de\u011fi\u015fiklik g\u00f6sterebilir.<\/p>\n Testlerimizi Jetson Nano’nun terminalinde ger\u00e7ekle\u015ftirece\u011fiz. Ollama, modelleri \u00e7al\u0131\u015ft\u0131rmak ve performans metriklerini g\u00f6r\u00fcnt\u00fclemek i\u00e7in olduk\u00e7a kullan\u0131\u015fl\u0131 bir aray\u00fcz sunar. Her model i\u00e7in ayn\u0131 prompt’u kullanarak tutarl\u0131 sonu\u00e7lar elde etmeye \u00e7al\u0131\u015faca\u011f\u0131z. \u00d6rnek prompt’umuz: “Yapay zeka teknolojilerinin g\u00fcnl\u00fck hayat\u0131m\u0131za etkilerini 50 kelimeyle \u00f6zetler misin?”<\/p>\n Ollama’da bir modeli \u00e7al\u0131\u015ft\u0131rmak i\u00e7in temel komut \u015f\u00f6yledir:<\/p>\n Performans s\u00fcresini \u00f6l\u00e7mek i\u00e7in Linux’un Llama 2, pop\u00fcler ve yetenekli bir modeldir. 7 milyar parametreli nicemlenmi\u015f (Q4_K_M) versiyonu, Jetson Nano’da \u00e7al\u0131\u015ft\u0131r\u0131labilecek en b\u00fcy\u00fck modellerden biridir.<\/p>\n Varsay\u0131msal Sonu\u00e7lar:<\/strong><\/p>\n Mistral, Llama 2’ye g\u00f6re genellikle daha optimize edilmi\u015f ve h\u0131zl\u0131 oldu\u011fu bilinen bir modeldir.<\/p>\n Varsay\u0131msal Sonu\u00e7lar:<\/strong><\/p>\n TinyLlama, \u00e7ok daha k\u00fc\u00e7\u00fck bir modeldir ve Jetson Nano gibi cihazlar i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015ft\u0131r.<\/p>\n Varsay\u0131msal Sonu\u00e7lar:<\/strong><\/p>\n Bu pratik testler, Jetson Nano’da b\u00fcy\u00fck dil modelleri \u00e7al\u0131\u015ft\u0131rman\u0131n m\u00fcmk\u00fcn oldu\u011funu ancak baz\u0131 k\u0131s\u0131tlamalarla geldi\u011fini a\u00e7\u0131k\u00e7a g\u00f6stermektedir. \u00d6zetle:<\/p>\n Bu sonu\u00e7lar, Jetson Nano’nun kenar yapay zeka projeleri i\u00e7in g\u00fc\u00e7l\u00fc bir platform oldu\u011funu, ancak LLM se\u00e7imi ve optimizasyonun dikkatle yap\u0131lmas\u0131 gerekti\u011fini ortaya koymaktad\u0131r. \u00d6zellikle, d\u00fc\u015f\u00fck g\u00fc\u00e7l\u00fc ve maliyet etkin \u00e7\u00f6z\u00fcmler arayan geli\u015ftiriciler i\u00e7in TinyLlama gibi modeller, Jetson Nano \u00fczerinde \u015fa\u015f\u0131rt\u0131c\u0131 derecede iyi sonu\u00e7lar verebilir.<\/p>\n Jetson Nano gibi kaynaklar\u0131 k\u0131s\u0131tl\u0131 bir cihazda Ollama ile b\u00fcy\u00fck dil modelleri (LLM) \u00e7al\u0131\u015ft\u0131rmak, baz\u0131 optimizasyon teknikleri ve ak\u0131ll\u0131 model se\u00e7imi gerektirir. Elde etti\u011fimiz benchmark sonu\u00e7lar\u0131, do\u011fru modelin ve ayarlar\u0131n ne kadar \u00f6nemli oldu\u011funu g\u00f6stermi\u015ftir. Bu b\u00f6l\u00fcmde, Jetson Nano’da LLM performans\u0131n\u0131 nas\u0131l en \u00fcst d\u00fczeye \u00e7\u0131karabilece\u011finize dair ipu\u00e7lar\u0131 ve p\u00fcf noktalar\u0131n\u0131 ele alaca\u011f\u0131z.<\/p>\n Nicemleme, LLM’lerin a\u011f\u0131rl\u0131klar\u0131n\u0131 daha d\u00fc\u015f\u00fck bit hassasiyetinde depolama i\u015flemidir (\u00f6rne\u011fin, 32-bit kayan noktalardan 4-bit veya 8-bit tam say\u0131lara). Bu, modelin disk \u00fczerindeki boyutunu k\u00fc\u00e7\u00fclt\u00fcr ve bellek kullan\u0131m\u0131n\u0131 azalt\u0131r, ayn\u0131 zamanda i\u015flem h\u0131z\u0131n\u0131 art\u0131r\u0131r. Ollama, genellikle modelleri farkl\u0131 nicemleme seviyelerinde sunar (\u00f6rne\u011fin, Q4_K_M, Q5_K_M, Q8_0). Jetson Nano gibi GPU’su s\u0131n\u0131rl\u0131 cihazlar i\u00e7in, Q4_K_M veya Q5_K_M gibi daha d\u00fc\u015f\u00fck bitli nicemlenmi\u015f modelleri tercih etmek performans\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r. Daha y\u00fcksek bitli nicemlemeler (\u00f6rne\u011fin Q8_0) daha iyi do\u011fruluk sunsa da, Jetson Nano’nun kald\u0131rabilece\u011finden daha fazla bellek ve i\u015flem g\u00fcc\u00fc gerektirebilir. Modeli indirirken, Ollama genellikle varsay\u0131lan olarak optimize edilmi\u015f bir nicemleme sunar, ancak farkl\u0131 versiyonlar\u0131 da deneyebilirsiniz.<\/p>\n Her LLM, belirli g\u00f6revler ve donan\u0131mlar i\u00e7in farkl\u0131 performans profillerine sahiptir. Jetson Nano i\u00e7in, 7 milyar parametrenin alt\u0131ndaki modeller genellikle daha y\u00f6netilebilirdir. TinyLlama (1.1B), Phi-2 (2.7B) veya Mistral (7B) gibi modeller, Llama 2’nin daha b\u00fcy\u00fck versiyonlar\u0131na g\u00f6re daha iyi bir ba\u015flang\u0131\u00e7 noktas\u0131d\u0131r. Modelin sadece parametre say\u0131s\u0131na de\u011fil, ayn\u0131 zamanda mimarisine ve ne kadar optimize edildi\u011fine de dikkat etmek gerekir. Ollama’n\u0131n model k\u00fct\u00fcphanesini d\u00fczenli olarak kontrol ederek, Jetson Nano’ya \u00f6zel olarak optimize edilmi\u015f yeni modelleri ke\u015ffedebilirsiniz.<\/p>\n Jetson Nano’nun s\u0131n\u0131rl\u0131 RAM’i, model performans\u0131n\u0131 do\u011frudan etkileyen en b\u00fcy\u00fck k\u0131s\u0131tlamalardan biridir.<\/p>\n Jetson Nano’nun g\u00fcc\u00fc GPU’sunda yatar. Ollama, modelleri otomatik olarak GPU’da \u00e7al\u0131\u015ft\u0131rmaya \u00e7al\u0131\u015f\u0131r. Ancak, baz\u0131 durumlarda veya baz\u0131 modellerle ilgili sorunlar ya\u015fanabilir. Ollama’n\u0131n GPU deste\u011fini do\u011fru bir \u015fekilde kulland\u0131\u011f\u0131ndan emin olun. Gerekirse, NVIDIA s\u00fcr\u00fcc\u00fclerinizin ve CUDA k\u00fct\u00fcphanelerinizin g\u00fcncel oldu\u011fundan emin olun. JetPack’in en son s\u00fcr\u00fcm\u00fcn\u00fc kullanmak, genellikle en iyi GPU performans\u0131n\u0131 sa\u011flar. Ollama’n\u0131n bir modeli \u00e7al\u0131\u015ft\u0131r\u0131rken GPU kullan\u0131m\u0131n\u0131 Ollama’y\u0131 sadece CLI’dan de\u011fil, ayn\u0131 zamanda REST API’si \u00fczerinden Python veya ba\u015fka bir programlama diliyle de kullanabilirsiniz. API arac\u0131l\u0131\u011f\u0131yla modelle etkile\u015fime ge\u00e7mek, daha esnek kontrol ve daha geli\u015fmi\u015f uygulamalar geli\u015ftirme imkan\u0131 sunar. \u00d6zellikle, yan\u0131tlar\u0131 ak\u0131\u015f (streaming) modunda almak, kullan\u0131c\u0131n\u0131n ilk token’lar\u0131 daha h\u0131zl\u0131 g\u00f6rmesini sa\u011flar, bu da alg\u0131lanan gecikmeyi azalt\u0131r. Tam yan\u0131t\u0131 beklemek yerine, kelime kelime veya c\u00fcmle c\u00fcmle gelmesini sa\u011flamak kullan\u0131c\u0131 deneyimini iyile\u015ftirir.<\/p>\n Farkl\u0131 modelleri ve nicemleme seviyelerini farkl\u0131 prompt’larla test ederek kendi benchmark’lar\u0131n\u0131z\u0131 yapmaya devam edin. Hangi modelin sizin \u00f6zel kullan\u0131m senaryonuz i\u00e7in en iyi performans\u0131 ve do\u011frulu\u011fu sundu\u011funu belirleyin. Bazen, biraz daha b\u00fcy\u00fck bir modelin kabul edilebilir bir performans d\u00fc\u015f\u00fc\u015f\u00fcyle daha iyi yan\u0131tlar verebilece\u011fini g\u00f6rebilirsiniz. Bu s\u00fcrekli test ve ince ayar s\u00fcreci, Jetson Nano’nuzdan en iyi LLM deneyimini alman\u0131z\u0131 sa\u011flayacakt\u0131r. Bu ipu\u00e7lar\u0131n\u0131 uygulayarak, Jetson Nano’nuzun s\u0131n\u0131rl\u0131 kaynaklar\u0131na ra\u011fmen Ollama ile \u015fa\u015f\u0131rt\u0131c\u0131 derecede yetenekli yapay zeka uygulamalar\u0131 geli\u015ftirebilirsiniz.<\/p>\n Bu makalede, NVIDIA Jetson Nano gibi bir kenar cihazda Ollama platformu arac\u0131l\u0131\u011f\u0131yla b\u00fcy\u00fck dil modellerini (LLM) \u00e7al\u0131\u015ft\u0131rman\u0131n potansiyelini ve zorluklar\u0131n\u0131 ele ald\u0131k. Yapt\u0131\u011f\u0131m\u0131z basit benchmark incelemesi ve pratik testler, Jetson Nano’nun bu t\u00fcr g\u00f6revler i\u00e7in kesinlikle kullan\u0131labilir bir platform oldu\u011funu, ancak do\u011fru model se\u00e7imi ve optimizasyonun kritik \u00f6nem ta\u015f\u0131d\u0131\u011f\u0131n\u0131 ortaya koydu. \u00d6zellikle, 7B parametre ve alt\u0131ndaki nicemlenmi\u015f modeller (\u00f6rne\u011fin Mistral 7B Q4_K_M veya TinyLlama 1.1B Q4_K_M), Jetson Nano \u00fczerinde kabul edilebilir hatta \u015fa\u015f\u0131rt\u0131c\u0131 derecede iyi performans g\u00f6sterebilmektedir. Bellek y\u00f6netimi, nicemleme seviyesi ve arka plan s\u00fcre\u00e7lerinin optimize edilmesi, bu k\u00fc\u00e7\u00fck cihazdan en iyi verimi alman\u0131n anahtarlar\u0131d\u0131r.<\/p>\n Kenar yapay zeka, gizlilik, d\u00fc\u015f\u00fck gecikme s\u00fcresi, \u00e7evrimd\u0131\u015f\u0131 \u00e7al\u0131\u015fma yetene\u011fi ve maliyet etkinli\u011fi gibi avantajlar\u0131yla gelece\u011fin bir\u00e7ok uygulamas\u0131n\u0131n temelini olu\u015fturmaktad\u0131r. Jetson Nano ve Ollama gibi ara\u00e7lar\u0131n birle\u015fimi, bu potansiyeli demokratikle\u015ftirerek, geli\u015ftiricilere ve ara\u015ft\u0131rmac\u0131lara daha eri\u015filebilir ve esnek bir platform sunar. Ak\u0131ll\u0131 ev asistanlar\u0131ndan end\u00fcstriyel otomasyona, otonom sistemlerden ki\u015fisel yapay zeka asistanlar\u0131na kadar geni\u015f bir yelpazede ger\u00e7ek d\u00fcnya senaryolar\u0131, bu teknolojilerin pratik uygulamalar\u0131n\u0131 beklemektedir. Gelecekte, daha optimize edilmi\u015f modellerin ve Ollama gibi platformlar\u0131n s\u00fcrekli geli\u015fimiyle, kenar cihazlardaki LLM performans\u0131 daha da artacakt\u0131r. \u00d6zellikle, daha verimli nicemleme teknikleri, \u00f6zel donan\u0131m h\u0131zland\u0131rmalar\u0131 ve model mimarilerindeki yenilikler, Jetson Nano gibi cihazlar\u0131n \u00e7ok daha karma\u015f\u0131k yapay zeka g\u00f6revlerini \u00fcstlenmesini sa\u011flayacakt\u0131r. Bu, yapay zekan\u0131n sadece bulutta de\u011fil, her yerde, her cihazda eri\u015filebilir olaca\u011f\u0131 bir gelece\u011fe do\u011fru at\u0131lm\u0131\u015f \u00f6nemli bir ad\u0131md\u0131r.<\/p>\n Jetson Nano’nun s\u0131n\u0131rl\u0131 kaynaklar\u0131 nedeniyle, genellikle 7 milyar parametre (7B) ve alt\u0131ndaki modellerin nicemlenmi\u015f (quantized) versiyonlar\u0131 \u00f6nerilir. \u00d6rne\u011fin, Llama 2 7B (Q4_K_M), Mistral 7B (Q4_K_M), Phi-2 2.7B (Q4_K_M) veya TinyLlama 1.1B (Q4_K_M) gibi modeller Jetson Nano’da \u00e7al\u0131\u015ft\u0131r\u0131labilir. Daha b\u00fcy\u00fck modeller, performans\u0131 ciddi \u015fekilde d\u00fc\u015f\u00fcrebilir veya yeterli bellek olmad\u0131\u011f\u0131 i\u00e7in hi\u00e7 \u00e7al\u0131\u015fmayabilir.<\/p>\n Ollama, b\u00fcy\u00fck dil modellerini yerel olarak kurma ve \u00e7al\u0131\u015ft\u0131rma s\u00fcrecini son derece basitle\u015ftirir. Tek bir komutla model indirme ve \u00e7al\u0131\u015ft\u0131rma imkan\u0131 sunar. Ayr\u0131ca, REST API’si sayesinde di\u011fer uygulamalarla kolayca entegre edilebilir. Jetson Nano gibi bir kenar cihazda, bu basitlik ve esneklik, geli\u015ftirme s\u00fcrecini h\u0131zland\u0131r\u0131r ve LLM’leri daha eri\u015filebilir k\u0131lar.<\/p>\n Performans\u0131 art\u0131rmak i\u00e7in birka\u00e7 y\u00f6ntem vard\u0131r:<\/p>\n Bellek yetersizli\u011fi genellikle daha b\u00fcy\u00fck modelleri \u00e7al\u0131\u015ft\u0131rmaya \u00e7al\u0131\u015f\u0131rken ortaya \u00e7\u0131kar. Bu durumu \u00e7\u00f6zmek i\u00e7in:<\/p>\n Evet, Ollama’y\u0131 headless bir Jetson Nano’da kullanabilirsiniz. SSH \u00fczerinden cihaza ba\u011flanarak t\u00fcm kurulum ve \u00e7al\u0131\u015ft\u0131rma i\u015flemlerini terminal \u00fczerinden ger\u00e7ekle\u015ftirebilirsiniz. Ollama’n\u0131n bir web aray\u00fcz\u00fc veya do\u011frudan ekran ba\u011flant\u0131s\u0131 gereksinimi yoktur, bu da onu g\u00f6m\u00fcl\u00fc sistemler ve kenar cihaz da\u011f\u0131t\u0131mlar\u0131 i\u00e7in ideal k\u0131lar.<\/p>\n #JetsonNano #Ollama #EdgeAI #YapayZeka #Benchmark #LLM<\/p>\nOllama ve Jetson Nano Kurulumu: Ad\u0131m Ad\u0131m Rehber<\/h3>\n
1. Jetson Nano’nun Haz\u0131rlanmas\u0131: JetPack Kurulumu<\/h4>\n
\n
sudo apt update\nsudo apt upgrade -y<\/code><\/pre>\n<\/p><\/div>\n<\/li>\n<\/ul>\n2. Ollama’n\u0131n Kurulumu<\/h4>\n
curl -fsSL https:\/\/ollama.com\/install.sh | sh<\/code><\/pre>\n<\/p><\/div>\nsystemctl status ollama<\/code><\/pre>\n<\/p><\/div>\nsudo systemctl start ollama<\/code> komutunu kullanabilirsiniz. Ayr\u0131ca, Ollama’y\u0131 kullanabilmeniz i\u00e7in kullan\u0131c\u0131 hesab\u0131n\u0131z\u0131n ollama<\/code> grubuna eklenmesi gerekebilir. Bu, genellikle kurulum beti\u011fi taraf\u0131ndan yap\u0131l\u0131r, ancak emin olmak i\u00e7in kontrol edebilirsiniz. Gerekirse, a\u015fa\u011f\u0131daki komutu kullan\u0131n (kullanici_adiniz<\/code> yerine kendi kullan\u0131c\u0131 ad\u0131n\u0131z\u0131 yaz\u0131n):<\/p>\nsudo usermod -a -G ollama kullanici_adiniz<\/code><\/pre>\n<\/p><\/div>\n3. B\u00fcy\u00fck Dil Modellerini \u0130ndirme<\/h4>\n
ollama pull llama2<\/code><\/pre>\n<\/p><\/div>\nollama pull mistral<\/code><\/pre>\n<\/p><\/div>\nollama list<\/code> komutuyla cihaz\u0131n\u0131zda y\u00fckl\u00fc olan modelleri g\u00f6rebilirsiniz:<\/p>\nollama list<\/code><\/pre>\n<\/p><\/div>\nBenchmark Metodolojisi: Ollama ve Jetson Nano’da Neleri \u00d6l\u00e7\u00fcyoruz?<\/h3>\n
1. Token\/s (Token \u00dcretim H\u0131z\u0131)<\/h4>\n
2. Bellek Kullan\u0131m\u0131 (RAM)<\/h4>\n
free -h<\/code> veya htop<\/code> gibi komutlar\u0131 kullan\u0131labilir. \u00d6zellikle, modelin y\u00fcklenmeden \u00f6nceki ve y\u00fcklendikten sonraki bellek durumunu kar\u015f\u0131la\u015ft\u0131rmak, modelin ger\u00e7ek bellek ayak izini (memory footprint) anlamam\u0131z\u0131 sa\u011flar.<\/p>\n3. Ortalama Gecikme S\u00fcresi (Latency)<\/h4>\n
4. Model Boyutu ve Nicemleme Seviyesi<\/h4>\n
Se\u00e7ilecek Modeller ve Test Senaryosu<\/h4>\n
\n
Pratik Testler ve Sonu\u00e7lar\u0131n De\u011ferlendirilmesi: Ollama Jetson Nano \u00dczerinde Ne Kadar G\u00fc\u00e7l\u00fc?<\/h3>\n
Test Ortam\u0131 ve Kullan\u0131lacak Komutlar<\/h4>\n
ollama run <model_ad\u0131> \"prompt_metni\"<\/code><\/pre>\n<\/p><\/div>\ntime<\/code> komutunu kullanabiliriz. Ancak Ollama’n\u0131n kendi \u00e7\u0131kt\u0131s\u0131 da token\/s gibi \u00f6nemli bilgileri i\u00e7erir. Daha detayl\u0131 bir \u00f6l\u00e7\u00fcm i\u00e7in, Ollama API’si \u00fczerinden bir Python beti\u011fi yazmak daha do\u011fru sonu\u00e7lar verebilir, ancak basit bir benchmark i\u00e7in CLI yeterlidir.<\/p>\nModel 1: Llama 2 7B (Q4_K_M)<\/h4>\n
ollama run llama2 \"Yapay zeka teknolojilerinin g\u00fcnl\u00fck hayat\u0131m\u0131za etkilerini 50 kelimeyle \u00f6zetler misin?\"<\/code><\/pre>\n<\/p><\/div>\n\n
Model 2: Mistral 7B (Q4_K_M)<\/h4>\n
ollama run mistral \"Yapay zeka teknolojilerinin g\u00fcnl\u00fck hayat\u0131m\u0131za etkilerini 50 kelimeyle \u00f6zetler misin?\"<\/code><\/pre>\n<\/p><\/div>\n\n
Model 3: TinyLlama 1.1B (Q4_K_M)<\/h4>\n
ollama run tinyllama \"Yapay zeka teknolojilerinin g\u00fcnl\u00fck hayat\u0131m\u0131za etkilerini 50 kelimeyle \u00f6zetler misin?\"<\/code><\/pre>\n<\/p><\/div>\n\n
Sonu\u00e7lar\u0131n De\u011ferlendirilmesi ve \u00c7\u0131kar\u0131mlar<\/h4>\n
\n
Performans\u0131 Art\u0131rma \u0130pu\u00e7lar\u0131: Ollama ve Jetson Nano’da Optimizasyon ve Model Se\u00e7imi<\/h3>\n
1. Nicemleme (Quantization): Performans\u0131n Anahtar\u0131<\/h4>\n
ollama pull <model_ad\u0131>:<nicemleme_versiyonu>\n# \u00d6rnek: ollama pull llama2:7b-chat-q4_K_M<\/code><\/pre>\n<\/p><\/div>\n2. Do\u011fru Model Se\u00e7imi<\/h4>\n
3. Bellek Y\u00f6netimi ve Takas Alan\u0131 Optimizasyonu<\/h4>\n
\n
sudo fallocate -l 4G \/swapfile\nsudo chmod 600 \/swapfile\nsudo mkswap \/swapfile\nsudo swapon \/swapfile\necho '\/swapfile none swap sw 0 0' | sudo tee -a \/etc\/fstab<\/code><\/pre>\n<\/p><\/div>\n<\/li>\n<\/ul>\n4. GPU Kullan\u0131m\u0131n\u0131 En \u00dcst D\u00fczeye \u00c7\u0131karma<\/h4>\n
tegrastats<\/code> veya jtop<\/code> gibi Jetson’a \u00f6zg\u00fc ara\u00e7larla izleyebilirsiniz.<\/p>\n5. Ollama API ve Ak\u0131\u015f (Streaming) Kullan\u0131m\u0131<\/h4>\n
# Python ile Ollama API'sine \u00f6rnek bir istek\nimport ollama\n\nresponse = ollama.chat(model='mistral', messages=[{'role': 'user', 'content': 'Neden g\u00f6ky\u00fcz\u00fc mavidir?'}], stream=True)\nfor chunk in response:\n print(chunk['message']['content'], end='', flush=True)<\/code><\/pre>\n<\/p><\/div>\n6. Performans Testleri ve \u0130nce Ayar<\/h4>\n
Sonu\u00e7 ve Gelecek Perspektifleri<\/h3>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n
1. Jetson Nano’da hangi b\u00fcy\u00fck dil modelleri (LLM) \u00e7al\u0131\u015fabilir?<\/h4>\n
2. Ollama neden Jetson Nano i\u00e7in iyi bir se\u00e7imdir?<\/h4>\n
3. Jetson Nano’da LLM performans\u0131n\u0131 nas\u0131l art\u0131rabilirim?<\/h4>\n
\n
4. Bellek yetersizli\u011fi sorununu nas\u0131l \u00e7\u00f6zerim?<\/h4>\n
\n
5. Ollama’y\u0131 headless (ekrans\u0131z) Jetson Nano’da kullanabilir miyim?<\/h4>\n