{"id":34005,"date":"2025-11-09T22:00:58","date_gmt":"2025-11-09T19:00:58","guid":{"rendered":"https:\/\/fatihsoysal.com\/blog\/lokal-yapay-zeka-gelistirmede-performans-artisi-saglayin\/"},"modified":"2025-11-09T22:00:58","modified_gmt":"2025-11-09T19:00:58","slug":"lokal-yapay-zeka-gelistirmede-performans-artisi-saglayin","status":"publish","type":"post","link":"https:\/\/fatihsoysal.com\/blog\/lokal-yapay-zeka-gelistirmede-performans-artisi-saglayin\/","title":{"rendered":"Lokal Yapay Zeka Geli\u015ftirmede Performans Art\u0131\u015f\u0131 Sa\u011flay\u0131n"},"content":{"rendered":"

Yerel yapay zeka (AI) modellerini \u00e7al\u0131\u015ft\u0131rmak ve performanslar\u0131n\u0131 analiz etmek, geli\u015ftiriciler i\u00e7in giderek daha kritik bir ihtiya\u00e7 haline geliyor. Peki, bu karma\u015f\u0131k s\u00fcre\u00e7leri basitle\u015ftiren ve geli\u015ftirme h\u0131z\u0131n\u0131z\u0131 art\u0131racak etkili bir devtool\u2019a sahip olmak m\u00fcmk\u00fcn m\u00fc? \u0130\u015fte bu makalede, lokal AI geli\u015ftirme s\u00fcre\u00e7lerinizi nas\u0131l optimize edebilece\u011finizi, performans darbo\u011fazlar\u0131n\u0131 nas\u0131l a\u015fabilece\u011finizi ve modellerinizi en verimli \u015fekilde nas\u0131l \u00e7al\u0131\u015ft\u0131rabilece\u011finizi derinlemesine inceleyece\u011fiz.<\/p>\n

G\u00fcn\u00fcm\u00fczde yapay zeka teknolojileri h\u0131zla geli\u015firken, modellerin boyutlar\u0131 ve karma\u015f\u0131kl\u0131klar\u0131 da artmaktad\u0131r. \u00d6zellikle b\u00fcy\u00fck dil modelleri (LLM) ve derin \u00f6\u011frenme modelleri, y\u00fcksek i\u015flem g\u00fcc\u00fc gereksinimleriyle lokal ortamda \u00e7al\u0131\u015ft\u0131r\u0131ld\u0131\u011f\u0131nda \u00f6nemli zorluklar yaratabilir. Geli\u015ftiriciler genellikle GPU bellek s\u0131n\u0131rlamalar\u0131, CPU performans eksiklikleri ve uyumluluk sorunlar\u0131 gibi engellerle kar\u015f\u0131la\u015f\u0131rlar. Ayr\u0131ca, farkl\u0131 donan\u0131m konfig\u00fcrasyonlar\u0131nda ayn\u0131 modelin nas\u0131l performans g\u00f6sterece\u011fini \u00f6nceden tahmin etmek ve optimum ayarlar\u0131 bulmak da zaman al\u0131c\u0131 bir s\u00fcre\u00e7tir. Bu durum, model e\u011fitiminden \u00e7\u0131kar\u0131m a\u015famas\u0131na kadar her ad\u0131mda verimlilik kayb\u0131na yol a\u00e7abilir.<\/p>\n

Geli\u015ftirme d\u00f6ng\u00fcs\u00fcnde kar\u015f\u0131la\u015f\u0131lan temel sorunlardan biri, iterasyon s\u00fcresinin uzunlu\u011fudur. Bir modelin parametrelerini de\u011fi\u015ftirdi\u011finizde veya yeni bir veri setiyle test etmek istedi\u011finizde, her seferinde t\u00fcm s\u00fcreci ba\u015ftan ba\u015flatmak zorunda kal\u0131rs\u0131n\u0131z. Bu da \u00f6zellikle b\u00fcy\u00fck modellerde saatler s\u00fcrebilir. Ayr\u0131ca, performans metriklerini manuel olarak toplamak, kar\u015f\u0131la\u015ft\u0131rmak ve yorumlamak da ayr\u0131 bir y\u00fck getirir. Modellerin farkl\u0131 versiyonlar\u0131 aras\u0131nda tutarl\u0131 bir kar\u015f\u0131la\u015ft\u0131rma yapmak, do\u011fru optimizasyon stratejilerini belirlemek i\u00e7in hayati \u00f6neme sahiptir. Bu ba\u011flamda, \u00f6zel olarak tasarlanm\u0131\u015f bir geli\u015ftirme arac\u0131, bu t\u00fcr operasyonlar\u0131 otomatikle\u015ftirerek ve standardize ederek geli\u015ftiricilere b\u00fcy\u00fck kolayl\u0131k sa\u011flayabilir.<\/p>\n

Dahas\u0131, farkl\u0131 i\u015fletim sistemleri (Windows, macOS, Linux) ve donan\u0131m mimarileri (Intel, AMD, ARM) aras\u0131nda tutarl\u0131 bir geli\u015ftirme ortam\u0131 sa\u011flamak da zorlu bir i\u015ftir. Ba\u011f\u0131ml\u0131l\u0131k y\u00f6netimi, s\u00fcr\u00fcc\u00fc uyumlulu\u011fu ve ortam konfig\u00fcrasyonu genellikle ba\u015f a\u011fr\u0131t\u0131c\u0131 olabilir. Bu karma\u015f\u0131kl\u0131klar, projenin ba\u015flang\u0131\u00e7 a\u015famas\u0131nda bile geli\u015ftiricilerin motivasyonunu d\u00fc\u015f\u00fcrebilir ve de\u011ferli zamanlar\u0131n\u0131 harcamalar\u0131na neden olabilir. Sonu\u00e7 olarak, bu zorluklar\u0131n \u00fcstesinden gelmek i\u00e7in kapsaml\u0131, entegre ve kullan\u0131c\u0131 dostu bir devtool\u2019a duyulan ihtiya\u00e7 her ge\u00e7en g\u00fcn artmaktad\u0131r.<\/p>\n

\n Uzman \u0130pucu: Lokal yapay zeka geli\u015ftirmede kar\u015f\u0131la\u015fabilece\u011finiz en yayg\u0131n sorunlardan biri, GPU bellek yetersizli\u011fidir. Modelinizin boyutunu k\u00fc\u00e7\u00fcltmek veya daha verimli bir mimariye ge\u00e7mek genellikle bu sorunu \u00e7\u00f6zebilir.\n<\/div>\n

Yerel Yapay Zeka Devtool’lar\u0131 Ne \u0130\u015fe Yarar ve Neden Gerekli?<\/h2>\n

Yerel yapay zeka devtool’lar\u0131, geli\u015ftiricilere AI modellerini kendi makinelerinde verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rma, test etme ve k\u0131yaslama imkan\u0131 sunan kapsaml\u0131 yaz\u0131l\u0131m ara\u00e7lar\u0131d\u0131r. Bu ara\u00e7lar, geli\u015ftirme s\u00fcrecindeki karma\u015f\u0131kl\u0131\u011f\u0131 azaltarak, \u00f6zellikle prototipleme ve model optimizasyonu a\u015famalar\u0131nda b\u00fcy\u00fck avantajlar sa\u011flar. Temel olarak, bir devtool’un ana i\u015flevi, farkl\u0131 AI modellerini (\u00f6rne\u011fin, do\u011fal dil i\u015fleme, g\u00f6r\u00fcnt\u00fc tan\u0131ma veya tahmin modelleri) tek bir ortamda birle\u015ftirmek, ba\u011f\u0131ml\u0131l\u0131klar\u0131 y\u00f6netmek ve performans \u00f6l\u00e7\u00fcmlerini otomatikle\u015ftirmektir. B\u00f6ylece, geli\u015ftiriciler modelin donan\u0131m \u00fczerinde nas\u0131l davrand\u0131\u011f\u0131n\u0131 ger\u00e7ek zamanl\u0131 olarak g\u00f6zlemleyebilir ve gerekli ayarlamalar\u0131 h\u0131zla yapabilirler.<\/p>\n

Bu t\u00fcr bir devtool’un sundu\u011fu faydalar olduk\u00e7a \u00e7e\u015fitlidir. \u0130lk olarak, tutarl\u0131l\u0131k<\/strong> sa\u011flar. Geli\u015ftirme ekibinin her \u00fcyesi, ayn\u0131 versiyon ba\u011f\u0131ml\u0131l\u0131klar\u0131 ve ayn\u0131 konfig\u00fcrasyonlarla \u00e7al\u0131\u015fabilir, bu da “benim makinemde \u00e7al\u0131\u015f\u0131yor” sorununu ortadan kald\u0131r\u0131r. \u0130kincisi, h\u0131z<\/strong> ve verimlilik<\/strong> artar. Manuel kurulum, test ve k\u0131yaslama s\u00fcre\u00e7leri otomatikle\u015ftirilerek geli\u015ftiriciler, kod yazmaya ve model geli\u015ftirmeye daha fazla odaklanabilir. \u00dc\u00e7\u00fcnc\u00fcs\u00fc, performans analizi<\/strong> ve optimizasyon<\/strong> kolayla\u015f\u0131r. \u00c7e\u015fitli metrikleri (latency, throughput, bellek kullan\u0131m\u0131) toplayarak, modellerin hangi noktalarda darbo\u011faz ya\u015fad\u0131\u011f\u0131 net bir \u015fekilde g\u00f6r\u00fclebilir. Bu da daha bilin\u00e7li optimizasyon kararlar\u0131 alman\u0131z\u0131 sa\u011flar.<\/p>\n

\u00d6rne\u011fin, bir LLM’in yerel bir makinede ka\u00e7 token\/saniye \u00fcretti\u011fini veya belirli bir g\u00f6r\u00fcnt\u00fc s\u0131n\u0131fland\u0131rma modelinin saniyede ka\u00e7 g\u00f6r\u00fcnt\u00fcy\u00fc i\u015fleyebildi\u011fini anlamak, modelin \u00fcretim ortam\u0131na da\u011f\u0131t\u0131lmadan \u00f6nce kritik \u00f6nem ta\u015f\u0131r. Devtool’lar genellikle bu t\u00fcr metrikleri g\u00f6rselle\u015ftiren panolar sunar, b\u00f6ylece performans trendlerini kolayca izleyebilirsiniz. Ayr\u0131ca, bu ara\u00e7lar genellikle farkl\u0131 model versiyonlar\u0131 aras\u0131nda A\/B testleri yapma yetene\u011fi sunarak, hangi de\u011fi\u015fikliklerin performans\u0131 ger\u00e7ekten iyile\u015ftirdi\u011fini bilimsel bir yakla\u015f\u0131mla belirlemenize olanak tan\u0131r. Sonu\u00e7 olarak, yerel AI devtool’lar\u0131, modern AI geli\u015ftirme s\u00fcre\u00e7lerinin vazge\u00e7ilmez bir par\u00e7as\u0131 haline gelmi\u015ftir; zira geli\u015ftiricilere daha h\u0131zl\u0131, daha g\u00fcvenilir ve daha optimize edilmi\u015f modeller yaratma g\u00fcc\u00fc verirler.<\/p>\n

Kendi Yerel Yapay Zeka Ortam\u0131n\u0131z\u0131 Ad\u0131m Ad\u0131m Nas\u0131l Kurars\u0131n\u0131z?<\/h2>\n

Yerel yapay zeka projelerinize ba\u015flamadan \u00f6nce, sa\u011flam ve y\u00f6netilebilir bir geli\u015ftirme ortam\u0131 kurman\u0131z kritik \u00f6neme sahiptir. Bu b\u00f6l\u00fcmde, pop\u00fcler ara\u00e7lar\u0131 kullanarak bu ortam\u0131 nas\u0131l olu\u015fturabilece\u011finizi ad\u0131m ad\u0131m inceleyece\u011fiz. Amac\u0131m\u0131z, hem yeni ba\u015flayanlar i\u00e7in anla\u015f\u0131l\u0131r hem de deneyimli kullan\u0131c\u0131lar i\u00e7in pratik bir yol haritas\u0131 sunmakt\u0131r. \u0130lk olarak, Python gibi bir programlama dilini ve gerekli k\u00fct\u00fcphaneleri kurman\u0131z gerekecek. Sanal ortamlar, ba\u011f\u0131ml\u0131l\u0131k \u00e7ak\u0131\u015fmalar\u0131n\u0131 \u00f6nlemek i\u00e7in \u015fiddetle tavsiye edilir. \u00d6rne\u011fin, venv<\/code> veya conda<\/code> kullanarak projenize \u00f6zel bir ortam olu\u015fturabilirsiniz.<\/p>\n

\npython3 -m venv my_ai_env\nsource my_ai_env\/bin\/activate # Linux\/macOS\nmy_ai_env\\Scripts\\activate.bat # Windows\npip install torch torchvision torchaudio --index-url https:\/\/download.pytorch.org\/whl\/cu118 # CUDA destekli PyTorch\npip install transformers accelerate sentencepiece\n<\/pre>\n
<\/code><\/p>\n
Yukar\u0131daki kod blo\u011fu, temel bir Python sanal ortam\u0131 olu\u015fturman\u0131z\u0131 ve PyTorch ile Hugging Face Transformers k\u00fct\u00fcphanelerini kurman\u0131z\u0131 sa\u011flar. \u00d6zellikle CUDA destekli bir GPU'nuz varsa, PyTorch kurulumunda do\u011fru URL'yi kulland\u0131\u011f\u0131n\u0131zdan emin olun. Bu ad\u0131mlar, \u00e7o\u011fu AI projesi i\u00e7in bir ba\u015flang\u0131\u00e7 noktas\u0131 te\u015fkil eder. Ancak, farkl\u0131 modeller ve k\u00fct\u00fcphaneler i\u00e7in ek ba\u011f\u0131ml\u0131l\u0131klar gerekebilir. Bu noktada, bir proje i\u00e7in \u00f6zel bir requirements.txt<\/code> dosyas\u0131 tutmak, ba\u011f\u0131ml\u0131l\u0131klar\u0131 y\u00f6netmenin en iyi yoludur.<\/p>\n
Docker ile H\u0131zl\u0131 Ortam Kurulumu M\u00fcmk\u00fcn m\u00fc?<\/h3>\n
Evet, kesinlikle m\u00fcmk\u00fcn ve hatta \u015fiddetle tavsiye edilir! Docker, geli\u015ftirme ortam\u0131n\u0131z\u0131 izole etmenize ve her yerde tutarl\u0131 bir \u015fekilde \u00e7al\u0131\u015ft\u0131rman\u0131za olanak tan\u0131yan konteynerizasyon teknolojisidir. \u00d6zellikle birden fazla AI projesi \u00fczerinde \u00e7al\u0131\u015f\u0131yorsan\u0131z veya ekibinizle ortak bir ortam kullanmak istiyorsan\u0131z Docker harika bir \u00e7\u00f6z\u00fcmd\u00fcr. Bir Dockerfile ile t\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131, k\u00fct\u00fcphaneleri ve hatta veri setlerini i\u00e7eren bir imaj olu\u015fturabilirsiniz. Bu imaj, daha sonra herhangi bir uyumlu makinede \u00e7al\u0131\u015ft\u0131r\u0131labilir, bu da kurulum zaman\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r ve \"benim makinemde \u00e7al\u0131\u015f\u0131yor\" sorunlar\u0131n\u0131 ortadan kald\u0131r\u0131r.<\/p>\n
\n# Dockerfile \u00f6rne\u011fi\nFROM pytorch\/pytorch:2.0.1-cuda11.7-cudnn8-runtime\n\nWORKDIR \/app\n\n# Gerekli ba\u011f\u0131ml\u0131l\u0131klar\u0131 kopyala ve kur\nCOPY requirements.txt .\nRUN pip install --no-cache-dir -r requirements.txt\n\n# Uygulama kodunu kopyala\nCOPY . .\n\n# Ortam de\u011fi\u015fkenlerini ayarla (iste\u011fe ba\u011fl\u0131)\nENV MODEL_PATH=\/app\/models\n\n# Uygulamay\u0131 \u00e7al\u0131\u015ft\u0131racak komut\nCMD [\"python\", \"app.py\"]\n<\/pre>\n
<\/code><\/p>\n
Bu Dockerfile, PyTorch'un CUDA destekli bir taban imaj\u0131n\u0131 kullanarak bir geli\u015ftirme ortam\u0131 olu\u015fturur. requirements.txt<\/code> dosyan\u0131z\u0131 kopyalar ve ba\u011f\u0131ml\u0131l\u0131klar\u0131 kurar, ard\u0131ndan uygulama kodunuzu ekler. Bu sayede, projenizi tek bir komutla ba\u015flatabilirsiniz: docker build -t my-ai-app .<\/code> ve ard\u0131ndan docker run --gpus all -p 8000:8000 my-ai-app<\/code>. \u00d6zellikle GPU kullan\u0131m\u0131nda, --gpus all<\/code> parametresi konteynerin ana makinenizin GPU'lar\u0131na eri\u015fmesini sa\u011flar. Docker'\u0131n bu yetene\u011fi, yerel AI geli\u015ftirme s\u00fcrecini devrim niteli\u011finde basitle\u015ftirmekte ve h\u0131zland\u0131rmaktad\u0131r.<\/p>\n
Pop\u00fcler Yerel LLM'leri Nas\u0131l \u00c7al\u0131\u015ft\u0131rabiliriz?<\/h3>\n
B\u00fcy\u00fck dil modellerini (LLM) yerel olarak \u00e7al\u0131\u015ft\u0131rmak, geli\u015ftiricilere model davran\u0131\u015f\u0131n\u0131 daha iyi anlama ve maliyetten tasarruf etme f\u0131rsat\u0131 sunar. Pop\u00fcler k\u00fct\u00fcphanelerden biri olan llama.cpp<\/code>, LLM'leri CPU \u00fczerinde bile \u015fa\u015f\u0131rt\u0131c\u0131 derecede verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmay\u0131 m\u00fcmk\u00fcn k\u0131lar. \u0130lk ad\u0131m genellikle llama.cpp<\/code> projesini GitHub'dan klonlamak ve derlemektir:<\/p>\n
\ngit clone https:\/\/github.com\/ggerganov\/llama.cpp.git\ncd llama.cpp\nmake\n<\/pre>\n
<\/code><\/p>\n
Ard\u0131ndan, Hugging Face gibi platformlardan s\u0131k\u0131\u015ft\u0131r\u0131lm\u0131\u015f (quantized) bir modeli indirmeniz gerekecek. Genellikle .gguf<\/code> uzant\u0131l\u0131 dosyalar tercih edilir \u00e7\u00fcnk\u00fc bunlar llama.cpp<\/code> ile uyumludur ve daha az bellek t\u00fcketirler. \u00d6rne\u011fin, bir Llama 2 modelinin 4-bit nicemlenmi\u015f (quantized) versiyonunu indirebilirsiniz. Modeli indirdikten sonra, llama.cpp<\/code>'nin main<\/code> y\u00fcr\u00fct\u00fclebilir dosyas\u0131n\u0131 kullanarak \u00e7al\u0131\u015ft\u0131rmak olduk\u00e7a basittir:<\/p>\n
\n.\/main -m models\/your-llama-model.gguf -p \"What is the capital of France?\" -n 128\n<\/pre>\n
<\/code><\/p>\n
Bu komut, belirtilen modelle \"What is the capital of France?\" prompt'unu kullanarak 128 token'a kadar bir yan\u0131t \u00fcretmesini sa\u011flar. -n<\/code> parametresi \u00fcretilecek token say\u0131s\u0131n\u0131 belirtir. Ayr\u0131ca, GPU h\u0131zland\u0131rmas\u0131ndan faydalanmak isterseniz, -ngl<\/code> (--n-gpu-layers<\/code>) parametresini kullanarak modelin ka\u00e7 katman\u0131n\u0131n GPU \u00fczerinde \u00e7al\u0131\u015ft\u0131r\u0131laca\u011f\u0131n\u0131 belirtebilirsiniz. Bu, \u00f6zellikle daha b\u00fcy\u00fck modeller i\u00e7in performans art\u0131\u015f\u0131 sa\u011flayacakt\u0131r. \u00d6rne\u011fin, -ngl 32<\/code> komutu modelin ilk 32 katman\u0131n\u0131 GPU'ya y\u00fcklemeye \u00e7al\u0131\u015f\u0131r. Bu y\u00f6ntem, kendi makinenizde LLM'lerle denemeler yapman\u0131z\u0131 ve onlar\u0131n yeteneklerini ke\u015ffetmenizi kolayla\u015ft\u0131r\u0131r.<\/p>\n
\n  Uzman \u0130pucu: LLM'leri lokalde \u00e7al\u0131\u015ft\u0131r\u0131rken, modelin nicemlenmi\u015f (quantized) versiyonlar\u0131n\u0131 tercih edin. Bu, bellek t\u00fcketimini ve i\u015flem g\u00fcc\u00fc ihtiyac\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r, b\u00f6ylece daha zay\u0131f donan\u0131mlarda bile \u00e7al\u0131\u015ft\u0131r\u0131lmalar\u0131n\u0131 sa\u011flar.\n<\/div>\n
Model Performans\u0131 Nas\u0131l \u00d6l\u00e7\u00fcl\u00fcr ve Kar\u015f\u0131la\u015ft\u0131r\u0131l\u0131r: Benchmarking Temelleri<\/h2>\n
Yapay zeka modellerinin etkinli\u011fini de\u011ferlendirmek, sadece do\u011fru \u00e7\u0131kt\u0131 \u00fcretip \u00fcretmediklerine bakmakla kalmaz, ayn\u0131 zamanda bu \u00e7\u0131kt\u0131lar\u0131 ne kadar h\u0131zl\u0131 ve verimli bir \u015fekilde \u00fcrettiklerini de anlamay\u0131 gerektirir. Benchmarking, bu s\u00fcre\u00e7te kritik bir rol oynar. Bir modelin performans\u0131n\u0131 \u00f6l\u00e7mek i\u00e7in kullan\u0131lan temel metrikler aras\u0131nda gecikme s\u00fcresi (latency)<\/strong>, i\u015f hacmi (throughput)<\/strong> ve bellek kullan\u0131m\u0131 (memory usage)<\/strong> bulunur. Gecikme s\u00fcresi, bir iste\u011fin (prompt) modele g\u00f6nderilmesinden yan\u0131t\u0131n al\u0131nmas\u0131na kadar ge\u00e7en s\u00fcreyi ifade eder. \u0130\u015f hacmi ise, belirli bir zaman diliminde modelin i\u015fleyebilece\u011fi istek veya token say\u0131s\u0131n\u0131 g\u00f6sterir. Bellek kullan\u0131m\u0131 ise modelin \u00e7al\u0131\u015fmas\u0131 i\u00e7in ne kadar RAM veya GPU belle\u011fine ihtiya\u00e7 duydu\u011funu belirtir.<\/p>\n
Bu metrikleri toplamak i\u00e7in genellikle \u00f6zel ara\u00e7lar veya kodlar kullan\u0131l\u0131r. \u00d6rne\u011fin, Python'da time<\/code> mod\u00fcl\u00fc ile gecikme s\u00fcresini \u00f6l\u00e7ebilir veya psutil<\/code> gibi k\u00fct\u00fcphanelerle bellek kullan\u0131m\u0131n\u0131 takip edebilirsiniz. Ancak kapsaml\u0131 bir benchmarking i\u00e7in, bu \u00f6l\u00e7\u00fcmleri birden fazla test senaryosunda, farkl\u0131 y\u00fck alt\u0131nda ve farkl\u0131 model konfig\u00fcrasyonlar\u0131yla tekrarlamak \u00f6nemlidir. \u00d6rne\u011fin, farkl\u0131 batch boyutlar\u0131 (ayn\u0131 anda i\u015flenen girdi say\u0131s\u0131) veya farkl\u0131 nicemleme (quantization) seviyeleri ile modelin davran\u0131\u015f\u0131n\u0131 kar\u015f\u0131la\u015ft\u0131rmak, en uygun ayarlar\u0131 bulman\u0131za yard\u0131mc\u0131 olacakt\u0131r.<\/p>\n
\nimport time\nimport torch\nfrom transformers import pipeline\n\n# \u00d6rnek bir model y\u00fckleme\n# Daha b\u00fcy\u00fck bir model i\u00e7in 'EleutherAI\/gpt-neo-1.3B' veya benzeri kullan\u0131labilir\ngenerator = pipeline('text-generation', model='distilgpt2') \n\n# Benchmarking fonksiyonu\ndef benchmark_model(model_pipeline, prompt, num_runs=10):\n    latencies = []\n    memory_usages = [] # Ger\u00e7ek bellek \u00f6l\u00e7\u00fcm\u00fc i\u00e7in psutil veya nvidia-smi entegrasyonu gerekir\n\n    for _ in range(num_runs):\n        start_time = time.time()\n        _ = model_pipeline(prompt, max_new_tokens=50) # \u00d6rnek \u00e7\u0131kt\u0131 \u00fcretimi\n        end_time = time.time()\n        latencies.append(end_time - start_time)\n        # Bellek kullan\u0131m\u0131 \u00f6l\u00e7\u00fcm\u00fc burada entegre edilebilir (\u00f6rne\u011fin torch.cuda.memory_allocated())\n\n    avg_latency = sum(latencies) \/ num_runs\n    print(f\"Ortalama Gecikme S\u00fcresi: {avg_latency:.4f} saniye\")\n    # print(f\"Ortalama Bellek Kullan\u0131m\u0131: {avg_memory_usage:.2f} MB\") # Bellek \u00f6l\u00e7\u00fcm\u00fc entegre edildiyse\n\n# Test\nbenchmark_model(generator, \"Once upon a time, in a land far away, there was a dragon\")\n<\/pre>\n
<\/code><\/p>\n
Yukar\u0131daki kod, basit bir gecikme s\u00fcresi benchmarking \u00f6rne\u011fi sunmaktad\u0131r. Ger\u00e7ek bir devtool'da, bu t\u00fcr testler otomatikle\u015ftirilir, sonu\u00e7lar veri taban\u0131nda saklan\u0131r ve bir aray\u00fcz \u00fczerinden g\u00f6rselle\u015ftirilir. Bu, ge\u00e7mi\u015f performans verileriyle kar\u015f\u0131la\u015ft\u0131rma yapmay\u0131 ve zaman i\u00e7indeki iyile\u015fmeleri veya gerilemeleri izlemeyi kolayla\u015ft\u0131r\u0131r. Ayr\u0131ca, benchmarking yaln\u0131zca modelin kendisini de\u011fil, ayn\u0131 zamanda altta yatan donan\u0131m ve yaz\u0131l\u0131m optimizasyonlar\u0131n\u0131 da de\u011ferlendirmek i\u00e7in bir temel sa\u011flar. Bu sayede, hangi GPU s\u00fcr\u00fcc\u00fcs\u00fcn\u00fcn, hangi i\u015fletim sistemi konfig\u00fcrasyonunun veya hangi yaz\u0131l\u0131m ba\u011f\u0131ml\u0131l\u0131\u011f\u0131n\u0131n en iyi performans\u0131 sundu\u011funu belirleyebilirsiniz.<\/p>\n
Ger\u00e7ek D\u00fcnya Senaryosu: Metin \u00dcretim Modelini Optimize Etme<\/h3>\n
Bir e-ticaret \u015firketinin \u00fcr\u00fcn a\u00e7\u0131klamalar\u0131n\u0131 otomatik olarak olu\u015fturan bir metin \u00fcretim modeli kulland\u0131\u011f\u0131n\u0131 varsayal\u0131m. \u015eirket, modelin lokal sunucularda daha h\u0131zl\u0131 \u00e7al\u0131\u015fmas\u0131n\u0131 istiyor. \u0130lk benchmark testleri, modelin bir \u00fcr\u00fcn a\u00e7\u0131klamas\u0131 \u00fcretmek i\u00e7in ortalama 5 saniye s\u00fcrd\u00fc\u011f\u00fcn\u00fc ve bu s\u00fcrenin, artan \u00fcr\u00fcn say\u0131s\u0131 nedeniyle kabul edilemez oldu\u011funu g\u00f6steriyor. Geli\u015ftirme ekibi, bu sorunu \u00e7\u00f6zmek i\u00e7in bir dizi optimizasyon ad\u0131m\u0131 uygulamaya karar verir:<\/p>\n
    \n
  1. Model Nicemleme (Quantization)<\/strong>: \u0130lk olarak, FP32 (32-bit kayan nokta) modelini FP16 (16-bit) veya INT8 (8-bit tam say\u0131) format\u0131na nicemlemeyi denerler. Bu, modelin disk \u00fczerindeki boyutunu ve bellek kullan\u0131m\u0131n\u0131 azalt\u0131rken, i\u015flem h\u0131z\u0131n\u0131 art\u0131rabilir.<\/li>\n
  2. Batch Boyutu Ayarlama<\/strong>: Modelin ayn\u0131 anda birden fazla \u00fcr\u00fcn a\u00e7\u0131klamas\u0131n\u0131 olu\u015fturabilece\u011fi bir batch boyutunu test ederler. Tek tek a\u00e7\u0131klama \u00fcretmek yerine, 4 veya 8 a\u00e7\u0131klama bir kerede i\u015flendi\u011finde gecikme s\u00fcresinde \u00f6nemli bir azalma g\u00f6r\u00fclebilir.<\/li>\n
  3. Donan\u0131m H\u0131zland\u0131rma<\/strong>: Mevcut sunucular\u0131ndaki GPU'nun tam potansiyelini kullan\u0131p kullanmad\u0131klar\u0131n\u0131 kontrol ederler. CUDA veya ROCm gibi k\u00fct\u00fcphanelerin do\u011fru \u015fekilde yap\u0131land\u0131r\u0131ld\u0131\u011f\u0131ndan ve modelin GPU \u00fczerinde \u00e7al\u0131\u015ft\u0131\u011f\u0131ndan emin olurlar.<\/li>\n
  4. \u00d6nbellekleme (Caching) Stratejileri<\/strong>: E\u011fer belirli prompt'lar s\u0131k\u00e7a kullan\u0131l\u0131yorsa, \u00f6nbellekleme mekanizmalar\u0131 uygulayarak tekrarlayan hesaplamalar\u0131 atlayabilirler.<\/li>\n<\/ol>\n
    Her optimizasyon ad\u0131m\u0131 sonras\u0131, geli\u015ftirme ekibi devtool'u kullanarak modelin gecikme s\u00fcresi ve i\u015f hacmini yeniden \u00f6l\u00e7er. Toplad\u0131klar\u0131 verileri bir tablo halinde g\u00f6rselle\u015ftirirler:<\/p>\n