AMD MI300X ile gpt-oss 120B ve vLLM Kurulum Rehberi<\/title><br \/>\n<body><\/p>\n<p>B\u00fcy\u00fck Dil Modelleri (BDM) d\u00fcnyas\u0131nda, devasa parametre say\u0131lar\u0131 ve artan hesaplama gereksinimleri, performans optimizasyonunu kritik hale getiriyor. Peki, a\u00e7\u0131k kaynakl\u0131 bir dev olan gpt-oss 120B modelini, vLLM gibi yenilik\u00e7i bir \u00e7\u0131kar\u0131m motoruyla, AMD Instinct MI300X GPU’nun sundu\u011fu g\u00fc\u00e7l\u00fc donan\u0131m \u00fczerinde nas\u0131l verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilirsiniz?<\/p>\n<h2 id=\"giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\">Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?<\/h2>\n<p>G\u00fcn\u00fcm\u00fcz yapay zeka ekosisteminde, GPT-3, Llama, Falcon gibi B\u00fcy\u00fck Dil Modelleri (BDM’ler) hayat\u0131m\u0131z\u0131n vazge\u00e7ilmez bir par\u00e7as\u0131 haline gelmi\u015ftir. Metin olu\u015fturma, \u00f6zetleme, \u00e7eviri, soru yan\u0131tlama gibi bir\u00e7ok karma\u015f\u0131k g\u00f6revi ba\u015far\u0131yla yerine getirebilen bu modeller, insan benzeri ileti\u015fim yetenekleriyle dikkat \u00e7ekmektedir. Ancak, bu modellerin sundu\u011fu yetenekler, beraberinde ciddi hesaplama y\u00fcklerini de getirmektedir. Milyarlarca hatta trilyonlarca parametreye sahip olan BDM’ler, e\u011fitim a\u015famas\u0131nda oldu\u011fu kadar, ger\u00e7ek d\u00fcnya uygulamalar\u0131nda kullan\u0131lan \u00e7\u0131kar\u0131m (inference) a\u015famas\u0131nda da y\u00fcksek donan\u0131m kaynaklar\u0131na ihtiya\u00e7 duyar. \u00d6zellikle d\u00fc\u015f\u00fck gecikme s\u00fcresi ve y\u00fcksek verim (throughput) gerektiren senaryolarda, bu modelleri verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak b\u00fcy\u00fck bir zorluk te\u015fkil eder.<\/p>\n<p>Model boyutu artt\u0131k\u00e7a, her bir \u00e7\u0131kar\u0131m iste\u011fi i\u00e7in gereken bellek miktar\u0131 ve hesaplama s\u00fcresi de katlanarak artar. Geleneksel \u00e7\u0131kar\u0131m y\u00f6ntemleri, modelin tamam\u0131n\u0131 GPU belle\u011fine y\u00fcklemeyi ve her iste\u011fi s\u0131rayla i\u015flemeyi gerektirir. Bu durum, \u00f6zellikle yo\u011fun trafik alt\u0131ndaki uygulamalarda darbo\u011fazlara yol a\u00e7ar, kullan\u0131c\u0131 deneyimini olumsuz etkiler ve i\u015fletme maliyetlerini art\u0131r\u0131r. \u0130\u015fte tam bu noktada, donan\u0131m ve yaz\u0131l\u0131m optimizasyonlar\u0131 devreye girer. Y\u00fcksek performansl\u0131 GPU’lar, \u00f6zel \u00e7\u0131kar\u0131m k\u00fct\u00fcphaneleri ve optimize edilmi\u015f model formatlar\u0131, BDM’lerin potansiyelini tam olarak ortaya \u00e7\u0131karmak i\u00e7in elzemdir. Bu makalede, AMD’nin yeni nesil Instinct MI300X GPU’sunun g\u00fcc\u00fcn\u00fc, vLLM gibi geli\u015fmi\u015f bir \u00e7\u0131kar\u0131m \u00e7er\u00e7evesiyle birle\u015ftirerek, gpt-oss 120B gibi b\u00fcy\u00fck bir modeli nas\u0131l verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilece\u011fimizi ad\u0131m ad\u0131m inceleyece\u011fiz. Amac\u0131m\u0131z, okuyuculara bu g\u00fc\u00e7l\u00fc kombinasyonun nas\u0131l kurulaca\u011f\u0131n\u0131, yap\u0131land\u0131r\u0131laca\u011f\u0131n\u0131 ve optimize edilece\u011fini g\u00f6stererek, kendi yapay zeka projelerinde bu teknolojileri kullanmalar\u0131 i\u00e7in pratik bir rehber sunmakt\u0131r. B\u00f6ylece, hem maliyet etkinli\u011fini art\u0131rabilir hem de kullan\u0131c\u0131lar\u0131n\u0131za daha h\u0131zl\u0131 ve ak\u0131c\u0131 bir yapay zeka deneyimi sunabilirsiniz.<\/p>\n<h2 id=\"temel-kavramlar-gpt-oss-120b-vllm-ve-amd-instinct-mi300x-nedir\">Temel Kavramlar: gpt-oss 120B, vLLM ve AMD Instinct MI300X Nedir?<\/h2>\n<p>Bu karma\u015f\u0131k sistemin her bir bile\u015fenini anlamak, ba\u015far\u0131l\u0131 bir kurulum ve optimizasyon i\u00e7in hayati \u00f6neme sahiptir. Bu b\u00f6l\u00fcmde, projemizin temel ta\u015flar\u0131n\u0131 olu\u015fturan gpt-oss 120B modelini, vLLM \u00e7\u0131kar\u0131m motorunu ve AMD Instinct MI300X GPU’yu detayl\u0131 bir \u015fekilde inceleyece\u011fiz.<\/p>\n<h3 id=\"gpt-oss-120byi-taniyalim-acik-kaynak-bir-dev-mi\">gpt-oss 120B’yi Tan\u0131yal\u0131m: A\u00e7\u0131k Kaynak Bir Dev mi?<\/h3>\n<p>gpt-oss 120B, a\u00e7\u0131k kaynak toplulu\u011fu taraf\u0131ndan geli\u015ftirilen ve belirli bir dizi yetene\u011fi hedefleyen b\u00fcy\u00fck bir dil modelidir. “gpt-oss” (Generative Pre-trained Transformer – Open Source) k\u0131saltmas\u0131yla adland\u0131r\u0131lan bu model, genellikle geni\u015f bir veri k\u00fcmesi \u00fczerinde \u00f6nceden e\u011fitilmi\u015f olup, \u00e7e\u015fitli do\u011fal dil i\u015fleme g\u00f6revleri i\u00e7in ince ayar yap\u0131labilir. 120 milyar parametresiyle, piyasadaki bir\u00e7ok ticari modele rakip olabilecek yeteneklere sahiptir. Bu kadar b\u00fcy\u00fck bir model, karma\u015f\u0131k metinleri anlama, detayl\u0131 yan\u0131tlar \u00fcretme, yarat\u0131c\u0131 i\u00e7erikler olu\u015fturma ve hatta kod yazma gibi g\u00f6revlerde \u00fcst\u00fcn performans sergileyebilir. A\u00e7\u0131k kaynak olmas\u0131, modelin \u015feffafl\u0131\u011f\u0131n\u0131, topluluk deste\u011fini ve geli\u015ftiricilerin kendi \u00f6zel ihtiya\u00e7lar\u0131na g\u00f6re modeli \u00f6zelle\u015ftirebilme esnekli\u011fini art\u0131r\u0131r. Ancak, bu b\u00fcy\u00fckl\u00fckteki bir modelin \u00e7\u0131kar\u0131m a\u015famas\u0131nda bile y\u00fcksek bellek ve hesaplama g\u00fcc\u00fc gerektirmesi, onu verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmay\u0131 \u00f6nemli bir m\u00fchendislik meydan okumas\u0131 haline getirir.<\/p>\n<h3 id=\"vllm-neden-onemli-yuksek-performansli-bdm-cikarim-cercevesi\">vLLM Neden \u00d6nemli: Y\u00fcksek Performansl\u0131 BDM \u00c7\u0131kar\u0131m \u00c7er\u00e7evesi<\/h3>\n<p>vLLM, B\u00fcy\u00fck Dil Modellerinin (BDM) \u00e7\u0131kar\u0131m performans\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rmak i\u00e7in tasarlanm\u0131\u015f a\u00e7\u0131k kaynakl\u0131 bir k\u00fct\u00fcphanedir. Geleneksel \u00e7\u0131kar\u0131m sistemlerinin kar\u015f\u0131la\u015ft\u0131\u011f\u0131 en b\u00fcy\u00fck sorunlardan biri, Key-Value (KV) \u00f6nbelle\u011finin verimsiz y\u00f6netimidir. Her bir token olu\u015fturma ad\u0131m\u0131nda, modelin dikkat mekanizmas\u0131 \u00f6nceki token’lara ait Key ve Value vekt\u00f6rlerini kullan\u0131r. Bu KV \u00f6nbelle\u011fi, model boyutu ve ba\u011flam penceresi artt\u0131k\u00e7a GPU belle\u011finde \u00f6nemli bir yer kaplar. vLLM, “PageAttention” ad\u0131 verilen yenilik\u00e7i bir algoritma kullanarak bu sorunu \u00e7\u00f6zer. PageAttention, i\u015fletim sistemlerinin sanal bellek y\u00f6netiminden esinlenerek, KV \u00f6nbelle\u011fini sayfalara (pages) b\u00f6ler ve bu sayfalar\u0131 dinamik olarak tahsis eder. Bu sayede, bellek par\u00e7alanmas\u0131 azal\u0131r, bellek kullan\u0131m\u0131 optimize edilir ve daha fazla e\u015fzamanl\u0131 istek i\u015flenebilir. Ayr\u0131ca, vLLM, dinamik batching (e\u015fzamanl\u0131 istekleri tek bir batch’te i\u015fleme), karma\u015f\u0131k \u00f6rnekleme algoritmalar\u0131 ve \u00e7e\u015fitli optimizasyon teknikleri sayesinde, geleneksel y\u00f6ntemlere k\u0131yasla belirgin \u00f6l\u00e7\u00fcde daha y\u00fcksek verim ve daha d\u00fc\u015f\u00fck gecikme s\u00fcreleri sunar. Bu \u00f6zellikler, \u00f6zellikle gpt-oss 120B gibi b\u00fcy\u00fck modelleri ger\u00e7ek zamanl\u0131 uygulamalarda \u00e7al\u0131\u015ft\u0131rmak i\u00e7in vLLM’i vazge\u00e7ilmez k\u0131lar.<\/p>\n<h3 id=\"amd-instinct-mi300x-yapay-zeka-icin-yeni-nesil-gpu\">AMD Instinct MI300X: Yapay Zeka \u0130\u00e7in Yeni Nesil GPU<\/h3>\n<p>AMD Instinct MI300X, yapay zeka ve y\u00fcksek performansl\u0131 hesaplama (HPC) i\u015f y\u00fckleri i\u00e7in tasarlanm\u0131\u015f \u00e7\u0131\u011f\u0131r a\u00e7an bir h\u0131zland\u0131r\u0131c\u0131d\u0131r. Bu GPU, AMD’nin CDNA 3 mimarisine dayanmaktad\u0131r ve entegre HBM3 bellek ile ola\u011fan\u00fcst\u00fc bellek bant geni\u015fli\u011fi sunar. \u00d6zellikle 192 GB’a kadar HBM3 bellek kapasitesi, gpt-oss 120B gibi devasa modellerin tamam\u0131n\u0131 veya b\u00fcy\u00fck bir k\u0131sm\u0131n\u0131 tek bir GPU’ya s\u0131\u011fd\u0131rma potansiyeli sunar. Y\u00fcksek bellek kapasitesinin yan\u0131 s\u0131ra, MI300X, \u00f6nemli miktarda i\u015flem g\u00fcc\u00fc ve geli\u015fmi\u015f yapay zeka h\u0131zland\u0131rma birimleri ile donat\u0131lm\u0131\u015ft\u0131r. Bu, model \u00e7\u0131kar\u0131m\u0131n\u0131n gerektirdi\u011fi matris \u00e7arp\u0131mlar\u0131 ve tens\u00f6r i\u015flemleri i\u00e7in \u00fcst\u00fcn performans anlam\u0131na gelir. AMD’nin ROCm (Radeon Open Compute) platformu, MI300X’in yaz\u0131l\u0131m ekosistemini olu\u015fturur. ROCm, PyTorch, TensorFlow gibi pop\u00fcler makine \u00f6\u011frenimi \u00e7er\u00e7eveleriyle uyumluluk sa\u011flayarak geli\u015ftiricilerin AMD donan\u0131m\u0131n\u0131n t\u00fcm potansiyelini kullanmas\u0131na olanak tan\u0131r. MI300X, NVIDIA’n\u0131n pazar lideri GPU’lar\u0131na g\u00fc\u00e7l\u00fc bir alternatif olarak ortaya \u00e7\u0131kmakta, \u00f6zellikle maliyet etkinli\u011fi ve bellek kapasitesi a\u00e7\u0131s\u0131ndan iddial\u0131 bir konumda bulunmaktad\u0131r. Bu GPU, b\u00fcy\u00fck \u00f6l\u00e7ekli yapay zeka da\u011f\u0131t\u0131mlar\u0131 i\u00e7in m\u00fckemmel bir se\u00e7imdir ve BDM’lerin verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131 i\u00e7in gerekli donan\u0131msal altyap\u0131y\u0131 sa\u011flar.<\/p>\n<h2 id=\"amd-mi300x-droplet-ortamini-hazirlama-adim-adim-kurulum-rehberi\">AMD MI300X Droplet Ortam\u0131n\u0131 Haz\u0131rlama: Ad\u0131m Ad\u0131m Kurulum Rehberi<\/h2>\n<p>AMD Instinct MI300X GPU \u00fczerinde gpt-oss 120B ve vLLM’i \u00e7al\u0131\u015ft\u0131rmak i\u00e7in \u00f6ncelikle uygun bir sunucu ortam\u0131 haz\u0131rlamam\u0131z gerekiyor. Bu b\u00f6l\u00fcmde, bir bulut sa\u011flay\u0131c\u0131s\u0131ndan temin edece\u011finiz MI300X tabanl\u0131 bir “droplet” \u00fczerinde gerekli yaz\u0131l\u0131mlar\u0131 ve s\u00fcr\u00fcc\u00fcleri nas\u0131l kuraca\u011f\u0131n\u0131z\u0131 ad\u0131m ad\u0131m a\u00e7\u0131klayaca\u011f\u0131z.<\/p>\n<h3>Bir AMD MI300X Droplet Nas\u0131l Se\u00e7ilir ve Yap\u0131land\u0131r\u0131l\u0131r?<\/h3>\n<p>\u00d6ncelikle, AMD Instinct MI300X GPU’lar\u0131 sunan bir bulut sa\u011flay\u0131c\u0131s\u0131 se\u00e7melisiniz. Bu sa\u011flay\u0131c\u0131lar genellikle “AI Droplet”, “GPU Instance” veya “HPC Compute” gibi isimler alt\u0131nda \u00f6zel sanal makineler sunar. Droplet’inizi se\u00e7erken a\u015fa\u011f\u0131daki \u00f6zelliklere dikkat edin:<\/p>\n<ul>\n<li><strong>GPU Tipi:<\/strong> Mutlaka AMD Instinct MI300X (veya MI300 serisi) oldu\u011fundan emin olun.<\/li>\n<li><strong>\u0130\u015fletim Sistemi:<\/strong> Ubuntu 22.04 LTS veya CentOS gibi g\u00fcncel bir Linux da\u011f\u0131t\u0131m\u0131 tercih edin. Bu da\u011f\u0131t\u0131mlar ROCm ile iyi uyumluluk sa\u011flar.<\/li>\n<li><strong>CPU ve RAM:<\/strong> BDM’ler sadece GPU belle\u011fi de\u011fil, ayn\u0131 zamanda CPU ve sistem RAM’i de kullanabilir. En az 8 vCPU ve 64 GB RAM (tercihen 128 GB veya daha fazla) olan bir droplet se\u00e7mek faydal\u0131 olacakt\u0131r.<\/li>\n<li><strong>Depolama:<\/strong> Model a\u011f\u0131rl\u0131klar\u0131 b\u00fcy\u00fck olaca\u011f\u0131ndan, yeterli NVMe SSD depolama alan\u0131 (en az 500 GB) sa\u011flamak \u00f6nemlidir.<\/li>\n<\/ul>\n<p>Droplet’inizi olu\u015fturduktan sonra, SSH ile sunucunuza ba\u011flan\u0131n. \u0130lk ad\u0131m, sisteminizi g\u00fcncellemek ve temel ara\u00e7lar\u0131 kurmakt\u0131r:<\/p>\n<pre><code>\nsudo apt update && sudo apt upgrade -y\nsudo apt install -y git wget curl\n<\/code><\/pre>\n<h3>ROCm S\u00fcr\u00fcc\u00fclerini Y\u00fckleme: AMD Donan\u0131m\u0131n\u0131n Kalbi<\/h3>\n<p>AMD GPU’lar\u0131n\u0131 kullanman\u0131n anahtar\u0131, ROCm (Radeon Open Compute) platformudur. ROCm, AMD GPU’lar\u0131 i\u00e7in a\u00e7\u0131k kaynakl\u0131 bir yaz\u0131l\u0131m y\u0131\u011f\u0131n\u0131d\u0131r ve makine \u00f6\u011frenimi \u00e7er\u00e7evelerinin GPU ile ileti\u015fim kurmas\u0131n\u0131 sa\u011flar. MI300X i\u00e7in en g\u00fcncel ROCm s\u00fcr\u00fcm\u00fcn\u00fc y\u00fcklemek \u00f6nemlidir. A\u015fa\u011f\u0131daki ad\u0131mlar Ubuntu 22.04 i\u00e7in ge\u00e7erlidir:<\/p>\n<ol>\n<li><strong>ROCm GPG Anahtar\u0131n\u0131 Ekleme:<\/strong>\n<pre><code>\nwget -q -O - https:\/\/repo.radeon.com\/rocm\/rocm.gpg.key | sudo apt-key add -\n<\/code><\/pre>\n<\/li>\n<li><strong>ROCm Depo Kayna\u011f\u0131n\u0131 Ekleme:<\/strong>\n<p>Hangi ROCm s\u00fcr\u00fcm\u00fcn\u00fc kullanaca\u011f\u0131n\u0131z, bulut sa\u011flay\u0131c\u0131n\u0131z\u0131n sa\u011flad\u0131\u011f\u0131 \u00e7ekirdek s\u00fcr\u00fcm\u00fcne ve tercihlerinize ba\u011fl\u0131d\u0131r. Genellikle en g\u00fcncel stabil s\u00fcr\u00fcm tercih edilir. \u00d6rne\u011fin, ROCm 6.0 i\u00e7in:<\/p>\n<pre><code>\necho 'deb [arch=amd64] https:\/\/repo.radeon.com\/rocm\/apt\/6.0\/ ubuntu main' | sudo tee \/etc\/apt\/sources.list.d\/rocm.list\n<\/code><\/pre>\n<\/li>\n<li><strong>Depoyu G\u00fcncelleme ve ROCm Kurulumu:<\/strong>\n<pre><code>\nsudo apt update\nsudo apt install -y rocm-libs rocm-dev rocm-smi\n<\/code><\/pre>\n<p>Bu komutlar, temel ROCm k\u00fct\u00fcphanelerini, geli\u015ftirme ara\u00e7lar\u0131n\u0131 ve sistem izleme arac\u0131n\u0131 (rocm-smi) kuracakt\u0131r. Kurulum tamamland\u0131ktan sonra, sisteminizi yeniden ba\u015flatman\u0131z gerekebilir.<\/p>\n<pre><code>\nsudo reboot\n<\/code><\/pre>\n<\/li>\n<li><strong>Kullan\u0131c\u0131y\u0131 ‘render’ Grubuna Ekleme:<\/strong>\n<p>GPU’ya eri\u015fim sa\u011flamak i\u00e7in kullan\u0131c\u0131 hesab\u0131n\u0131z\u0131 ‘render’ grubuna eklemelisiniz:<\/p>\n<pre><code>\nsudo usermod -a -G render $USER\n<\/code><\/pre>\n<p>Bu komutun etkili olmas\u0131 i\u00e7in oturumu kapat\u0131p tekrar a\u00e7man\u0131z veya yeniden ba\u015flatman\u0131z gerekebilir.<\/p>\n<\/li>\n<li><strong>ROCm Kurulumunu Do\u011frulama:<\/strong>\n<p>Kurulumun ba\u015far\u0131l\u0131 olup olmad\u0131\u011f\u0131n\u0131 kontrol etmek i\u00e7in <code>rocm-smi<\/code> komutunu kullan\u0131n:<\/p>\n<pre><code>\nrocm-smi\n<\/code><\/pre>\n<p>Bu komut, GPU’nuzun bilgilerini, bellek kullan\u0131m\u0131n\u0131 ve s\u0131cakl\u0131\u011f\u0131n\u0131 g\u00f6stermelidir. E\u011fer \u00e7\u0131kt\u0131 g\u00f6r\u00fcyorsan\u0131z, ROCm ba\u015far\u0131yla kurulmu\u015f demektir.<\/p>\n<\/li>\n<\/ol>\n<h3>Python Ortam\u0131n\u0131 Haz\u0131rlama: Sanal Ortamlar ve Ba\u011f\u0131ml\u0131l\u0131klar<\/h3>\n<p>Makine \u00f6\u011frenimi projeleri i\u00e7in Python sanal ortamlar\u0131 kullanmak iyi bir uygulamad\u0131r. Bu, ba\u011f\u0131ml\u0131l\u0131k \u00e7ak\u0131\u015fmalar\u0131n\u0131 \u00f6nler ve projenizin izole kalmas\u0131n\u0131 sa\u011flar. \u0130lk olarak, Python 3 ve <code>venv<\/code> mod\u00fcl\u00fcn\u00fc kurun:<\/p>\n<pre><code>\nsudo apt install -y python3 python3-pip python3-venv\n<\/code><\/pre>\n<p>\u015eimdi projeniz i\u00e7in bir sanal ortam olu\u015ftural\u0131m ve etkinle\u015ftirelim:<\/p>\n<pre><code>\nmkdir gpt-oss-project\ncd gpt-oss-project\npython3 -m venv venv\nsource venv\/bin\/activate\n<\/code><\/pre>\n<p>Sanal ortam etkinle\u015ftirildi\u011finde, komut isteminizde <code>(venv)<\/code> ibaresini g\u00f6rmelisiniz. Art\u0131k t\u00fcm Python paketlerini bu ortama kurabilirsiniz. \u0130lk olarak, pip’i g\u00fcncelleyelim:<\/p>\n<pre><code>\npip install --upgrade pip\n<\/code><\/pre>\n<p>Bu ad\u0131mlarla, AMD Instinct MI300X droplet’iniz gpt-oss 120B ve vLLM’i \u00e7al\u0131\u015ft\u0131rmak i\u00e7in temel olarak haz\u0131r hale gelmi\u015f oldu. Bir sonraki ad\u0131mda, vLLM’i kurup yap\u0131land\u0131raca\u011f\u0131z.<\/p>\n<div class=\"expert-tip\">\n Uzman \u0130pucu: ROCm s\u00fcr\u00fcc\u00fclerini kurarken, her zaman AMD’nin resmi dok\u00fcmantasyonunu kontrol edin. Bazen belirli \u00e7ekirdek s\u00fcr\u00fcmleri veya Ubuntu versiyonlar\u0131 i\u00e7in \u00f6zel talimatlar olabilir. En g\u00fcncel ve uyumlu s\u00fcr\u00fcc\u00fcleri kullanmak, performans ve kararl\u0131l\u0131k a\u00e7\u0131s\u0131ndan kritik \u00f6neme sahiptir.\n<\/div>\n<h2 id=\"vllm-kurulumu-ve-yapilandirmasi-performans-icin-temeller\">vLLM Kurulumu ve Yap\u0131land\u0131rmas\u0131: Performans \u0130\u00e7in Temeller<\/h2>\n<p>Ortam\u0131m\u0131z\u0131 haz\u0131rlad\u0131\u011f\u0131m\u0131za g\u00f6re, \u015fimdi s\u0131ra B\u00fcy\u00fck Dil Modeli \u00e7\u0131kar\u0131m\u0131nda devrim yaratan vLLM k\u00fct\u00fcphanesini kurmaya ve optimize etmeye geldi. vLLM, \u00f6zellikle AMD GPU’lar \u00fczerinde ROCm deste\u011fiyle birlikte, gpt-oss 120B gibi modellerin performans\u0131n\u0131 maksimize etmek i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015ft\u0131r. Bu b\u00f6l\u00fcmde, vLLM’in kurulumunu, ROCm ile uyumlulu\u011funu ve temel yap\u0131land\u0131rma ad\u0131mlar\u0131n\u0131 ele alaca\u011f\u0131z.<\/p>\n<h3>vLLM’i Kurma: AMD Deste\u011fiyle<\/h3>\n<p>Python sanal ortam\u0131n\u0131z etkin durumdayken (\u00f6nceki b\u00f6l\u00fcmdeki <code>source venv\/bin\/activate<\/code> komutuyla), vLLM’i pip arac\u0131l\u0131\u011f\u0131yla kurabilirsiniz. vLLM, ROCm deste\u011fi i\u00e7in \u00f6zel derlemeler sunar. Bu derlemeleri kullanmak, AMD GPU’nuzdan en iyi performans\u0131 alman\u0131z\u0131 sa\u011flar.<\/p>\n<pre><code>\n# Sanal ortam\u0131n\u0131z\u0131n etkin oldu\u011fundan emin olun\n# (venv) pip install vllm\n# E\u011fer ROCm deste\u011fi i\u00e7in \u00f6zel bir derleme gerekiyorsa, vLLM'in GitHub sayfas\u0131ndaki talimatlar\u0131 takip edin.\n# Genellikle, sadece 'pip install vllm' ROCm'i otomatik olarak alg\u0131lay\u0131p uygun derlemeyi y\u00fckleyebilir.\n# Ancak, ROCm s\u00fcr\u00fcm\u00fcn\u00fczle ilgili uyumluluk sorunlar\u0131 ya\u015farsan\u0131z, GitHub deposundan manuel olarak derlemeniz gerekebilir.\n# Bu durumda, a\u015fa\u011f\u0131daki gibi bir yol izleyebilirsiniz (detaylar vLLM dok\u00fcmantasyonunda bulunabilir):\n# git clone https:\/\/github.com\/vllm-project\/vllm.git\n# cd vllm\n# pip install -e .\n<\/code><\/pre>\n<p>Kurulumun ard\u0131ndan, vLLM’in ROCm deste\u011fini do\u011fru bir \u015fekilde alg\u0131lay\u0131p alg\u0131lamad\u0131\u011f\u0131n\u0131 kontrol etmek i\u00e7in basit bir Python beti\u011fi \u00e7al\u0131\u015ft\u0131rabilirsiniz. Bu, genellikle PyTorch’un ROCm’i g\u00f6r\u00fcp g\u00f6rmedi\u011fini kontrol etmekle e\u015fde\u011ferdir, zira vLLM temelinde PyTorch kullan\u0131r.<\/p>\n<pre><code class=\"language-python\">\nimport torch\nprint(f\"PyTorch ROCm kullan\u0131labilir mi: {torch.cuda.is_available()}\")\nprint(f\"PyTorch ROCm cihaz say\u0131s\u0131: {torch.cuda.device_count()}\")\nif torch.cuda.is_available():\n print(f\"Aktif ROCm cihaz\u0131: {torch.cuda.get_device_name(0)}\")\n<\/code><\/pre>\n<p>Bu kodu <code>check_rocm.py<\/code> olarak kaydedip \u00e7al\u0131\u015ft\u0131rd\u0131\u011f\u0131n\u0131zda (<code>python check_rocm.py<\/code>), \u00e7\u0131kt\u0131da “PyTorch ROCm kullan\u0131labilir mi: True” ve MI300X GPU’nuzun ad\u0131n\u0131 g\u00f6rmelisiniz. E\u011fer “False” g\u00f6r\u00fcyorsan\u0131z, ROCm kurulumunuzda veya vLLM’in derlemesinde bir sorun olabilir.<\/p>\n<h3>vLLM Temel Yap\u0131land\u0131rma Parametreleri: Performans ve Bellek Dengesi<\/h3>\n<p>vLLM, modelinizi ba\u015flat\u0131rken \u00e7e\u015fitli parametreler arac\u0131l\u0131\u011f\u0131yla performans ve bellek kullan\u0131m\u0131n\u0131 optimize etmenize olanak tan\u0131r. gpt-oss 120B gibi b\u00fcy\u00fck bir modelle \u00e7al\u0131\u015f\u0131rken, bu parametreler hayati \u00f6nem ta\u015f\u0131r.<\/p>\n<ul>\n<li><code>--model<\/code>: Kullan\u0131lacak modelin Hugging Face kimli\u011fi veya yerel yolu.<\/li>\n<li><code>--tensor-parallel-size<\/code>: Modelin birden fazla GPU’ya nas\u0131l da\u011f\u0131t\u0131laca\u011f\u0131n\u0131 belirler. MI300X droplet’inizde birden fazla GPU varsa, bu parametreyi kullanarak modelinizi GPU’lar aras\u0131nda b\u00f6lebilirsiniz. gpt-oss 120B i\u00e7in tek bir MI300X’in 192GB belle\u011fi yeterli olaca\u011f\u0131ndan, ba\u015flang\u0131\u00e7ta bu parametreyi kullanmayabilir veya 1 olarak b\u0131rakabilirsiniz.<\/li>\n<li><code>--gpu-memory-utilization<\/code>: GPU belle\u011finin ne kadar\u0131n\u0131n KV \u00f6nbelle\u011fi i\u00e7in ayr\u0131laca\u011f\u0131n\u0131 belirler (0 ile 1 aras\u0131nda bir de\u011fer). \u00d6rne\u011fin, 0.90 de\u011feri, belle\u011fin %90’\u0131n\u0131n KV \u00f6nbelle\u011fi i\u00e7in ayr\u0131laca\u011f\u0131 anlam\u0131na gelir. Bu, e\u015fzamanl\u0131 istek say\u0131s\u0131n\u0131 do\u011frudan etkiler. \u00c7ok y\u00fcksek bir de\u011fer, model a\u011f\u0131rl\u0131klar\u0131 i\u00e7in yeterli yer b\u0131rakmayabilirken, \u00e7ok d\u00fc\u015f\u00fck bir de\u011fer verimi d\u00fc\u015f\u00fcrebilir.<\/li>\n<li><code>--max-model-len<\/code>: Modelin i\u015fleyebilece\u011fi maksimum ba\u011flam uzunlu\u011funu belirler. Bu, modelin destekledi\u011fi token say\u0131s\u0131na ve uygulaman\u0131z\u0131n gereksinimlerine g\u00f6re ayarlanmal\u0131d\u0131r.<\/li>\n<li><code>--dtype<\/code>: Model a\u011f\u0131rl\u0131klar\u0131n\u0131n veri tipini belirler (\u00f6rn. <code>bfloat16<\/code>, <code>float16<\/code>, <code>float32<\/code>). <code>bfloat16<\/code> veya <code>float16<\/code> kullanmak, bellek kullan\u0131m\u0131n\u0131 azalt\u0131r ve genellikle performans\u0131 art\u0131r\u0131r, ancak baz\u0131 durumlarda hassasiyeti etkileyebilir. MI300X, bfloat16 i\u015flemleri i\u00e7in optimize edilmi\u015ftir.<\/li>\n<\/ul>\n<p>Bu parametreleri, MI300X’in 192 GB belle\u011fini g\u00f6z \u00f6n\u00fcnde bulundurarak dikkatlice ayarlamak gerekecektir. gpt-oss 120B i\u00e7in, <code>--dtype bfloat16<\/code> kullanmak ve <code>--gpu-memory-utilization<\/code> de\u011ferini 0.85-0.95 aras\u0131nda denemek iyi bir ba\u015flang\u0131\u00e7 noktas\u0131 olabilir. Bu ayarlar, model a\u011f\u0131rl\u0131klar\u0131 i\u00e7in yeterli yer b\u0131rak\u0131rken ayn\u0131 zamanda KV \u00f6nbelle\u011fi i\u00e7in de geni\u015f bir alan sa\u011flayacakt\u0131r.<\/p>\n<div class=\"expert-tip\">\n Uzman \u0130pucu: vLLM’in ROCm ile uyumlulu\u011fu s\u00fcrekli geli\u015fmektedir. En g\u00fcncel ve stabil deneyim i\u00e7in, vLLM’in resmi GitHub deposunu ve s\u00fcr\u00fcm notlar\u0131n\u0131 d\u00fczenli olarak kontrol etmek \u00f6nemlidir. Bazen belirli bir ROCm s\u00fcr\u00fcm\u00fc i\u00e7in belirli bir vLLM s\u00fcr\u00fcm\u00fc \u00f6nerilebilir.\n<\/div>\n<h2 id=\"gpt-oss-120b-modelini-vllm-ile-calistirma-gercek-dunya-senaryolari\">gpt-oss 120B Modelini vLLM ile \u00c7al\u0131\u015ft\u0131rma: Ger\u00e7ek D\u00fcnya Senaryolar\u0131<\/h2>\n<p>\u015eimdiye kadar AMD MI300X droplet’imizi haz\u0131rlad\u0131k ve vLLM’i kurduk. Art\u0131k gpt-oss 120B modelini bu g\u00fc\u00e7l\u00fc altyap\u0131 \u00fczerinde \u00e7al\u0131\u015ft\u0131rmaya ve ger\u00e7ek d\u00fcnya senaryolar\u0131nda nas\u0131l kullanabilece\u011fimizi ke\u015ffetmeye haz\u0131r\u0131z. Bu b\u00f6l\u00fcm, modelin y\u00fcklenmesi, vLLM ile ba\u015flat\u0131lmas\u0131 ve \u00f6rnek \u00e7\u0131kar\u0131m isteklerinin nas\u0131l yap\u0131laca\u011f\u0131n\u0131 detayland\u0131racakt\u0131r.<\/p>\n<h3>gpt-oss 120B Modelini Y\u00fckleme<\/h3>\n<p>gpt-oss 120B gibi b\u00fcy\u00fck bir modelin a\u011f\u0131rl\u0131klar\u0131, Hugging Face Transformers k\u00fct\u00fcphanesi arac\u0131l\u0131\u011f\u0131yla kolayca indirilebilir. Model genellikle Hugging Face Hub \u00fczerinde bir depo olarak bulunur. \u0130lk olarak, Hugging Face <code>transformers<\/code> k\u00fct\u00fcphanesini kurman\u0131z gerekebilir:<\/p>\n<pre><code>\n(venv) pip install transformers accelerate\n<\/code><\/pre>\n<p>Model a\u011f\u0131rl\u0131klar\u0131n\u0131 do\u011frudan vLLM kullanarak da indirebilirsiniz, ancak bazen \u00f6nceden indirmek ve yerel bir yoldan y\u00fcklemek daha g\u00fcvenilir olabilir. Modelin ad\u0131n\u0131 (\u00f6rne\u011fin, <code>\"org\/gpt-oss-120b\"<\/code> gibi hipotetik bir isim) kullanarak:<\/p>\n<pre><code>\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\nimport torch\n\nmodel_name = \"org\/gpt-oss-120b\" # Bu bir \u00f6rnek model ad\u0131d\u0131r, ger\u00e7ek model ad\u0131n\u0131 kullan\u0131n.\n\n# Tokenizer'\u0131 indirme\ntokenizer = AutoTokenizer.from_pretrained(model_name)\ntokenizer.save_pretrained(\".\/gpt-oss-120b-local\")\n\n# Model a\u011f\u0131rl\u0131klar\u0131n\u0131 indirme (sadece CPU'ya indirme, GPU'ya vLLM y\u00fckleyecek)\n# Bu ad\u0131m \u00e7ok fazla RAM gerektirebilir. E\u011fer RAM yetersizse, do\u011frudan vLLM ile y\u00fcklemeyi deneyin.\n# model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)\n# model.save_pretrained(\".\/gpt-oss-120b-local\")\n\nprint(\"Model ve tokenizer yerel olarak kaydedildi.\")\n<\/code><\/pre>\n<p>Ancak, gpt-oss 120B gibi devasa bir modeli CPU RAM’ine indirmek ve kaydetmek, droplet’inizin RAM kapasitesini a\u015fabilir. Bu durumda, vLLM’in Hugging Face Hub’dan do\u011frudan model y\u00fckleme yetene\u011fini kullanmak daha pratik olacakt\u0131r. vLLM, modeli GPU belle\u011fine do\u011frudan y\u00fckleyerek bu sorunu a\u015far.<\/p>\n<h3>vLLM ile gpt-oss 120B’yi Ba\u015flatma<\/h3>\n<p>Modeli vLLM ile ba\u015flatmak i\u00e7in, <code>vllm.LLM<\/code> s\u0131n\u0131f\u0131n\u0131 kullan\u0131r\u0131z. Bu, modeli GPU belle\u011fine y\u00fckler ve \u00e7\u0131kar\u0131m i\u00e7in haz\u0131r hale getirir. A\u015fa\u011f\u0131daki \u00f6rnekte, \u00f6nceki b\u00f6l\u00fcmde bahsetti\u011fimiz parametreleri uygulayarak modeli ba\u015flat\u0131yoruz:<\/p>\n<pre><code class=\"language-python\">\nfrom vllm import LLM, SamplingParams\n\n# Modelin Hugging Face ad\u0131 veya yerel yolu\nmodel_path = \"org\/gpt-oss-120b\" # Ger\u00e7ek model ad\u0131n\u0131 veya yerel yolu kullan\u0131n\n\n# LLM modelini ba\u015flatma\n# dtype: bfloat16, MI300X i\u00e7in \u00f6nerilen veri tipidir\n# gpu_memory_utilization: KV \u00f6nbelle\u011fi i\u00e7in ayr\u0131lacak GPU belle\u011fi oran\u0131\n# max_model_len: Modelin i\u015fleyebilece\u011fi maksimum ba\u011flam uzunlu\u011fu\nllm = LLM(model=model_path, \n dtype=\"bfloat16\", \n gpu_memory_utilization=0.90, \n max_model_len=4096) # \u00d6rnek bir ba\u011flam uzunlu\u011fu\n\nprint(f\"gpt-oss 120B modeli vLLM ile ba\u015far\u0131yla y\u00fcklendi: {model_path}\")\n<\/code><\/pre>\n<p>Bu komut \u00e7al\u0131\u015ft\u0131r\u0131ld\u0131\u011f\u0131nda, vLLM modeli Hugging Face Hub’dan indirip MI300X GPU belle\u011fine y\u00fckleyecektir. Bu i\u015flem, modelin boyutuna ve a\u011f h\u0131z\u0131n\u0131za ba\u011fl\u0131 olarak biraz zaman alabilir.<\/p>\n<h3>\u00d6rnek \u00c7\u0131kar\u0131m \u0130stekleri: Metin Tamamlama ve Soru-Cevap<\/h3>\n<p>Model y\u00fcklendikten sonra, metin tamamlama, soru-cevap veya di\u011fer do\u011fal dil i\u015fleme g\u00f6revleri i\u00e7in \u00e7\u0131kar\u0131m istekleri g\u00f6nderebiliriz. <code>SamplingParams<\/code> s\u0131n\u0131f\u0131, \u00e7\u0131kar\u0131m parametrelerini (s\u0131cakl\u0131k, top_p, maksimum token say\u0131s\u0131 vb.) kontrol etmenizi sa\u011flar.<\/p>\n<pre><code class=\"language-python\">\n# \u00c7\u0131kar\u0131m parametrelerini tan\u0131mlama\nsampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=256)\n\n# \u00d6rnek prompt'lar\nprompts = [\n \"Yapay zeka teknolojileri gelecekte hayat\u0131m\u0131z\u0131 nas\u0131l de\u011fi\u015ftirecek?\",\n \"Bir e-ticaret sitesi i\u00e7in ilgi \u00e7ekici bir \u00fcr\u00fcn a\u00e7\u0131klamas\u0131 yaz: 'Ak\u0131ll\u0131 Ev Robot S\u00fcp\u00fcrgesi'\",\n \"T\u00fcrkiye'nin ba\u015fkenti neresidir ve neden?\",\n]\n\n# \u00c7\u0131kar\u0131m isteklerini g\u00f6nderme\noutputs = llm.generate(prompts, sampling_params)\n\n# Sonu\u00e7lar\u0131 yazd\u0131rma\nfor prompt, output in zip(prompts, outputs):\n generated_text = output.outputs[0].text\n print(f\"Prompt: {prompt!r}\\nGenerated text: {generated_text!r}\\n\")\n print(\"-\" * 50)\n<\/code><\/pre>\n<p>Bu \u00f6rnek, \u00fc\u00e7 farkl\u0131 prompt i\u00e7in modelden yan\u0131tlar \u00fcretir. vLLM’in dinamik batching \u00f6zelli\u011fi sayesinde, bu istekler e\u015fzamanl\u0131 olarak i\u015flenir ve MI300X’in g\u00fcc\u00fc tam olarak kullan\u0131l\u0131r.<\/p>\n<h3>Vaka Analizi: B\u00fcy\u00fck Bir \u0130\u015fletmenin M\u00fc\u015fteri Destek Asistan\u0131<\/h3>\n<p>Bir e-ticaret devi olan “GlobalMarket”, m\u00fc\u015fteri destek ekibinin y\u00fck\u00fcn\u00fc hafifletmek ve 7\/24 an\u0131nda yan\u0131t verebilmek i\u00e7in yapay zeka destekli bir asistan geli\u015ftirmek istiyor. Mevcut chatbot’lar\u0131 basit sorular\u0131 yan\u0131tlayabiliyor ancak karma\u015f\u0131k \u00fcr\u00fcn bilgileri, iade s\u00fcre\u00e7leri veya sipari\u015f takibi gibi konularda yetersiz kal\u0131yor. GlobalMarket, gpt-oss 120B’nin geli\u015fmi\u015f anlama ve \u00fcretme yeteneklerinden faydalanmaya karar veriyor.<\/p>\n<p><strong>Senaryo:<\/strong> M\u00fc\u015fteriler, GlobalMarket’in web sitesi veya mobil uygulamas\u0131 \u00fczerinden sohbet aray\u00fcz\u00fcne sorular\u0131n\u0131 yaz\u0131yor. gpt-oss 120B, bu sorular\u0131 an\u0131nda i\u015fleyerek ki\u015fiselle\u015ftirilmi\u015f ve do\u011fru yan\u0131tlar \u00fcretiyor. \u00d6rne\u011fin, bir m\u00fc\u015fteri “Son sipari\u015fimin durumu nedir?” diye sordu\u011funda, model arka u\u00e7 sistemlerden sipari\u015f bilgilerini \u00e7ekerek “Sipari\u015finiz #123456789 \u015fu anda kargoda ve 2 g\u00fcn i\u00e7inde teslim edilmesi bekleniyor.” gibi bir yan\u0131t verebiliyor. Ya da “Yeni \u00e7\u0131kan ak\u0131ll\u0131 televizyon modelleri hakk\u0131nda bilgi verir misiniz?” gibi bir soruya, \u00fcr\u00fcn \u00f6zelliklerini ve kar\u015f\u0131la\u015ft\u0131rmalar\u0131n\u0131 i\u00e7eren detayl\u0131 bir yan\u0131t \u00fcretiyor.<\/p>\n<p><strong>MI300X ve vLLM’in Rol\u00fc:<\/strong> GlobalMarket i\u00e7in en b\u00fcy\u00fck zorluk, binlerce e\u015fzamanl\u0131 m\u00fc\u015fteri iste\u011fini d\u00fc\u015f\u00fck gecikmeyle i\u015fleyebilmekti. Tek bir gpt-oss 120B modelinin her iste\u011fi ayr\u0131 ayr\u0131 i\u015flemesi, hem gecikmeyi art\u0131racak hem de maliyetleri katlayacakt\u0131. \u0130\u015fte burada AMD Instinct MI300X ve vLLM kombinasyonu devreye giriyor:<\/p>\n<ul>\n<li><strong>MI300X’in Y\u00fcksek Belle\u011fi:<\/strong> 192 GB HBM3 belle\u011fe sahip MI300X, gpt-oss 120B modelinin tamam\u0131n\u0131 veya b\u00fcy\u00fck bir k\u0131sm\u0131n\u0131 tek bir GPU’ya s\u0131\u011fd\u0131rarak model y\u00fckleme s\u00fcrelerini minimize ediyor ve bellek transfer darbo\u011fazlar\u0131n\u0131 ortadan kald\u0131r\u0131yor.<\/li>\n<li><strong>vLLM’in PageAttention ve Dinamik Batching’i:<\/strong> vLLM’in PageAttention algoritmas\u0131, KV \u00f6nbelle\u011fini verimli bir \u015fekilde y\u00f6neterek birden fazla e\u015fzamanl\u0131 iste\u011fin GPU belle\u011finde daha az yer kaplamas\u0131n\u0131 sa\u011fl\u0131yor. Dinamik batching \u00f6zelli\u011fi ise, gelen istekleri an\u0131nda gruplayarak tek bir GPU \u00e7ekirde\u011fi \u00fczerinde paralel olarak i\u015flenmelerine olanak tan\u0131yor. Bu sayede, GlobalMarket, ayn\u0131 anda y\u00fczlerce m\u00fc\u015fteriye milisaniyeler i\u00e7inde yan\u0131t verebiliyor.<\/li>\n<li><strong>Maliyet Etkinli\u011fi:<\/strong> MI300X’in rekabet\u00e7i fiyatland\u0131rmas\u0131 ve vLLM’in sundu\u011fu y\u00fcksek verim, GlobalMarket’in operasyonel maliyetlerini d\u00fc\u015f\u00fcrerek daha fazla m\u00fc\u015fteriye daha uygun fiyata hizmet vermesine olanak tan\u0131yor.<\/li>\n<\/ul>\n<p>Bu senaryo, MI300X ve vLLM’in, b\u00fcy\u00fck \u00f6l\u00e7ekli ve performans kritik yapay zeka uygulamalar\u0131 i\u00e7in nas\u0131l g\u00fc\u00e7l\u00fc ve maliyet etkin bir \u00e7\u00f6z\u00fcm sundu\u011funu a\u00e7\u0131k\u00e7a g\u00f6stermektedir. gpt-oss 120B gibi modeller, bu t\u00fcr bir altyap\u0131 \u00fczerinde tam potansiyellerine ula\u015fabilirler.<\/p>\n<h2 id=\"performans-optimizasyonu-ve-ileri-duzey-ipuclari-mi300xten-en-iyi-verimi-almak\">Performans Optimizasyonu ve \u0130leri D\u00fczey \u0130pu\u00e7lar\u0131: MI300X’ten En \u0130yi Verimi Almak<\/h2>\n<p>gpt-oss 120B’yi AMD Instinct MI300X \u00fczerinde vLLM ile ba\u015far\u0131yla \u00e7al\u0131\u015ft\u0131rd\u0131k. Ancak, B\u00fcy\u00fck Dil Modelleri d\u00fcnyas\u0131nda her zaman daha iyi performans ve daha d\u00fc\u015f\u00fck maliyet i\u00e7in yer vard\u0131r. Bu b\u00f6l\u00fcmde, MI300X’in g\u00fcc\u00fcn\u00fc sonuna kadar kullanmak ve vLLM \u00e7\u0131kar\u0131m\u0131n\u0131 daha da optimize etmek i\u00e7in ileri d\u00fczey ipu\u00e7lar\u0131 ve teknikler sunaca\u011f\u0131z.<\/p>\n<h3>Batching Stratejileri ve Dinamik Batch Boyutlar\u0131<\/h3>\n<p>vLLM’in en b\u00fcy\u00fck avantajlar\u0131ndan biri, dinamik batching yetene\u011fidir. Geleneksel sistemlerde, sabit boyutlu batch’ler kullan\u0131l\u0131r, bu da genellikle GPU’nun tam kapasitesini kullanmaz veya kuyrukta bekleyen isteklerin gecikmesine neden olur. vLLM, istekleri anl\u0131k olarak gruplayarak GPU’ya g\u00f6nderir ve b\u00f6ylece verimi art\u0131r\u0131r. Ancak, bu batch boyutunu optimize etmek hala m\u00fcmk\u00fcnd\u00fcr:<\/p>\n<ul>\n<li><strong><code>--max-num-seqs<\/code>:<\/strong> Bu parametre, bir batch’te i\u015flenebilecek maksimum e\u015fzamanl\u0131 dizilim (sequence) say\u0131s\u0131n\u0131 belirler. MI300X’in belle\u011fi ve i\u015flem g\u00fcc\u00fc g\u00f6z \u00f6n\u00fcne al\u0131nd\u0131\u011f\u0131nda, bu de\u011feri art\u0131rmak genellikle verimi art\u0131r\u0131r. Ancak \u00e7ok y\u00fcksek bir de\u011fer, GPU belle\u011fini a\u015f\u0131r\u0131 doldurabilir. Deneme yan\u0131lma yoluyla optimum de\u011feri bulmak \u00f6nemlidir.<\/li>\n<li><strong><code>--max-seq-len-to-batch<\/code>:<\/strong> Bu, batch’teki en uzun dizilimin uzunlu\u011funa g\u00f6re batch boyutunu dinamik olarak ayarlamak i\u00e7in kullan\u0131labilir.<\/li>\n<\/ul>\n<p>Uygulaman\u0131z\u0131n trafik desenini anlamak, bu parametreleri en iyi \u015fekilde ayarlaman\u0131za yard\u0131mc\u0131 olacakt\u0131r. \u00d6rne\u011fin, k\u0131sa ve h\u0131zl\u0131 yan\u0131tlar beklenen bir senaryoda daha k\u00fc\u00e7\u00fck batch’ler, uzun ve karma\u015f\u0131k metinler i\u00e7in daha b\u00fcy\u00fck batch’ler tercih edilebilir.<\/p>\n<h3>Quantization (Nicemleme) Teknikleri: Bellek ve H\u0131z Dengesi<\/h3>\n<p>Quantization, model a\u011f\u0131rl\u0131klar\u0131n\u0131 ve aktivasyonlar\u0131n\u0131 daha d\u00fc\u015f\u00fck hassasiyetli veri tiplerine d\u00f6n\u00fc\u015ft\u00fcrerek bellek kullan\u0131m\u0131n\u0131 azaltma ve \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 art\u0131rma tekni\u011fidir. gpt-oss 120B gibi devasa modeller i\u00e7in bu, kritik bir optimizasyondur.<\/p>\n<ul>\n<li><strong><code>bfloat16<\/code> (BF16):<\/strong> MI300X, BF16 i\u015flemleri i\u00e7in donan\u0131msal deste\u011fe sahiptir ve bu, <code>float32<\/code>‘ye yak\u0131n bir hassasiyetle bellek kullan\u0131m\u0131n\u0131 yar\u0131ya indirir. vLLM’de <code>--dtype bfloat16<\/code> parametresini kullanarak bunu etkinle\u015ftirebilirsiniz.<\/li>\n<li><strong>8-bit (INT8) veya 4-bit (INT4) Quantization:<\/strong> Daha agresif nicemleme teknikleri, bellek kullan\u0131m\u0131n\u0131 daha da azaltabilir ve performans\u0131 art\u0131rabilir, ancak modelin do\u011frulu\u011funda hafif bir d\u00fc\u015f\u00fc\u015fe neden olabilir. vLLM, bu t\u00fcr nicemleme tekniklerini desteklemektedir (\u00f6rn. <code>--quantization int8<\/code>). MI300X, bu d\u00fc\u015f\u00fck hassasiyetli formatlar i\u00e7in de optimize edilmi\u015f \u00e7ekirdeklere sahiptir. Modelinizin kabul edilebilir do\u011fruluk kayb\u0131yla bu formatlarda \u00e7al\u0131\u015f\u0131p \u00e7al\u0131\u015fmad\u0131\u011f\u0131n\u0131 test etmelisiniz.<\/li>\n<\/ul>\n<p>Nicemleme, \u00f6zellikle bellek k\u0131s\u0131tl\u0131 ortamlarda veya daha fazla modelin tek bir GPU’ya s\u0131\u011fd\u0131r\u0131lmas\u0131 gerekti\u011finde \u00e7ok faydal\u0131d\u0131r.<\/p>\n<h3>Birden Fazla GPU Kullan\u0131m\u0131 ve Model Paralelli\u011fi<\/h3>\n<p>E\u011fer MI300X droplet’inizde birden fazla GPU varsa (\u00f6rne\u011fin, 2x MI300X), gpt-oss 120B gibi devasa bir modeli GPU’lar aras\u0131nda da\u011f\u0131tarak performans\u0131 daha da art\u0131rabilirsiniz. vLLM, tensor paralelli\u011fini (tensor parallelism) destekler.<\/p>\n<pre><code class=\"language-python\">\n# \u0130ki GPU \u00fczerinde tensor paralelli\u011fi ile modeli ba\u015flatma\nllm = LLM(model=model_path, \n dtype=\"bfloat16\", \n gpu_memory_utilization=0.90, \n max_model_len=4096,\n tensor_parallel_size=2) # \u0130ki GPU kullan\u0131l\u0131yorsa\n<\/code><\/pre>\n<p><code>tensor_parallel_size<\/code> parametresini, droplet’inizdeki GPU say\u0131s\u0131na ayarlayarak modelin katmanlar\u0131n\u0131 GPU’lar aras\u0131nda da\u011f\u0131tabilirsiniz. Bu, tek bir modelin \u00e7\u0131kar\u0131m s\u00fcresini azalt\u0131rken, ayn\u0131 zamanda daha b\u00fcy\u00fck modellerin bile birden fazla GPU’ya s\u0131\u011fd\u0131r\u0131lmas\u0131n\u0131 sa\u011flar.<\/p>\n<h3>ROCm Optimizasyonlar\u0131 ve Sistem \u0130zleme<\/h3>\n<p>ROCm ekosistemi, performans\u0131 izlemek ve ayarlamak i\u00e7in \u00e7e\u015fitli ara\u00e7lar sunar:<\/p>\n<ul>\n<li><strong><code>rocm-smi<\/code>:<\/strong> GPU kullan\u0131m\u0131n\u0131, s\u0131cakl\u0131\u011f\u0131n\u0131, bellek kullan\u0131m\u0131n\u0131 ve g\u00fc\u00e7 t\u00fcketimini ger\u00e7ek zamanl\u0131 olarak izlemek i\u00e7in kullan\u0131\u015fl\u0131d\u0131r. Darbo\u011fazlar\u0131 tespit etmek i\u00e7in bu arac\u0131 d\u00fczenli olarak kontrol edin.<\/li>\n<li><strong>ROCm \u00c7ekirdekleri:<\/strong> vLLM, ROCm’in optimize edilmi\u015f \u00e7ekirdeklerini otomatik olarak kullanmaya \u00e7al\u0131\u015f\u0131r. Ancak, bazen \u00f6zel ROCm ayarlar\u0131 veya ortam de\u011fi\u015fkenleri, belirli i\u015f y\u00fckleri i\u00e7in performans\u0131 daha da art\u0131rabilir. AMD’nin ROCm dok\u00fcmantasyonunu bu konuda incelemek faydal\u0131 olabilir.<\/li>\n<\/ul>\n<h3>Bellek Y\u00f6netimi \u0130pu\u00e7lar\u0131<\/h3>\n<ul>\n<li><strong>Sistem RAM’i:<\/strong> Model a\u011f\u0131rl\u0131klar\u0131 GPU belle\u011fine y\u00fcklense de, i\u015fletim sistemi ve di\u011fer s\u00fcre\u00e7ler i\u00e7in yeterli sistem RAM’i oldu\u011fundan emin olun.<\/li>\n<li><strong>KV \u00d6nbelle\u011fi:<\/strong> <code>--gpu-memory-utilization<\/code> parametresiyle KV \u00f6nbelle\u011fi i\u00e7in ayr\u0131lan alan\u0131 dikkatlice ayarlay\u0131n. \u00c7ok az alan, verimi d\u00fc\u015f\u00fcr\u00fcrken, \u00e7ok fazla alan model a\u011f\u0131rl\u0131klar\u0131 i\u00e7in yeterli yer b\u0131rakmayabilir.<\/li>\n<li><strong>Model Boyutu ve Hassasiyet:<\/strong> Modelin farkl\u0131 boyutlardaki versiyonlar\u0131n\u0131 (e\u011fer varsa) veya farkl\u0131 nicemleme seviyelerini deneyerek bellek ve performans aras\u0131nda en iyi dengeyi bulun.<\/li>\n<\/ul>\n<div class=\"expert-tip\">\n Uzman \u0130pucu: Bu teknikle performans\u0131 %40 art\u0131rabilirsiniz. \u00d6zellikle yo\u011fun trafikli uygulamalarda, vLLM’in API sunucusunu (OpenAI uyumlu) kullanarak birden fazla istemcinin ayn\u0131 anda istek g\u00f6ndermesini sa\u011flay\u0131n. Bu, batching mekanizmas\u0131n\u0131n tam kapasiteyle \u00e7al\u0131\u015fmas\u0131na olanak tan\u0131r ve GPU’nun bo\u015fta kalma s\u00fcresini minimuma indirir.\n<\/div>\n<h3>Mobil Uyumlu HTML \u0130\u00e7in Media Query \u00d6rnekleri<\/h3>\n<p>Bu makale HTML format\u0131nda sunuldu\u011fu i\u00e7in, mobil uyumluluk da \u00f6nemlidir. Yukar\u0131daki ipu\u00e7lar\u0131 do\u011frudan GPU performans\u0131yla ilgili olsa da, i\u00e7eri\u011fin her cihazda okunabilir olmas\u0131n\u0131 sa\u011flamak da deneyimi iyile\u015ftirir. \u0130\u015fte basit bir CSS media query \u00f6rne\u011fi:<\/p>\n<pre><code class=\"language-css\">\n\/* Genel stil *\/\nbody {\n font-family: Arial, sans-serif;\n line-height: 1.6;\n margin: 0 auto;\n max-width: 900px;\n padding: 20px;\n}\n\n\/* K\u00fc\u00e7\u00fck ekranlar i\u00e7in (mobil cihazlar) *\/\n@media (max-width: 768px) {\n body {\n padding: 10px;\n font-size: 14px;\n }\n h2 {\n font-size: 20px;\n }\n h3 {\n font-size: 18px;\n }\n pre code {\n white-space: pre-wrap; \/* Kod bloklar\u0131n\u0131n k\u00fc\u00e7\u00fck ekranlarda kayd\u0131rmas\u0131n\u0131 sa\u011flar *\/\n word-break: break-all; \/* Uzun kelimeleri b\u00f6ler *\/\n }\n .expert-tip {\n padding: 10px;\n font-size: 13px;\n }\n}\n<\/code><\/pre>\n<p>Bu CSS kodu, ekran geni\u015fli\u011fi 768 pikselin alt\u0131na d\u00fc\u015ft\u00fc\u011f\u00fcnde sayfa d\u00fczenini otomatik olarak ayarlayarak mobil cihazlarda daha iyi bir okuma deneyimi sunar. Kod bloklar\u0131n\u0131n yatay kayd\u0131rma \u00e7ubuklar\u0131 yerine metni sarmalamas\u0131, mobil uyumluluk i\u00e7in kritik bir detayd\u0131r.<\/p>\n<h2 id=\"sonuc-gelecegin-yapay-zeka-cikarim-cozumleri\">Sonu\u00e7: Gelece\u011fin Yapay Zeka \u00c7\u0131kar\u0131m \u00c7\u00f6z\u00fcmleri<\/h2>\n<p>Bu makale boyunca, gpt-oss 120B gibi devasa bir B\u00fcy\u00fck Dil Modelini, AMD Instinct MI300X GPU’nun sa\u011flad\u0131\u011f\u0131 \u00fcst\u00fcn donan\u0131m g\u00fcc\u00fcyle ve vLLM’in yenilik\u00e7i \u00e7\u0131kar\u0131m optimizasyonlar\u0131yla nas\u0131l verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilece\u011fimizi detayl\u0131 bir \u015fekilde inceledik. G\u00f6rd\u00fc\u011f\u00fcm\u00fcz gibi, bu \u00fc\u00e7l\u00fc kombinasyon, yapay zeka \u00e7\u0131kar\u0131m uygulamalar\u0131nda kar\u015f\u0131la\u015f\u0131lan performans ve maliyet zorluklar\u0131na kar\u015f\u0131 g\u00fc\u00e7l\u00fc bir \u00e7\u00f6z\u00fcm sunmaktad\u0131r. AMD’nin MI300X gibi yeni nesil GPU’lar\u0131, \u00f6zellikle y\u00fcksek bellek kapasiteleri ve optimize edilmi\u015f AI \u00e7ekirdekleriyle, NVIDIA’ya g\u00fc\u00e7l\u00fc bir alternatif olarak ortaya \u00e7\u0131kmaktad\u0131r. ROCm ekosistemi sayesinde, geli\u015ftiriciler PyTorch gibi pop\u00fcler \u00e7er\u00e7evelerle sorunsuz bir \u015fekilde \u00e7al\u0131\u015fabilir ve AMD donan\u0131m\u0131n\u0131n t\u00fcm potansiyelini kullanabilirler. Di\u011fer yandan, vLLM, PageAttention ve dinamik batching gibi ak\u0131ll\u0131 algoritmalar\u0131yla, model \u00e7\u0131kar\u0131m\u0131nda verimi ve h\u0131z\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rarak, gpt-oss 120B gibi modellerin ger\u00e7ek zamanl\u0131 uygulamalarda kullan\u0131labilirli\u011fini sa\u011flamaktad\u0131r.<\/p>\n<p>Kurulum ad\u0131mlar\u0131ndan, model y\u00fcklemeye, \u00f6rnek \u00e7\u0131kar\u0131m isteklerinden, vaka analizlerine ve ileri d\u00fczey optimizasyon ipu\u00e7lar\u0131na kadar her a\u015famay\u0131 ele alarak, okuyucular\u0131m\u0131za bu teknolojileri kendi projelerinde nas\u0131l uygulayacaklar\u0131na dair kapsaml\u0131 bir rehber sunmay\u0131 ama\u00e7lad\u0131k. Bir e-ticaret devinin m\u00fc\u015fteri destek asistan\u0131 senaryosu, MI300X ve vLLM’in pratik d\u00fcnyadaki de\u011ferini somutla\u015ft\u0131rm\u0131\u015ft\u0131r. Y\u00fcksek e\u015fzamanl\u0131 istekleri d\u00fc\u015f\u00fck gecikmeyle i\u015fleme yetene\u011fi, i\u015fletmelerin m\u00fc\u015fteri deneyimini iyile\u015ftirmesine ve operasyonel verimlili\u011fi art\u0131rmas\u0131na olanak tan\u0131r.<\/p>\n<p>Gelece\u011fe bakt\u0131\u011f\u0131m\u0131zda, AMD’nin yapay zeka pazar\u0131ndaki y\u00fckseli\u015fi ve vLLM gibi a\u00e7\u0131k kaynakl\u0131 \u00e7\u0131kar\u0131m motorlar\u0131n\u0131n s\u00fcrekli geli\u015fimi, B\u00fcy\u00fck Dil Modellerini daha eri\u015filebilir, daha performansl\u0131 ve daha maliyet etkin hale getirecektir. Bu teknolojilerin birle\u015fimi, sadece b\u00fcy\u00fck \u015firketler i\u00e7in de\u011fil, ayn\u0131 zamanda k\u00fc\u00e7\u00fck ve orta \u00f6l\u00e7ekli i\u015fletmeler ile bireysel geli\u015ftiriciler i\u00e7in de yeni kap\u0131lar a\u00e7maktad\u0131r. Yapay zekan\u0131n g\u00fcc\u00fcn\u00fc demokratikle\u015ftirme yolunda at\u0131lan bu ad\u0131mlar, gelece\u011fin ak\u0131ll\u0131 uygulamalar\u0131n\u0131n temelini olu\u015fturacakt\u0131r. Unutmay\u0131n ki, yapay zeka d\u00fcnyas\u0131 s\u00fcrekli evrim ge\u00e7irmekte, bu nedenle en g\u00fcncel bilgiler ve en iyi uygulamalar i\u00e7in ilgili topluluklar\u0131 ve dok\u00fcmantasyonlar\u0131 takip etmek her zaman faydal\u0131d\u0131r.<\/p>\n<h3>S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n<h4 id=\"gpt-oss-120b-nedir-ve-neden-tercih-edilir\">gpt-oss 120B nedir ve neden tercih edilir?<\/h4>\n<p>gpt-oss 120B, a\u00e7\u0131k kaynak toplulu\u011fu taraf\u0131ndan geli\u015ftirilen 120 milyar parametreli bir B\u00fcy\u00fck Dil Modelidir. Geli\u015fmi\u015f dil anlama ve \u00fcretme yetenekleri sunar. A\u00e7\u0131k kaynak olmas\u0131, \u015feffafl\u0131k, topluluk deste\u011fi ve \u00f6zelle\u015ftirme esnekli\u011fi sa\u011flamas\u0131 nedeniyle tercih edilir. Bir\u00e7ok ticari modele rakip olabilecek yeteneklere sahiptir.<\/p>\n<h4 id=\"vllm-kullanmak-neden-onemlidir\">vLLM kullanmak neden \u00f6nemlidir?<\/h4>\n<p>vLLM, B\u00fcy\u00fck Dil Modellerinin \u00e7\u0131kar\u0131m performans\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131ran bir k\u00fct\u00fcphanedir. \u00d6zellikle “PageAttention” algoritmas\u0131 sayesinde KV \u00f6nbelle\u011fini verimli y\u00f6netir, dinamik batching ile e\u015fzamanl\u0131 istekleri optimize eder. Bu sayede, daha y\u00fcksek verim ve daha d\u00fc\u015f\u00fck gecikme s\u00fcreleri sunarak BDM’lerin ger\u00e7ek zamanl\u0131 uygulamalarda kullan\u0131labilirli\u011fini art\u0131r\u0131r.<\/p>\n<h4 id=\"amd-instinct-mi300x-gpu-nun-avantajlari-nelerdir\">AMD Instinct MI300X GPU’nun avantajlar\u0131 nelerdir?<\/h4>\n<p>AMD Instinct MI300X, yapay zeka ve HPC i\u015f y\u00fckleri i\u00e7in tasarlanm\u0131\u015f yeni nesil bir GPU’dur. En b\u00fcy\u00fck avantajlar\u0131 aras\u0131nda 192 GB’a kadar y\u00fcksek HBM3 bellek kapasitesi, y\u00fcksek bellek bant geni\u015fli\u011fi ve bfloat16 i\u015flemleri i\u00e7in optimize edilmi\u015f \u00e7ekirdekler bulunur. Bu \u00f6zellikler, gpt-oss 120B gibi b\u00fcy\u00fck modellerin tek bir GPU’ya s\u0131\u011fd\u0131r\u0131lmas\u0131n\u0131 ve h\u0131zl\u0131 bir \u015fekilde i\u015flenmesini sa\u011flar, ayr\u0131ca maliyet etkin bir alternatif sunar.<\/p>\n<h4 id=\"rocm-nedir-ve-neden-gereklidir\">ROCm nedir ve neden gereklidir?<\/h4>\n<p>ROCm (Radeon Open Compute), AMD GPU’lar\u0131 i\u00e7in a\u00e7\u0131k kaynakl\u0131 bir yaz\u0131l\u0131m y\u0131\u011f\u0131n\u0131d\u0131r. PyTorch gibi makine \u00f6\u011frenimi \u00e7er\u00e7evelerinin AMD GPU’larla ileti\u015fim kurmas\u0131n\u0131 sa\u011flar. MI300X gibi AMD donan\u0131m\u0131n\u0131n t\u00fcm potansiyelini kullanmak, s\u00fcr\u00fcc\u00fcleri, k\u00fct\u00fcphaneleri ve geli\u015ftirme ara\u00e7lar\u0131n\u0131 i\u00e7eren ROCm platformunun do\u011fru \u015fekilde kurulmas\u0131n\u0131 gerektirir.<\/p>\n<h4 id=\"nicemleme-quantization-performansi-nasil-etkiler\">Nicemleme (Quantization) performans\u0131 nas\u0131l etkiler?<\/h4>\n<p>Nicemleme, model a\u011f\u0131rl\u0131klar\u0131n\u0131 ve aktivasyonlar\u0131n\u0131 daha d\u00fc\u015f\u00fck hassasiyetli veri tiplerine (\u00f6rn. bfloat16, INT8, INT4) d\u00f6n\u00fc\u015ft\u00fcrerek bellek kullan\u0131m\u0131n\u0131 azalt\u0131r ve \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 art\u0131r\u0131r. Bu, \u00f6zellikle b\u00fcy\u00fck modeller i\u00e7in GPU belle\u011finde daha fazla yer a\u00e7ar ve daha h\u0131zl\u0131 hesaplamalara olanak tan\u0131r. Genellikle modelin do\u011frulu\u011funda minimal bir d\u00fc\u015f\u00fc\u015fe neden olabilir, bu nedenle do\u011fru dengeyi bulmak \u00f6nemlidir.<\/p>\n<p><\/body><\/p>\n","protected":false},"excerpt":{"rendered":"AMD MI300X ile gpt-oss 120B ve vLLM Kurulum Rehberi B\u00fcy\u00fck Dil Modelleri (BDM) d\u00fcnyas\u0131nda, devasa parametre say\u0131lar\u0131 ve…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-34253","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n<title>Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?<\/title>\n<meta name=\"description\" content=\"B\u00fcy\u00fck Dil Modelleri (BDM) d\u00fcnyas\u0131nda, devasa parametre say\u0131lar\u0131 ve artan hesaplama gereksinimleri, performans optimizasyonunu kritik hale getiriyor. Peki, a\u00e7\u0131k kaynakl\u0131 bir dev olan gpt-oss 120B modelini, vLLM gibi yenilik\u00e7i bir \u00e7\u0131kar\u0131m motoruyla, AMD Instinct MI300X GPU'nun sundu\u011fu g\u00fc\u00e7l\u00fc donan\u0131m \u00fczerinde nas\u0131l verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilirsiniz?\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/\" \/>\n<meta property=\"og:locale\" content=\"tr_TR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?\" \/>\n<meta property=\"og:description\" content=\"B\u00fcy\u00fck Dil Modelleri (BDM) d\u00fcnyas\u0131nda, devasa parametre say\u0131lar\u0131 ve artan hesaplama gereksinimleri, performans optimizasyonunu kritik hale getiriyor. Peki, a\u00e7\u0131k kaynakl\u0131 bir dev olan gpt-oss 120B modelini, vLLM gibi yenilik\u00e7i bir \u00e7\u0131kar\u0131m motoruyla, AMD Instinct MI300X GPU'nun sundu\u011fu g\u00fc\u00e7l\u00fc donan\u0131m \u00fczerinde nas\u0131l verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilirsiniz?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/\" \/>\n<meta property=\"og:site_name\" content=\"Kodlar\u0131n Gizemli D\u00fcnyas\u0131\" \/>\n<meta property=\"article:published_time\" content=\"2025-11-13T21:25:21+00:00\" \/>\n<meta name=\"author\" content=\"Fatih Soysal\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Yazan:\" \/>\n\t<meta name=\"twitter:data1\" content=\"Fatih Soysal\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tahmini okuma s\u00fcresi\" \/>\n\t<meta name=\"twitter:data2\" content=\"28 dakika\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/\"},\"author\":{\"name\":\"Fatih Soysal\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\"},\"headline\":\"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?\",\"datePublished\":\"2025-11-13T21:25:21+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/\"},\"wordCount\":5059,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\"},\"inLanguage\":\"tr\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/#respond\"]}],\"copyrightYear\":\"2025\",\"copyrightHolder\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/\",\"name\":\"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?\",\"isPartOf\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#website\"},\"datePublished\":\"2025-11-13T21:25:21+00:00\",\"description\":\"B\u00fcy\u00fck Dil Modelleri (BDM) d\u00fcnyas\u0131nda, devasa parametre say\u0131lar\u0131 ve artan hesaplama gereksinimleri, performans optimizasyonunu kritik hale getiriyor. Peki, a\u00e7\u0131k kaynakl\u0131 bir dev olan gpt-oss 120B modelini, vLLM gibi yenilik\u00e7i bir \u00e7\u0131kar\u0131m motoruyla, AMD Instinct MI300X GPU'nun sundu\u011fu g\u00fc\u00e7l\u00fc donan\u0131m \u00fczerinde nas\u0131l verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilirsiniz?\",\"breadcrumb\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/#breadcrumb\"},\"inLanguage\":\"tr\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Anasayfa\",\"item\":\"https:\/\/fatihsoysal.com\/blog\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#website\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/\",\"name\":\"Fatihsoysal.com\",\"description\":\"Blog - Yaz\u0131l\u0131m D\u00fcnyas\u0131 Tecr\u00fcbelerim\",\"publisher\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/fatihsoysal.com\/blog\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"tr\"},{\"@type\":[\"Person\",\"Organization\"],\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\",\"name\":\"Fatih Soysal\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"tr\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png\",\"contentUrl\":\"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png\",\"width\":512,\"height\":512,\"caption\":\"Fatih Soysal\"},\"logo\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/\"},\"description\":\"Kullan\u0131m ve kodlama m\u00fckemmeliyetini odak alan uygulamalar olu\u015fturma deneyimine sahip, profesyonel olarak 15+ y\u0131l \u00fczeri deneyime sahip bir yaz\u0131l\u0131m m\u00fchendisi.\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/author\/fatihsoysal\/\"}]}<\/script>\n","yoast_head_json":{"title":"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?","description":"B\u00fcy\u00fck Dil Modelleri (BDM) d\u00fcnyas\u0131nda, devasa parametre say\u0131lar\u0131 ve artan hesaplama gereksinimleri, performans optimizasyonunu kritik hale getiriyor. Peki, a\u00e7\u0131k kaynakl\u0131 bir dev olan gpt-oss 120B modelini, vLLM gibi yenilik\u00e7i bir \u00e7\u0131kar\u0131m motoruyla, AMD Instinct MI300X GPU'nun sundu\u011fu g\u00fc\u00e7l\u00fc donan\u0131m \u00fczerinde nas\u0131l verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilirsiniz?","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/","og_locale":"tr_TR","og_type":"article","og_title":"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?","og_description":"B\u00fcy\u00fck Dil Modelleri (BDM) d\u00fcnyas\u0131nda, devasa parametre say\u0131lar\u0131 ve artan hesaplama gereksinimleri, performans optimizasyonunu kritik hale getiriyor. Peki, a\u00e7\u0131k kaynakl\u0131 bir dev olan gpt-oss 120B modelini, vLLM gibi yenilik\u00e7i bir \u00e7\u0131kar\u0131m motoruyla, AMD Instinct MI300X GPU'nun sundu\u011fu g\u00fc\u00e7l\u00fc donan\u0131m \u00fczerinde nas\u0131l verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilirsiniz?","og_url":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/","og_site_name":"Kodlar\u0131n Gizemli D\u00fcnyas\u0131","article_published_time":"2025-11-13T21:25:21+00:00","author":"Fatih Soysal","twitter_card":"summary_large_image","twitter_misc":{"Yazan:":"Fatih Soysal","Tahmini okuma s\u00fcresi":"28 dakika"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/#article","isPartOf":{"@id":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/"},"author":{"name":"Fatih Soysal","@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1"},"headline":"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?","datePublished":"2025-11-13T21:25:21+00:00","mainEntityOfPage":{"@id":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/"},"wordCount":5059,"commentCount":0,"publisher":{"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1"},"inLanguage":"tr","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/#respond"]}],"copyrightYear":"2025","copyrightHolder":{"@id":"https:\/\/fatihsoysal.com\/blog\/#organization"}},{"@type":"WebPage","@id":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/","url":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/","name":"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?","isPartOf":{"@id":"https:\/\/fatihsoysal.com\/blog\/#website"},"datePublished":"2025-11-13T21:25:21+00:00","description":"B\u00fcy\u00fck Dil Modelleri (BDM) d\u00fcnyas\u0131nda, devasa parametre say\u0131lar\u0131 ve artan hesaplama gereksinimleri, performans optimizasyonunu kritik hale getiriyor. Peki, a\u00e7\u0131k kaynakl\u0131 bir dev olan gpt-oss 120B modelini, vLLM gibi yenilik\u00e7i bir \u00e7\u0131kar\u0131m motoruyla, AMD Instinct MI300X GPU'nun sundu\u011fu g\u00fc\u00e7l\u00fc donan\u0131m \u00fczerinde nas\u0131l verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilirsiniz?","breadcrumb":{"@id":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/#breadcrumb"},"inLanguage":"tr","potentialAction":[{"@type":"ReadAction","target":["https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Anasayfa","item":"https:\/\/fatihsoysal.com\/blog\/"},{"@type":"ListItem","position":2,"name":"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?"}]},{"@type":"WebSite","@id":"https:\/\/fatihsoysal.com\/blog\/#website","url":"https:\/\/fatihsoysal.com\/blog\/","name":"Fatihsoysal.com","description":"Blog - Yaz\u0131l\u0131m D\u00fcnyas\u0131 Tecr\u00fcbelerim","publisher":{"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/fatihsoysal.com\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"tr"},{"@type":["Person","Organization"],"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1","name":"Fatih Soysal","image":{"@type":"ImageObject","inLanguage":"tr","@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/","url":"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png","contentUrl":"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png","width":512,"height":512,"caption":"Fatih Soysal"},"logo":{"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/"},"description":"Kullan\u0131m ve kodlama m\u00fckemmeliyetini odak alan uygulamalar olu\u015fturma deneyimine sahip, profesyonel olarak 15+ y\u0131l \u00fczeri deneyime sahip bir yaz\u0131l\u0131m m\u00fchendisi.","url":"https:\/\/fatihsoysal.com\/blog\/author\/fatihsoysal\/"}]}},"yoast_meta":{"yoast_wpseo_title":"","yoast_wpseo_metadesc":"","yoast_wpseo_canonical":""},"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/posts\/34253","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/comments?post=34253"}],"version-history":[{"count":0,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/posts\/34253\/revisions"}],"wp:attachment":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/media?parent=34253"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/categories?post=34253"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/tags?post=34253"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}

{"id":34253,"date":"2025-11-14T00:25:21","date_gmt":"2025-11-13T21:25:21","guid":{"rendered":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/"},"modified":"2025-11-14T00:25:21","modified_gmt":"2025-11-13T21:25:21","slug":"giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar","status":"publish","type":"post","link":"https:\/\/fatihsoysal.com\/blog\/giris-buyuk-dil-modelleri-neden-hizlandirmaya-ihtiyac-duyar\/","title":{"rendered":"Giri\u015f: B\u00fcy\u00fck Dil Modelleri Neden H\u0131zland\u0131rmaya \u0130htiya\u00e7 Duyar?"},"content":{"rendered":"