AMD MI300X ile vLLM \u00dczerinde GPT-OSS 120B \u00c7al\u0131\u015ft\u0131rma<\/title><br \/>\n<body><\/p>\n<p>B\u00fcy\u00fck Dil Modelleri (LLM’ler) g\u00fcn\u00fcm\u00fcz yapay zeka d\u00fcnyas\u0131n\u0131n en heyecan verici ve d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc teknolojilerinden biri. Ancak bu devasa modelleri verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle de uygun maliyetle y\u00fcksek performans elde etmek ciddi bir meydan okuma. Peki, a\u00e7\u0131k kaynakl\u0131 bir model olan GPT-OSS 120B’yi, vLLM k\u00fct\u00fcphanesinin sundu\u011fu optimizasyonlarla, AMD’nin g\u00fc\u00e7l\u00fc Instinct MI300X GPU’sunda nas\u0131l hayata ge\u00e7irebiliriz?<\/p>\n<h2>B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?<\/h2>\n<p>Yapay zeka modellerinin b\u00fcy\u00fckl\u00fc\u011f\u00fc ve karma\u015f\u0131kl\u0131\u011f\u0131 her ge\u00e7en g\u00fcn art\u0131yor. \u00d6zellikle GPT-OSS 120B gibi 120 milyar parametreli bir model, tek bir istemciye bile hizmet verirken muazzam i\u015flem g\u00fcc\u00fc ve bellek gerektirir. Bu durum, modelin \u00e7\u0131kar\u0131m (inference) maliyetlerini ve gecikme s\u00fcrelerini do\u011frudan etkiler. E\u011fer bir uygulama bu modelleri ger\u00e7ek zamanl\u0131 olarak kullanacaksa, milisaniyeler bile kritik \u00f6nem ta\u015f\u0131yabilir. D\u00fc\u015f\u00fck gecikme (latency) ve y\u00fcksek verim (throughput) elde etmek, kullan\u0131c\u0131 deneyimini iyile\u015ftirirken, ayn\u0131 zamanda operasyonel maliyetleri de d\u00fc\u015f\u00fcrmenin anahtar\u0131d\u0131r. Bu noktada, do\u011fru donan\u0131m se\u00e7imi ve yaz\u0131l\u0131m optimizasyonlar\u0131 devreye girer. Geleneksel yakla\u015f\u0131mlar genellikle yetersiz kal\u0131rken, vLLM gibi yenilik\u00e7i k\u00fct\u00fcphaneler ve AMD Instinct MI300X gibi y\u00fcksek performansl\u0131 GPU’lar, bu zorluklar\u0131n \u00fcstesinden gelmek i\u00e7in g\u00fc\u00e7l\u00fc bir kombinasyon sunar. Bu makalede, bu g\u00fc\u00e7l\u00fc \u00fc\u00e7l\u00fcy\u00fc bir araya getirerek, b\u00fcy\u00fck dil modellerini nas\u0131l daha eri\u015filebilir ve verimli hale getirebilece\u011fimizi ad\u0131m ad\u0131m inceleyece\u011fiz. Amac\u0131m\u0131z, hem performans\u0131 maksimize etmek hem de maliyetleri optimize ederek s\u00fcrd\u00fcr\u00fclebilir bir yapay zek\u00e2 altyap\u0131s\u0131 kurmakt\u0131r. Yapay zek\u00e2 projelerinizde kar\u015f\u0131la\u015ft\u0131\u011f\u0131n\u0131z bu t\u00fcr performans darbo\u011fazlar\u0131n\u0131 a\u015fmak i\u00e7in pratik ve uygulanabilir \u00e7\u00f6z\u00fcmler sunaca\u011f\u0131z.<\/p>\n<h2>Temel Ta\u015flar: GPT-OSS 120B, vLLM ve AMD Instinct MI300X Nedir?<\/h2>\n<p>Bu makalede ele alaca\u011f\u0131m\u0131z teknolojilerin her biri, kendi alan\u0131nda \u00f6nemli yenilikler sunuyor. Bir araya geldiklerinde ise b\u00fcy\u00fck dil modellerini \u00e7al\u0131\u015ft\u0131rma \u015feklimizi d\u00f6n\u00fc\u015ft\u00fcrme potansiyeline sahipler. \u015eimdi, bu temel bile\u015fenlerin her birini daha yak\u0131ndan tan\u0131yal\u0131m ve neden bu kadar \u00f6nemli olduklar\u0131n\u0131 anlayal\u0131m.<\/p>\n<h3>GPT-OSS 120B: A\u00e7\u0131k Kaynak Devrimi ve B\u00fcy\u00fck Dil Modelleri<\/h3>\n<p>GPT-OSS 120B, ad\u0131ndan da anla\u015f\u0131laca\u011f\u0131 gibi, 120 milyar parametreye sahip, a\u00e7\u0131k kaynakl\u0131 bir B\u00fcy\u00fck Dil Modeli (LLM) projesidir. A\u00e7\u0131k kaynakl\u0131 modeller, yapay zeka toplulu\u011fu i\u00e7in paha bi\u00e7ilmez bir de\u011fer ta\u015f\u0131r. Geli\u015ftiricilerin modelin i\u00e7 i\u015fleyi\u015fini anlamas\u0131na, \u00f6zelle\u015ftirmesine ve kendi uygulamalar\u0131na entegre etmesine olanak tan\u0131r. Bu durum, kapal\u0131 kaynakl\u0131 modellere k\u0131yasla daha fazla esneklik ve \u015feffafl\u0131k sunar. GPT-OSS 120B gibi b\u00fcy\u00fck modeller, metin \u00fcretimi, \u00f6zetleme, \u00e7eviri, soru yan\u0131tlama ve hatta kod yazma gibi geni\u015f bir yelpazede g\u00f6revleri ba\u015far\u0131yla yerine getirebilir. Ancak bu kadar b\u00fcy\u00fck bir modelin \u00e7\u0131kar\u0131m\u0131n\u0131 yapmak, \u00f6zellikle s\u0131n\u0131rl\u0131 kaynaklara sahip ortamlar i\u00e7in ciddi bir performans ve bellek y\u00fck\u00fc olu\u015fturur. Modelin t\u00fcm parametrelerini bellekte tutmak ve hesaplamalar\u0131 h\u0131zl\u0131 bir \u015fekilde ger\u00e7ekle\u015ftirmek, standart donan\u0131mlar i\u00e7in neredeyse imkans\u0131zd\u0131r. Bu nedenle, GPT-OSS 120B’nin potansiyelini tam olarak ortaya \u00e7\u0131karabilmek i\u00e7in \u00f6zel optimizasyonlara ve g\u00fc\u00e7l\u00fc donan\u0131ma ihtiya\u00e7 duyar\u0131z. A\u00e7\u0131k kaynak olmas\u0131n\u0131n getirdi\u011fi avantajlar aras\u0131nda, topluluk deste\u011fi ve s\u00fcrekli geli\u015ftirme de yer al\u0131r, bu da modelin zamanla daha da iyile\u015fmesini sa\u011flar.<\/p>\n<h3>vLLM: LLM Inference’\u0131 Nas\u0131l H\u0131zland\u0131r\u0131r?<\/h3>\n<p>vLLM, B\u00fcy\u00fck Dil Modellerinin \u00e7\u0131kar\u0131m (inference) performans\u0131n\u0131 dramatik bir \u015fekilde art\u0131rmak i\u00e7in tasarlanm\u0131\u015f, y\u00fcksek performansl\u0131 bir \u00e7\u0131kar\u0131m motorudur. Geleneksel LLM \u00e7\u0131kar\u0131m y\u00f6ntemleri, \u00f6zellikle birden fazla iste\u011fi ayn\u0131 anda i\u015flerken ciddi verimsizliklere sahiptir. vLLM, bu darbo\u011fazlar\u0131 a\u015fmak i\u00e7in iki anahtar teknoloji kullan\u0131r: PagedAttention ve Continuous Batching.<\/p>\n<ul>\n<li><strong>PagedAttention:<\/strong> Bu mekanizma, i\u015fletim sistemlerindeki sanal bellek y\u00f6netiminden esinlenilmi\u015ftir. LLM’lerin dikkat (attention) anahtarlar\u0131n\u0131 ve de\u011ferlerini (KV \u00f6nbelle\u011fi) bellekte verimli bir \u015fekilde y\u00f6netir. Geleneksel y\u00f6ntemlerde, her iste\u011fin KV \u00f6nbelle\u011fi i\u00e7in \u00f6nceden belirli bir bellek alan\u0131 ayr\u0131l\u0131r, bu da \u00e7o\u011fu zaman belle\u011fin bo\u015fa harcanmas\u0131na neden olur. PagedAttention, KV \u00f6nbelle\u011fini daha k\u00fc\u00e7\u00fck “sayfalara” b\u00f6ler ve bu sayfalar\u0131 ihtiya\u00e7 duyulduk\u00e7a dinamik olarak atar. Bu sayede, bellek kullan\u0131m\u0131 optimize edilir ve daha fazla iste\u011fin ayn\u0131 anda i\u015flenmesi m\u00fcmk\u00fcn hale gelir.<\/li>\n<li><strong>Continuous Batching (S\u00fcrekli Gruplama):<\/strong> Geleneksel toplu i\u015fleme (batching) y\u00f6ntemlerinde, t\u00fcm isteklerin tamamlanmas\u0131 beklenir ve ard\u0131ndan yeni bir toplu i\u015fleme ba\u015flat\u0131l\u0131r. Bu durum, \u00f6zellikle de\u011fi\u015fken uzunlukta istekler oldu\u011funda GPU’nun bo\u015fta kalmas\u0131na neden olur. Continuous Batching ise, yeni istekleri an\u0131nda i\u015fleme kuyru\u011funa ekleyerek ve tamamlanan istekleri \u00e7\u0131kararak GPU’nun s\u00fcrekli me\u015fgul kalmas\u0131n\u0131 sa\u011flar. Bu dinamik yakla\u015f\u0131m, GPU kullan\u0131m\u0131n\u0131 maksimize eder ve genel verimi \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r.<\/li>\n<\/ul>\n<p>Bu optimizasyonlar sayesinde vLLM, di\u011fer \u00e7\u0131kar\u0131m motorlar\u0131na k\u0131yasla genellikle 2-4 kat daha y\u00fcksek verim sunar. Bu da, ayn\u0131 donan\u0131m \u00fczerinde \u00e7ok daha fazla kullan\u0131c\u0131ya hizmet verebilece\u011finiz veya ayn\u0131 verim i\u00e7in daha az donan\u0131ma ihtiya\u00e7 duyaca\u011f\u0131n\u0131z anlam\u0131na gelir.<\/p>\n<h3>AMD Instinct MI300X: Yapay Zeka G\u00fcc\u00fcn\u00fc Ke\u015ffetmek<\/h3>\n<p>AMD Instinct MI300X, yapay zeka ve y\u00fcksek performansl\u0131 bilgi i\u015flem (HPC) i\u015f y\u00fckleri i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015f g\u00fc\u00e7l\u00fc bir GPU’dur. NVIDIA’n\u0131n H100 gibi amiral gemisi modellerine rakip olarak geli\u015ftirilen MI300X, \u00f6zellikle b\u00fcy\u00fck dil modelleri i\u00e7in etkileyici yetenekler sunar. Temel \u00f6zellikleri \u015funlard\u0131r:<\/p>\n<ul>\n<li><strong>Y\u00fcksek Bellek Bant Geni\u015fli\u011fi ve Kapasitesi:<\/strong> MI300X, 192 GB’a kadar HBM3 (High Bandwidth Memory) ile gelir ve 5.3 TB\/s gibi inan\u0131lmaz bir bellek bant geni\u015fli\u011fi sunar. Bu, GPT-OSS 120B gibi devasa modellerin parametrelerini ve KV \u00f6nbelle\u011fini bellekte tutmak i\u00e7in kritik \u00f6neme sahiptir. Y\u00fcksek bant geni\u015fli\u011fi, model a\u011f\u0131rl\u0131klar\u0131n\u0131n ve verilerin GPU \u00e7ekirdeklerine \u00e7ok h\u0131zl\u0131 bir \u015fekilde aktar\u0131lmas\u0131n\u0131 sa\u011flar, bu da \u00e7\u0131kar\u0131m s\u00fcresini k\u0131salt\u0131r.<\/li>\n<li><strong>Geli\u015fmi\u015f Hesaplama Birimleri:<\/strong> AMD’nin CDNA 3 mimarisi \u00fczerine kurulu olan MI300X, yapay zeka ve matris \u00e7arp\u0131m i\u015flemleri i\u00e7in optimize edilmi\u015f g\u00fc\u00e7l\u00fc hesaplama birimlerine sahiptir. Bu birimler, LLM’lerin karma\u015f\u0131k matematiksel i\u015flemlerini verimli bir \u015fekilde ger\u00e7ekle\u015ftirir.<\/li>\n<li><strong>ROCm Ekosistemi:<\/strong> AMD’nin a\u00e7\u0131k kaynakl\u0131 ROCm (Radeon Open Compute) yaz\u0131l\u0131m platformu, geli\u015ftiricilere NVIDIA’n\u0131n CUDA’s\u0131na benzer bir deneyim sunar. ROCm, PyTorch ve TensorFlow gibi pop\u00fcler yapay zeka \u00e7er\u00e7evelerini destekler ve geli\u015ftiricilerin AMD GPU’lar\u0131n\u0131n t\u00fcm g\u00fcc\u00fcnden yararlanmas\u0131n\u0131 sa\u011flar. vLLM gibi k\u00fct\u00fcphaneler de ROCm ile uyumlu hale getirilerek MI300X \u00fczerinde sorunsuz bir \u015fekilde \u00e7al\u0131\u015fabilir.<\/li>\n<\/ul>\n<p>MI300X, \u00f6zellikle bellek yo\u011fun LLM i\u015f y\u00fcklerinde, b\u00fcy\u00fck bellek kapasitesi ve bant geni\u015fli\u011fi sayesinde \u00f6ne \u00e7\u0131kar. Bu, onu GPT-OSS 120B gibi modelleri \u00e7al\u0131\u015ft\u0131rmak i\u00e7in ideal bir se\u00e7enek haline getirir, \u00e7\u00fcnk\u00fc modelin tamam\u0131n\u0131n belle\u011fe s\u0131\u011fd\u0131r\u0131lmas\u0131 ve h\u0131zl\u0131 bir \u015fekilde eri\u015filmesi performans\u0131 do\u011frudan etkileyen fakt\u00f6rlerdir. Bu g\u00fc\u00e7l\u00fc donan\u0131m, vLLM’in yaz\u0131l\u0131msal optimizasyonlar\u0131yla birle\u015fti\u011finde, LLM \u00e7\u0131kar\u0131m\u0131nda \u00e7\u0131\u011f\u0131r a\u00e7an sonu\u00e7lar elde etmemizi sa\u011flar.<\/p>\n<h2>Haz\u0131rl\u0131k A\u015famas\u0131: MI300X Droplet Ortam\u0131n\u0131 Kurma<\/h2>\n<p>Y\u00fcksek performansl\u0131 bir yapay zeka i\u015f y\u00fck\u00fc i\u00e7in donan\u0131m kadar, do\u011fru yaz\u0131l\u0131m ortam\u0131n\u0131n haz\u0131rlanmas\u0131 da hayati \u00f6nem ta\u015f\u0131r. AMD Instinct MI300X GPU’suna sahip bir bulut dropletini kurmak ve temel yaz\u0131l\u0131mlar\u0131 y\u00fcklemek, ba\u015far\u0131l\u0131 bir ba\u015flang\u0131\u00e7 i\u00e7in at\u0131lmas\u0131 gereken ilk ad\u0131md\u0131r. Bu b\u00f6l\u00fcmde, ad\u0131m ad\u0131m bir MI300X dropletini nas\u0131l haz\u0131rlayaca\u011f\u0131m\u0131z\u0131 ve ROCm s\u00fcr\u00fcc\u00fclerini nas\u0131l kuraca\u011f\u0131m\u0131z\u0131 inceleyece\u011fiz.<\/p>\n<h3>Bulut Sa\u011flay\u0131c\u0131s\u0131ndan MI300X Droplet Temini<\/h3>\n<p>\u00d6ncelikle, AMD Instinct MI300X GPU’su sunan bir bulut sa\u011flay\u0131c\u0131s\u0131ndan (\u00f6rne\u011fin, belirli \u00f6zel bulut hizmetleri veya b\u00fcy\u00fck bulut sa\u011flay\u0131c\u0131lar\u0131n\u0131n \u00f6zel b\u00f6lgeleri) bir droplet veya sanal makine kiralamam\u0131z gerekecek. Bu a\u015famada, genellikle Ubuntu Server gibi Linux tabanl\u0131 bir i\u015fletim sistemi se\u00e7mek en yayg\u0131n ve \u00f6nerilen yakla\u015f\u0131md\u0131r. Dropletinizi olu\u015ftururken, yeterli CPU \u00e7ekirde\u011fi ve RAM kapasitesine sahip oldu\u011fundan emin olun, zira LLM \u00e7\u0131kar\u0131m\u0131 sadece GPU’yu de\u011fil, t\u00fcm sistemi zorlayabilir. Genellikle, en az 8 CPU \u00e7ekirde\u011fi ve 64 GB RAM, 192 GB GPU belle\u011fine sahip bir sistem i\u00e7in iyi bir ba\u015flang\u0131\u00e7 noktas\u0131d\u0131r.<\/p>\n<h3>ROCm S\u00fcr\u00fcc\u00fclerinin Kurulumu<\/h3>\n<p>AMD GPU’lar\u0131n\u0131 yapay zeka i\u015f y\u00fckleri i\u00e7in kullanabilmek i\u00e7in ROCm (Radeon Open Compute) platformunun do\u011fru \u015fekilde kurulmas\u0131 \u015fartt\u0131r. ROCm, NVIDIA’n\u0131n CUDA’s\u0131na benzer \u015fekilde, GPU’nun donan\u0131m yeteneklerini yaz\u0131l\u0131m katman\u0131na ta\u015f\u0131yan bir dizi k\u00fct\u00fcphane ve ara\u00e7tan olu\u015fur. Kurulum ad\u0131mlar\u0131 genellikle \u015funlar\u0131 i\u00e7erir:<\/p>\n<ol>\n<li><strong>Sistem G\u00fcncellemesi:<\/strong> Herhangi bir kuruluma ba\u015flamadan \u00f6nce sistem paketlerini g\u00fcncelleyin:\n<pre><code>\nsudo apt update\nsudo apt upgrade -y\n <\/code><\/pre>\n<\/li>\n<li><strong>ROCm Deposu Ekleme:<\/strong> AMD’nin resmi ROCm deposunu sisteminize ekleyin. Bu ad\u0131mlar, ROCm s\u00fcr\u00fcm\u00fcne ve i\u015fletim sisteminize g\u00f6re de\u011fi\u015fiklik g\u00f6sterebilir, bu nedenle AMD’nin resmi belgelerini kontrol etmek en do\u011frusudur. Ancak genel bir \u00f6rnek \u015fu \u015fekildedir:\n<pre><code>\nwget -q -O - https:\/\/repo.radeon.com\/rocm\/rocm.gpg.key | sudo apt-key add -\necho 'deb [arch=amd64] https:\/\/repo.radeon.com\/rocm\/apt\/5.7.1\/ ubuntu\/' | sudo tee \/etc\/apt\/sources.list.d\/rocm.list\nsudo apt update\n <\/code><\/pre>\n<div class=\"expert-tip\">\n Uzman \u0130pucu: ROCm s\u00fcr\u00fcm numaras\u0131n\u0131 (\u00f6rne\u011fin 5.7.1) her zaman en g\u00fcncel ve kararl\u0131 s\u00fcr\u00fcmle de\u011fi\u015ftirin. AMD’nin resmi dok\u00fcmantasyonu bu konuda size en do\u011fru bilgiyi verecektir.\n <\/div>\n<\/li>\n<li><strong>ROCm Paketi Kurulumu:<\/strong> Gerekli ROCm paketlerini y\u00fckleyin. Genellikle <code>rocm-dkms<\/code> ve <code>rocblas<\/code> gibi temel paketler yeterlidir, ancak t\u00fcm geli\u015ftirme ara\u00e7lar\u0131n\u0131 isterseniz <code>rocm-dev<\/code> paketini de y\u00fckleyebilirsiniz:\n<pre><code>\nsudo apt install -y rocm-dkms rocblas rocm-dev\n <\/code><\/pre>\n<\/li>\n<li><strong>Kullan\u0131c\u0131 \u0130zinleri:<\/strong> Mevcut kullan\u0131c\u0131n\u0131z\u0131 <code>render<\/code> ve <code>video<\/code> gruplar\u0131na ekleyerek GPU’ya eri\u015fim sa\u011flay\u0131n. Bu, yeniden ba\u015flatma gerektirebilir:\n<pre><code>\nsudo usermod -a -G render,video $USER\n <\/code><\/pre>\n<\/li>\n<li><strong>Sistemi Yeniden Ba\u015flatma:<\/strong> De\u011fi\u015fikliklerin etkili olmas\u0131 i\u00e7in sistemi yeniden ba\u015flat\u0131n:\n<pre><code>\nsudo reboot\n <\/code><\/pre>\n<\/li>\n<\/ol>\n<h3>Python Ortam\u0131n\u0131n Haz\u0131rlanmas\u0131<\/h3>\n<p>ROCm kurulduktan sonra, Python tabanl\u0131 yapay zeka k\u00fct\u00fcphanelerini kullanmak i\u00e7in izole bir Python ortam\u0131 olu\u015fturmak iyi bir pratiktir. Conda veya <code>venv<\/code> kullanabilirsiniz. Conda daha kapsaml\u0131 bir paket y\u00f6netimi sunar ve genellikle yapay zeka projelerinde tercih edilir:<\/p>\n<ol>\n<li><strong>Conda Kurulumu (E\u011fer Yoksa):<\/strong> Miniconda veya Anaconda’y\u0131 kurun.\n<pre><code>\nwget https:\/\/repo.anaconda.com\/miniconda\/Miniconda3-latest-Linux-x86_64.sh\nbash Miniconda3-latest-Linux-x86_64.sh -b -p ~\/miniconda\nsource ~\/miniconda\/bin\/activate\n <\/code><\/pre>\n<\/li>\n<li><strong>Yeni Conda Ortam\u0131 Olu\u015fturma:<\/strong>\n<pre><code>\nconda create -n vllm_env python=3.10 -y\nconda activate vllm_env\n <\/code><\/pre>\n<\/li>\n<\/ol>\n<h3>ROCm Kurulumunu Do\u011frulama<\/h3>\n<p>Her \u015feyin yolunda gitti\u011finden emin olmak i\u00e7in <code>rocminfo<\/code> ve <code>rocm-smi<\/code> komutlar\u0131n\u0131 kullanabilirsiniz:<\/p>\n<pre><code>\nrocminfo\nrocm-smi\n <\/code><\/pre>\n<p>Bu komutlar, sisteminizdeki AMD GPU’lar\u0131n\u0131 ve ROCm s\u00fcr\u00fcc\u00fclerinin durumunu g\u00f6stermelidir. \u00d6zellikle <code>rocm-smi<\/code>, GPU belle\u011fi, s\u0131cakl\u0131k ve kullan\u0131m gibi anl\u0131k bilgileri sunar. Bu \u00e7\u0131kt\u0131lar, MI300X GPU’nuzun do\u011fru bir \u015fekilde tan\u0131nd\u0131\u011f\u0131n\u0131 ve ROCm’nin \u00e7al\u0131\u015f\u0131r durumda oldu\u011funu teyit etmelidir. Art\u0131k vLLM ve GPT-OSS 120B’yi kurmaya haz\u0131rs\u0131n\u0131z.<\/p>\n<h2>vLLM Kurulumu ve GPT-OSS 120B Modeliyle Entegrasyon<\/h2>\n<p>Ortam\u0131m\u0131z\u0131 haz\u0131rlad\u0131\u011f\u0131m\u0131za g\u00f6re, \u015fimdi s\u0131ra vLLM k\u00fct\u00fcphanesini kurmaya ve GPT-OSS 120B modelini bu g\u00fc\u00e7l\u00fc \u00e7\u0131kar\u0131m motoruyla \u00e7al\u0131\u015ft\u0131rmaya geldi. Bu b\u00f6l\u00fcm, ad\u0131m ad\u0131m kurulum ve model entegrasyon s\u00fcre\u00e7lerini ele alacak, b\u00f6ylece ilk \u00e7\u0131kar\u0131m denemenizi ba\u015far\u0131yla ger\u00e7ekle\u015ftirebileceksiniz.<\/p>\n<h3>vLLM K\u00fct\u00fcphanesini Y\u00fckleme<\/h3>\n<p>vLLM, PyTorch ve ROCm ile uyumlu olacak \u015fekilde geli\u015ftirilmi\u015ftir. Bu nedenle, do\u011fru s\u00fcr\u00fcm\u00fc y\u00fcklemek \u00f6nemlidir. Python ortam\u0131n\u0131z (\u00f6nceki ad\u0131mda olu\u015fturdu\u011fumuz <code>vllm_env<\/code> gibi) aktifken, vLLM’i pip arac\u0131l\u0131\u011f\u0131yla kolayca y\u00fckleyebilirsiniz. ROCm deste\u011fi genellikle belirli bir PyTorch s\u00fcr\u00fcm\u00fc gerektirdi\u011finden, bu s\u0131ray\u0131 takip etmek en iyisidir:<\/p>\n<ol>\n<li><strong>PyTorch (ROCm s\u00fcr\u00fcm\u00fc) Kurulumu:<\/strong>\n<p>AMD GPU’lar i\u00e7in PyTorch’un ROCm destekli s\u00fcr\u00fcm\u00fcn\u00fc y\u00fcklememiz gerekiyor. Bu, genellikle PyTorch’un resmi web sitesindeki talimatlar\u0131 takip ederek yap\u0131l\u0131r. \u00d6rnek olarak, PyTorch’un 2.1.0 s\u00fcr\u00fcm\u00fcn\u00fc ROCm 5.7.1 ile kurmak i\u00e7in (ROCm s\u00fcr\u00fcm\u00fcn\u00fc kendi kurdu\u011funuza g\u00f6re ayarlay\u0131n):<\/p>\n<pre><code>\npip install torch==2.1.0 torchvision torchaudio --index-url https:\/\/download.pytorch.org\/whl\/rocm5.7\n <\/code><\/pre>\n<p>Bu komut, PyTorch’u ROCm deste\u011fiyle birlikte kuracakt\u0131r. S\u00fcr\u00fcm uyumlulu\u011fu i\u00e7in her zaman PyTorch ve ROCm’nin resmi belgelerini kontrol etmek \u00f6nemlidir.<\/p>\n<\/li>\n<li><strong>vLLM Kurulumu:<\/strong> PyTorch kurulduktan sonra vLLM’i y\u00fckleyebiliriz. vLLM, PyTorch’u ba\u011f\u0131ml\u0131l\u0131k olarak kulland\u0131\u011f\u0131ndan, do\u011fru PyTorch s\u00fcr\u00fcm\u00fcn\u00fcn kurulu olmas\u0131 \u00f6nemlidir.\n<pre><code>\npip install vllm\n <\/code><\/pre>\n<p>Bu komut, vLLM’i gerekli t\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131yla birlikte kuracakt\u0131r. Kurulum s\u0131ras\u0131nda herhangi bir hata al\u0131rsan\u0131z, genellikle PyTorch veya ROCm s\u00fcr\u00fcmlerinin uyumsuzlu\u011fundan kaynaklan\u0131r. Gerekirse, vLLM’in resmi GitHub sayfas\u0131ndan \u00f6zel bir ROCm destekli derleme talimat\u0131 olup olmad\u0131\u011f\u0131n\u0131 kontrol edin.<\/p>\n<\/li>\n<\/ol>\n<h3>GPT-OSS 120B Modelini \u0130ndirme ve Haz\u0131rlama<\/h3>\n<p>GPT-OSS 120B modeli, genellikle Hugging Face Hub \u00fczerinden eri\u015filebilir durumdad\u0131r. Bu devasa modelin a\u011f\u0131rl\u0131klar\u0131n\u0131 indirmek zaman alabilir ve \u00f6nemli miktarda disk alan\u0131 gerektirecektir (muhtemelen y\u00fczlerce gigabayt). Modeli indirmek i\u00e7in Hugging Face <code>transformers<\/code> k\u00fct\u00fcphanesini veya <code>huggingface-cli<\/code> arac\u0131n\u0131 kullanabiliriz.<\/p>\n<ol>\n<li><strong>Hugging Face K\u00fct\u00fcphanelerini Y\u00fckleme:<\/strong>\n<pre><code>\npip install transformers accelerate\n <\/code><\/pre>\n<\/li>\n<li><strong>Model A\u011f\u0131rl\u0131klar\u0131n\u0131 \u0130ndirme:<\/strong> Modelin ad\u0131 <code>\"OpenAssistant\/oasst-sft-4-120b\"<\/code> veya benzeri bir adland\u0131rma \u015femas\u0131yla Hugging Face’de bulunabilir. Bu \u00f6rnek i\u00e7in genel bir placeholder kullanaca\u011f\u0131z. Ger\u00e7ek model ad\u0131n\u0131 Hugging Face Hub’dan teyit etmeniz gerekecektir.\n<pre><code>\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\nmodel_id = \"your_org\/gpt-oss-120b\" # Buraya ger\u00e7ek model ID'sini yaz\u0131n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\n# Model a\u011f\u0131rl\u0131klar\u0131n\u0131 indirmek i\u00e7in sadece tokenizer'\u0131 kullanmak yeterli olabilir\n# vLLM, modeli kendi i\u00e7inde y\u00fckleyecektir, bu y\u00fczden burada AutoModelForCausalLM'i \u00e7a\u011f\u0131rmak \u015fart de\u011fil\n# Ancak modelin diskte olmas\u0131 gerekiyor. Hugging Face CLI ile daha kolay indirme:\n <\/code><\/pre>\n<p>Veya daha pratik bir yol olarak, modeli do\u011frudan bir dizine indirmek i\u00e7in <code>huggingface-cli<\/code> kullanabilirsiniz:<\/p>\n<pre><code>\nhuggingface-cli download --repo-id your_org\/gpt-oss-120b --local-dir .\/gpt_oss_120b_model --local-dir-use-symlinks False\n <\/code><\/pre>\n<p>Bu komut, modelin t\u00fcm a\u011f\u0131rl\u0131klar\u0131n\u0131 ve konfig\u00fcrasyon dosyalar\u0131n\u0131 belirtilen yerel dizine indirecektir. Bu i\u015flem, internet ba\u011flant\u0131n\u0131z\u0131n h\u0131z\u0131na ve modelin boyutuna ba\u011fl\u0131 olarak saatler s\u00fcrebilir.<\/p>\n<\/li>\n<\/ol>\n<h3>vLLM ile \u0130lk \u00c7\u0131kar\u0131m (Inference) Denemesi<\/h3>\n<p>Model a\u011f\u0131rl\u0131klar\u0131 yerel olarak indirildikten ve vLLM kurulduktan sonra, art\u0131k ilk \u00e7\u0131kar\u0131m denememizi yapabiliriz. Bunun i\u00e7in basit bir Python beti\u011fi kullanaca\u011f\u0131z.<\/p>\n<pre><code>\nimport os\nfrom vllm import LLM, SamplingParams\n\n# Modeli indirdi\u011finiz yerel dizinin yolunu belirtin\nmodel_path = \".\/gpt_oss_120b_model\" \n# Bu \u00f6rnekte \"your_org\/gpt-oss-120b\" yerine model_path kullanaca\u011f\u0131z\n\n# Sampling parametrelerini tan\u0131mlay\u0131n\nsampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=128)\n\n# LLM modelini y\u00fckleyin. GPU'ya otomatik olarak y\u00fckleyecektir.\n# dtype=\"bfloat16\" veya \"float16\" (fp16) olarak belirtmek, bellek kullan\u0131m\u0131n\u0131 optimize eder.\n# Quantization i\u00e7in \"awq\" veya \"gptq\" gibi se\u00e7enekler de kullan\u0131labilir e\u011fer model bu formatlarda mevcutsa.\nprint(f\"Loading model from {model_path}...\")\nllm = LLM(model=model_path, dtype=\"bfloat16\", enforce_eager=True) \n# enforce_eager=True, ROCm uyumlulu\u011fu i\u00e7in bazen gerekli olabilir.\n\n# Sorgular\u0131 tan\u0131mlay\u0131n\nprompts = [\n \"Yapay zeka gelece\u011fimizi nas\u0131l \u015fekillendirecek?\",\n \"Kuantum fizi\u011fi hakk\u0131nda k\u0131sa bir \u00f6zet yaz.\",\n \"Bana ilgin\u00e7 bir f\u0131kra anlat.\"\n]\n\nprint(\"Generating responses...\")\noutputs = llm.generate(prompts, sampling_params)\n\n# Sonu\u00e7lar\u0131 yazd\u0131r\u0131n\nfor prompt, output in zip(prompts, outputs):\n generated_text = output.outputs[0].text\n print(f\"Prompt: {prompt!r}, Generated text: {generated_text!r}\")\n print(\"-\" * 50)\n <\/code><\/pre>\n<p>Bu betik, vLLM’i kullanarak GPT-OSS 120B modelini y\u00fckler ve belirtilen istemlere yan\u0131tlar \u00fcretir. <code>dtype=\"bfloat16\"<\/code> parametresi, modelin daha az bellekte \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar ve genellikle performanstan \u00f6d\u00fcn vermeden iyi sonu\u00e7lar verir. \u0130lk \u00e7al\u0131\u015ft\u0131rmada modelin y\u00fcklenmesi biraz zaman alabilir, ancak sonraki \u00e7\u0131kar\u0131mlar \u00e7ok daha h\u0131zl\u0131 olacakt\u0131r. Bu ad\u0131mlar\u0131 ba\u015far\u0131yla tamamlad\u0131\u011f\u0131n\u0131zda, AMD MI300X GPU’nuzda vLLM ve GPT-OSS 120B’nin g\u00fcc\u00fcn\u00fc deneyimlemeye ba\u015flam\u0131\u015f olacaks\u0131n\u0131z. Bu, b\u00fcy\u00fck \u00f6l\u00e7ekli LLM uygulamalar\u0131 i\u00e7in sa\u011flam bir temel olu\u015fturur.<\/p>\n<h2>Performans Optimizasyonu ve \u0130leri D\u00fczey Teknikler<\/h2>\n<p>GPT-OSS 120B gibi devasa bir modeli AMD MI300X \u00fczerinde \u00e7al\u0131\u015ft\u0131rmak, performans optimizasyonlar\u0131n\u0131 zorunlu k\u0131lar. vLLM, kutudan \u00e7\u0131kt\u0131\u011f\u0131 haliyle zaten bir\u00e7ok optimizasyon sunsa da, donan\u0131m\u0131n t\u00fcm potansiyelinden faydalanmak ve maliyet-etkinli\u011fi art\u0131rmak i\u00e7in baz\u0131 ileri d\u00fczey teknikleri uygulamak m\u00fcmk\u00fcnd\u00fcr. Bu b\u00f6l\u00fcmde, batching stratejileri, kuantizasyon ve MI300X’e \u00f6zg\u00fc ipu\u00e7lar\u0131n\u0131 inceleyece\u011fiz.<\/p>\n<h3>Batching Stratejileri ve Token Y\u00f6netimi<\/h3>\n<p>vLLM’in en b\u00fcy\u00fck avantajlar\u0131ndan biri olan Continuous Batching, zaten GPU kullan\u0131m\u0131n\u0131 maksimize eder. Ancak bu mekanizmay\u0131 daha iyi anlamak ve baz\u0131 durumlarda ince ayar yapmak, performans\u0131 daha da art\u0131rabilir:<\/p>\n<ul>\n<li><strong>Dinamik Batching:<\/strong> vLLM’in Continuous Batching’i asl\u0131nda dinamik bir batching stratejisidir. Geleneksel statik batching’de, belirli say\u0131da iste\u011fin toplanmas\u0131 beklenir ve hepsi ayn\u0131 anda i\u015flenir. Bu, k\u0131sa isteklerin uzun istekleri beklemesine neden olabilir. vLLM, istekleri tamamland\u0131k\u00e7a \u00e7\u0131kar\u0131r ve bo\u015falan yerlere yenilerini ekler, bu da gecikmeyi azalt\u0131r ve verimi art\u0131r\u0131r. Bu davran\u0131\u015f genellikle varsay\u0131lan olarak en iyi performans\u0131 sunar.<\/li>\n<li><strong>Maksimum Batch Boyutu:<\/strong> vLLM, GPU belle\u011fine s\u0131\u011fabilecek en fazla iste\u011fi otomatik olarak y\u00f6netmeye \u00e7al\u0131\u015f\u0131r. Ancak, <code>--max-num-seqs<\/code> veya <code>--max-model-len<\/code> gibi parametrelerle bu davran\u0131\u015fa ince ayar \u00e7ekebilirsiniz. \u00d6rne\u011fin, \u00e7ok uzun istekler bekliyorsan\u0131z <code>max_model_len<\/code> de\u011ferini art\u0131rmak, ancak daha fazla bellek kullanmak anlam\u0131na gelir. Dengeli bir de\u011fer bulmak, \u00f6zellikle bellek s\u0131n\u0131rl\u0131 ortamlarda \u00f6nemlidir.<\/li>\n<li><strong>Token Gecikmesi:<\/strong> Genellikle, ilk token’\u0131n \u00fcretilme s\u00fcresi (Time To First Token – TTFT) ve sonraki token’lar\u0131n \u00fcretilme s\u00fcresi (Time Per Output Token – TPOT) performans metrikleridir. Continuous Batching, TTFT’yi d\u00fc\u015f\u00fck tutarken TPOT’yi de optimize eder. Uygulaman\u0131z\u0131n kritik \u00f6nceli\u011fine g\u00f6re bu metriklerden hangisine odaklanaca\u011f\u0131n\u0131z\u0131 belirleyebilirsiniz. \u00d6rne\u011fin, sohbet botlar\u0131 i\u00e7in TTFT \u00e7ok \u00f6nemlidir.<\/li>\n<\/ul>\n<h3>Quantization (Kuantizasyon) ile Bellek Kullan\u0131m\u0131n\u0131 Azaltma<\/h3>\n<p>Kuantizasyon, bir modelin a\u011f\u0131rl\u0131klar\u0131n\u0131 ve\/veya aktivasyonlar\u0131n\u0131 daha d\u00fc\u015f\u00fck hassasiyetli veri tiplerine (\u00f6rne\u011fin, FP32’den FP16’ya, INT8’e veya INT4’e) d\u00f6n\u00fc\u015ft\u00fcrme i\u015flemidir. Bu, modelin bellek ayak izini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r ve \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 art\u0131rabilir, \u00e7\u00fcnk\u00fc daha az veri transferi ve daha h\u0131zl\u0131 hesaplamalar yap\u0131l\u0131r. GPT-OSS 120B gibi devasa modeller i\u00e7in kuantizasyon hayati \u00f6nem ta\u015f\u0131r:<\/p>\n<ul>\n<li><strong>FP16 (Half-Precision):<\/strong> \u00c7o\u011fu LLM, FP32 (tek hassasiyetli kayan nokta) yerine FP16 (yar\u0131m hassasiyetli kayan nokta) ile \u00e7al\u0131\u015ft\u0131r\u0131labilir. Bu, bellek kullan\u0131m\u0131n\u0131 yar\u0131ya indirir ve genellikle model do\u011frulu\u011funda g\u00f6zle g\u00f6r\u00fcl\u00fcr bir d\u00fc\u015f\u00fc\u015fe neden olmaz. MI300X, FP16 hesaplamalar\u0131nda olduk\u00e7a verimlidir. vLLM’de <code>dtype=\"float16\"<\/code> veya <code>dtype=\"bfloat16\"<\/code> ile belirtilir. Bfloat16, dinamik aral\u0131\u011f\u0131 FP16’dan daha geni\u015f oldu\u011fu i\u00e7in baz\u0131 modellerde daha iyi do\u011fruluk sunabilir.<\/li>\n<li><strong>INT8 Kuantizasyon:<\/strong> A\u011f\u0131rl\u0131klar\u0131 8-bit tamsay\u0131lara d\u00f6n\u00fc\u015ft\u00fcrmek, bellek kullan\u0131m\u0131n\u0131 d\u00f6rtte birine d\u00fc\u015f\u00fcrebilir. Bu, genellikle bir miktar do\u011fruluk kayb\u0131yla gelir, ancak modern kuantizasyon teknikleri (AWQ, GPTQ) bu kayb\u0131 minimize etmeyi hedefler. vLLM, bu t\u00fcr kuantizasyon formatlar\u0131n\u0131 destekler. Modeli y\u00fcklerken <code>dtype=\"int8\"<\/code> veya \u00f6zel kuantizasyon y\u00f6ntemlerini (\u00f6rne\u011fin <code>quantization=\"awq\"<\/code>) belirtebilirsiniz. Ancak, modelin bu formatlarda \u00f6nceden kuantize edilmi\u015f a\u011f\u0131rl\u0131klara sahip olmas\u0131 veya vLLM’in \u00e7al\u0131\u015fma zaman\u0131nda kuantizasyonu desteklemesi gerekir.<\/li>\n<li><strong>AWQ (Activation-aware Weight Quantization) ve GPTQ:<\/strong> Bunlar, LLM’ler i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015f, do\u011fruluk kayb\u0131n\u0131 en aza indiren ileri d\u00fczey kuantizasyon teknikleridir. E\u011fer GPT-OSS 120B’nin AWQ veya GPTQ kuantize edilmi\u015f bir s\u00fcr\u00fcm\u00fc mevcutsa, bunu kullanmak bellek kullan\u0131m\u0131n\u0131 ve performans\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde iyile\u015ftirecektir. vLLM bu formatlar\u0131 do\u011frudan y\u00fckleyebilir.<\/li>\n<\/ul>\n<h3>MI300X’in G\u00fcc\u00fcnden Tam Yararlanma: ROCm Optimizasyonlar\u0131<\/h3>\n<p>AMD Instinct MI300X’in benzersiz mimarisinden en iyi \u015fekilde yararlanmak i\u00e7in ROCm ekosisteminin sundu\u011fu baz\u0131 avantajlar\u0131 g\u00f6z \u00f6n\u00fcnde bulundurmal\u0131s\u0131n\u0131z:<\/p>\n<ul>\n<li><strong>Do\u011fru ROCm S\u00fcr\u00fcm\u00fc:<\/strong> Daima vLLM ve PyTorch ile uyumlu olan en g\u00fcncel ve kararl\u0131 ROCm s\u00fcr\u00fcm\u00fcn\u00fc kullan\u0131n. S\u00fcr\u00fcm uyumsuzluklar\u0131 performans d\u00fc\u015f\u00fc\u015flerine veya hatalara neden olabilir.<\/li>\n<li><strong>Kernel Tuning:<\/strong> Geli\u015fmi\u015f kullan\u0131c\u0131lar i\u00e7in, ROCm’nin d\u00fc\u015f\u00fck seviyeli API’lerini kullanarak belirli kernel’leri (\u00e7ekirdek fonksiyonlar\u0131) MI300X mimarisine g\u00f6re optimize etmek m\u00fcmk\u00fcnd\u00fcr. Ancak bu, genellikle derin GPU programlama bilgisi gerektirir ve vLLM gibi k\u00fct\u00fcphaneler zaten bir\u00e7ok optimizasyonu sizin yerinize yapar.<\/li>\n<li><strong>Bellek Y\u00f6netimi:<\/strong> MI300X’in 192 GB’a kadar HBM3 belle\u011fi, b\u00fcy\u00fck modeller i\u00e7in e\u015fsiz bir avantajd\u0131r. vLLM, PagedAttention ile bu belle\u011fi \u00e7ok verimli kullan\u0131r. Ancak, sistemde \u00e7al\u0131\u015fan ba\u015fka bellek yo\u011fun uygulamalar olmad\u0131\u011f\u0131ndan emin olun. Ayr\u0131ca, birden fazla GPU kullan\u0131yorsan\u0131z, vLLM’in model paralelizmi veya tensor paralelizm \u00f6zelliklerini ara\u015ft\u0131r\u0131n.<\/li>\n<\/ul>\n<div class=\"expert-tip\">\n Uzman \u0130pucu: Kuantizasyon uygularken her zaman modelin do\u011frulu\u011funu (\u00f6rne\u011fin, belirli bir k\u0131yaslama veri k\u00fcmesi \u00fczerinde) test edin. A\u015f\u0131r\u0131 kuantizasyon, modelin performans\u0131nda kabul edilemez bir d\u00fc\u015f\u00fc\u015fe neden olabilir. Genellikle FP16\/BF16 en g\u00fcvenli se\u00e7enektir, ancak INT8\/INT4 daha fazla kazan\u00e7 sa\u011flayabilir.\n <\/div>\n<p>Bu ileri d\u00fczey teknikleri uygulayarak, GPT-OSS 120B modelinden AMD MI300X GPU’nuzda maksimum verim alabilir, gecikme s\u00fcrelerini d\u00fc\u015f\u00fcrebilir ve maliyetleri optimize edebilirsiniz. \u00d6zellikle y\u00fcksek trafikli uygulamalarda, bu optimizasyonlar i\u015fletmeniz i\u00e7in somut faydalar sa\u011flayacakt\u0131r.<\/p>\n<h2>Vaka Analizi: B\u00fcy\u00fck \u00d6l\u00e7ekli Bir Uygulamada GPT-OSS 120B<\/h2>\n<p>\u015eimdiye kadar teknik detaylara odakland\u0131k. Peki, t\u00fcm bu bilgiyi ger\u00e7ek d\u00fcnya senaryosunda nas\u0131l uygulayabiliriz? Bir start-up’\u0131n hikayesi \u00fczerinden, GPT-OSS 120B’yi vLLM ve AMD MI300X ile \u00e7al\u0131\u015ft\u0131rman\u0131n pratik faydalar\u0131n\u0131 inceleyelim.<\/p>\n<h3>Senaryo: “ContentGenius” Yapay Zeka \u0130\u00e7erik Platformu<\/h3>\n<p>ContentGenius, kullan\u0131c\u0131lar\u0131n h\u0131zl\u0131 ve \u00f6zg\u00fcn makaleler, blog yaz\u0131lar\u0131 ve sosyal medya i\u00e7erikleri olu\u015fturmas\u0131na yard\u0131mc\u0131 olan bir yapay zeka platformudur. Ba\u015flang\u0131\u00e7ta, k\u00fc\u00e7\u00fck \u00f6l\u00e7ekli a\u00e7\u0131k kaynakl\u0131 bir LLM (\u00f6rne\u011fin, 7B parametreli bir model) kullanarak hizmet veriyorlard\u0131. Ancak, kullan\u0131c\u0131 talepleri artt\u0131k\u00e7a ve daha karma\u015f\u0131k, y\u00fcksek kaliteli i\u00e7erik beklentisi olu\u015funca, daha b\u00fcy\u00fck ve yetenekli bir modele ge\u00e7i\u015f yapma ihtiyac\u0131 do\u011fdu. Se\u00e7imleri, esnekli\u011fi ve topluluk deste\u011fi nedeniyle GPT-OSS 120B oldu.<\/p>\n<h3>Kar\u015f\u0131la\u015f\u0131lan Zorluklar<\/h3>\n<ol>\n<li><strong>Y\u00fcksek \u00c7\u0131kar\u0131m Maliyetleri:<\/strong> GPT-OSS 120B gibi devasa bir modeli, geleneksel GPU’larda (\u00f6rne\u011fin, daha eski nesil NVIDIA kartlar\u0131) \u00e7al\u0131\u015ft\u0131rmak, her bir \u00e7\u0131kar\u0131m i\u00e7in y\u00fcksek maliyetlere neden oluyordu. \u00d6zellikle yo\u011fun saatlerde, sunucu maliyetleri kontrol d\u0131\u015f\u0131na \u00e7\u0131k\u0131yordu.<\/li>\n<li><strong>D\u00fc\u015f\u00fck Verim ve Y\u00fcksek Gecikme:<\/strong> Ayn\u0131 anda y\u00fczlerce kullan\u0131c\u0131ya hizmet vermek, modelin yan\u0131t s\u00fcrelerini uzat\u0131yordu. Kullan\u0131c\u0131lar, i\u00e7eriklerinin olu\u015fturulmas\u0131n\u0131 dakikalarca beklemek zorunda kal\u0131yor, bu da m\u00fc\u015fteri memnuniyetini d\u00fc\u015f\u00fcr\u00fcyordu.<\/li>\n<li><strong>Bellek S\u0131n\u0131rlamalar\u0131:<\/strong> 120 milyar parametreye sahip bir modelin a\u011f\u0131rl\u0131klar\u0131, tek bir GPU’nun belle\u011fine s\u0131\u011fmakta zorlan\u0131yor, bu da ya modeli birden fazla GPU’ya b\u00f6lmeyi (karma\u015f\u0131kl\u0131k art\u0131\u015f\u0131) ya da daha d\u00fc\u015f\u00fck hassasiyetli (kuantize edilmi\u015f) versiyonlar\u0131n\u0131 kullanmay\u0131 gerektiriyordu.<\/li>\n<\/ol>\n<h3>\u00c7\u00f6z\u00fcm: vLLM ve AMD Instinct MI300X Entegrasyonu<\/h3>\n<p>ContentGenius ekibi, bu sorunlar\u0131n \u00fcstesinden gelmek i\u00e7in kapsaml\u0131 bir ara\u015ft\u0131rma yapt\u0131 ve vLLM ile AMD Instinct MI300X kombinasyonunda karar k\u0131ld\u0131. Stratejileri \u015funlard\u0131:<\/p>\n<ol>\n<li><strong>AMD MI300X Dropletleri:<\/strong> Y\u00fcksek bellek kapasitesi (192 GB HBM3) ve bant geni\u015fli\u011fi sayesinde, GPT-OSS 120B modelinin tamam\u0131n\u0131 tek bir MI300X GPU’ya y\u00fckleyebildiler. Bu, model paralelizmi veya karma\u015f\u0131k da\u011f\u0131t\u0131lm\u0131\u015f \u00e7\u0131kar\u0131m kurulumlar\u0131na olan ihtiyac\u0131 ortadan kald\u0131rd\u0131.<\/li>\n<li><strong>vLLM Kullan\u0131m\u0131:<\/strong> vLLM’in PagedAttention ve Continuous Batching \u00f6zellikleri sayesinde, ayn\u0131 anda \u00e7ok daha fazla kullan\u0131c\u0131 iste\u011fini d\u00fc\u015f\u00fck gecikmeyle i\u015fleyebildiler. Bu, GPU’nun s\u00fcrekli me\u015fgul kalmas\u0131n\u0131 sa\u011flayarak verimlili\u011fi art\u0131rd\u0131.<\/li>\n<li><strong>Bfloat16 Kuantizasyonu:<\/strong> Modeli <code>bfloat16<\/code> hassasiyetinde \u00e7al\u0131\u015ft\u0131rarak, bellek kullan\u0131m\u0131n\u0131 optimize ettiler ve \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 art\u0131rd\u0131lar. Modelin do\u011fruluk performans\u0131 ise kabul edilebilir seviyelerde kald\u0131.<\/li>\n<\/ol>\n<h3>Elde Edilen Sonu\u00e7lar<\/h3>\n<p>Bu entegrasyon sayesinde ContentGenius, operasyonlar\u0131nda \u00e7arp\u0131c\u0131 iyile\u015fmeler kaydetti:<\/p>\n<ul>\n<li><strong>%60 Maliyet Azalmas\u0131:<\/strong> Daha az GPU ile daha fazla i\u015f yapabildikleri i\u00e7in, donan\u0131m ve enerji maliyetlerinde \u00f6nemli bir d\u00fc\u015f\u00fc\u015f ya\u015fand\u0131.<\/li>\n<li><strong>3 Kat Artan Verim:<\/strong> Ayn\u0131 anda i\u015flenebilen istek say\u0131s\u0131 \u00fc\u00e7 kat\u0131na \u00e7\u0131kt\u0131, bu da daha fazla kullan\u0131c\u0131ya hizmet verebilmeleri anlam\u0131na geliyordu.<\/li>\n<li><strong>%75 Azalan Gecikme:<\/strong> Kullan\u0131c\u0131lar\u0131n i\u00e7eriklerinin olu\u015fturulmas\u0131 i\u00e7in bekleme s\u00fcresi, ortalama 45 saniyeden 10 saniyenin alt\u0131na d\u00fc\u015ft\u00fc.<\/li>\n<\/ul>\n<table border=\"1\">\n<caption>Performans Kar\u015f\u0131la\u015ft\u0131rmas\u0131: \u00d6nce vs. Sonra<\/caption>\n<thead>\n<tr>\n<th>Metrik<\/th>\n<th>\u00d6nce (Eski Sistem)<\/th>\n<th>Sonra (MI300X + vLLM)<\/th>\n<th>\u0130yile\u015fme<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Ortalama Gecikme (TTFT)<\/td>\n<td>45 saniye<\/td>\n<td>8 saniye<\/td>\n<td>%82 Azalma<\/td>\n<\/tr>\n<tr>\n<td>Maksimum E\u015fzamanl\u0131 \u0130stek<\/td>\n<td>50<\/td>\n<td>200<\/td>\n<td>300% Art\u0131\u015f<\/td>\n<\/tr>\n<tr>\n<td>GPU Maliyeti \/ Ay<\/td>\n<td>$2000<\/td>\n<td>$800<\/td>\n<td>%60 Azalma<\/td>\n<\/tr>\n<tr>\n<td>Model Do\u011frulu\u011fu<\/td>\n<td>\u00c7ok Y\u00fcksek (FP32)<\/td>\n<td>Y\u00fcksek (BF16)<\/td>\n<td>Minimum D\u00fc\u015f\u00fc\u015f<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h3>Mobil Uyumluluk ve Kullan\u0131c\u0131 Deneyimi<\/h3>\n<p>ContentGenius’un platformu, masa\u00fcst\u00fc ve mobil cihazlarda sorunsuz bir deneyim sunmak zorundayd\u0131. Arka u\u00e7ta yap\u0131lan bu performans iyile\u015ftirmeleri, mobil kullan\u0131c\u0131lar\u0131n da h\u0131zl\u0131 yan\u0131tlar almas\u0131n\u0131 sa\u011flad\u0131. \u00d6n u\u00e7 geli\u015ftiricileri, farkl\u0131 ekran boyutlar\u0131na uyum sa\u011flamak i\u00e7in responsive tasar\u0131m ilkelerini ve CSS media query’lerini kulland\u0131lar. \u00d6rne\u011fin:<\/p>\n<pre><code>\n\/* Genel stil *\/\nbody {\n font-family: Arial, sans-serif;\n margin: 0;\n padding: 0;\n}\n\n\/* Masa\u00fcst\u00fc i\u00e7in *\/\n.container {\n width: 960px;\n margin: 0 auto;\n padding: 20px;\n}\n\n\/* Mobil cihazlar i\u00e7in (\u00f6rne\u011fin 768px ve alt\u0131) *\/\n@media (max-width: 768px) {\n .container {\n width: 100%;\n padding: 10px;\n }\n h2 {\n font-size: 1.5em;\n }\n p {\n font-size: 0.9em;\n }\n}\n\n\/* Daha k\u00fc\u00e7\u00fck telefonlar i\u00e7in (\u00f6rne\u011fin 480px ve alt\u0131) *\/\n@media (max-width: 480px) {\n .container {\n padding: 5px;\n }\n h2 {\n font-size: 1.2em;\n }\n}\n <\/code><\/pre>\n<p>Bu vaka analizi, AMD Instinct MI300X ve vLLM’in, GPT-OSS 120B gibi b\u00fcy\u00fck dil modellerini ger\u00e7ek d\u00fcnya uygulamalar\u0131nda nas\u0131l d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc bir etkiye sahip olabilece\u011fini a\u00e7\u0131k\u00e7a g\u00f6stermektedir. Hem teknik performans hem de i\u015f maliyetleri a\u00e7\u0131s\u0131ndan \u00f6nemli avantajlar sa\u011flayarak, yapay zeka destekli \u00fcr\u00fcnlerin \u00f6l\u00e7eklenebilirli\u011fini ve eri\u015filebilirli\u011fini art\u0131rm\u0131\u015ft\u0131r.<\/p>\n<h2>Sonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n<p>Bu makale boyunca, a\u00e7\u0131k kaynakl\u0131 GPT-OSS 120B b\u00fcy\u00fck dil modelini, vLLM’in sundu\u011fu \u00e7\u0131kar\u0131m optimizasyonlar\u0131 ve AMD Instinct MI300X GPU’sunun g\u00fc\u00e7l\u00fc donan\u0131m yetenekleriyle nas\u0131l bir araya getirebilece\u011fimizi detayl\u0131ca inceledik. G\u00f6rd\u00fc\u011f\u00fcm\u00fcz gibi, bu \u00fc\u00e7l\u00fcn\u00fcn birle\u015fimi, y\u00fcksek performansl\u0131 ve maliyet-etkin bir yapay zeka \u00e7\u0131kar\u0131m altyap\u0131s\u0131 kurmak i\u00e7in \u00e7\u0131\u011f\u0131r a\u00e7an f\u0131rsatlar sunuyor. \u00d6zellikle vLLM’in PagedAttention ve Continuous Batching gibi yenilik\u00e7i algoritmalar\u0131, AMD MI300X’in geni\u015f HBM3 belle\u011fi ve y\u00fcksek bant geni\u015fli\u011fi ile birle\u015fti\u011finde, GPT-OSS 120B gibi devasa modellerin bile d\u00fc\u015f\u00fck gecikme ve y\u00fcksek verimle \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131n\u0131 m\u00fcmk\u00fcn k\u0131l\u0131yor. Kuantizasyon gibi ileri d\u00fczey teknikler ise bellek ayak izini daha da azaltarak performans\u0131 optimize etme potansiyeli ta\u015f\u0131yor. Yapay zeka d\u00fcnyas\u0131nda rekabet\u00e7i kalmak ve inovasyonu s\u00fcrd\u00fcrmek isteyen \u015firketler ve geli\u015ftiriciler i\u00e7in bu t\u00fcr optimizasyonlar art\u0131k bir l\u00fcks de\u011fil, bir zorunluluktur. Umuyoruz ki bu rehber, kendi yapay zeka projelerinizde bu g\u00fc\u00e7l\u00fc teknolojileri kullanarak yeni ufuklar a\u00e7man\u0131za yard\u0131mc\u0131 olacakt\u0131r.<\/p>\n<h3>S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n<ol>\n<li>\n <strong>S: Neden AMD Instinct MI300X yerine NVIDIA GPU kullanm\u0131yoruz?<\/strong><\/p>\n<p><strong>C:<\/strong> AMD Instinct MI300X, \u00f6zellikle b\u00fcy\u00fck dil modelleri i\u00e7in NVIDIA’n\u0131n amiral gemisi GPU’lar\u0131na g\u00fc\u00e7l\u00fc bir alternatif sunar. 192 GB’a kadar HBM3 belle\u011fi ve y\u00fcksek bant geni\u015fli\u011fi, GPT-OSS 120B gibi modellerin tamam\u0131n\u0131n tek bir GPU’ya s\u0131\u011fd\u0131r\u0131lmas\u0131n\u0131 ve verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131n\u0131 sa\u011flar. Ayr\u0131ca, a\u00e7\u0131k kaynak ROCm ekosistemi, geli\u015ftiricilere esneklik sunar ve maliyet-performans oran\u0131 a\u00e7\u0131s\u0131ndan rekabet\u00e7i bir se\u00e7enek olabilir.<\/p>\n<\/li>\n<li>\n <strong>S: vLLM’in temel avantajlar\u0131 nelerdir?<\/strong><\/p>\n<p><strong>C:<\/strong> vLLM’in iki ana avantaj\u0131 PagedAttention ve Continuous Batching’dir. PagedAttention, KV \u00f6nbelle\u011fini verimli bir \u015fekilde y\u00f6neterek bellek kullan\u0131m\u0131n\u0131 optimize eder. Continuous Batching ise GPU’yu s\u00fcrekli me\u015fgul tutarak ve istekleri dinamik olarak i\u015fleyerek verimi ve yan\u0131t h\u0131z\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r. Bu sayede, ayn\u0131 donan\u0131m \u00fczerinde \u00e7ok daha fazla kullan\u0131c\u0131ya hizmet verilebilir.<\/p>\n<\/li>\n<li>\n <strong>S: GPT-OSS 120B modelini kuantize etmek ne anlama geliyor ve neden \u00f6nemlidir?<\/strong><\/p>\n<p><strong>C:<\/strong> Kuantizasyon, bir modelin a\u011f\u0131rl\u0131klar\u0131n\u0131 daha d\u00fc\u015f\u00fck hassasiyetli veri tiplerine (\u00f6rne\u011fin, 32-bit’ten 16-bit’e veya 8-bit’e) d\u00f6n\u00fc\u015ft\u00fcrme i\u015flemidir. Bu, modelin disk ve bellek boyutunu k\u00fc\u00e7\u00fclt\u00fcrken \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 art\u0131r\u0131r. GPT-OSS 120B gibi devasa modeller i\u00e7in kuantizasyon, modelin daha az bellekte \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flayarak daha fazla iste\u011fi ayn\u0131 anda i\u015fleyebilme veya daha uygun maliyetli donan\u0131m kullanabilme imkan\u0131 sunar.<\/p>\n<\/li>\n<li>\n <strong>S: ROCm kurulumu s\u0131ras\u0131nda s\u0131k kar\u015f\u0131la\u015f\u0131lan sorunlar nelerdir?<\/strong><\/p>\n<p><strong>C:<\/strong> ROCm kurulumunda en s\u0131k kar\u015f\u0131la\u015f\u0131lan sorunlar, i\u015fletim sistemi ve ROCm s\u00fcr\u00fcm\u00fc uyumsuzluklar\u0131, gerekli paketlerin eksik y\u00fcklenmesi veya kullan\u0131c\u0131 izinlerinin do\u011fru ayarlanmamas\u0131d\u0131r. Kurulumdan \u00f6nce AMD’nin resmi ROCm belgelerini dikkatlice okumak ve ad\u0131mlar\u0131 titizlikle takip etmek, bu sorunlar\u0131 minimize etmenin en iyi yoludur. Ayr\u0131ca, PyTorch gibi k\u00fct\u00fcphanelerin ROCm destekli s\u00fcr\u00fcmlerinin do\u011fru \u015fekilde kuruldu\u011fundan emin olmak \u00f6nemlidir.<\/p>\n<\/li>\n<li>\n <strong>S: Bu kurulum, k\u00fc\u00e7\u00fck \u00f6l\u00e7ekli projeler i\u00e7in de uygun mu?<\/strong><\/p>\n<p><strong>C:<\/strong> GPT-OSS 120B gibi 120 milyar parametreli bir model ve MI300X gibi y\u00fcksek performansl\u0131 bir GPU, genellikle b\u00fcy\u00fck \u00f6l\u00e7ekli ve yo\u011fun kaynak gerektiren projeler i\u00e7in tasarlanm\u0131\u015ft\u0131r. K\u00fc\u00e7\u00fck \u00f6l\u00e7ekli projeler veya bireysel kullan\u0131mlar i\u00e7in bu kadar g\u00fc\u00e7l\u00fc bir donan\u0131m ve model maliyetli olabilir. Daha k\u00fc\u00e7\u00fck a\u00e7\u0131k kaynakl\u0131 LLM’ler (\u00f6rne\u011fin, 7B veya 13B parametreli modeller) ve daha uygun fiyatl\u0131 GPU’lar, k\u00fc\u00e7\u00fck \u00f6l\u00e7ekli projeler i\u00e7in daha uygun ve maliyet-etkin \u00e7\u00f6z\u00fcmler sunabilir.<\/p>\n<\/li>\n<\/ol>\n<p><\/body><\/p>\n","protected":false},"excerpt":{"rendered":"AMD MI300X ile vLLM \u00dczerinde GPT-OSS 120B \u00c7al\u0131\u015ft\u0131rma B\u00fcy\u00fck Dil Modelleri (LLM’ler) g\u00fcn\u00fcm\u00fcz yapay zeka d\u00fcnyas\u0131n\u0131n en heyecan…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-33863","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n<title>B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?<\/title>\n<meta name=\"description\" content=\"B\u00fcy\u00fck Dil Modelleri (LLM'ler) g\u00fcn\u00fcm\u00fcz yapay zeka d\u00fcnyas\u0131n\u0131n en heyecan verici ve d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc teknolojilerinden biri. Ancak bu devasa modelleri verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle de uygun maliyetle y\u00fcksek performans elde etmek ciddi bir meydan okuma. Peki, a\u00e7\u0131k kaynakl\u0131 bir model olan GPT-OSS 120B'yi, vLLM k\u00fct\u00fcphanesinin sundu\u011fu optimizasyonlarla, AMD'nin g\u00fc\u00e7l\u00fc Instinct MI300X GPU'sunda nas\u0131l hayata ge\u00e7irebiliriz?\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/\" \/>\n<meta property=\"og:locale\" content=\"tr_TR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?\" \/>\n<meta property=\"og:description\" content=\"B\u00fcy\u00fck Dil Modelleri (LLM'ler) g\u00fcn\u00fcm\u00fcz yapay zeka d\u00fcnyas\u0131n\u0131n en heyecan verici ve d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc teknolojilerinden biri. Ancak bu devasa modelleri verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle de uygun maliyetle y\u00fcksek performans elde etmek ciddi bir meydan okuma. Peki, a\u00e7\u0131k kaynakl\u0131 bir model olan GPT-OSS 120B'yi, vLLM k\u00fct\u00fcphanesinin sundu\u011fu optimizasyonlarla, AMD'nin g\u00fc\u00e7l\u00fc Instinct MI300X GPU'sunda nas\u0131l hayata ge\u00e7irebiliriz?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/\" \/>\n<meta property=\"og:site_name\" content=\"Kodlar\u0131n Gizemli D\u00fcnyas\u0131\" \/>\n<meta property=\"article:published_time\" content=\"2025-11-08T01:21:00+00:00\" \/>\n<meta name=\"author\" content=\"Fatih Soysal\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Yazan:\" \/>\n\t<meta name=\"twitter:data1\" content=\"Fatih Soysal\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tahmini okuma s\u00fcresi\" \/>\n\t<meta name=\"twitter:data2\" content=\"26 dakika\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/\"},\"author\":{\"name\":\"Fatih Soysal\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\"},\"headline\":\"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?\",\"datePublished\":\"2025-11-08T01:21:00+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/\"},\"wordCount\":4826,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\"},\"inLanguage\":\"tr\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/#respond\"]}],\"copyrightYear\":\"2025\",\"copyrightHolder\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/\",\"name\":\"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?\",\"isPartOf\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#website\"},\"datePublished\":\"2025-11-08T01:21:00+00:00\",\"description\":\"B\u00fcy\u00fck Dil Modelleri (LLM'ler) g\u00fcn\u00fcm\u00fcz yapay zeka d\u00fcnyas\u0131n\u0131n en heyecan verici ve d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc teknolojilerinden biri. Ancak bu devasa modelleri verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle de uygun maliyetle y\u00fcksek performans elde etmek ciddi bir meydan okuma. Peki, a\u00e7\u0131k kaynakl\u0131 bir model olan GPT-OSS 120B'yi, vLLM k\u00fct\u00fcphanesinin sundu\u011fu optimizasyonlarla, AMD'nin g\u00fc\u00e7l\u00fc Instinct MI300X GPU'sunda nas\u0131l hayata ge\u00e7irebiliriz?\",\"breadcrumb\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/#breadcrumb\"},\"inLanguage\":\"tr\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Anasayfa\",\"item\":\"https:\/\/fatihsoysal.com\/blog\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#website\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/\",\"name\":\"Fatihsoysal.com\",\"description\":\"Blog - Yaz\u0131l\u0131m D\u00fcnyas\u0131 Tecr\u00fcbelerim\",\"publisher\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/fatihsoysal.com\/blog\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"tr\"},{\"@type\":[\"Person\",\"Organization\"],\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\",\"name\":\"Fatih Soysal\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"tr\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png\",\"contentUrl\":\"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png\",\"width\":512,\"height\":512,\"caption\":\"Fatih Soysal\"},\"logo\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/\"},\"description\":\"Kullan\u0131m ve kodlama m\u00fckemmeliyetini odak alan uygulamalar olu\u015fturma deneyimine sahip, profesyonel olarak 15+ y\u0131l \u00fczeri deneyime sahip bir yaz\u0131l\u0131m m\u00fchendisi.\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/author\/fatihsoysal\/\"}]}<\/script>\n","yoast_head_json":{"title":"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?","description":"B\u00fcy\u00fck Dil Modelleri (LLM'ler) g\u00fcn\u00fcm\u00fcz yapay zeka d\u00fcnyas\u0131n\u0131n en heyecan verici ve d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc teknolojilerinden biri. Ancak bu devasa modelleri verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle de uygun maliyetle y\u00fcksek performans elde etmek ciddi bir meydan okuma. Peki, a\u00e7\u0131k kaynakl\u0131 bir model olan GPT-OSS 120B'yi, vLLM k\u00fct\u00fcphanesinin sundu\u011fu optimizasyonlarla, AMD'nin g\u00fc\u00e7l\u00fc Instinct MI300X GPU'sunda nas\u0131l hayata ge\u00e7irebiliriz?","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/","og_locale":"tr_TR","og_type":"article","og_title":"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?","og_description":"B\u00fcy\u00fck Dil Modelleri (LLM'ler) g\u00fcn\u00fcm\u00fcz yapay zeka d\u00fcnyas\u0131n\u0131n en heyecan verici ve d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc teknolojilerinden biri. Ancak bu devasa modelleri verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle de uygun maliyetle y\u00fcksek performans elde etmek ciddi bir meydan okuma. Peki, a\u00e7\u0131k kaynakl\u0131 bir model olan GPT-OSS 120B'yi, vLLM k\u00fct\u00fcphanesinin sundu\u011fu optimizasyonlarla, AMD'nin g\u00fc\u00e7l\u00fc Instinct MI300X GPU'sunda nas\u0131l hayata ge\u00e7irebiliriz?","og_url":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/","og_site_name":"Kodlar\u0131n Gizemli D\u00fcnyas\u0131","article_published_time":"2025-11-08T01:21:00+00:00","author":"Fatih Soysal","twitter_card":"summary_large_image","twitter_misc":{"Yazan:":"Fatih Soysal","Tahmini okuma s\u00fcresi":"26 dakika"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/#article","isPartOf":{"@id":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/"},"author":{"name":"Fatih Soysal","@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1"},"headline":"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?","datePublished":"2025-11-08T01:21:00+00:00","mainEntityOfPage":{"@id":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/"},"wordCount":4826,"commentCount":0,"publisher":{"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1"},"inLanguage":"tr","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/#respond"]}],"copyrightYear":"2025","copyrightHolder":{"@id":"https:\/\/fatihsoysal.com\/blog\/#organization"}},{"@type":"WebPage","@id":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/","url":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/","name":"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?","isPartOf":{"@id":"https:\/\/fatihsoysal.com\/blog\/#website"},"datePublished":"2025-11-08T01:21:00+00:00","description":"B\u00fcy\u00fck Dil Modelleri (LLM'ler) g\u00fcn\u00fcm\u00fcz yapay zeka d\u00fcnyas\u0131n\u0131n en heyecan verici ve d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc teknolojilerinden biri. Ancak bu devasa modelleri verimli bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle de uygun maliyetle y\u00fcksek performans elde etmek ciddi bir meydan okuma. Peki, a\u00e7\u0131k kaynakl\u0131 bir model olan GPT-OSS 120B'yi, vLLM k\u00fct\u00fcphanesinin sundu\u011fu optimizasyonlarla, AMD'nin g\u00fc\u00e7l\u00fc Instinct MI300X GPU'sunda nas\u0131l hayata ge\u00e7irebiliriz?","breadcrumb":{"@id":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/#breadcrumb"},"inLanguage":"tr","potentialAction":[{"@type":"ReadAction","target":["https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Anasayfa","item":"https:\/\/fatihsoysal.com\/blog\/"},{"@type":"ListItem","position":2,"name":"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?"}]},{"@type":"WebSite","@id":"https:\/\/fatihsoysal.com\/blog\/#website","url":"https:\/\/fatihsoysal.com\/blog\/","name":"Fatihsoysal.com","description":"Blog - Yaz\u0131l\u0131m D\u00fcnyas\u0131 Tecr\u00fcbelerim","publisher":{"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/fatihsoysal.com\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"tr"},{"@type":["Person","Organization"],"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1","name":"Fatih Soysal","image":{"@type":"ImageObject","inLanguage":"tr","@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/","url":"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png","contentUrl":"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png","width":512,"height":512,"caption":"Fatih Soysal"},"logo":{"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/"},"description":"Kullan\u0131m ve kodlama m\u00fckemmeliyetini odak alan uygulamalar olu\u015fturma deneyimine sahip, profesyonel olarak 15+ y\u0131l \u00fczeri deneyime sahip bir yaz\u0131l\u0131m m\u00fchendisi.","url":"https:\/\/fatihsoysal.com\/blog\/author\/fatihsoysal\/"}]}},"yoast_meta":{"yoast_wpseo_title":"","yoast_wpseo_metadesc":"","yoast_wpseo_canonical":""},"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/posts\/33863","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/comments?post=33863"}],"version-history":[{"count":0,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/posts\/33863\/revisions"}],"wp:attachment":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/media?parent=33863"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/categories?post=33863"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/tags?post=33863"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}

{"id":33863,"date":"2025-11-08T04:21:00","date_gmt":"2025-11-08T01:21:00","guid":{"rendered":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/"},"modified":"2025-11-08T04:21:00","modified_gmt":"2025-11-08T01:21:00","slug":"buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli","status":"publish","type":"post","link":"https:\/\/fatihsoysal.com\/blog\/buyuk-dil-modellerini-llm-donanimda-verimli-calistirmak-neden-onemli\/","title":{"rendered":"B\u00fcy\u00fck Dil Modellerini (LLM) Donan\u0131mda Verimli \u00c7al\u0131\u015ft\u0131rmak Neden \u00d6nemli?"},"content":{"rendered":"