B\u00fcy\u00fck Dil Modelleri (LLM’ler), yapay zeka d\u00fcnyas\u0131nda bir devrim yaratt\u0131 ve do\u011fal dil i\u015fleme yetenekleriyle hayat\u0131m\u0131z\u0131n bir\u00e7ok alan\u0131na entegre oldu. Metin olu\u015fturmadan kod yazmaya, \u00f6zetlemeden soru cevaplamaya kadar geni\u015f bir yelpazede g\u00f6revleri ba\u015far\u0131yla yerine getirebiliyorlar. Ancak, bu modellerin g\u00fcc\u00fc, ayn\u0131 zamanda beraberinde ciddi performans zorluklar\u0131n\u0131 da getiriyor. \u00d6zellikle LLM’leri \u00fcretim ortamlar\u0131nda, yani binlerce kullan\u0131c\u0131n\u0131n e\u015f zamanl\u0131 olarak istek g\u00f6nderdi\u011fi senaryolarda \u00e7al\u0131\u015ft\u0131rmak, y\u00fcksek maliyetler ve gecikme sorunlar\u0131 nedeniyle karma\u015f\u0131k bir hal al\u0131yor. Bu makale, vLLM, TGI ve SGLang gibi modern LLM \u00e7\u0131kar\u0131m motorlar\u0131n\u0131n arkas\u0131ndaki “S\u00fcrekli Gruplama” (Continuous Batching) mekani\u011fini, bu teknolojilerin geleneksel yakla\u015f\u0131mlar\u0131n s\u0131n\u0131rlamalar\u0131n\u0131 nas\u0131l a\u015ft\u0131\u011f\u0131n\u0131 ve GPU kullan\u0131m\u0131n\u0131 nas\u0131l devrim niteli\u011finde optimize etti\u011fini detayl\u0131 bir \u015fekilde inceleyecektir. Amac\u0131m\u0131z, okuyucunun konuya s\u0131f\u0131rdan hakim olmas\u0131n\u0131 sa\u011flayarak, bu ileri d\u00fczey zamanlama tekniklerinin LLM \u00e7\u0131kar\u0131m performans\u0131n\u0131 nas\u0131l d\u00f6n\u00fc\u015ft\u00fcrd\u00fc\u011f\u00fcn\u00fc anlamas\u0131na yard\u0131mc\u0131 olmakt\u0131r.<\/p>\n
LLM’ler, milyarlarca parametreye sahip derin sinir a\u011flar\u0131d\u0131r ve her bir token \u00fcretimi, milyarlarca matematiksel i\u015flem gerektirir. Bir kullan\u0131c\u0131 bir istem (prompt) g\u00f6nderdi\u011finde, model bu istemi i\u015fler ve ad\u0131m ad\u0131m yeni token’lar \u00fcretir. Bu s\u00fcre\u00e7, \u00f6zellikle uzun metinler veya \u00e7ok say\u0131da e\u015f zamanl\u0131 istek s\u00f6z konusu oldu\u011funda, \u00f6nemli miktarda hesaplama kayna\u011f\u0131 ve bellek t\u00fcketir. Geleneksel olarak, birden fazla kullan\u0131c\u0131 iste\u011fini ayn\u0131 anda i\u015flemek i\u00e7in “statik gruplama” (static batching) ad\u0131 verilen bir y\u00f6ntem kullan\u0131l\u0131rd\u0131. Bu y\u00f6ntemde, belirli say\u0131da istek bir araya getirilerek tek bir b\u00fcy\u00fck hesaplama birimi (batch) olu\u015fturulur ve GPU’ya g\u00f6nderilir. Ancak, bu yakla\u015f\u0131m\u0131n ciddi verimsizlikleri vard\u0131r. \u00d6rne\u011fin, farkl\u0131 uzunluktaki istemler veya farkl\u0131 say\u0131da \u00e7\u0131kt\u0131 token’\u0131 bekleyen istekler bir araya geldi\u011finde, en uzun iste\u011fe g\u00f6re padding (doldurma) yapmak gerekir. Bu da, GPU’nun b\u00fcy\u00fck bir k\u0131sm\u0131n\u0131n bo\u015fta kalmas\u0131na, yani ger\u00e7ek bir i\u015f yapmadan enerji t\u00fcketmesine yol a\u00e7ar. Sonu\u00e7 olarak, y\u00fcksek gecikme s\u00fcreleri, d\u00fc\u015f\u00fck i\u015f hacmi (throughput) ve israf edilen GPU kaynaklar\u0131 ka\u00e7\u0131n\u0131lmaz hale gelir. \u0130\u015fte tam da bu noktada, s\u00fcrekli gruplama gibi yenilik\u00e7i zamanlama mekanikleri devreye girerek, LLM’lerin \u00fcretim ortamlar\u0131ndaki performans sorunlar\u0131na k\u00f6kl\u00fc \u00e7\u00f6z\u00fcmler sunmaktad\u0131r.<\/p>\n
B\u00fcy\u00fck dil modellerini (LLM’ler) \u00fcretim ortamlar\u0131nda \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle y\u00fcksek talep ve d\u00fc\u015f\u00fck gecikme beklentileriyle kar\u015f\u0131la\u015f\u0131ld\u0131\u011f\u0131nda, kendine \u00f6zg\u00fc zorluklar bar\u0131nd\u0131r\u0131r. Geleneksel olarak kullan\u0131lan statik gruplama (static batching) y\u00f6ntemi, bu zorluklar\u0131n \u00fcstesinden gelmekte yetersiz kalm\u0131\u015ft\u0131r. Statik gruplamada, belirli say\u0131da kullan\u0131c\u0131 iste\u011fi (prompt) \u00f6nceden belirlenmi\u015f bir grup (batch) halinde toplan\u0131r ve GPU’ya ayn\u0131 anda i\u015flenmek \u00fczere g\u00f6nderilir. Bu yakla\u015f\u0131m\u0131n temel amac\u0131, GPU’nun paralel i\u015flem g\u00fcc\u00fcnden faydalanmakt\u0131r, zira GPU’lar tek bir b\u00fcy\u00fck i\u015flem yerine bir\u00e7ok k\u00fc\u00e7\u00fck i\u015flemi e\u015f zamanl\u0131 yapmada \u00e7ok daha etkilidir. Ancak, statik gruplaman\u0131n beraberinde getirdi\u011fi baz\u0131 ciddi s\u0131n\u0131rlamalar, LLM’lerin dinamik ve de\u011fi\u015fken do\u011fas\u0131yla \u00e7eli\u015fir.<\/p>\n
\u00d6ncelikle, statik gruplama, istemlerin ve \u00e7\u0131kt\u0131lar\u0131n uzunluklar\u0131 konusunda homojenlik varsayar. Ger\u00e7ek d\u00fcnyada ise kullan\u0131c\u0131 istekleri son derece de\u011fi\u015fkendir. Bir kullan\u0131c\u0131 k\u0131sa bir soru sorarken, di\u011feri uzun bir makale \u00f6zeti isteyebilir veya yarat\u0131c\u0131 bir hikaye \u00fcretmesini bekleyebilir. Bu durumda, statik bir batch olu\u015fturulurken, t\u00fcm istemlerin ve potansiyel \u00e7\u0131kt\u0131lar\u0131n en uzun olana g\u00f6re “doldurulmas\u0131” (padding) gerekir. \u00d6rne\u011fin, bir batch’te 10 token’l\u0131k bir istemle 100 token’l\u0131k bir istem varsa, 10 token’l\u0131k istem 90 bo\u015f token ile doldurulur. Bu bo\u015f token’lar, GPU’da yine de hesaplama kaynaklar\u0131 t\u00fcketir, ancak hi\u00e7bir faydal\u0131 \u00e7\u0131kt\u0131 \u00fcretmez. Bu durum, GPU’nun b\u00fcy\u00fck bir k\u0131sm\u0131n\u0131n bo\u015fta kalmas\u0131na, yani verimsiz kullan\u0131lmas\u0131na yol a\u00e7ar. Bu bellek ve hesaplama israf\u0131, \u00f6zellikle pahal\u0131 GPU kaynaklar\u0131 d\u00fc\u015f\u00fcn\u00fcld\u00fc\u011f\u00fcnde, kabul edilemez bir maliyet unsuru haline gelir.<\/p>\n
\u0130kinci olarak, statik gruplama, t\u00fcm isteklerin batch’teki en yava\u015f veya en uzun iste\u011fin tamamlanmas\u0131n\u0131 beklemesini gerektirir. E\u011fer bir batch’te uzun bir istem veya uzun bir \u00e7\u0131kt\u0131 \u00fcreten bir istek varsa, di\u011fer t\u00fcm daha k\u0131sa veya daha h\u0131zl\u0131 tamamlanabilecek istekler de bu iste\u011fin bitmesini beklemek zorundad\u0131r. Bu “head-of-line blocking” problemi, ilk token gecikmesini (Time To First Token – TTFT) ve toplam gecikmeyi (Time To Last Token – TLAT) \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r. Kullan\u0131c\u0131 deneyimi a\u00e7\u0131s\u0131ndan bu durum olduk\u00e7a k\u00f6t\u00fcd\u00fcr, \u00e7\u00fcnk\u00fc h\u0131zl\u0131 yan\u0131t bekleyen kullan\u0131c\u0131lar, yava\u015f yan\u0131t veren di\u011fer kullan\u0131c\u0131lar y\u00fcz\u00fcnden beklemek zorunda kal\u0131rlar. \u00d6zellikle ger\u00e7ek zamanl\u0131 sohbet botlar\u0131 veya etkile\u015fimli uygulamalar i\u00e7in bu gecikme kabul edilemezdir.<\/p>\n
Son olarak, LLM’ler her ad\u0131mda tek bir token \u00fcretir ve bu token’\u0131 bir sonraki ad\u0131mda girdi olarak kullan\u0131r. Bu otoregresif do\u011fa, her bir token \u00fcretim ad\u0131m\u0131nda modelin t\u00fcm katmanlar\u0131n\u0131n yeniden \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131n\u0131 gerektirir. Statik gruplamada, bir batch’teki t\u00fcm istekler ayn\u0131 anda ilerlemek zorunda oldu\u011fu i\u00e7in, bir istek token \u00fcretimini bitirse bile, batch’teki di\u011fer istekler tamamlanana kadar GPU’dan ayr\u0131lamaz. Bu da, GPU’nun zaten tamamlanm\u0131\u015f i\u015fler i\u00e7in bellek ve hesaplama kaynaklar\u0131n\u0131 tutmaya devam etmesi anlam\u0131na gelir. K\u0131sacas\u0131, statik gruplama, LLM’lerin dinamik ve otoregresif yap\u0131s\u0131yla uyumlu de\u011fildir, GPU’yu verimsiz kullan\u0131r, gecikmeleri art\u0131r\u0131r ve genel i\u015f hacmini d\u00fc\u015f\u00fcr\u00fcr. Bu nedenlerle, daha esnek, dinamik ve verimli bir gruplama mekanizmas\u0131na, yani s\u00fcrekli gruplamaya ge\u00e7i\u015f ka\u00e7\u0131n\u0131lmaz hale gelmi\u015ftir.<\/p>\n
S\u00fcrekli gruplama, LLM \u00e7\u0131kar\u0131m\u0131nda kar\u015f\u0131la\u015f\u0131lan verimlilik ve gecikme sorunlar\u0131na devrim niteli\u011finde bir \u00e7\u00f6z\u00fcm sunan, dinamik bir zamanlama mekanizmas\u0131d\u0131r. Temel prensip, statik gruplaman\u0131n aksine, isteklerin tamamlanmas\u0131n\u0131 beklemek yerine, mevcut token’lar\u0131 i\u015fleyip yeni istekleri veya mevcut isteklerin bir sonraki token’lar\u0131n\u0131 s\u00fcrekli olarak GPU’ya beslemektir. Bu sayede GPU’nun bo\u015fta kalma s\u00fcresi minimuma indirilir ve kaynak kullan\u0131m\u0131 maksimize edilir. Gelin, s\u00fcrekli gruplaman\u0131n nas\u0131l \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 ve hangi ana bile\u015fenlere sahip oldu\u011funu ad\u0131m ad\u0131m inceleyelim.<\/p>\n
S\u00fcrekli gruplaman\u0131n kalbinde iki ana bile\u015fen bulunur: Zamanlay\u0131c\u0131 (Scheduler)<\/strong> ve Bellek Y\u00f6netimi (Memory Management)<\/strong>. Zamanlay\u0131c\u0131, gelen istekleri y\u00f6netir, hangi isteklerin hangi s\u0131rada i\u015flenece\u011fine karar verir ve GPU’ya g\u00f6nderilecek batch’leri dinamik olarak olu\u015fturur. Bellek y\u00f6netimi ise \u00f6zellikle LLM’lerin “KV Cache” olarak bilinen \u00f6nemli bir bellek alan\u0131n\u0131 verimli bir \u015fekilde kullanmaktan sorumludur. KV Cache, modelin her bir katman\u0131 i\u00e7in, daha \u00f6nce hesaplanm\u0131\u015f anahtar (Key) ve de\u011fer (Value) vekt\u00f6rlerini saklar, b\u00f6ylece ayn\u0131 hesaplamalar\u0131n tekrar yap\u0131lmas\u0131n\u0131 \u00f6nleyerek \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 art\u0131r\u0131r.<\/p>\n S\u00fcrekli gruplaman\u0131n ad\u0131m ad\u0131m i\u015fleyi\u015fi genellikle \u015fu \u015fekildedir:<\/p>\n 1. \u0130steklerin Kuyru\u011fa Al\u0131nmas\u0131:<\/strong> Kullan\u0131c\u0131lardan gelen yeni \u00e7\u0131kar\u0131m istekleri (prompt’lar) bir istek kuyru\u011funa al\u0131n\u0131r. Bu kuyruk, genellikle FIFO (\u0130lk Giren \u0130lk \u00c7\u0131kar) prensibine g\u00f6re \u00e7al\u0131\u015f\u0131r, ancak \u00f6nceliklendirme algoritmalar\u0131 da i\u00e7erebilir. Bu s\u00fcrekli d\u00f6ng\u00fc sayesinde, GPU’nun doluluk oran\u0131 (utilization) \u00f6nemli \u00f6l\u00e7\u00fcde artar. \u00d6zellikle vLLM’in PagedAttention gibi yenilik\u00e7i bellek y\u00f6netimi teknikleriyle birle\u015fti\u011finde, KV Cache fragmentasyonu (par\u00e7alanmas\u0131) en aza indirilir ve bellek \u00e7ok daha verimli kullan\u0131l\u0131r. Sonu\u00e7 olarak, ayn\u0131 GPU kaynaklar\u0131yla \u00e7ok daha fazla e\u015f zamanl\u0131 iste\u011fi i\u015flemek m\u00fcmk\u00fcn hale gelir, bu da hem i\u015f hacmini art\u0131r\u0131r hem de gecikmeyi azalt\u0131r. S\u00fcrekli gruplama, LLM’lerin maliyet-etkin ve y\u00fcksek performansl\u0131 bir \u015fekilde \u00fcretim ortamlar\u0131nda \u00f6l\u00e7eklenmesini sa\u011flayan temel teknolojilerden biridir.<\/p>\n B\u00fcy\u00fck Dil Modelleri (LLM’ler) ile \u00e7\u0131kar\u0131m yaparken kar\u015f\u0131la\u015f\u0131lan en b\u00fcy\u00fck performans darbo\u011fazlar\u0131ndan biri, “KV Cache” olarak bilinen bellek alan\u0131n\u0131n verimsiz y\u00f6netimidir. KV Cache, modelin her bir katman\u0131nda daha \u00f6nce hesaplanm\u0131\u015f anahtar (Key) ve de\u011fer (Value) vekt\u00f6rlerini saklayarak, otoregresif token \u00fcretim s\u00fcrecinde tekrar tekrar ayn\u0131 hesaplamalar\u0131n yap\u0131lmas\u0131n\u0131 \u00f6nler. Bu, \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 art\u0131rmak i\u00e7in hayati \u00f6neme sahiptir. Ancak, geleneksel yakla\u015f\u0131mlar KV Cache’i y\u00f6netirken ciddi bellek israf\u0131na yol a\u00e7ar. \u0130\u015fte bu noktada, vLLM’in geli\u015ftirdi\u011fi PagedAttention mekanizmas\u0131, bellek y\u00f6netiminde adeta bir devrim yaratarak LLM \u00e7\u0131kar\u0131m performans\u0131n\u0131 k\u00f6kten de\u011fi\u015ftirmi\u015ftir.<\/p>\n Geleneksel KV Cache y\u00f6netiminde, bir istek geldi\u011finde, modelin \u00fcretebilece\u011fi maksimum token say\u0131s\u0131na g\u00f6re belirli bir bellek alan\u0131 ayr\u0131l\u0131r. Bu alan, iste\u011fin prompt’u ve sonraki \u00fcretilecek token’lar i\u00e7in yeterli olacak \u015fekilde \u00f6nceden tahsis edilir. Ancak, kullan\u0131c\u0131 isteklerinin ve \u00fcretilen \u00e7\u0131kt\u0131lar\u0131n uzunluklar\u0131 b\u00fcy\u00fck \u00f6l\u00e7\u00fcde de\u011fi\u015fti\u011fi i\u00e7in, ayr\u0131lan belle\u011fin \u00e7o\u011fu zaman tam olarak kullan\u0131lamamas\u0131 sorunu ortaya \u00e7\u0131kar. \u00d6rne\u011fin, bir istek i\u00e7in 512 token’l\u0131k KV Cache alan\u0131 ayr\u0131lm\u0131\u015fken, istek sadece 50 token \u00fcreterek tamamlanabilir. Bu durumda, kalan 462 token’l\u0131k bellek alan\u0131 bo\u015fta kal\u0131r ve ba\u015fka istekler taraf\u0131ndan kullan\u0131lamaz. Bu duruma “bellek fragmentasyonu” (memory fragmentation) denir ve GPU belle\u011finin verimsiz kullan\u0131lmas\u0131na, dolay\u0131s\u0131yla daha az e\u015f zamanl\u0131 iste\u011fin i\u015flenebilmesine yol a\u00e7ar. Ayr\u0131ca, \u00f6nceden maksimum uzunlu\u011fa g\u00f6re bellek ay\u0131rma zorunlulu\u011fu, \u00e7ok uzun istemlerin veya \u00e7\u0131kt\u0131lar\u0131n i\u015flenmesini k\u0131s\u0131tlayabilir.<\/p>\n PagedAttention, bu sorunlara i\u015fletim sistemlerindeki sanal bellek ve sayfalama (paging) mekanizmalar\u0131ndan ilham alarak bir \u00e7\u00f6z\u00fcm getirir. T\u0131pk\u0131 bir i\u015fletim sisteminin programlar\u0131n belle\u011fi par\u00e7al\u0131 bir \u015fekilde kullanmas\u0131na izin vermesi gibi, PagedAttention da KV Cache’i “sayfa” ad\u0131 verilen k\u00fc\u00e7\u00fck, sabit boyutlu bloklara b\u00f6ler. Bir istek geldi\u011finde, ba\u015flang\u0131\u00e7ta sadece prompt i\u00e7in gerekli olan KV Cache sayfalar\u0131 tahsis edilir. Model her yeni token \u00fcretti\u011finde ve daha fazla KV Cache belle\u011fine ihtiya\u00e7 duydu\u011funda, zamanlay\u0131c\u0131 dinamik olarak yeni bir sayfa tahsis eder ve bu sayfay\u0131 iste\u011fin KV Cache’ine ekler. Bu sayede:<\/p>\n 1. Dinamik Bellek Tahsisi:<\/strong> Bellek, maksimum olas\u0131 uzunlu\u011fa g\u00f6re \u00f6nceden de\u011fil, ihtiya\u00e7 duyuldu\u011fu anda dinamik olarak tahsis edilir. Bu, bellek israf\u0131n\u0131 ve fragmentasyonu b\u00fcy\u00fck \u00f6l\u00e7\u00fcde azalt\u0131r. PagedAttention’\u0131n bu ak\u0131ll\u0131 bellek y\u00f6netimi sayesinde, vLLM ayn\u0131 GPU \u00fczerinde statik gruplamaya k\u0131yasla \u00e7ok daha fazla e\u015f zamanl\u0131 iste\u011fi i\u015fleyebilir. Bu da, GPU’nun i\u015f hacmini (throughput) 2-4 kat art\u0131r\u0131rken, ilk token gecikmesini (TTFT) \u00f6nemli \u00f6l\u00e7\u00fcde d\u00fc\u015f\u00fcr\u00fcr. Bu verimlilik art\u0131\u015f\u0131, LLM’leri daha uygun maliyetli ve \u00f6l\u00e7eklenebilir hale getirerek, geni\u015f \u00e7apl\u0131 uygulamalar i\u00e7in kap\u0131lar\u0131 aralam\u0131\u015ft\u0131r.<\/p>\n vLLM’in ba\u015far\u0131s\u0131n\u0131n temelinde, PagedAttention ile entegre \u00e7al\u0131\u015fan ak\u0131ll\u0131 bir zamanlay\u0131c\u0131 yatmaktad\u0131r. Bu zamanlay\u0131c\u0131, gelen istekleri s\u00fcrekli olarak izler, GPU kaynaklar\u0131n\u0131 en verimli \u015fekilde kullanmak i\u00e7in batch’leri dinamik olarak olu\u015fturur ve g\u00fcnceller. Geleneksel zamanlay\u0131c\u0131lar\u0131n aksine, vLLM zamanlay\u0131c\u0131s\u0131, bir iste\u011fin tamamlanmas\u0131n\u0131 beklemez; bunun yerine, GPU’da her zaman \u00fcretken i\u015f olmas\u0131n\u0131 sa\u011flamak i\u00e7in aktif bir d\u00f6ng\u00fc i\u00e7inde \u00e7al\u0131\u015f\u0131r.<\/p>\n vLLM zamanlay\u0131c\u0131s\u0131n\u0131n temel i\u015f ak\u0131\u015f\u0131 \u015fu ad\u0131mlar\u0131 i\u00e7erir:<\/p>\n 1. \u0130stek Kuyru\u011fu Y\u00f6netimi:<\/strong> Yeni gelen t\u00fcm \u00e7\u0131kar\u0131m istekleri (prompt’lar) bir bekleme kuyru\u011funa al\u0131n\u0131r. Bu kuyruk, genellikle FIFO prensibiyle \u00e7al\u0131\u015f\u0131r, ancak daha geli\u015fmi\u015f senaryolarda \u00f6nceliklendirme algoritmalar\u0131 da uygulanabilir (\u00f6rne\u011fin, daha k\u0131sa isteklerin veya belirli kullan\u0131c\u0131lar\u0131n \u00f6nceliklendirilmesi). A\u015fa\u011f\u0131da, vLLM zamanlay\u0131c\u0131s\u0131n\u0131n temel mant\u0131\u011f\u0131n\u0131 \u00f6zetleyen bir pseudo-kod \u00f6rne\u011fi bulunmaktad\u0131r:<\/p>\n Bu d\u00f6ng\u00fc, vLLM’in y\u00fcksek i\u015f hacmi ve d\u00fc\u015f\u00fck gecikme ile \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flayan temel mekanizmad\u0131r. PagedAttention ile entegrasyonu sayesinde, bellek verimlili\u011fi ve GPU kullan\u0131m\u0131 e\u015fi benzeri g\u00f6r\u00fclmemi\u015f seviyelere ula\u015f\u0131r.<\/p>\n S\u00fcrekli gruplama ve optimize edilmi\u015f LLM \u00e7\u0131kar\u0131m\u0131 alan\u0131nda vLLM tek oyuncu de\u011fildir. Hugging Face’in geli\u015ftirdi\u011fi TGI (Text Generation Inference) ve daha esnek bir yap\u0131 sunan SGLang gibi projeler de benzer hedeflere farkl\u0131 yakla\u015f\u0131mlarla ula\u015fmaktad\u0131r. Her biri, LLM’leri \u00fcretimde daha verimli, h\u0131zl\u0131 ve maliyet etkin hale getirmeyi ama\u00e7lar.<\/p>\n TGI, Hugging Face taraf\u0131ndan \u00f6zellikle b\u00fcy\u00fck dil modellerinin y\u00fcksek performansl\u0131 \u00e7\u0131kar\u0131m\u0131 i\u00e7in tasarlanm\u0131\u015f, Rust tabanl\u0131 bir \u00e7\u0131kar\u0131m sunucusudur. Temel amac\u0131, LLM’leri \u00f6l\u00e7eklenebilir ve g\u00fcvenilir bir \u015fekilde API olarak sunmakt\u0131r. TGI, vLLM gibi s\u00fcrekli gruplama (continuous batching) mekanizmalar\u0131n\u0131 kullanarak GPU kullan\u0131m\u0131n\u0131 maksimize eder.<\/p>\n TGI’\u0131n \u00f6ne \u00e7\u0131kan \u00f6zellikleri \u015funlard\u0131r:<\/p>\n * S\u00fcrekli Gruplama:<\/strong> T\u0131pk\u0131 vLLM gibi, TGI da gelen istekleri dinamik olarak bir araya getirir ve GPU’nun her zaman dolu olmas\u0131n\u0131 sa\u011flar. Bu sayede, ilk token gecikmesi (TTFT) d\u00fc\u015f\u00fcr\u00fcl\u00fcr ve genel i\u015f hacmi (throughput) art\u0131r\u0131l\u0131r. TGI, Hugging Face ekosistemiyle derinlemesine entegredir ve Transformers k\u00fct\u00fcphanesindeki modellerle kolayca kullan\u0131labilir. Rust ile yaz\u0131lm\u0131\u015f olmas\u0131, g\u00fcvenlik ve performans avantajlar\u0131 sunar. Bellek y\u00f6netimi konusunda vLLM’in PagedAttention’\u0131 kadar devrimsel bir mekanizmaya sahip olmasa da, s\u00fcrekli gruplama ve di\u011fer optimizasyonlarla olduk\u00e7a rekabet\u00e7i bir performans sergiler.<\/p>\n SGLang (Structured Generation Language), LLM \u00e7\u0131kar\u0131m\u0131na daha programlanabilir ve esnek bir yakla\u015f\u0131m getiren, Python tabanl\u0131 bir k\u00fct\u00fcphanedir. Geleneksel \u00e7\u0131kar\u0131m motorlar\u0131 genellikle basit istem-yan\u0131t d\u00f6ng\u00fcleri i\u00e7in optimize edilmi\u015fken, SGLang, karma\u015f\u0131k istemler, \u00e7ok modlu senaryolar, kontrol ak\u0131\u015flar\u0131 ve \u00e7\u0131kt\u0131 formatlamas\u0131 gibi daha geli\u015fmi\u015f kullan\u0131m durumlar\u0131na odaklan\u0131r.<\/p>\n SGLang’in temel \u00f6zellikleri ve farkl\u0131l\u0131klar\u0131 \u015funlard\u0131r:<\/p>\n * Token Tree \/ Radix Tree:<\/strong> SGLang, ortak istem \u00f6neklerini (prompt prefix) payla\u015fan istekler i\u00e7in “token a\u011fac\u0131” veya “radix a\u011fac\u0131” benzeri bir yap\u0131 kullanarak KV Cache’i verimli bir \u015fekilde y\u00f6netir. Bu, \u00f6zellikle ayn\u0131 ba\u015flang\u0131\u00e7 istemiyle farkl\u0131 varyasyonlar \u00fcreten senaryolarda (\u00f6rne\u011fin, bir \u00fcr\u00fcn a\u00e7\u0131klamas\u0131 i\u00e7in farkl\u0131 ba\u015fl\u0131klar olu\u015fturma) bellek ve hesaplama tasarrufu sa\u011flar. A\u015fa\u011f\u0131da, SGLang’in programlanabilir yap\u0131s\u0131n\u0131 g\u00f6steren basit bir pseudo-kod \u00f6rne\u011fi bulunmaktad\u0131r:<\/p>\n Bu \u00f6rnekte, \u00d6zetle, vLLM, TGI ve SGLang’in hepsi s\u00fcrekli gruplama prensibini benimsemi\u015f olsa da, odak noktalar\u0131 ve mimarileri farkl\u0131l\u0131k g\u00f6sterir. vLLM, PagedAttention ile bellek y\u00f6netiminde \u00e7\u0131\u011f\u0131r a\u00e7arken, TGI Hugging Face ekosistemine entegre, optimize edilmi\u015f bir \u00e7\u0131kar\u0131m sunucusu olarak \u00f6ne \u00e7\u0131kar. SGLang ise LLM \u00e7\u0131kar\u0131m\u0131na programlanabilir bir katman ekleyerek daha karma\u015f\u0131k ve esnek kullan\u0131m senaryolar\u0131n\u0131 hedefler. Bu ara\u00e7lar\u0131n her biri, LLM’leri \u00fcretimde daha eri\u015filebilir ve g\u00fc\u00e7l\u00fc hale getirme yolculu\u011funda \u00f6nemli roller oynamaktad\u0131r.<\/p>\n S\u00fcrekli gruplama mekanikleri, B\u00fcy\u00fck Dil Modellerinin (LLM’ler) ger\u00e7ek d\u00fcnya uygulamalar\u0131nda kar\u015f\u0131la\u015ft\u0131\u011f\u0131 performans ve \u00f6l\u00e7eklenebilirlik zorluklar\u0131na k\u00f6kl\u00fc \u00e7\u00f6z\u00fcmler sunar. vLLM, TGI ve SGLang gibi ara\u00e7lar\u0131n temelini olu\u015fturan bu teknoloji, \u00f6zellikle y\u00fcksek trafikli ve d\u00fc\u015f\u00fck gecikme beklentili senaryolarda kendini g\u00f6sterir.<\/p>\n Ger\u00e7ek D\u00fcnya Kullan\u0131m Durumlar\u0131:<\/strong><\/p>\n 1. Y\u00fcksek Trafikli Chatbot ve Sohbet Asistanlar\u0131:<\/strong> Belki de s\u00fcrekli gruplaman\u0131n en belirgin faydas\u0131, binlerce kullan\u0131c\u0131n\u0131n e\u015f zamanl\u0131 olarak etkile\u015fimde bulundu\u011fu chatbot uygulamalar\u0131nda g\u00f6r\u00fcl\u00fcr. Her kullan\u0131c\u0131n\u0131n iste\u011fi farkl\u0131 uzunlukta olabilir ve farkl\u0131 h\u0131zlarda token \u00fcretebilir. S\u00fcrekli gruplama sayesinde, GPU, her bir kullan\u0131c\u0131n\u0131n iste\u011fini ba\u011f\u0131ms\u0131z olarak ilerletirken, bo\u015falan kaynaklar\u0131 an\u0131nda yeni gelen isteklerle doldurabilir. Bu, her kullan\u0131c\u0131n\u0131n h\u0131zl\u0131 yan\u0131t almas\u0131n\u0131 sa\u011flar ve genel sistemin t\u0131kanmas\u0131n\u0131 \u00f6nler. Performans Kar\u015f\u0131la\u015ft\u0131rmalar\u0131:<\/strong><\/p>\n S\u00fcrekli gruplama, statik gruplamaya k\u0131yasla iki temel performans metri\u011finde (i\u015f hacmi ve gecikme) \u00f6nemli iyile\u015fmeler sunar:<\/p>\n 1. \u0130\u015f Hacmi (Throughput) Art\u0131\u015f\u0131:<\/strong> S\u00fcrekli gruplama, GPU’nun bo\u015fta kalma s\u00fcresini minimuma indirerek ve KV Cache bellek kullan\u0131m\u0131n\u0131 optimize ederek (\u00f6zellikle PagedAttention ile), ayn\u0131 GPU \u00fczerinde ayn\u0131 anda i\u015flenebilecek istek say\u0131s\u0131n\u0131 art\u0131r\u0131r. Yap\u0131lan testler, vLLM gibi s\u00fcrekli gruplama kullanan motorlar\u0131n, statik gruplama kullanan geleneksel yakla\u015f\u0131mlara g\u00f6re 2-4 kat, hatta baz\u0131 senaryolarda daha fazla i\u015f hacmi art\u0131\u015f\u0131 sa\u011flad\u0131\u011f\u0131n\u0131 g\u00f6stermektedir. Bu, daha az GPU ile daha fazla i\u015f yap\u0131lmas\u0131 anlam\u0131na gelir, do\u011frudan maliyet tasarrufu sa\u011flar. 2. Gecikme (Latency) Azalmas\u0131:<\/strong> Maliyet Avantajlar\u0131:<\/strong><\/p>\n Performanstaki bu iyile\u015fmeler do\u011frudan maliyet avantajlar\u0131na d\u00f6n\u00fc\u015f\u00fcr. Daha y\u00fcksek i\u015f hacmi ve daha d\u00fc\u015f\u00fck gecikme, ayn\u0131 i\u015f y\u00fck\u00fcn\u00fc i\u015flemek i\u00e7in daha az say\u0131da veya daha d\u00fc\u015f\u00fck \u00f6zellikli GPU kullan\u0131labilece\u011fi anlam\u0131na gelir. Bu da, donan\u0131m maliyetlerinden, enerji t\u00fcketiminden ve operasyonel giderlerden \u00f6nemli \u00f6l\u00e7\u00fcde tasarruf sa\u011flar. \u00d6zellikle bulut tabanl\u0131 LLM servisleri i\u00e7in, bu optimizasyonlar milyonlarca dolarl\u0131k fark yaratabilir. S\u00fcrekli gruplama, LLM’leri geni\u015f kitlelere ula\u015ft\u0131rmak ve AI destekli \u00fcr\u00fcnleri ekonomik olarak s\u00fcrd\u00fcr\u00fclebilir k\u0131lmak i\u00e7in kritik bir teknolojidir.<\/p>\n S\u00fcrekli gruplama, LLM \u00e7\u0131kar\u0131m\u0131nda \u00f6nemli bir s\u0131\u00e7rama olsa da, bu alandaki inovasyonlar durmaks\u0131z\u0131n devam ediyor. Daha da y\u00fcksek verimlilik, daha d\u00fc\u015f\u00fck gecikme ve daha esnek kullan\u0131m senaryolar\u0131 i\u00e7in \u00e7e\u015fitli ileri d\u00fczey optimizasyonlar ve gelecek trendleri geli\u015ftirilmektedir.<\/p>\n 1. Geli\u015fmi\u015f \u0130stek \u00d6nceliklendirme:<\/strong> 2. Spek\u00fclatif \u00c7\u00f6z\u00fcmleme (Speculative Decoding):<\/strong> 3. Daha Sofistike Bellek Y\u00f6netimi ve KV Cache Optimizasyonlar\u0131:<\/strong> 4. \u00c7oklu GPU ve Da\u011f\u0131t\u0131k Sistemler i\u00e7in \u00d6l\u00e7eklenebilirlik:<\/strong> 5. Hibrit Batching Yakla\u015f\u0131mlar\u0131:<\/strong> 6. Donan\u0131m-Yaz\u0131l\u0131m Ortak Tasar\u0131m\u0131:<\/strong> Bu trendler, LLM \u00e7\u0131kar\u0131m motorlar\u0131n\u0131n s\u00fcrekli olarak daha ak\u0131ll\u0131, daha h\u0131zl\u0131 ve daha verimli hale geldi\u011fini g\u00f6stermektedir. A\u00e7\u0131k kaynak toplulu\u011funun katk\u0131lar\u0131 ve end\u00fcstriyel Ar-Ge \u00e7al\u0131\u015fmalar\u0131 sayesinde, LLM’ler her ge\u00e7en g\u00fcn daha eri\u015filebilir ve g\u00fc\u00e7l\u00fc hale gelmekte, yapay zekan\u0131n potansiyelini daha geni\u015f bir yelpazede uygulamaya imkan tan\u0131maktad\u0131r.<\/p>\n B\u00fcy\u00fck Dil Modelleri (LLM’ler), yapay zeka d\u00fcnyas\u0131nda \u00e7\u0131\u011f\u0131r a\u00e7an bir teknoloji olmaya devam ederken, bu modelleri \u00fcretim ortamlar\u0131nda verimli ve \u00f6l\u00e7eklenebilir bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak, \u00f6nemli m\u00fchendislik zorluklar\u0131n\u0131 beraberinde getirmektedir. Geleneksel statik gruplama y\u00f6ntemlerinin s\u0131n\u0131rlamalar\u0131, \u00f6zellikle y\u00fcksek gecikme, d\u00fc\u015f\u00fck GPU kullan\u0131m\u0131 ve bellek israf\u0131 gibi sorunlar, modern LLM uygulamalar\u0131n\u0131n \u00f6n\u00fcnde ciddi bir engel te\u015fkil ediyordu. Ancak, vLLM’in PagedAttention mekanizmas\u0131 ve TGI ile SGLang gibi platformlar\u0131n benimsedi\u011fi “S\u00fcrekli Gruplama” (Continuous Batching) teknikleri sayesinde, bu engeller a\u015f\u0131lmaya ba\u015flanm\u0131\u015ft\u0131r.<\/p>\n S\u00fcrekli gruplama, LLM \u00e7\u0131kar\u0131m\u0131nda bir paradigma de\u011fi\u015fimi yaratarak, GPU’nun s\u00fcrekli olarak i\u015flenmekte olan token’larla me\u015fgul olmas\u0131n\u0131 sa\u011flar. Bu dinamik zamanlama yakla\u015f\u0131m\u0131, isteklerin tamamlanmas\u0131n\u0131 beklemek yerine, mevcut kaynaklar\u0131 en verimli \u015fekilde kullanarak i\u015f hacmini (throughput) katlayarak art\u0131r\u0131r ve ilk token gecikmesini (TTFT) \u00f6nemli \u00f6l\u00e7\u00fcde d\u00fc\u015f\u00fcr\u00fcr. vLLM’in PagedAttention’\u0131, KV Cache bellek y\u00f6netimini i\u015fletim sistemlerindeki sayfalama mekanizmalar\u0131ndan esinlenerek optimize ederek, bellek fragmentasyonunu ortadan kald\u0131rm\u0131\u015f ve GPU’nun ayn\u0131 anda \u00e7ok daha fazla e\u015f zamanl\u0131 iste\u011fi i\u015flemesini sa\u011flam\u0131\u015ft\u0131r. TGI, Hugging Face ekosistemine entegre, optimize edilmi\u015f bir \u00e7\u0131kar\u0131m sunucusu olarak \u00f6ne \u00e7\u0131karken, SGLang ise programlanabilir yap\u0131s\u0131yla karma\u015f\u0131k istemler ve \u00e7ok modlu senaryolar i\u00e7in esneklik sunmaktad\u0131r. Bu teknolojilerin her biri, LLM’lerin maliyet etkinli\u011fini art\u0131rarak ve performans\u0131n\u0131 iyile\u015ftirerek, yapay zekan\u0131n geni\u015f \u00e7apl\u0131 benimsenmesinin \u00f6n\u00fcn\u00fc a\u00e7m\u0131\u015ft\u0131r.<\/p>\n Gelece\u011fe bakt\u0131\u011f\u0131m\u0131zda, spek\u00fclatif \u00e7\u00f6z\u00fcmleme, geli\u015fmi\u015f \u00f6nceliklendirme algoritmalar\u0131, hibrit gruplama yakla\u015f\u0131mlar\u0131 ve da\u011f\u0131t\u0131k sistemler i\u00e7in daha sofistike bellek y\u00f6netimi gibi ileri d\u00fczey optimizasyonlar, LLM \u00e7\u0131kar\u0131m\u0131n\u0131n performans\u0131n\u0131 daha da ileriye ta\u015f\u0131yacakt\u0131r. Donan\u0131m ve yaz\u0131l\u0131m\u0131n ortak tasar\u0131m\u0131, bu alandaki inovasyonlar\u0131n h\u0131z\u0131n\u0131 art\u0131rmaya devam edecektir. S\u00fcrekli gruplama mekanikleri ve benzeri yenilikler, LLM’leri sadece bir ara\u015ft\u0131rma konusu olmaktan \u00e7\u0131kar\u0131p, g\u00fcnl\u00fck hayat\u0131m\u0131z\u0131n ve i\u015f s\u00fcre\u00e7lerimizin ayr\u0131lmaz bir par\u00e7as\u0131 haline getiren temel ta\u015flard\u0131r. Bu teknolojiler sayesinde, yapay zeka destekli \u00fcr\u00fcnler daha h\u0131zl\u0131, daha uygun maliyetli ve daha yetenekli hale gelerek, gelecekteki inovasyonlara zemin haz\u0131rlayacakt\u0131r.<\/p>\n S1: S\u00fcrekli gruplama her LLM i\u00e7in uygun mudur?<\/strong> S2: PagedAttention neden bu kadar \u00f6nemli?<\/strong> S3: vLLM, TGI ve SGLang aras\u0131ndaki temel fark nedir?<\/strong> S4: S\u00fcrekli gruplama gecikmeyi nas\u0131l etkiler?<\/strong> S5: S\u00fcrekli gruplama maliyetleri nas\u0131l azalt\u0131r?<\/strong>
\n2. Mevcut Batch’in \u0130\u015flenmesi:<\/strong> Zamanlay\u0131c\u0131, o an GPU’da \u00e7al\u0131\u015fan (yani token \u00fcreten) isteklerden olu\u015fan bir “aktif batch” tutar. Her iterasyonda, bu aktif batch’teki t\u00fcm istekler i\u00e7in bir sonraki token’lar paralel olarak \u00fcretilir.
\n3. Yeni Token’lar\u0131n \u00dcretilmesi ve KV Cache G\u00fcncellemesi:<\/strong> GPU, aktif batch’teki her istek i\u00e7in bir sonraki token’\u0131 \u00fcretir. Bu token \u00fcretimi s\u0131ras\u0131nda, her iste\u011fin KV Cache’i de g\u00fcncellenir. Bu, modelin bir sonraki ad\u0131mda hangi token’\u0131 \u00fcretece\u011fini belirlemesi i\u00e7in kritik \u00f6neme sahiptir.
\n4. Tamamlanan \u0130steklerin Batch’ten \u00c7\u0131kar\u0131lmas\u0131:<\/strong> Bir istek, beklenen token say\u0131s\u0131na ula\u015ft\u0131\u011f\u0131nda, bir durdurma token’\u0131 (EOS token) \u00fcretti\u011finde veya zaman a\u015f\u0131m\u0131na u\u011frad\u0131\u011f\u0131nda tamamlanm\u0131\u015f say\u0131l\u0131r. Tamamlanan istekler aktif batch’ten \u00e7\u0131kar\u0131l\u0131r ve sonu\u00e7lar\u0131 kullan\u0131c\u0131ya d\u00f6nd\u00fcr\u00fcl\u00fcr. Bu, o iste\u011fin kulland\u0131\u011f\u0131 KV Cache belle\u011finin serbest b\u0131rak\u0131lmas\u0131 anlam\u0131na gelir.
\n5. Yeni \u0130steklerin Batch’e Eklenmesi:<\/strong> En kritik ad\u0131m buras\u0131d\u0131r. Zamanlay\u0131c\u0131, tamamlanan isteklerden bo\u015falan GPU belle\u011fini ve hesaplama kapasitesini s\u00fcrekli olarak izler. E\u011fer yeterli kaynak (\u00f6zellikle KV Cache belle\u011fi) varsa, istek kuyru\u011fundaki bekleyen yeni istekler, mevcut aktif batch’e dinamik olarak eklenir. Bu, GPU’nun hi\u00e7bir zaman bo\u015fta kalmamas\u0131n\u0131 ve s\u00fcrekli olarak yeni veya mevcut i\u015flerle me\u015fgul olmas\u0131n\u0131 sa\u011flar. Bu sayede, statik gruplamadaki gibi t\u00fcm batch’in bitmesi beklenmez; bir istek tamamland\u0131\u011f\u0131 anda yerine yenisi al\u0131nabilir.<\/p>\nvLLM’in PagedAttention Mekanizmas\u0131: Bellek Y\u00f6netiminde Devrim<\/h2>\n
\n2. Bellek Payla\u015f\u0131m\u0131:<\/strong> Ayn\u0131 prompt’u kullanan birden fazla istek (\u00f6rne\u011fin, bir chatbot’a ayn\u0131 ba\u015flang\u0131\u00e7 c\u00fcmlesiyle farkl\u0131 sorular soran kullan\u0131c\u0131lar) KV Cache’in prompt k\u0131sm\u0131n\u0131 payla\u015fabilir. Bu, \u00f6zellikle \u00e7oklu kullan\u0131c\u0131 senaryolar\u0131nda bellek verimlili\u011fini art\u0131r\u0131r.
\n3. Esneklik:<\/strong> \u0130stekler farkl\u0131 uzunluklarda olabilir ve farkl\u0131 say\u0131da token \u00fcretebilir; PagedAttention, her iste\u011fin kendi ihtiyac\u0131na g\u00f6re bellek kullanmas\u0131na olanak tan\u0131r.
\n4. Basitle\u015ftirilmi\u015f Zamanlama:<\/strong> Zamanlay\u0131c\u0131, hangi iste\u011fin ne kadar bellek kullanaca\u011f\u0131n\u0131 \u00f6nceden hesaplamak yerine, sadece ka\u00e7 adet KV Cache sayfas\u0131n\u0131n bo\u015fta oldu\u011funu bilerek yeni istekleri batch’e ekleyebilir.<\/p>\nvLLM Zamanlay\u0131c\u0131s\u0131: \u0130stekleri Dinamik Olarak Y\u00f6netme<\/h3>\n
\n2. GPU Kapasite \u0130zleme:<\/strong> Zamanlay\u0131c\u0131, GPU’nun mevcut KV Cache belle\u011fini ve genel hesaplama kapasitesini s\u00fcrekli olarak izler. PagedAttention sayesinde, bu izleme, tahsis edilmi\u015f ve bo\u015fta olan KV Cache sayfalar\u0131n\u0131n say\u0131s\u0131 \u00fczerinden yap\u0131l\u0131r.
\n3. Dinamik Batch Olu\u015fturma:<\/strong> Her iterasyonda, zamanlay\u0131c\u0131 \u00f6nce GPU’da o anda \u00e7al\u0131\u015fan (aktif) isteklerden olu\u015fan batch’i al\u0131r. Ard\u0131ndan, bekleme kuyru\u011fundaki istekleri de\u011ferlendirir. E\u011fer yeterli GPU belle\u011fi (KV Cache sayfas\u0131) ve hesaplama kapasitesi varsa, yeni istekleri aktif batch’e ekler. Bu ekleme i\u015flemi, mevcut batch’teki isteklerin tamamlanmas\u0131n\u0131 beklemez; bo\u015falan veya yeterli kaynak olan her an yeni istekler eklenir.
\n4. Batch Y\u00fcr\u00fctme:<\/strong> Olu\u015fturulan veya g\u00fcncellenen aktif batch, GPU’ya g\u00f6nderilir. GPU, batch’teki her istek i\u00e7in bir sonraki token’\u0131 paralel olarak \u00fcretir. Bu i\u015flem s\u0131ras\u0131nda, PagedAttention mekanizmas\u0131 devreye girerek her iste\u011fin KV Cache’ini dinamik olarak g\u00fcnceller veya yeni sayfalar tahsis eder.
\n5. \u0130stek Durumu G\u00fcncelleme:<\/strong> Token \u00fcretimi tamamland\u0131\u011f\u0131nda, zamanlay\u0131c\u0131 her iste\u011fin durumunu kontrol eder. Bir istek, beklenen token say\u0131s\u0131na ula\u015ft\u0131\u011f\u0131nda, bir durdurma token’\u0131 (EOS) \u00fcretti\u011finde veya maksimum token limitine ula\u015ft\u0131\u011f\u0131nda “tamamlanm\u0131\u015f” olarak i\u015faretlenir. Tamamlanan istekler aktif batch’ten \u00e7\u0131kar\u0131l\u0131r ve bu isteklerin kulland\u0131\u011f\u0131 KV Cache sayfalar\u0131 serbest b\u0131rak\u0131l\u0131r, b\u00f6ylece di\u011fer bekleyen istekler i\u00e7in kullan\u0131labilir hale gelir.
\n6. S\u00fcrekli D\u00f6ng\u00fc:<\/strong> Bu s\u00fcre\u00e7, GPU’da i\u015flenecek istek oldu\u011fu s\u00fcrece s\u00fcrekli bir d\u00f6ng\u00fc halinde devam eder. Zamanlay\u0131c\u0131, GPU’nun her zaman dolu olmas\u0131n\u0131 ve en y\u00fcksek verimlilikle \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar.<\/p>\n\nfunction vLLMSchedulerLoop():\n initialize_kv_cache_manager() \/\/ PagedAttention'\u0131 ba\u015flat\n request_queue = get_pending_requests_queue()\n running_requests = set()\n\n while True:\n \/\/ 1. GPU'nun mevcut KV Cache durumunu al\n available_kv_cache_pages = kv_cache_manager.get_available_pages()\n\n \/\/ 2. Yeni istekleri batch'e ekle (e\u011fer yer varsa)\n while not request_queue.is_empty() and kv_cache_manager.can_allocate_for_request(request_queue.peek()):\n new_request = request_queue.dequeue()\n kv_cache_manager.allocate_for_request(new_request) \/\/ PagedAttention ile bellek tahsisi\n running_requests.add(new_request)\n print(f\"Yeni istek eklendi: {new_request.id}\")\n\n \/\/ 3. Aktif batch'i GPU'ya g\u00f6nder ve token \u00fcret\n if not running_requests.is_empty():\n generated_tokens = execute_batch_on_gpu(running_requests) \/\/ T\u00fcm istekler i\u00e7in bir token \u00fcretilir\n \n requests_to_remove = set()\n for request in running_requests:\n request.add_token(generated_tokens[request.id])\n kv_cache_manager.update_kv_cache(request) \/\/ KV Cache'i g\u00fcncelle veya yeni sayfa tahsis et\n\n \/\/ 4. Tamamlanan istekleri batch'ten \u00e7\u0131kar\n if request.is_completed() or request.is_max_tokens_reached():\n requests_to_remove.add(request)\n kv_cache_manager.free_kv_cache(request) \/\/ Belle\u011fi serbest b\u0131rak\n print(f\"\u0130stek tamamland\u0131: {request.id}, \u00c7\u0131kt\u0131: {request.output_text}\")\n \n for request in requests_to_remove:\n running_requests.remove(request)\n else:\n \/\/ \u0130\u015flenecek istek yoksa k\u0131sa bir s\u00fcre bekle\n sleep(0.01)\n<\/code><\/pre>\nTGI (Text Generation Inference) ve SGLang: Farkl\u0131 Yakla\u015f\u0131mlar, Ayn\u0131 Ama\u00e7<\/h2>\n
TGI (Text Generation Inference): Hugging Face’in Optimize \u00c7\u0131kar\u0131m Sunucusu<\/h3>\n
\n* \u00d6zel CUDA \u00c7ekirdekleri:<\/strong> TGI, baz\u0131 kritik operasyonlar i\u00e7in elle yaz\u0131lm\u0131\u015f, optimize edilmi\u015f CUDA \u00e7ekirdekleri kullan\u0131r. Bu, \u00f6zellikle dikkat mekanizmas\u0131 gibi yo\u011fun hesaplama gerektiren k\u0131s\u0131mlarda daha iyi performans sa\u011flar.
\n* Token Streaming Deste\u011fi:<\/strong> Modern LLM uygulamalar\u0131nda kullan\u0131c\u0131 deneyimi i\u00e7in kritik olan token streaming (jeton ak\u0131\u015f\u0131) \u00f6zelli\u011fini destekler. Bu sayede, model t\u00fcm \u00e7\u0131kt\u0131y\u0131 \u00fcretmeyi beklemeden, token’lar\u0131 an\u0131nda kullan\u0131c\u0131ya g\u00f6ndermeye ba\u015flayabilir. Bu, chatbotlar ve etkile\u015fimli aray\u00fczler i\u00e7in kullan\u0131c\u0131 alg\u0131lanan gecikmeyi \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r.
\n* Quantization (Kuantizasyon) Deste\u011fi:<\/strong> Daha k\u00fc\u00e7\u00fck bellek ayak izi ve daha h\u0131zl\u0131 \u00e7\u0131kar\u0131m i\u00e7in model a\u011f\u0131rl\u0131klar\u0131n\u0131n kuantizasyonunu destekler (\u00f6rne\u011fin, int8, bitsandbytes).
\n* Sa\u011flaml\u0131k ve \u00d6l\u00e7eklenebilirlik:<\/strong> \u00dcretim ortamlar\u0131 i\u00e7in tasarlanm\u0131\u015f olup, hata tolerans\u0131, izleme ve otomatik \u00f6l\u00e7eklendirme gibi \u00f6zellikler sunar.<\/p>\nSGLang: Programlanabilir LLM \u00c7\u0131kar\u0131m Motoru<\/h3>\n
\n* Programlanabilir \u00c7\u0131kar\u0131m:<\/strong> SGLang, geli\u015ftiricilere LLM’in \u00e7\u0131kar\u0131m s\u00fcrecini daha detayl\u0131 bir \u015fekilde kontrol etme imkan\u0131 sunar. \u00d6rne\u011fin, belirli bir noktada modeli durdurup kullan\u0131c\u0131dan girdi alabilir, ko\u015fullu dallanmalar yapabilir veya birden fazla modelden \u00e7\u0131kt\u0131lar\u0131 birle\u015ftirebilir. Bu, daha karma\u015f\u0131k ve etkile\u015fimli LLM uygulamalar\u0131 geli\u015ftirmeyi kolayla\u015ft\u0131r\u0131r.
\n* Esnek Batching:<\/strong> SGLang de s\u00fcrekli gruplama mekani\u011fini kullan\u0131r, ancak bu gruplama, programlanabilir yap\u0131s\u0131yla daha entegredir. Geli\u015ftiriciler, batch’teki isteklerin nas\u0131l ilerleyece\u011fini ve ne zaman yeni token’lar\u0131n \u00fcretilece\u011fini daha ince ayar yapabilirler.
\n* \u00c7ok Modlu Deste\u011fi:<\/strong> G\u00f6rsel veya di\u011fer modalitelerle entegrasyonu kolayla\u015ft\u0131rmak i\u00e7in tasarlanm\u0131\u015ft\u0131r, bu da onu sadece metin de\u011fil, daha geni\u015f yapay zeka uygulamalar\u0131 i\u00e7in uygun hale getirir.
\n* Dinamik \u00c7\u0131kt\u0131 Kontrol\u00fc:<\/strong> Modelin belirli bir formatta (JSON gibi) veya belirli bir anahtar kelimeyle bitmesini sa\u011flamak gibi geli\u015fmi\u015f \u00e7\u0131kt\u0131 kontrol mekanizmalar\u0131 sunar.<\/p>\n\n\/\/ SGLang tarz\u0131 bir istem ve \u00e7\u0131kar\u0131m \u00f6rne\u011fi (pseudo-kod)\nimport sglang as sg\n\n# Modeli ba\u015flat (\u00f6rne\u011fin, Llama-2-7b)\n# sg.set_default_backend(sg.vllm_backend.VllmEngine(\"meta-llama\/Llama-2-7b-chat-hf\"))\n\n@sg.function\ndef generate_story(s, topic):\n s += f\"Hikaye konusu: {topic}\\n\"\n s += \"Bir zamanlar, \"\n s += sg.gen(\"opening\", max_tokens=30, stop=\"\\n\") # Giri\u015f paragraf\u0131\n s += \"\\nSonra kahraman\u0131m\u0131z \"\n s += sg.gen(\"character_action\", max_tokens=50, stop=\".\") # Karakterin eylemi\n s += \". Hikaye \u015f\u00f6yle bitti: \"\n s += sg.gen(\"ending\", max_tokens=40, stop=\"THE END\")\n\n# \u0130stekleri tan\u0131mla\nprompts_data = [\n {\"topic\": \"uzay maceras\u0131\"},\n {\"topic\": \"antik bir gizem\"},\n {\"topic\": \"gelecek teknolojileri\"}\n]\n\n# S\u00fcrekli gruplama ile paralel \u00e7al\u0131\u015ft\u0131rma\n# Her bir generate_story \u00e7a\u011fr\u0131s\u0131, kendi i\u00e7inde bir \"state\" olu\u015fturur ve paralel olarak i\u015flenir.\n# SGLang'in arka plan\u0131ndaki zamanlay\u0131c\u0131, bu state'leri s\u00fcrekli gruplama ile y\u00f6netir.\nstates = [generate_story.run(topic=p[\"topic\"], stream=True) for p in prompts_data]\n\nprint(\"--- Hikayeler \u00dcretiliyor ---\")\nfor s in states:\n print(f\"\\n[Konu: {s['topic']}]\")\n # Ak\u0131\u015fl\u0131 \u00e7\u0131kt\u0131lar\u0131 al ve yazd\u0131r\n for chunk in s.stream_iter():\n print(chunk.text, end=\"\", flush=True)\n print(\"\\n--- Hikaye Tamamland\u0131 ---\")\n\n# Her bir state'in nihai \u00e7\u0131kt\u0131s\u0131na da eri\u015filebilir:\n# for s in states:\n# print(f\"\\nSon \u00c7\u0131kt\u0131 [{s['topic']}]:\\n{s.text()}\")\n<\/code><\/pre>\ngenerate_story<\/code> fonksiyonu i\u00e7inde sg.gen<\/code> \u00e7a\u011fr\u0131lar\u0131 ile modelin farkl\u0131 k\u0131s\u0131mlar\u0131 i\u00e7in ayr\u0131 ayr\u0131 token \u00fcretimi istenmektedir. SGLang’in zamanlay\u0131c\u0131s\u0131, bu farkl\u0131 gen<\/code> \u00e7a\u011fr\u0131lar\u0131n\u0131 ve birden fazla generate_story<\/code> iste\u011fini arka planda s\u00fcrekli gruplama ile verimli bir \u015fekilde y\u00f6netir.<\/p>\nUygulama Senaryolar\u0131 ve Performans Kar\u015f\u0131la\u015ft\u0131rmalar\u0131<\/h2>\n
\n2. API Servisleri ve Geli\u015ftirici Platformlar\u0131:<\/strong> LLM’leri bir API \u00fczerinden sunan platformlar i\u00e7in i\u015f hacmi (throughput) ve gecikme kritik \u00f6neme sahiptir. S\u00fcrekli gruplama, bu platformlar\u0131n ayn\u0131 anda \u00e7ok daha fazla API \u00e7a\u011fr\u0131s\u0131n\u0131 i\u015fleyebilmesini ve geli\u015ftiricilere tutarl\u0131, h\u0131zl\u0131 yan\u0131tlar sunabilmesini sa\u011flar. Bu, servis sa\u011flay\u0131c\u0131lar\u0131 i\u00e7in maliyetleri d\u00fc\u015f\u00fcr\u00fcrken, son kullan\u0131c\u0131lar i\u00e7in daha iyi bir deneyim sunar.
\n3. \u0130\u00e7erik \u00dcretimi ve Yarat\u0131c\u0131 Yazarl\u0131k Ara\u00e7lar\u0131:<\/strong> Uzun metinler, makaleler, pazarlama metinleri veya kod par\u00e7ac\u0131klar\u0131 \u00fcreten uygulamalarda, s\u00fcrekli gruplama, birden fazla kullan\u0131c\u0131n\u0131n e\u015f zamanl\u0131 olarak karma\u015f\u0131k ve uzun \u00e7\u0131kt\u0131lar \u00fcretmesini sa\u011flar. Statik gruplamada bu t\u00fcr senaryolar, ya \u00e7ok y\u00fcksek gecikmelere ya da GPU’nun a\u015f\u0131r\u0131 derecede verimsiz kullan\u0131lmas\u0131na yol a\u00e7ard\u0131.
\n4. Ara\u015ft\u0131rma ve Geli\u015ftirme Ortamlar\u0131:<\/strong> LLM’ler \u00fczerinde deneyler yapan ara\u015ft\u0131rmac\u0131lar ve geli\u015ftiriciler, s\u00fcrekli gruplama sayesinde ayn\u0131 GPU \u00fczerinde daha fazla deneyi paralel olarak \u00e7al\u0131\u015ft\u0131rabilir, bu da iterasyon h\u0131z\u0131n\u0131 ve verimlili\u011fi art\u0131r\u0131r.<\/p>\n
\n * *Metinsel Betimleme:* Bir grafikte, X ekseninde e\u015f zamanl\u0131 kullan\u0131c\u0131 say\u0131s\u0131, Y ekseninde ise saniyede \u00fcretilen token say\u0131s\u0131 (throughput) g\u00f6sterilseydi, statik gruplama e\u011frisi belirli bir noktadan sonra yatayla\u015f\u0131rken (GPU doygunlu\u011funa ula\u015ft\u0131\u011f\u0131nda), s\u00fcrekli gruplama e\u011frisi \u00e7ok daha y\u00fcksek bir noktaya kadar do\u011frusal bir art\u0131\u015f g\u00f6sterirdi.<\/p>\n
\n * \u0130lk Token Gecikmesi (Time To First Token – TTFT):<\/strong> S\u00fcrekli gruplamada, bir istek kuyru\u011fa girdi\u011finde, GPU’da yer a\u00e7\u0131l\u0131r a\u00e7\u0131lmaz i\u015flenmeye ba\u015flar. Statik gruplamadaki gibi t\u00fcm batch’in dolmas\u0131 veya tamamlanmas\u0131 beklenmez. Bu, ilk token’\u0131n \u00fcretilmesi i\u00e7in ge\u00e7en s\u00fcreyi \u00f6nemli \u00f6l\u00e7\u00fcde k\u0131salt\u0131r, bu da \u00f6zellikle etkile\u015fimli uygulamalarda kullan\u0131c\u0131 deneyimini iyile\u015ftirir.
\n * Toplam Gecikme (Time To Last Token – TLAT):<\/strong> Genel olarak, GPU’nun daha verimli kullan\u0131lmas\u0131 ve head-of-line blocking’in ortadan kalkmas\u0131, bir iste\u011fin ba\u015f\u0131ndan sonuna kadar i\u015flenmesi i\u00e7in ge\u00e7en toplam s\u00fcreyi de azalt\u0131r.
\n * *Metinsel Betimleme:* Bir ba\u015fka grafikte, X ekseninde e\u015f zamanl\u0131 kullan\u0131c\u0131 say\u0131s\u0131, Y ekseninde ise ortalama gecikme g\u00f6sterilseydi, statik gruplama e\u011frisi e\u015f zamanl\u0131 kullan\u0131c\u0131 say\u0131s\u0131 artt\u0131k\u00e7a h\u0131zla y\u00fckselirken, s\u00fcrekli gruplama e\u011frisi \u00e7ok daha d\u00fc\u015f\u00fck ve daha kararl\u0131 bir gecikme seviyesinde kal\u0131rd\u0131.<\/p>\n\u0130leri D\u00fczey Optimizasyonlar ve Gelecek Trendleri<\/h2>\n
\nMevcut s\u00fcrekli gruplama sistemleri genellikle FIFO (\u0130lk Giren \u0130lk \u00c7\u0131kar) prensibine g\u00f6re \u00e7al\u0131\u015f\u0131r veya basit \u00f6nceliklendirme mekanizmalar\u0131na sahiptir. Ancak, \u00fcretim ortamlar\u0131nda farkl\u0131 servis seviyesi anla\u015fmalar\u0131 (SLA’lar) veya kullan\u0131c\u0131 tipleri olabilir. \u00d6rne\u011fin, \u00fccretli abonelerin istekleri, \u00fccretsiz kullan\u0131c\u0131lar\u0131n isteklerine g\u00f6re daha y\u00fcksek \u00f6nceli\u011fe sahip olabilir. Veya, daha k\u0131sa, h\u0131zl\u0131 yan\u0131t bekleyen istekler, uzun s\u00fcreli i\u00e7erik \u00fcretimi yapan isteklere g\u00f6re \u00f6nceliklendirilebilir. Geli\u015fmi\u015f zamanlay\u0131c\u0131lar, bu t\u00fcr karma\u015f\u0131k \u00f6nceliklendirme algoritmalar\u0131n\u0131 entegre ederek, kaynaklar\u0131n daha stratejik bir \u015fekilde tahsis edilmesini sa\u011flayacakt\u0131r. Bu, gecikmeye duyarl\u0131 uygulamalar i\u00e7in kritik \u00f6neme sahiptir.<\/p>\n
\nSpek\u00fclatif \u00e7\u00f6z\u00fcmleme, LLM’lerin otoregresif do\u011fas\u0131n\u0131n getirdi\u011fi yava\u015fl\u0131\u011f\u0131 a\u015fmak i\u00e7in geli\u015ftirilen yenilik\u00e7i bir tekniktir. Bu y\u00f6ntemde, b\u00fcy\u00fck ve yava\u015f olan ana modelin yan\u0131 s\u0131ra, daha k\u00fc\u00e7\u00fck ve h\u0131zl\u0131 bir “taslak model” (draft model) kullan\u0131l\u0131r. Taslak model, ana modelden \u00e7ok daha h\u0131zl\u0131 bir \u015fekilde birden fazla token’l\u0131k bir dizi (\u00f6rne\u011fin 4-5 token) \u00fcretir. Ana model daha sonra bu tasla\u011f\u0131 do\u011frulama ad\u0131m\u0131 olarak kullan\u0131r. E\u011fer taslak modelin \u00fcretti\u011fi token’lar do\u011fruysa, ana model bu token’lar\u0131 tek bir ad\u0131mda kabul eder ve sonraki token’lara ge\u00e7er. E\u011fer yanl\u0131\u015fsa, ana model do\u011fru token’\u0131 \u00fcretir ve o noktadan itibaren taslak model yeniden \u00e7al\u0131\u015f\u0131r. Bu teknik, ana modelin her token i\u00e7in t\u00fcm katmanlar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rma y\u00fck\u00fcn\u00fc azaltarak, toplam \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rabilir. S\u00fcrekli gruplama ile birle\u015fti\u011finde, hem i\u015f hacmi hem de gecikme a\u00e7\u0131s\u0131ndan daha b\u00fcy\u00fck kazan\u0131mlar elde edilebilir.<\/p>\n
\nPagedAttention, KV Cache y\u00f6netiminde b\u00fcy\u00fck bir ad\u0131m olsa da, hala geli\u015ftirilebilecek alanlar mevcuttur. \u00d6rne\u011fin, \u00e7oklu GPU ortamlar\u0131nda KV Cache’in nas\u0131l da\u011f\u0131t\u0131laca\u011f\u0131 veya farkl\u0131 modellerin KV Cache’lerinin ayn\u0131 GPU’da nas\u0131l izole edilece\u011fi gibi konular \u00fczerinde \u00e7al\u0131\u015fmalar devam etmektedir. Ayr\u0131ca, KV Cache’in s\u0131k\u0131\u015ft\u0131rma teknikleri veya daha ak\u0131ll\u0131 \u00f6nbelle\u011fe alma stratejileri ile bellek ayak izini daha da k\u00fc\u00e7\u00fcltmek m\u00fcmk\u00fcnd\u00fcr.<\/p>\n
\nEn b\u00fcy\u00fck LLM’ler (\u00f6rne\u011fin 70B parametre ve \u00fczeri), tek bir GPU’ya s\u0131\u011fmayabilir. Bu durumda, modelin birden fazla GPU’ya veya hatta birden fazla sunucuya da\u011f\u0131t\u0131lmas\u0131 gerekir. S\u00fcrekli gruplama mekaniklerinin bu da\u011f\u0131t\u0131k ortamda nas\u0131l optimize edilece\u011fi, KV Cache’in ve isteklerin farkl\u0131 d\u00fc\u011f\u00fcmler aras\u0131nda nas\u0131l koordine edilece\u011fi, gelecekteki ara\u015ft\u0131rmalar\u0131n ve geli\u015ftirmelerin ana odak noktalar\u0131ndan biridir. Model paralelli\u011fi, boru hatt\u0131 paralelli\u011fi ve veri paralelli\u011fi gibi tekniklerle s\u00fcrekli gruplaman\u0131n entegrasyonu, bu alandaki temel zorluklard\u0131r.<\/p>\n
\nBaz\u0131 senaryolarda, s\u00fcrekli gruplama ile birlikte belirli oranda statik veya \u00f6nceden tan\u0131mlanm\u0131\u015f batch’lerin kullan\u0131lmas\u0131 daha faydal\u0131 olabilir. \u00d6rne\u011fin, \u00e7ok kritik ve gecikmeye son derece duyarl\u0131 baz\u0131 istekler i\u00e7in garantili bir batch alan\u0131 ay\u0131rmak veya belirli bir boyuttaki istemleri \u00f6zel olarak i\u015flemek. Hibrit yakla\u015f\u0131mlar, farkl\u0131 i\u015f y\u00fcklerinin gereksinimlerine g\u00f6re en iyi performans\u0131 sunmay\u0131 hedefleyecektir.<\/p>\n
\nLLM’lerin h\u0131zla geli\u015fmesiyle birlikte, donan\u0131m \u00fcreticileri de \u00e7\u0131kar\u0131m i\u00e7in optimize edilmi\u015f yeni \u00e7ipler (\u00f6rne\u011fin, NVIDIA H100, AMD MI300X) geli\u015ftirmektedir. Gelecekte, s\u00fcrekli gruplama ve bellek y\u00f6netimi algoritmalar\u0131, bu yeni nesil donan\u0131mlar\u0131n mimarileriyle daha derinlemesine entegre olacak ve donan\u0131m-yaz\u0131l\u0131m ortak tasar\u0131m\u0131 yoluyla daha da b\u00fcy\u00fck performans art\u0131\u015flar\u0131 sa\u011flanacakt\u0131r.<\/p>\nSonu\u00e7: LLM \u00c7\u0131kar\u0131m\u0131n\u0131n Gelece\u011fi<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n
\nC1:<\/strong> Evet, genellikle b\u00fcy\u00fck ve orta \u00f6l\u00e7ekli LLM’ler i\u00e7in olduk\u00e7a faydal\u0131d\u0131r, \u00f6zellikle \u00e7oklu kullan\u0131c\u0131 isteklerini e\u015f zamanl\u0131 olarak i\u015fleyen sunucu tabanl\u0131 uygulamalar i\u00e7in vazge\u00e7ilmezdir. K\u00fc\u00e7\u00fck modeller veya tekil, nadir istekler i\u00e7in etkisi daha az olabilir, ancak yine de GPU kullan\u0131m\u0131n\u0131 optimize etme potansiyeli ta\u015f\u0131r.<\/p>\n
\nC2:<\/strong> PagedAttention, LLM’lerin “KV Cache” olarak bilinen ve \u00e7\u0131kar\u0131m i\u00e7in kritik olan bellek alan\u0131n\u0131, i\u015fletim sistemlerindeki sanal bellek y\u00f6netimi gibi sayfalara b\u00f6lerek optimize eder. Bu sayede bellek fragmentasyonu (par\u00e7alanmas\u0131) ortadan kalkar, bellek israf\u0131 azal\u0131r ve GPU’nun ayn\u0131 anda \u00e7ok daha fazla e\u015f zamanl\u0131 iste\u011fi i\u015flemesi m\u00fcmk\u00fcn hale gelir. Bu da daha y\u00fcksek i\u015f hacmi ve daha d\u00fc\u015f\u00fck gecikme anlam\u0131na gelir.<\/p>\n
\nC3:<\/strong> Hepsi s\u00fcrekli gruplama prensibini kullanarak LLM \u00e7\u0131kar\u0131m\u0131n\u0131 optimize eder.
\n* vLLM:<\/strong> \u00d6zellikle PagedAttention mekanizmas\u0131 ile KV Cache bellek y\u00f6netiminde \u00e7\u0131\u011f\u0131r a\u00e7ar ve y\u00fcksek i\u015f hacmi ile \u00f6ne \u00e7\u0131kar.
\n* TGI (Text Generation Inference):<\/strong> Hugging Face ekosistemine entegre, Rust tabanl\u0131, optimize edilmi\u015f bir \u00e7\u0131kar\u0131m sunucusudur. S\u00fcrekli gruplama, \u00f6zel CUDA \u00e7ekirdekleri ve token streaming deste\u011fi sunar.
\n* SGLang:<\/strong> Daha programlanabilir bir LLM \u00e7\u0131kar\u0131m motorudur. Karma\u015f\u0131k istemler, \u00e7ok modlu senaryolar ve dinamik kontrol ak\u0131\u015flar\u0131 i\u00e7in esneklik sunar. Token a\u011fac\u0131 gibi yap\u0131larla KV Cache’i y\u00f6netir.<\/p>\n
\nC4:<\/strong> S\u00fcrekli gruplama, \u00f6zellikle ilk token gecikmesini (Time To First Token – TTFT) \u00f6nemli \u00f6l\u00e7\u00fcde d\u00fc\u015f\u00fcrebilir. Bunun nedeni, isteklerin kuyru\u011fa girdi\u011finde, GPU’da yer a\u00e7\u0131l\u0131r a\u00e7\u0131lmaz i\u015flenmeye ba\u015flanmas\u0131 ve t\u00fcm batch’in dolmas\u0131 veya tamamlanmas\u0131 beklenmemesidir. Genel toplam gecikme (Time To Last Token – TLAT) de, GPU’nun daha az bo\u015fta kalmas\u0131 ve daha h\u0131zl\u0131 sonu\u00e7lar \u00fcretmesi sayesinde iyile\u015fir.<\/p>\n
\nC5:<\/strong> S\u00fcrekli gruplama, GPU’nun kullan\u0131m oran\u0131n\u0131 (utilization) maksimize eder. Bu, ayn\u0131 i\u015f y\u00fck\u00fcn\u00fc i\u015flemek i\u00e7in daha az GPU kayna\u011f\u0131na ihtiya\u00e7 duyuldu\u011fu anlam\u0131na gelir. Daha az GPU, daha d\u00fc\u015f\u00fck donan\u0131m maliyetleri, daha az enerji t\u00fcketimi ve genel olarak daha d\u00fc\u015f\u00fck operasyonel giderler demektir. Bu da LLM servislerini daha ekonomik ve \u00f6l\u00e7eklenebilir hale getirir.<\/p>\n