B\u00fcy\u00fck Dil Modelleri (LLM’ler) g\u00fcn\u00fcm\u00fcz\u00fcn en heyecan verici yapay zeka teknolojilerinden biri. Ancak, bu modelleri ger\u00e7ek d\u00fcnya uygulamalar\u0131nda, \u00f6zellikle de y\u00fcksek talep g\u00f6ren \u00fcretim ortamlar\u0131nda \u00f6l\u00e7eklendirmek, m\u00fchendisler i\u00e7in ciddi zorluklar sunabiliyor. vLLM, LLM \u00e7\u0131kar\u0131m\u0131n\u0131 h\u0131zland\u0131rmak i\u00e7in tasarlanm\u0131\u015f pop\u00fcler bir a\u00e7\u0131k kaynak k\u00fct\u00fcphanesi. Ancak, pek \u00e7ok geli\u015ftirici, vLLM’nin teorik performans\u0131n\u0131 \u00fcretim ortam\u0131nda elde edemedi\u011fini ve \u00f6zellikle P99 (y\u00fczde 99’luk dilim) gecikmelerinde beklenmedik art\u0131\u015flar ya\u015fad\u0131\u011f\u0131n\u0131 fark ediyor. Bu makalede, vLLM’nin \u00fcretim ortam\u0131ndaki P99 gecikme sorunlar\u0131n\u0131n temel nedenlerini derinlemesine inceleyecek, ard\u0131ndan bu sorunlar\u0131 \u00e7\u00f6zmek i\u00e7in tasarlanm\u0131\u015f iki g\u00fc\u00e7l\u00fc teknik olan “Chunked Prefill” ve “Scheduling” algoritmalar\u0131n\u0131 ad\u0131m ad\u0131m a\u00e7\u0131klayaca\u011f\u0131z. Amac\u0131m\u0131z, vLLM’yi \u00fcretimde daha kararl\u0131 ve performansl\u0131 hale getirmenize yard\u0131mc\u0131 olmak.<\/p>\n
LLM’ler, milyarlarca parametreye sahip devasa sinir a\u011flar\u0131d\u0131r. Bu modellerin bir girdi metni al\u0131p bir \u00e7\u0131kt\u0131 metni \u00fcretmesi s\u00fcreci, “\u00e7\u0131kar\u0131m” olarak adland\u0131r\u0131l\u0131r. \u00c7\u0131kar\u0131m s\u00fcreci, genellikle iki ana a\u015famadan olu\u015fur: “Prefill” (\u00f6n doldurma) ve “Decoding” (kod \u00e7\u00f6zme). Prefill a\u015famas\u0131nda, model t\u00fcm girdi metnini tek seferde i\u015fler ve bir ba\u015flang\u0131\u00e7 durumu olu\u015fturur. Ard\u0131ndan, bu ba\u015flang\u0131\u00e7 durumundan ba\u015flayarak, ad\u0131m ad\u0131m \u00e7\u0131kt\u0131 token’lar\u0131 \u00fcretilir. \u00dcretim ortam\u0131nda, ayn\u0131 anda birden fazla kullan\u0131c\u0131n\u0131n iste\u011fiyle kar\u015f\u0131la\u015f\u0131l\u0131r. Bu yo\u011funluk, kaynaklar\u0131n (GPU belle\u011fi ve i\u015flem g\u00fcc\u00fc) verimli kullan\u0131lmas\u0131n\u0131 zorunlu k\u0131lar. vLLM’nin bu yo\u011funlu\u011fu y\u00f6netme bi\u00e7imi, \u00f6zellikle P99 gecikmelerini do\u011frudan etkiler. P99 gecikmesi, en k\u00f6t\u00fc senaryolarda bile kullan\u0131c\u0131 deneyiminin kabul edilebilir bir seviyede kalmas\u0131n\u0131 sa\u011flamak i\u00e7in kritik \u00f6neme sahiptir. Y\u00fcksek P99 gecikmesi, bir kullan\u0131c\u0131n\u0131n iste\u011finin ortalama s\u00fcreden \u00e7ok daha uzun s\u00fcrmesi anlam\u0131na gelir ki bu da kullan\u0131c\u0131 memnuniyetsizli\u011fine yol a\u00e7ar. Peki, bu gecikmeler neden ortaya \u00e7\u0131k\u0131yor ve vLLM’nin mimarisi bu konuda nas\u0131l bir rol oynuyor? Gelin bu sorunu daha yak\u0131ndan inceleyelim.<\/p>\n
B\u00fcy\u00fck Dil Modelleri, metin \u00fcretme yetenekleriyle b\u00fcy\u00fcleyici bir teknoloji sunar. Bir LLM’nin bir metin par\u00e7as\u0131 i\u00e7in \u00e7\u0131kt\u0131 \u00fcretme s\u00fcreci, yani \u00e7\u0131kar\u0131m, olduk\u00e7a karma\u015f\u0131k bir i\u015flemdir. Bu s\u00fcrecin anla\u015f\u0131lmas\u0131, vLLM’deki performans sorunlar\u0131n\u0131n k\u00f6kenine inmek i\u00e7in elzemdir. Temel olarak, LLM \u00e7\u0131kar\u0131m\u0131 iki ana a\u015famaya ayr\u0131l\u0131r: Prefill ve Decoding. Prefill a\u015famas\u0131nda, modele verilen t\u00fcm girdi (prompt) tek bir seferde i\u015flenir. Model, bu girdiyi analiz eder ve bir sonraki token’\u0131 tahmin etmek i\u00e7in gerekli olan t\u00fcm dikkat mekanizmalar\u0131n\u0131 ve ara durumlar\u0131 hesaplar. Bu a\u015fama, \u00f6zellikle uzun girdiler i\u00e7in hesaplama a\u00e7\u0131s\u0131ndan olduk\u00e7a yo\u011fundur. Prefill tamamland\u0131ktan sonra, model ad\u0131m ad\u0131m \u00e7\u0131kt\u0131 token’lar\u0131 \u00fcretmeye ba\u015flar. Her yeni token \u00fcretildi\u011finde, bu token \u00f6nceki token’larla birlikte yeni bir girdi olarak kullan\u0131l\u0131r. Bu tekrarlayan s\u00fcrece “autoregressive decoding” denir.<\/p>\n
Geleneksel LLM \u00e7\u0131kar\u0131m sistemleri, her gelen iste\u011fi ba\u011f\u0131ms\u0131z bir i\u015flem olarak ele al\u0131r. Bu, her istek i\u00e7in ayr\u0131 bir GPU belle\u011fi tahsisi ve hesaplama kayna\u011f\u0131 ayr\u0131lmas\u0131 anlam\u0131na gelir. Ancak, \u00fcretim ortam\u0131nda ayn\u0131 anda binlerce istek gelebilir. Bu durumda, her iste\u011fin ayr\u0131 ayr\u0131 i\u015flenmesi, GPU belle\u011finin ve i\u015flem g\u00fcc\u00fcn\u00fcn israf\u0131na yol a\u00e7ar. \u0130\u015fte vLLM’nin devreye girdi\u011fi nokta buras\u0131d\u0131r. vLLM, \u00f6zellikle “PagedAttention” ad\u0131 verilen yenilik\u00e7i bir bellek y\u00f6netim tekni\u011fi kullanarak bu israf\u0131 \u00f6nlemeyi hedefler. PagedAttention, LLM’lerin dikkat mekanizmas\u0131 taraf\u0131ndan kullan\u0131lan anahtar (key) ve de\u011fer (value) vekt\u00f6rlerini, t\u0131pk\u0131 i\u015fletim sistemlerinin sanal bellekte yapt\u0131\u011f\u0131 gibi, sayfalara ay\u0131r\u0131r ve y\u00f6netir. Bu sayede, GPU belle\u011fi daha esnek bir \u015fekilde kullan\u0131labilir ve farkl\u0131 istekler aras\u0131nda payla\u015f\u0131labilir. Bu bellek optimizasyonu, vLLM’nin ayn\u0131 anda daha fazla iste\u011fi i\u015fleyebilmesini sa\u011flar. Ancak, bu optimizasyonun kendisi de baz\u0131 potansiyel performans darbo\u011fazlar\u0131na yol a\u00e7abilir, \u00f6zellikle de isteklerin tamam\u0131n\u0131n ayn\u0131 anda i\u015flenmeye \u00e7al\u0131\u015f\u0131lmas\u0131 durumunda.<\/p>\n
\u00dcretim ortam\u0131nda vLLM’nin P99 gecikmesindeki art\u0131\u015f\u0131n birden fazla nedeni olabilir. Bunlardan ilki, “batching” stratejileridir. Batching, birden fazla iste\u011fi bir araya getirerek GPU’nun paralel i\u015flem g\u00fcc\u00fcnden daha verimli yararlanmay\u0131 ama\u00e7lar. Ancak, vLLM’nin varsay\u0131lan “continuous batching” stratejisi, yeni gelen istekleri mevcut toplu i\u015flere eklemeye \u00e7al\u0131\u015f\u0131r. E\u011fer bir istek, mevcut toplu i\u015fin tamamlanmas\u0131na yak\u0131n bir zamanda gelirse, bu yeni istek di\u011ferlerinin tamamlanmas\u0131n\u0131 beklemek zorunda kalabilir. Bu durum, \u00f6zellikle farkl\u0131 uzunluklarda ve farkl\u0131 zamanlarda gelen istekler s\u00f6z konusu oldu\u011funda, baz\u0131 isteklerin gere\u011finden fazla beklemesine neden olur. Bu bekleme s\u00fcreleri, P99 gecikmesini do\u011frudan etkiler. Bir istek, toplu i\u015fin sonuna kadar beklemek zorunda kald\u0131\u011f\u0131nda, \u00e7\u0131kt\u0131s\u0131n\u0131n \u00fcretilmesi i\u00e7in gereken toplam s\u00fcre \u00f6nemli \u00f6l\u00e7\u00fcde artar.<\/p>\n
Di\u011fer bir \u00f6nemli fakt\u00f6r ise, “token generation speed” yani token \u00fcretme h\u0131z\u0131d\u0131r. LLM’ler, \u00e7\u0131kt\u0131y\u0131 token token \u00fcretir. Prefill a\u015famas\u0131 genellikle h\u0131zl\u0131 tamamlan\u0131r, ancak decoding a\u015famas\u0131nda, her bir token’\u0131n \u00fcretilmesi i\u00e7in modelin t\u00fcm dikkat mekanizmalar\u0131n\u0131 ve ara durumlar\u0131 yeniden hesaplamas\u0131 gerekir. Bu, \u00f6zellikle uzun \u00e7\u0131kt\u0131lar \u00fcretilirken zaman al\u0131c\u0131 olabilir. \u00dcretim ortam\u0131nda, ayn\u0131 anda i\u015flenen istek say\u0131s\u0131 artt\u0131k\u00e7a, her bir iste\u011fin token \u00fcretme s\u00fcresi de toplam sistem y\u00fck\u00fc alt\u0131nda artabilir. E\u011fer sistem, yeni token’lar\u0131 yeterince h\u0131zl\u0131 \u00fcretemiyorsa, bu durum da P99 gecikmelerine katk\u0131da bulunur. \u00d6zellikle, isteklerin \u00e7o\u011funlu\u011funun ayn\u0131 anda biti\u015f noktas\u0131na yakla\u015fmas\u0131 durumunda, yo\u011fun bir “tail latency” (kuyruk gecikmesi) problemi ya\u015fanabilir. Bu, sistemin anl\u0131k olarak yo\u011fun bir \u015fekilde \u00e7al\u0131\u015ft\u0131\u011f\u0131 ve \u00e7\u0131kt\u0131y\u0131 h\u0131zla \u00fcretmekte zorland\u0131\u011f\u0131 anlam\u0131na gelir. Bu t\u00fcr durumlar, kullan\u0131c\u0131 deneyimi \u00fczerinde olumsuz bir etki b\u0131rak\u0131r.<\/p>\n
Son olarak, “resource contention” yani kaynak \u00e7ak\u0131\u015fmas\u0131 da P99 gecikmelerini tetikleyebilir. Birden fazla istek, ayn\u0131 GPU belle\u011fi sayfalar\u0131na veya ayn\u0131 hesaplama \u00e7ekirdeklerine eri\u015fmeye \u00e7al\u0131\u015ft\u0131\u011f\u0131nda, bu \u00e7ak\u0131\u015fmalar performans\u0131 d\u00fc\u015f\u00fcrebilir. vLLM’nin PagedAttention’\u0131 bellek kullan\u0131m\u0131n\u0131 optimize etse de, yo\u011fun y\u00fck alt\u0131nda GPU’nun i\u015flem g\u00fcc\u00fc ve bellek bant geni\u015fli\u011fi s\u0131n\u0131rl\u0131 kalabilir. Bu kaynak s\u0131n\u0131rlamalar\u0131, isteklerin birbirini beklemesine ve dolay\u0131s\u0131yla P99 gecikmelerinin artmas\u0131na neden olabilir. \u00d6zellikle, prefill a\u015famas\u0131n\u0131n yo\u011fun hesaplama gerektirmesi ve decoding a\u015famas\u0131nda ise bellek eri\u015fiminin kritik olmas\u0131, kaynaklar\u0131n verimli y\u00f6netilmesini zorla\u015ft\u0131r\u0131r.<\/p>\n
Chunked Prefill, vLLM’nin \u00fcretim ortam\u0131ndaki P99 gecikmelerini azaltmak i\u00e7in sundu\u011fu yenilik\u00e7i \u00e7\u00f6z\u00fcmlerden biridir. Geleneksel prefill a\u015famas\u0131nda, model t\u00fcm girdi metnini tek bir b\u00fcy\u00fck blok olarak i\u015fler. Bu, \u00f6zellikle uzun girdiler i\u00e7in hesaplama a\u00e7\u0131s\u0131ndan olduk\u00e7a maliyetli olabilir. Chunked Prefill ise, bu uzun girdiyi daha k\u00fc\u00e7\u00fck par\u00e7alara (chunk’lara) ay\u0131r\u0131r ve bu par\u00e7alar\u0131 ard\u0131\u015f\u0131k olarak i\u015fler. Bu yakla\u015f\u0131m\u0131n temel amac\u0131, prefill a\u015famas\u0131n\u0131n toplam s\u00fcresini azaltmak ve b\u00f6ylece isteklerin daha h\u0131zl\u0131 bir \u015fekilde decoding a\u015famas\u0131na ge\u00e7mesini sa\u011flamakt\u0131r.<\/p>\n
Bu teknik, \u00f6zellikle uzun prompt’larla \u00e7al\u0131\u015f\u0131rken b\u00fcy\u00fck fayda sa\u011flar. \u00d6rne\u011fin, bir kullan\u0131c\u0131n\u0131n 1000 token’l\u0131k bir girdi metni g\u00f6nderdi\u011fini varsayal\u0131m. Geleneksel prefill, bu 1000 token’\u0131 tek seferde i\u015fleyecektir. Chunked Prefill ise, bu 1000 token’\u0131 \u00f6rne\u011fin 10 adet 100 token’l\u0131k par\u00e7aya b\u00f6lebilir. Model, ilk 100 token’\u0131 i\u015fler, ard\u0131ndan ikinci 100 token’\u0131 i\u015fler ve bu \u015fekilde devam eder. Her bir chunk’\u0131n i\u015flenmesi s\u0131ras\u0131nda, GPU’nun dikkat mekanizmalar\u0131 g\u00fcncellenir ve bu g\u00fcncellemeler bir sonraki chunk’\u0131n i\u015flenmesi i\u00e7in kullan\u0131l\u0131r. Bu, prefill a\u015famas\u0131n\u0131n toplam s\u00fcresini, her bir chunk’\u0131n i\u015flenme s\u00fcresinin toplam\u0131na indirgeyebilir. Dolay\u0131s\u0131yla, e\u011fer GPU, her bir chunk’\u0131 olduk\u00e7a h\u0131zl\u0131 bir \u015fekilde i\u015fleyebiliyorsa, toplam prefill s\u00fcresi \u00f6nemli \u00f6l\u00e7\u00fcde k\u0131sal\u0131r.<\/p>\n
Chunked Prefill’in bir di\u011fer avantaj\u0131, bellek kullan\u0131m\u0131n\u0131 daha verimli hale getirmesidir. Uzun girdiler, GPU belle\u011finde \u00f6nemli miktarda yer kaplayabilir. Girdiyi par\u00e7alara ay\u0131rmak, modelin ayn\u0131 anda daha az veri i\u015flemesini sa\u011flayarak bellek kullan\u0131m\u0131n\u0131 daha y\u00f6netilebilir hale getirebilir. Bu, \u00f6zellikle bellek k\u0131s\u0131tl\u0131 ortamlarda veya ayn\u0131 anda \u00e7ok say\u0131da istek i\u015flenirken kritik \u00f6neme sahiptir. Daha az bellek kullan\u0131m\u0131, ayn\u0131 GPU \u00fczerinde daha fazla istek bar\u0131nd\u0131rma olana\u011f\u0131 sunar, bu da genel sistem verimlili\u011fini art\u0131r\u0131r. Chunked Prefill, her bir chunk’\u0131n i\u015flenmesi s\u0131ras\u0131nda elde edilen dikkat durumlar\u0131n\u0131 saklar ve bunlar\u0131 bir sonraki chunk’\u0131n hesaplamalar\u0131 i\u00e7in kullan\u0131r. Bu, bilgi kayb\u0131n\u0131 \u00f6nler ve prefill a\u015famas\u0131n\u0131n b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc korur. Bu, ayn\u0131 zamanda, modelin uzun ba\u011flamlar\u0131 daha etkili bir \u015fekilde i\u015flemesine de olanak tan\u0131r.<\/p>\n
Bu tekni\u011fin uygulanmas\u0131, modelin mimarisinde ve \u00e7\u0131kar\u0131m motorunda baz\u0131 de\u011fi\u015fiklikler gerektirir. Modelin, bir chunk’\u0131n tamamlanmas\u0131n\u0131n ard\u0131ndan elde edilen dikkat durumlar\u0131n\u0131 saklayabilmesi ve bunlar\u0131 bir sonraki chunk’\u0131n ba\u015flang\u0131c\u0131nda kullanabilmesi gerekir. vLLM gibi geli\u015fmi\u015f \u00e7\u0131kar\u0131m k\u00fct\u00fcphaneleri, bu t\u00fcr optimizasyonlar\u0131 desteklemek i\u00e7in tasarlanm\u0131\u015ft\u0131r. Chunked Prefill, \u00f6zellikle Prompt Engineering ile birlikte kullan\u0131ld\u0131\u011f\u0131nda daha da etkili olabilir. Kullan\u0131c\u0131lar\u0131n girdilerini daha k\u00fc\u00e7\u00fck ve y\u00f6netilebilir par\u00e7alar halinde yap\u0131land\u0131rmas\u0131, chunked prefill’in performans\u0131n\u0131 daha da art\u0131rabilir. Bu, hem geli\u015ftiricilere hem de son kullan\u0131c\u0131lara daha h\u0131zl\u0131 ve daha duyarl\u0131 bir LLM deneyimi sunar.<\/p>\n
Chunked Prefill, isteklerin ba\u015flang\u0131\u00e7 a\u015famas\u0131n\u0131 optimize ederken, “Scheduling” algoritmalar\u0131, isteklerin t\u00fcm ya\u015fam d\u00f6ng\u00fcs\u00fc boyunca nas\u0131l i\u015flenece\u011fini y\u00f6netir. \u00dcretim ortam\u0131nda, ayn\u0131 anda gelen ve farkl\u0131 \u00f6zelliklere sahip (farkl\u0131 uzunluklar, farkl\u0131 \u00f6ncelikler vb.) istekleri en verimli \u015fekilde ele almak kritik \u00f6neme sahiptir. Geli\u015fmi\u015f scheduling algoritmalar\u0131, bu karma\u015f\u0131k dengeyi kurmay\u0131 hedefler. vLLM’nin kulland\u0131\u011f\u0131 geli\u015fmi\u015f scheduling y\u00f6ntemleri, sadece toplu i\u015f olu\u015fturmakla kalmaz, ayn\u0131 zamanda isteklerin \u00f6nceliklendirilmesi, kaynak tahsisinin dinamik olarak ayarlanmas\u0131 ve kuyruk y\u00f6netimi gibi konularda da ak\u0131ll\u0131 kararlar al\u0131r.<\/p>\n
Geleneksel batching stratejileri genellikle “first-come, first-served” (ilk gelen ilk hizmet al\u0131r) prensibine dayan\u0131r. Ancak bu, \u00f6zellikle uzun s\u00fcren bir istek, daha k\u0131sa s\u00fcren di\u011fer isteklerin tamamlanmas\u0131n\u0131 engelleyebilir. Geli\u015fmi\u015f scheduling algoritmalar\u0131, bu sorunu \u00e7\u00f6zmek i\u00e7in “dynamic batching” ve “request prioritization” gibi teknikleri kullan\u0131r. Dynamic batching, mevcut toplu i\u015flere yeni istekleri eklerken, sadece tamamlanma s\u00fcresini de\u011fil, ayn\u0131 zamanda toplu i\u015fin tamamlanma tahminini de dikkate al\u0131r. E\u011fer bir toplu i\u015fin tamamlanmas\u0131na \u00e7ok az zaman kalm\u0131\u015fsa ve yeni bir istek eklenirse, bu yeni istek di\u011ferlerinin tamamlanmas\u0131n\u0131 beklemek yerine yeni bir toplu i\u015fe dahil edilebilir. Bu, baz\u0131 isteklerin daha h\u0131zl\u0131 i\u015flenmesini sa\u011flarken, di\u011ferlerinin de gereksiz yere beklemesini \u00f6nler.<\/p>\n
Request prioritization, farkl\u0131 isteklerin farkl\u0131 \u00f6ncelik seviyelerine sahip olmas\u0131n\u0131 sa\u011flar. \u00d6rne\u011fin, ger\u00e7ek zamanl\u0131 bir sohbet botu uygulamas\u0131, bir toplu i\u015f raporu olu\u015fturma iste\u011finden daha y\u00fcksek bir \u00f6nceli\u011fe sahip olabilir. Scheduling algoritmas\u0131, daha y\u00fcksek \u00f6ncelikli istekleri daha h\u0131zl\u0131 i\u015flemek i\u00e7in kaynaklar\u0131 bu isteklere \u00f6ncelikli olarak tahsis edebilir. Bu, kullan\u0131c\u0131 deneyimini iyile\u015ftirir ve kritik uygulamalar\u0131n performans\u0131n\u0131 garanti alt\u0131na al\u0131r. Ayr\u0131ca, “fairness” yani adalet de \u00f6nemli bir konudur. Scheduling algoritmalar\u0131, t\u00fcm isteklerin adil bir \u015fekilde i\u015flenmesini sa\u011flamal\u0131d\u0131r. Bir istek, di\u011ferlerinin tamamlanmas\u0131n\u0131 engellememeli ve uzun kuyruklar\u0131n olu\u015fmas\u0131n\u0131 \u00f6nlemelidir.<\/p>\n
vLLM’nin PagedAttention’\u0131 ile entegre olan scheduling algoritmalar\u0131, GPU belle\u011fi ve i\u015flem g\u00fcc\u00fcn\u00fcn en verimli \u015fekilde kullan\u0131lmas\u0131n\u0131 sa\u011flar. \u0130stekler, i\u015flenirken GPU belle\u011finde dinamik olarak yer kaplar ve i\u015fleri bitti\u011finde bu bellek serbest b\u0131rak\u0131l\u0131r. Scheduling algoritmas\u0131, hangi isteklerin hangi s\u0131ralamada i\u015flenece\u011fine karar verirken, ayn\u0131 zamanda bellek tahsisini de optimize eder. \u00d6rne\u011fin, k\u0131sa bir istek, uzun bir istekle ayn\u0131 toplu i\u015fe konulabilir, ancak scheduler, uzun iste\u011fin prefill a\u015famas\u0131n\u0131n tamamlanmas\u0131n\u0131 beklerken, k\u0131sa iste\u011fin decoding a\u015famas\u0131n\u0131 daha h\u0131zl\u0131 tamamlamas\u0131n\u0131 sa\u011flayabilir. Bu t\u00fcr ak\u0131ll\u0131 kararlar, P99 gecikmelerini \u00f6nemli \u00f6l\u00e7\u00fcde d\u00fc\u015f\u00fcr\u00fcr ve sistemin genel verimlili\u011fini art\u0131r\u0131r. Bu, \u00f6zellikle y\u00fcksek trafikli ortamlarda, sistemin kararl\u0131 kalmas\u0131n\u0131 ve kullan\u0131c\u0131lar\u0131n s\u00fcrekli olarak h\u0131zl\u0131 yan\u0131tlar almas\u0131n\u0131 sa\u011flar.<\/p>\n
Pratikte, vLLM’nin P99 gecikme sorunlar\u0131 ve bu sorunlar\u0131n Chunked Prefill ve Scheduling ile nas\u0131l \u00e7\u00f6z\u00fcld\u00fc\u011f\u00fcne dair bir\u00e7ok senaryo bulunmaktad\u0131r. \u00d6rne\u011fin, bir m\u00fc\u015fteri hizmetleri sohbet botu d\u00fc\u015f\u00fcnelim. Bu bot, ayn\u0131 anda binlerce kullan\u0131c\u0131ya hizmet vermelidir. Kullan\u0131c\u0131lar, farkl\u0131 uzunluklarda sorular sorabilir ve farkl\u0131 karma\u015f\u0131kl\u0131ktaki yan\u0131tlar\u0131 bekleyebilir. E\u011fer vLLM’nin varsay\u0131lan ayarlar\u0131 kullan\u0131l\u0131rsa, uzun bir kullan\u0131c\u0131 girdisi, di\u011fer kullan\u0131c\u0131lar\u0131n yan\u0131tlar\u0131n\u0131n gecikmesine neden olabilir. Bu durum, m\u00fc\u015fteri memnuniyetini d\u00fc\u015f\u00fcrebilir.<\/p>\n
Bu senaryoda, Chunked Prefill’in devreye girmesiyle, uzun kullan\u0131c\u0131 girdileri daha k\u00fc\u00e7\u00fck par\u00e7alara ayr\u0131larak daha h\u0131zl\u0131 i\u015flenir. Bu, botun daha h\u0131zl\u0131 bir \u015fekilde yan\u0131t \u00fcretmeye ba\u015flamas\u0131n\u0131 sa\u011flar. Ayn\u0131 zamanda, geli\u015fmi\u015f scheduling algoritmalar\u0131, daha k\u0131sa ve acil sorular\u0131 \u00f6nceliklendirerek, kullan\u0131c\u0131lar\u0131n h\u0131zl\u0131 yan\u0131tlar almas\u0131n\u0131 garanti alt\u0131na al\u0131r. \u00d6rne\u011fin, bir kullan\u0131c\u0131 “\u015eifremi unuttum” gibi k\u0131sa bir soru sordu\u011funda, bu istek hemen i\u015flenir ve h\u0131zl\u0131 bir \u015fekilde yan\u0131tlan\u0131r. Daha karma\u015f\u0131k bir soru soran ba\u015fka bir kullan\u0131c\u0131 ise, \u00f6nceliklendirme ve chunked prefill sayesinde yine de kabul edilebilir bir s\u00fcrede yan\u0131t al\u0131r. Bu kombinasyon, sohbet botunun genel yan\u0131t s\u00fcresini iyile\u015ftirir ve P99 gecikmelerini \u00f6nemli \u00f6l\u00e7\u00fcde d\u00fc\u015f\u00fcr\u00fcr.<\/p>\n
Bir ba\u015fka senaryo, bir i\u00e7erik olu\u015fturma platformudur. Bu platformda, kullan\u0131c\u0131lar farkl\u0131 uzunluklarda metinler, makaleler veya kodlar \u00fcretebilir. Bu t\u00fcr g\u00f6revler, genellikle uzun prompt’lar ve uzun \u00e7\u0131kt\u0131lar gerektirir. Geleneksel LLM \u00e7\u0131kar\u0131m sistemleri, bu uzun g\u00f6revleri i\u015flerken ciddi performans sorunlar\u0131 ya\u015fayabilir. vLLM’nin Chunked Prefill’i, bu uzun prompt’lar\u0131n i\u015flenmesini h\u0131zland\u0131rarak, kullan\u0131c\u0131lar\u0131n i\u00e7erik \u00fcretme s\u00fcre\u00e7lerini daha ak\u0131c\u0131 hale getirir. Scheduling algoritmalar\u0131 ise, ayn\u0131 anda bir\u00e7ok kullan\u0131c\u0131n\u0131n isteklerini y\u00f6neterek, platformun \u00f6l\u00e7eklenebilirli\u011fini sa\u011flar. \u00d6rne\u011fin, bir kullan\u0131c\u0131 uzun bir makale yazarken, ba\u015fka bir kullan\u0131c\u0131 k\u0131sa bir \u00fcr\u00fcn a\u00e7\u0131klamas\u0131 yaz\u0131yor olabilir. Scheduling algoritmas\u0131, her iki iste\u011fi de verimli bir \u015fekilde y\u00f6neterek, her iki kullan\u0131c\u0131n\u0131n da tatmin edici bir deneyim ya\u015famas\u0131n\u0131 sa\u011flar.<\/p>\n
Bu optimizasyonlar\u0131n, sadece performans art\u0131\u015f\u0131 sa\u011flamakla kalmay\u0131p, ayn\u0131 zamanda maliyetleri de d\u00fc\u015f\u00fcrd\u00fc\u011f\u00fcn\u00fc belirtmek \u00f6nemlidir. Daha verimli kaynak kullan\u0131m\u0131, daha az GPU’ya ihtiya\u00e7 duyulmas\u0131 anlam\u0131na gelir. Bu da, bulut bili\u015fim maliyetlerini \u00f6nemli \u00f6l\u00e7\u00fcde azaltabilir. vLLM’nin sundu\u011fu bu geli\u015fmi\u015f teknikler, LLM’leri \u00fcretim ortam\u0131nda daha eri\u015filebilir ve daha ekonomik hale getirir. Sonu\u00e7 olarak, Chunked Prefill ve geli\u015fmi\u015f Scheduling, vLLM’yi sadece teorik olarak h\u0131zl\u0131 bir k\u00fct\u00fcphane olmaktan \u00e7\u0131kar\u0131p, ger\u00e7ek d\u00fcnya uygulamalar\u0131nda g\u00fcvenilir ve performansl\u0131 bir \u00e7\u00f6z\u00fcm haline getirir.<\/p>\n
vLLM’yi \u00fcretim ortam\u0131nda en \u00fcst d\u00fczeyde performansla \u00e7al\u0131\u015ft\u0131rmak i\u00e7in, Chunked Prefill ve Scheduling’in \u00f6tesinde de dikkate al\u0131nmas\u0131 gereken baz\u0131 ileri d\u00fczey optimizasyonlar bulunmaktad\u0131r. Bu optimizasyonlar, sistemin ince ayarlar\u0131n\u0131 yaparak, darbo\u011fazlar\u0131 ortadan kald\u0131rmay\u0131 ve genel verimlili\u011fi daha da art\u0131rmay\u0131 hedefler. Bunlardan biri, “quantization” yani niceleme tekni\u011fidir. Niceleme, modelin a\u011f\u0131rl\u0131klar\u0131n\u0131 ve aktivasyonlar\u0131n\u0131 daha d\u00fc\u015f\u00fck hassasiyetli veri tiplerine (\u00f6rne\u011fin, FP16 yerine INT8) d\u00f6n\u00fc\u015ft\u00fcrme i\u015flemidir. Bu, modelin bellek kullan\u0131m\u0131n\u0131 ve hesaplama gereksinimlerini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r. Daha k\u00fc\u00e7\u00fck bir model, GPU belle\u011finde daha az yer kaplar ve daha h\u0131zl\u0131 hesaplanabilir. Bu, \u00f6zellikle bellek k\u0131s\u0131tl\u0131 ortamlarda veya \u00e7ok b\u00fcy\u00fck modellerle \u00e7al\u0131\u015f\u0131rken b\u00fcy\u00fck bir avantaj sa\u011flar. Ancak, niceleme, modelin do\u011frulu\u011funda k\u00fc\u00e7\u00fck bir d\u00fc\u015f\u00fc\u015fe neden olabilir, bu nedenle dikkatli bir \u015fekilde uygulanmas\u0131 ve test edilmesi \u00f6nemlidir.<\/p>\n
Bir di\u011fer \u00f6nemli nokta, “model parallelism” ve “tensor parallelism” gibi da\u011f\u0131t\u0131k e\u011fitim ve \u00e7\u0131kar\u0131m teknikleridir. \u00c7ok b\u00fcy\u00fck LLM’ler, tek bir GPU’ya s\u0131\u011fmayabilir. Bu durumda, modeli birden fazla GPU’ya b\u00f6lmek gerekebilir. Model paralelizmi, modelin farkl\u0131 katmanlar\u0131n\u0131 farkl\u0131 GPU’lara da\u011f\u0131t\u0131rken, tensor paralelizmi ise, her bir katman\u0131n hesaplamalar\u0131n\u0131 birden fazla GPU’ya da\u011f\u0131t\u0131r. Bu teknikler, \u00e7ok b\u00fcy\u00fck modellerin \u00e7\u0131kar\u0131m\u0131n\u0131 m\u00fcmk\u00fcn k\u0131lar ve hesaplama s\u00fcresini h\u0131zland\u0131rabilir. vLLM, bu t\u00fcr da\u011f\u0131t\u0131k \u00e7\u0131kar\u0131m senaryolar\u0131n\u0131 destekler ve bu tekniklerin do\u011fru bir \u015fekilde uygulanmas\u0131, b\u00fcy\u00fck modellerle \u00e7al\u0131\u015f\u0131rken performans\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r.<\/p>\n
Ayr\u0131ca, “profiling” ve “monitoring” ara\u00e7lar\u0131n\u0131n etkin kullan\u0131m\u0131 da kritiktir. Sisteminizin nerede zaman harcad\u0131\u011f\u0131n\u0131 anlamak, darbo\u011fazlar\u0131 tespit etmek ve optimizasyon \u00e7abalar\u0131n\u0131z\u0131 do\u011fru yere y\u00f6nlendirmek i\u00e7in bu ara\u00e7lar vazge\u00e7ilmezdir. vLLM’nin kendi profilleme ara\u00e7lar\u0131 veya genel GPU profilleme ara\u00e7lar\u0131 (\u00f6rne\u011fin, NVIDIA Nsight Systems) kullan\u0131larak, prefill ve decoding a\u015famalar\u0131ndaki zaman harcamalar\u0131, bellek kullan\u0131m\u0131 ve GPU me\u015fguliyeti gibi metrikler izlenebilir. Bu veriler, hangi alanlarda optimizasyon yap\u0131lmas\u0131 gerekti\u011fini belirlemek i\u00e7in kullan\u0131l\u0131r. \u00d6rne\u011fin, e\u011fer prefill a\u015famas\u0131 beklenenden daha uzun s\u00fcr\u00fcyorsa, Chunked Prefill’in daha agresif kullan\u0131lmas\u0131 veya girdi metninin daha k\u00fc\u00e7\u00fck chunk’lara b\u00f6l\u00fcnmesi d\u00fc\u015f\u00fcn\u00fclebilir. E\u011fer decoding a\u015famas\u0131 yava\u015fsa, model nicelemesi veya daha iyi bir scheduling stratejisi gerekebilir.<\/p>\n
Son olarak, “hardware selection” yani donan\u0131m se\u00e7imi de performans\u0131 do\u011frudan etkiler. Farkl\u0131 GPU modelleri, farkl\u0131 bellek bant geni\u015flikleri, \u00e7ekirdek say\u0131lar\u0131 ve i\u015flem h\u0131zlar\u0131 sunar. LLM \u00e7\u0131kar\u0131m\u0131 i\u00e7in en uygun GPU’yu se\u00e7mek, genel sistem performans\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde etkileyebilir. Y\u00fcksek bellek bant geni\u015fli\u011fine sahip GPU’lar, \u00f6zellikle dikkat mekanizmalar\u0131n\u0131n yo\u011fun bellek eri\u015fimi gerektirdi\u011fi LLM’ler i\u00e7in daha uygundur. vLLM’nin sundu\u011fu optimizasyonlar\u0131n tam potansiyelini ortaya \u00e7\u0131karmak i\u00e7in, do\u011fru donan\u0131m se\u00e7imi ve bu optimizasyonlar\u0131n donan\u0131m \u00f6zelliklerine g\u00f6re ayarlanmas\u0131 b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r. Bu ileri d\u00fczey optimizasyonlar, vLLM’yi \u00fcretim ortam\u0131nda en \u00fcst d\u00fczeyde performans ve verimlilikle \u00e7al\u0131\u015ft\u0131rmak i\u00e7in bir yol haritas\u0131 sunar.<\/p>\n
vLLM, LLM \u00e7\u0131kar\u0131m\u0131n\u0131 h\u0131zland\u0131rmak i\u00e7in g\u00fc\u00e7l\u00fc bir k\u00fct\u00fcphane olsa da, \u00fcretim ortam\u0131nda kar\u015f\u0131la\u015f\u0131lan P99 gecikme sorunlar\u0131, bu teknolojinin \u00f6l\u00e7eklendirilmesindeki zorluklar\u0131 ortaya koymaktad\u0131r. Bu makalede, bu gecikmelerin temel nedenlerini, yani batching stratejilerindeki yetersizlikleri, token \u00fcretme h\u0131z\u0131ndaki s\u0131n\u0131rlamalar\u0131 ve kaynak \u00e7ak\u0131\u015fmalar\u0131n\u0131 derinlemesine inceledik. Ard\u0131ndan, bu sorunlar\u0131 \u00e7\u00f6zmek i\u00e7in sunulan iki temel teknoloji olan Chunked Prefill ve geli\u015fmi\u015f Scheduling algoritmalar\u0131n\u0131 detayl\u0131 bir \u015fekilde ele ald\u0131k. Chunked Prefill, uzun girdi metinlerinin prefill a\u015famas\u0131n\u0131 par\u00e7alara ay\u0131rarak h\u0131zland\u0131r\u0131rken, geli\u015fmi\u015f Scheduling, isteklerin t\u00fcm ya\u015fam d\u00f6ng\u00fcs\u00fc boyunca ak\u0131ll\u0131ca y\u00f6netilmesini sa\u011flayarak kaynaklar\u0131n verimli kullan\u0131lmas\u0131n\u0131 ve \u00f6nceliklendirme yap\u0131lmas\u0131n\u0131 m\u00fcmk\u00fcn k\u0131lar. Bu iki tekni\u011fin birle\u015fimi, vLLM’nin \u00fcretim ortam\u0131nda daha kararl\u0131, daha h\u0131zl\u0131 ve daha \u00f6l\u00e7eklenebilir olmas\u0131n\u0131 sa\u011flar. Ger\u00e7ek d\u00fcnya senaryolar\u0131 \u00fczerinden yap\u0131lan analizler, bu optimizasyonlar\u0131n m\u00fc\u015fteri hizmetlerinden i\u00e7erik olu\u015fturmaya kadar bir\u00e7ok alanda pratik faydalar sa\u011flad\u0131\u011f\u0131n\u0131 g\u00f6stermi\u015ftir. \u0130leri d\u00fczey optimizasyonlar ve donan\u0131m se\u00e7imi gibi konular da, vLLM’nin tam potansiyelini ortaya \u00e7\u0131karmak i\u00e7in g\u00f6z ard\u0131 edilmemelidir. Sonu\u00e7 olarak, vLLM’yi \u00fcretim ortam\u0131nda ba\u015far\u0131l\u0131 bir \u015fekilde kullanmak, sadece k\u00fct\u00fcphaneyi kurmakla kalmaz, ayn\u0131 zamanda bu geli\u015fmi\u015f teknikleri anlay\u0131p do\u011fru \u015fekilde uygulamay\u0131 da gerektirir.<\/p>\n
* vLLM’de P99 gecikmesi nedir ve neden \u00f6nemlidir?<\/strong> * Chunked Prefill, t\u00fcm LLM’ler i\u00e7in ge\u00e7erli midir?<\/strong> * Geli\u015fmi\u015f Scheduling, hangi senaryolarda en faydal\u0131d\u0131r?<\/strong> * vLLM’nin PagedAttention’\u0131 ile Chunked Prefill ve Scheduling aras\u0131ndaki ili\u015fki nedir?<\/strong> * Bu optimizasyonlar\u0131 kendi vLLM kurulumumda nas\u0131l etkinle\u015ftirebilirim?<\/strong>
\n P99 gecikmesi, bir iste\u011fin tamamlanmas\u0131 i\u00e7in ge\u00e7en s\u00fcrenin y\u00fczde 99’luk dilimini ifade eder. Yani, isteklerin sadece en yava\u015f %1’i bu s\u00fcreden daha uzun s\u00fcrer. \u00dcretim ortam\u0131nda P99 gecikmesinin d\u00fc\u015f\u00fck olmas\u0131, kullan\u0131c\u0131 deneyiminin tutarl\u0131 ve tatmin edici olmas\u0131n\u0131 sa\u011flamak i\u00e7in kritiktir. Y\u00fcksek P99 gecikmesi, baz\u0131 kullan\u0131c\u0131lar\u0131n uygulamay\u0131 yava\u015f veya kullan\u0131lamaz bulmas\u0131na neden olabilir.<\/p>\n
\n Chunked Prefill, \u00f6zellikle dikkat mekanizmalar\u0131n\u0131 kullanan Transformer tabanl\u0131 LLM’ler i\u00e7in etkilidir. vLLM gibi bu t\u00fcr mimarileri optimize eden k\u00fct\u00fcphanelerde en iyi performans\u0131 g\u00f6sterir. Modelin mimarisi ve \u00e7\u0131kar\u0131m motorunun, chunk’lar aras\u0131ndaki dikkat durumlar\u0131n\u0131 y\u00f6netebilmesi gereklidir.<\/p>\n
\n Geli\u015fmi\u015f Scheduling algoritmalar\u0131, ayn\u0131 anda birden fazla ve farkl\u0131 \u00f6zelliklere sahip isteklerin i\u015flendi\u011fi t\u00fcm \u00fcretim ortamlar\u0131nda faydal\u0131d\u0131r. \u00d6zellikle y\u00fcksek trafikli web servisleri, sohbet botlar\u0131, i\u00e7erik olu\u015fturma platformlar\u0131 ve ger\u00e7ek zamanl\u0131 analiz uygulamalar\u0131 gibi senaryolarda kritik \u00f6neme sahiptir. \u0130steklerin \u00f6nceliklendirilmesi ve kaynaklar\u0131n dinamik olarak tahsis edilmesi gereken her yerde etkilidir.<\/p>\n
\n PagedAttention, vLLM’nin temel bellek y\u00f6netim tekni\u011fidir ve GPU belle\u011fini verimli bir \u015fekilde tahsis eder. Chunked Prefill, bu verimli bellek kullan\u0131m\u0131ndan yararlanarak prefill a\u015famas\u0131n\u0131 h\u0131zland\u0131r\u0131r. Geli\u015fmi\u015f Scheduling ise, PagedAttention’\u0131n sa\u011flad\u0131\u011f\u0131 esnek bellek y\u00f6netimi ve i\u015flem g\u00fcc\u00fc tahsisiyle birlikte \u00e7al\u0131\u015farak, isteklerin en uygun \u015fekilde i\u015flenmesini sa\u011flar. Bu \u00fc\u00e7 teknoloji birbirini tamamlar ve vLLM’nin genel performans\u0131n\u0131 art\u0131r\u0131r.<\/p>\n
\n vLLM’nin g\u00fcncel s\u00fcr\u00fcmleri genellikle Chunked Prefill ve geli\u015fmi\u015f Scheduling algoritmalar\u0131n\u0131 varsay\u0131lan olarak veya yap\u0131land\u0131rma se\u00e7enekleri arac\u0131l\u0131\u011f\u0131yla sunar. vLLM’nin resmi dok\u00fcmantasyonunu inceleyerek, bu \u00f6zellikleri nas\u0131l etkinle\u015ftirebilece\u011finizi ve parametrelerini nas\u0131l ayarlayabilece\u011finizi \u00f6\u011frenebilirsiniz. Genellikle, model ba\u015flat\u0131l\u0131rken veya \u00e7\u0131kar\u0131m iste\u011fi g\u00f6nderilirken belirli konfig\u00fcrasyon ayarlar\u0131 yap\u0131l\u0131r.<\/p>\n","protected":false},"excerpt":{"rendered":"Neden vLLM’de \u00dcretim Ortam\u0131nda P99 Gecikmesi Artar? B\u00fcy\u00fck Dil Modelleri (LLM’ler) g\u00fcn\u00fcm\u00fcz\u00fcn en heyecan verici yapay zeka teknolojilerinden…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-43408","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n