G\u00fcn\u00fcm\u00fczde yapay zeka d\u00fcnyas\u0131, inan\u0131lmaz boyutlara ula\u015fan b\u00fcy\u00fck dil modelleri (LLM’ler) ile \u00e7alkalan\u0131yor. Milyarlarca, hatta trilyonlarca parametreye sahip bu modeller, inan\u0131lmaz yetenekler sergilese de, e\u011fitimleri ve hatta \u00e7\u0131kar\u0131mlar\u0131 tek bir g\u00fc\u00e7l\u00fc GPU’ya veya sunucuya s\u0131\u011fd\u0131rmak neredeyse imkans\u0131z hale geliyor. \u0130\u015fte tam da bu noktada, da\u011f\u0131t\u0131k hesaplama teknikleri devreye giriyor. Bu rehberde, b\u00fcy\u00fck modellerin e\u011fitimini ve kullan\u0131m\u0131n\u0131 m\u00fcmk\u00fcn k\u0131lan iki temel paralellik stratejisi olan Tensor Paralelli\u011fi ve Pipeline Paralelli\u011fi’ni derinlemesine inceleyece\u011fiz. Bu teknikleri ad\u0131m ad\u0131m \u00f6\u011frenecek, ger\u00e7ek d\u00fcnya senaryolar\u0131nda nas\u0131l kullan\u0131ld\u0131klar\u0131n\u0131 g\u00f6recek ve kendi projelerinizde bu g\u00fcc\u00fc nas\u0131l kullanabilece\u011finizi ke\u015ffedeceksiniz.<\/p>\n
\u00d6zellikle LLM’lerin h\u0131zla geli\u015fti\u011fi bu d\u00f6nemde, modellerin giderek b\u00fcy\u00fcmesi, mevcut donan\u0131m s\u0131n\u0131rlar\u0131n\u0131 zorluyor. Tek bir GPU’nun bellek kapasitesi ve i\u015flem g\u00fcc\u00fc, bu devasa a\u011f yap\u0131lar\u0131n\u0131 bar\u0131nd\u0131rmak i\u00e7in yetersiz kal\u0131yor. Bu durum, ara\u015ft\u0131rmac\u0131lar\u0131 ve m\u00fchendisleri, e\u011fitimi ve \u00e7\u0131kar\u0131m\u0131 daha k\u00fc\u00e7\u00fck, y\u00f6netilebilir par\u00e7alara b\u00f6lerek birden fazla i\u015flem biriminde \u00e7al\u0131\u015ft\u0131rma y\u00f6ntemleri aramaya itiyor. Tensor paralelli\u011fi ve pipeline paralelli\u011fi, bu soruna \u00e7\u00f6z\u00fcm sunan en etkili yakla\u015f\u0131mlardan ikisidir.<\/p>\n
Bu makale, bu karma\u015f\u0131k konular\u0131 anla\u015f\u0131l\u0131r bir dille ele alacak. Konuya tamamen yabanc\u0131 olanlar i\u00e7in temel kavramlardan ba\u015flayarak, daha deneyimli kullan\u0131c\u0131lar i\u00e7in ileri d\u00fczey ipu\u00e7lar\u0131na kadar geni\u015f bir yelpazede bilgi sunaca\u011f\u0131z. Amac\u0131m\u0131z, okuyucular\u0131n bu g\u00fc\u00e7l\u00fc teknikleri hem kavramsal olarak anlamalar\u0131n\u0131 hem de pratik uygulamalarda kullanabilmelerini sa\u011flamakt\u0131r. Haz\u0131rsan\u0131z, b\u00fcy\u00fck modellerin d\u00fcnyas\u0131nda bir yolculu\u011fa \u00e7\u0131kal\u0131m ve da\u011f\u0131t\u0131k e\u011fitim stratejilerinin inceliklerini ke\u015ffedelim.<\/p>\n
B\u00fcy\u00fck \u00f6l\u00e7ekli derin \u00f6\u011frenme modellerinin e\u011fitiminde kar\u015f\u0131la\u015f\u0131lan en b\u00fcy\u00fck zorluklardan biri, modelin kendisinin ve e\u011fitim s\u0131ras\u0131nda \u00fcretilen ara aktivasyonlar\u0131n tek bir i\u015flem biriminin belle\u011fine s\u0131\u011fmamas\u0131d\u0131r. Bu sorunu \u00e7\u00f6zmek i\u00e7in iki ana paralellik stratejisi \u00f6ne \u00e7\u0131kar: Tensor Paralelli\u011fi ve Pipeline Paralelli\u011fi. Her ikisi de modeli birden fazla cihaza da\u011f\u0131tmay\u0131 hedefler, ancak bunu yapma bi\u00e7imleri temelden farkl\u0131d\u0131r.<\/p>\n
Tensor Paralelli\u011fi<\/strong>, modelin tek bir katman\u0131ndaki b\u00fcy\u00fck matris \u00e7arp\u0131mlar\u0131n\u0131 veya di\u011fer tens\u00f6r operasyonlar\u0131n\u0131 birden fazla cihaza b\u00f6lerek \u00e7al\u0131\u015f\u0131r. \u00d6rne\u011fin, bir fully-connected katman\u0131ndaki a\u011f\u0131rl\u0131k matrisi \u00e7ok b\u00fcy\u00fckse, bu matrisin sat\u0131rlar\u0131 veya s\u00fctunlar\u0131 farkl\u0131 cihazlara atanabilir. Her cihaz, kendi alt matrisleri \u00fczerinde hesaplama yapar ve ard\u0131ndan sonu\u00e7lar birle\u015ftirilir. Bu yakla\u015f\u0131m, \u00f6zellikle b\u00fcy\u00fck matris \u00e7arp\u0131mlar\u0131n\u0131n yo\u011fun oldu\u011fu Transformer mimarilerinde olduk\u00e7a etkilidir. Avantaj\u0131, ileti\u015fim maliyetlerinin genellikle katman i\u00e7i operasyonlarla s\u0131n\u0131rl\u0131 olmas\u0131d\u0131r, bu da daha d\u00fc\u015f\u00fck gecikme s\u00fcresi sa\u011flayabilir. Ancak, her cihaz\u0131n ayn\u0131 katman\u0131n tamam\u0131n\u0131 i\u015flemesi gerekti\u011fi i\u00e7in, katman\u0131n kendisinin cihaz belle\u011fine s\u0131\u011fabilmesi gerekir. E\u011fer bir katman\u0131n tamam\u0131 bile tek bir cihaza s\u0131\u011fm\u0131yorsa, tensor paralelli\u011fi tek ba\u015f\u0131na yeterli olmayabilir.<\/p>\n \u00d6te yandan, Pipeline Paralelli\u011fi<\/strong>, modelin farkl\u0131 katmanlar\u0131n\u0131 farkl\u0131 cihazlara atayarak \u00e7al\u0131\u015f\u0131r. Model, bir dizi s\u0131ral\u0131 a\u015famaya (pipeline) b\u00f6l\u00fcn\u00fcr ve her a\u015fama bir veya daha fazla cihazda \u00e7al\u0131\u015f\u0131r. Veri, ilk a\u015famaya girer, i\u015flenir, ard\u0131ndan ara sonu\u00e7lar bir sonraki a\u015famaya g\u00f6nderilir ve bu i\u015flem modelin sonuna kadar devam eder. Bu, bir \u00fcretim hatt\u0131na benzetilebilir; her istasyon (cihaz) kendi g\u00f6revini yapar ve \u00fcr\u00fcn\u00fc (veri) bir sonraki istasyona iletir. Pipeline paralelli\u011finin ana avantaj\u0131, tek bir cihaz\u0131n belle\u011fine s\u0131\u011fmayacak kadar b\u00fcy\u00fck modelleri e\u011fitebilmesidir. \u00c7\u00fcnk\u00fc her cihaz sadece modelin bir alt k\u00fcmesini (bir dizi katman\u0131) bar\u0131nd\u0131r\u0131r. Dezavantaj\u0131 ise, a\u015famalar aras\u0131ndaki veri aktar\u0131m\u0131 ve “baloncuk” (bubble) ad\u0131 verilen, baz\u0131 cihazlar\u0131n bo\u015fta kald\u0131\u011f\u0131 zaman dilimleri nedeniyle potansiyel olarak daha y\u00fcksek gecikme s\u00fcresidir.<\/p>\n Bu iki strateji genellikle birbirini d\u0131\u015flamaz; aksine, genellikle birlikte kullan\u0131l\u0131rlar. \u00d6rne\u011fin, \u00e7ok b\u00fcy\u00fck bir modelde hem pipeline paralelli\u011fi ile katmanlar farkl\u0131 cihazlara da\u011f\u0131t\u0131l\u0131r, hem de her bir cihaz grubunda tensor paralelli\u011fi ile katman i\u00e7indeki b\u00fcy\u00fck matrisler daha da k\u00fc\u00e7\u00fck par\u00e7alara b\u00f6l\u00fcnerek birden fazla GPU’ya yay\u0131labilir. Bu hibrit yakla\u015f\u0131mlar, en b\u00fcy\u00fck ve en karma\u015f\u0131k modelleri e\u011fitebilmek i\u00e7in en etkili \u00e7\u00f6z\u00fcmleri sunar.<\/p>\n Tensor paralelli\u011fi, ad\u0131ndan da anla\u015f\u0131laca\u011f\u0131 gibi, bir sinir a\u011f\u0131n\u0131n katmanlar\u0131ndaki tens\u00f6r (veya matris) operasyonlar\u0131n\u0131 birden fazla i\u015flem birimi (genellikle GPU) aras\u0131nda b\u00f6lme stratejisidir. Bu yakla\u015f\u0131m, \u00f6zellikle derin \u00f6\u011frenme modellerinin kalbinde yer alan b\u00fcy\u00fck matris \u00e7arp\u0131mlar\u0131n\u0131 daha k\u00fc\u00e7\u00fck, y\u00f6netilebilir par\u00e7alara ay\u0131rarak paralel i\u015flemeyi hedefler. Bir katmandaki a\u011f\u0131rl\u0131k matrisinin veya girdi tens\u00f6r\u00fcn\u00fcn \u00e7ok b\u00fcy\u00fck olmas\u0131 durumunda, bu b\u00fcy\u00fck tens\u00f6rleri farkl\u0131 cihazlara da\u011f\u0131tarak her cihaz\u0131n sadece bir k\u0131sm\u0131n\u0131 i\u015flemesini sa\u011flar\u0131z.<\/p>\n En yayg\u0131n tensor paralelli\u011fi uygulamalar\u0131ndan biri, bir fully-connected (tam ba\u011fl\u0131) katman\u0131ndaki a\u011f\u0131rl\u0131k matrisini b\u00f6lmektir. Bir tam ba\u011fl\u0131 katman, girdiyi bir a\u011f\u0131rl\u0131k matrisi ile \u00e7arpar ve ard\u0131ndan bir bias ekler. Matematiksel olarak bu i\u015flem $Y = XW + b$ \u015feklinde ifade edilebilir, burada $X$ girdi tens\u00f6r\u00fc, $W$ a\u011f\u0131rl\u0131k matrisi, $b$ bias vekt\u00f6r\u00fc ve $Y$ \u00e7\u0131kt\u0131 tens\u00f6r\u00fcd\u00fcr. E\u011fer $W$ matrisi \u00e7ok b\u00fcy\u00fckse, onu s\u00fctunlara veya sat\u0131rlara g\u00f6re b\u00f6lebiliriz.<\/p>\n S\u00fctunlara G\u00f6re B\u00f6lme (Column Parallelism):<\/strong> A\u011f\u0131rl\u0131k matrisi $W$ s\u00fctunlar\u0131na g\u00f6re b\u00f6l\u00fcnd\u00fc\u011f\u00fcnde, $W = [W_1 | W_2 | … | W_n]$ olur. Her cihaz $i$, girdiyi $X$ ile sadece kendi alt matrisi $W_i$ \u00fczerinde \u00e7arpar: $Y_i = XW_i$. Bu durumda, her cihaz\u0131n \u00e7\u0131kt\u0131s\u0131 $Y_i$ olur ve t\u00fcm cihazlar\u0131n \u00e7\u0131kt\u0131lar\u0131 birle\u015ftirilerek nihai \u00e7\u0131kt\u0131 $Y$ elde edilir. Bu b\u00f6lme t\u00fcr\u00fc, genellikle her cihaz\u0131n \u00e7\u0131kt\u0131s\u0131n\u0131n birle\u015ftirilmesini gerektirir, bu da bir ileti\u015fim ad\u0131m\u0131 anlam\u0131na gelir.<\/p>\n Sat\u0131rlara G\u00f6re B\u00f6lme (Row Parallelism):<\/strong> A\u011f\u0131rl\u0131k matrisi $W$ sat\u0131rlar\u0131na g\u00f6re b\u00f6l\u00fcnd\u00fc\u011f\u00fcnde, $W = \\begin{bmatrix} W_1 \\\\ W_2 \\\\ … \\\\ W_n \\end{bmatrix}$ olur. Bu durumda, girdi $X$ \u00f6ncelikle t\u00fcm cihazlara yay\u0131l\u0131r. Her cihaz $i$, kendi alt matrisi $W_i$ ile \u00e7arparak bir ara \u00e7\u0131kt\u0131 \u00fcretir: $Z_i = XW_i$. Ancak bu, tam bir katman \u00e7\u0131kt\u0131s\u0131 de\u011fildir. Nihai \u00e7\u0131kt\u0131 $Y$ elde etmek i\u00e7in, t\u00fcm cihazlardan gelen ara \u00e7\u0131kt\u0131lar toplan\u0131r: $Y = \\sum Z_i$. Bu b\u00f6lme t\u00fcr\u00fc, girdi verisinin t\u00fcm cihazlara da\u011f\u0131t\u0131lmas\u0131n\u0131 ve \u00e7\u0131kt\u0131lar\u0131n toplanmas\u0131n\u0131 gerektirir.<\/p>\n Transformer modellerinde, \u00f6zellikle self-attention mekanizmas\u0131ndaki b\u00fcy\u00fck matris \u00e7arp\u0131mlar\u0131 ve feed-forward a\u011flar\u0131, tensor paralelli\u011fi i\u00e7in ideal adaylard\u0131r. \u00d6rne\u011fin, bir self-attention katman\u0131ndaki sorgu (Q), anahtar (K) ve de\u011fer (V) projeksiyon matrisleri veya feed-forward a\u011f\u0131ndaki ilk do\u011frusal katman\u0131n a\u011f\u0131rl\u0131k matrisi, tensor paralelli\u011fi ile b\u00f6l\u00fcnebilir. Bu, tek bir katman\u0131n hesaplama y\u00fck\u00fcn\u00fc birden fazla GPU’ya yayarak, o katman\u0131n daha h\u0131zl\u0131 i\u015flenmesini sa\u011flar.<\/p>\n Tensor paralelli\u011finin uygulanmas\u0131, dikkatli bir senkronizasyon ve ileti\u015fim y\u00f6netimi gerektirir. Cihazlar aras\u0131nda veri al\u0131\u015fveri\u015fi (\u00f6rne\u011fin, matris \u00e7arp\u0131m\u0131n\u0131n sonu\u00e7lar\u0131n\u0131 birle\u015ftirmek veya ara sonu\u00e7lar\u0131 toplamak i\u00e7in) a\u011f bant geni\u015fli\u011fi ve gecikme s\u00fcresi a\u00e7\u0131s\u0131ndan darbo\u011fazlar olu\u015fturabilir. Bu nedenle, tensor paralelli\u011fi genellikle ayn\u0131 d\u00fc\u011f\u00fcm i\u00e7indeki GPU’lar aras\u0131nda, yani y\u00fcksek h\u0131zl\u0131 interconnect’ler (NVLink gibi) ile birbirine ba\u011fl\u0131 GPU’lar aras\u0131nda daha etkilidir. Farkl\u0131 d\u00fc\u011f\u00fcmlerdeki GPU’lar aras\u0131nda tensor paralelli\u011fi uygulamak, ileti\u015fim maliyetleri nedeniyle genellikle daha az tercih edilir.<\/p>\n Vaka Analizi: Megatron-LM ve Tensor Paralelli\u011fi<\/strong> Pipeline paralelli\u011fi, modeli ard\u0131\u015f\u0131k katmanlar halinde d\u00fc\u015f\u00fcn\u00fcp, bu katmanlar\u0131 farkl\u0131 cihazlara atayarak \u00e7al\u0131\u015f\u0131r. Bu yakla\u015f\u0131m, bir \u00fcretim hatt\u0131na benzetilebilir. Modelin giri\u015f verisi, hatt\u0131n ilk cihaz\u0131na ula\u015f\u0131r, orada i\u015flenir ve ara sonu\u00e7lar bir sonraki cihaza aktar\u0131l\u0131r. Bu s\u00fcre\u00e7, modelin son katman\u0131na ula\u015fana kadar devam eder. Her cihaz, modelin belirli bir b\u00f6l\u00fcm\u00fcnden sorumludur ve bu b\u00f6l\u00fcm\u00fc tamamlad\u0131\u011f\u0131nda, veriyi bir sonraki cihaza iletir.<\/p>\n Pipeline paralelli\u011finin temel amac\u0131, tek bir cihaz\u0131n belle\u011fine s\u0131\u011fmayacak kadar b\u00fcy\u00fck modelleri e\u011fitebilmektir. \u00c7\u00fcnk\u00fc her cihaz, modelin tamam\u0131n\u0131 de\u011fil, sadece bir alt k\u00fcmesini (bir dizi katman\u0131) bar\u0131nd\u0131r\u0131r. \u00d6rne\u011fin, 100 katmanl\u0131 bir modelimiz varsa, bunu 10 cihaza da\u011f\u0131tabiliriz; her cihaz 10 katmandan sorumlu olur. Bu, toplam bellek gereksinimini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r.<\/p>\n Pipeline paralelli\u011finin en b\u00fcy\u00fck zorluklar\u0131ndan biri, cihazlar\u0131n verimlili\u011fini en \u00fcst d\u00fczeye \u00e7\u0131karmakt\u0131r. E\u011fer veri, bir cihazdan di\u011ferine s\u0131rayla aktar\u0131l\u0131rsa, ilk cihazlar i\u015flemleri bitirdikten sonra, son cihazlar i\u015flemleri bitirene kadar bo\u015fta kalabilir. Bu durum, “pipeline bubble” (boru hatt\u0131 balonu) olarak adland\u0131r\u0131l\u0131r ve verimlili\u011fi d\u00fc\u015f\u00fcr\u00fcr. Bu baloncuklar\u0131 azaltmak i\u00e7in, pipeline paralelli\u011fi genellikle mikro-batching (mikro-y\u0131\u011f\u0131nlama) ile birlikte kullan\u0131l\u0131r.<\/p>\n Mikro-Batching:<\/strong> Pipeline paralelli\u011finde, tam veri y\u0131\u011f\u0131n\u0131 (batch) yerine, veri y\u0131\u011f\u0131n\u0131 daha k\u00fc\u00e7\u00fck par\u00e7alara (mikro-batch’ler) b\u00f6l\u00fcn\u00fcr. Bu mikro-batch’ler, pipeline boyunca s\u0131ral\u0131 olarak g\u00f6nderilir. \u00d6rne\u011fin, 8 mikro-batch’imiz varsa ve 4 cihaz\u0131m\u0131z varsa, ilk mikro-batch cihaz 1’e gider, i\u015flenir ve cihaz 2’ye ge\u00e7er. Bu s\u0131rada, ikinci mikro-batch cihaz 1’e girer. Bu \u015fekilde, pipeline boyunca birden fazla mikro-batch aktif olabilir, bu da cihazlar\u0131n s\u00fcrekli me\u015fgul kalmas\u0131n\u0131 sa\u011flar ve pipeline balonlar\u0131n\u0131 azalt\u0131r.<\/p>\n Pipeline paralelli\u011finin uygulanmas\u0131, cihazlar aras\u0131nda veri aktar\u0131m\u0131 ve senkronizasyon gerektirir. Her a\u015faman\u0131n \u00e7\u0131kt\u0131s\u0131, bir sonraki a\u015faman\u0131n girdisi olur. Bu, ileri ge\u00e7i\u015f (forward pass) s\u0131ras\u0131nda ger\u00e7ekle\u015fir. Geri yay\u0131l\u0131m (backward pass) s\u0131ras\u0131nda ise, hata gradyanlar\u0131 ters y\u00f6nde akar. Bu gradyanlar\u0131n do\u011fru bir \u015fekilde toplanmas\u0131 ve cihazlar aras\u0131nda iletilmesi kritik \u00f6neme sahiptir.<\/p>\n Kademeli Pipeline Paralelli\u011fi (Interleaved Pipeline Parallelism):<\/strong> Daha geli\u015fmi\u015f pipeline paralelli\u011fi teknikleri, katmanlar\u0131 daha ince par\u00e7alara b\u00f6lerek ve cihazlara daha karma\u015f\u0131k bir \u015fekilde atayarak verimlili\u011fi daha da art\u0131r\u0131r. \u00d6rne\u011fin, “interleaved pipeline parallelism” (kademeli pipeline paralelli\u011fi), modelin ard\u0131\u015f\u0131k katmanlar\u0131n\u0131 farkl\u0131 cihaz gruplar\u0131na atayabilir. Bu, daha iyi i\u015f y\u00fck\u00fc dengelemesi ve daha az pipeline balonu sa\u011flayabilir.<\/p>\n Vaka Analizi: GPipe ve Pipeline Paralelli\u011fi<\/strong> G\u00fcn\u00fcm\u00fczde, en b\u00fcy\u00fck ve en karma\u015f\u0131k derin \u00f6\u011frenme modellerini (\u00f6rne\u011fin, GPT-3, LaMDA, PaLM gibi milyarlarca hatta trilyonlarca parametreye sahip modeller) e\u011fitmek i\u00e7in sadece tensor paralelli\u011fi veya sadece pipeline paralelli\u011fi yeterli de\u011fildir. Bu modellerin gerektirdi\u011fi muazzam hesaplama g\u00fcc\u00fc ve bellek kapasitesi, her iki stratejinin de birlikte kullan\u0131ld\u0131\u011f\u0131 hibrit paralellik yakla\u015f\u0131mlar\u0131n\u0131 zorunlu k\u0131lar.<\/p>\n Hibrit paralellik, modelin farkl\u0131 y\u00f6nlerini farkl\u0131 paralellik stratejileriyle \u00f6l\u00e7eklendirmeyi i\u00e7erir. En yayg\u0131n hibrit yakla\u015f\u0131m, veri paralelli\u011fi<\/strong> (data parallelism) ile tensor ve pipeline paralelli\u011fini birle\u015ftirmektir. Veri paralelli\u011finde, modelin tam bir kopyas\u0131 her i\u015flem biriminde bulunur ve her birim, veri k\u00fcmesinin farkl\u0131 bir alt k\u00fcmesi \u00fczerinde \u00e7al\u0131\u015f\u0131r. Gradyanlar toplan\u0131r ve model g\u00fcncellenir. Bu, modelin kendisi tek bir cihaza s\u0131\u011fd\u0131\u011f\u0131nda kullan\u0131l\u0131r.<\/p>\n Ancak, model tek bir cihaza s\u0131\u011fmad\u0131\u011f\u0131nda, veri paralelli\u011fi ile birlikte tensor ve pipeline paralelli\u011fi devreye girer. Bu durumda, genellikle \u015fu \u015fekilde bir hiyerar\u015fi kurulur:<\/p>\n Bu \u00fc\u00e7l\u00fc paralellik stratejisi, en b\u00fcy\u00fck modelleri bile da\u011f\u0131t\u0131k bir hesaplama k\u00fcmesinde verimli bir \u015fekilde e\u011fitmeyi m\u00fcmk\u00fcn k\u0131lar. \u00d6rne\u011fin, 1000 adet GPU’ya sahip bir k\u00fcmede, bu stratejiler \u015fu \u015fekilde uygulanabilir:<\/p>\n Bu karma\u015f\u0131k ama g\u00fc\u00e7l\u00fc yap\u0131, hem modelin bellek gereksinimini hem de hesaplama y\u00fck\u00fcn\u00fc da\u011f\u0131tarak \u00f6l\u00e7eklenebilirli\u011fi en \u00fcst d\u00fczeye \u00e7\u0131kar\u0131r. Ancak, bu hibrit yakla\u015f\u0131mlar\u0131n uygulanmas\u0131 ve y\u00f6netimi olduk\u00e7a karma\u015f\u0131kt\u0131r ve \u00f6zel yaz\u0131l\u0131m k\u00fct\u00fcphaneleri (\u00f6rne\u011fin, DeepSpeed, Megatron-LM, FairScale) gerektirir.<\/p>\n Vaka Analizi: DeepSpeed ve ZeRO<\/strong> Bu b\u00f6l\u00fcmde, tensor paralelli\u011finin temel mant\u0131\u011f\u0131n\u0131 anlamak i\u00e7in basit bir PyTorch \u00f6rne\u011fi \u00fczerinden ilerleyece\u011fiz. Burada, bir fully-connected (tam ba\u011fl\u0131) katman\u0131ndaki a\u011f\u0131rl\u0131k matrisini s\u00fctunlara g\u00f6re b\u00f6lece\u011fiz. Amac\u0131m\u0131z, kodun nas\u0131l \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 ve verinin nas\u0131l da\u011f\u0131t\u0131ld\u0131\u011f\u0131n\u0131 g\u00f6stermektir. Ger\u00e7ek d\u00fcnya senaryolar\u0131nda bu i\u015flem \u00e7ok daha karma\u015f\u0131k olabilir ve genellikle \u00f6zel k\u00fct\u00fcphaneler taraf\u0131ndan y\u00f6netilir.<\/p>\n \u00d6ncelikle, gerekli k\u00fct\u00fcphaneleri i\u00e7e aktaral\u0131m ve birka\u00e7 varsay\u0131msal GPU tan\u0131mlayal\u0131m. Bu \u00f6rnek, tek bir makinede birden fazla GPU oldu\u011funu varsayacakt\u0131r. E\u011fer birden fazla makine kullan\u0131l\u0131yorsa, da\u011f\u0131t\u0131k ortam kurulumu ve \u015eimdi, tensor paralelli\u011fini uygulayaca\u011f\u0131m\u0131z basit bir fully-connected katman\u0131 olu\u015ftural\u0131m. Bir tam ba\u011fl\u0131 katman, girdi vekt\u00f6r\u00fcn\u00fc bir a\u011f\u0131rl\u0131k matrisi ile \u00e7arpar. E\u011fer bu a\u011f\u0131rl\u0131k matrisi \u00e7ok b\u00fcy\u00fckse, onu s\u00fctunlara b\u00f6lebiliriz.<\/p>\n A\u011f\u0131rl\u0131k matrisini s\u00fctunlara g\u00f6re b\u00f6ld\u00fc\u011f\u00fcm\u00fczde, her GPU kendi alt matrisi ile \u00e7arp\u0131m yapacak ve ard\u0131ndan sonu\u00e7lar\u0131 birle\u015ftirecektir. Bu birle\u015ftirme i\u015flemi i\u00e7in Yukar\u0131daki kod, Ger\u00e7ek d\u00fcnya uygulamalar\u0131nda, bu t\u00fcrden bir paralellik genellikle Megatron-LM veya DeepSpeed gibi k\u00fct\u00fcphaneler taraf\u0131ndan otomatik olarak y\u00f6netilir. Bu k\u00fct\u00fcphaneler, karma\u015f\u0131k model mimarilerinde tensor paralelli\u011fini verimli bir \u015fekilde uygulamak i\u00e7in optimize edilmi\u015f ileti\u015fim stratejileri ve bellek y\u00f6netimi sunar.<\/p>\n \u00d6nemli Notlar:<\/strong><\/p>\n Tensor ve pipeline paralelli\u011fi, b\u00fcy\u00fck modelleri e\u011fitmek i\u00e7in g\u00fc\u00e7l\u00fc ara\u00e7lar olsa da, verimlili\u011fi en \u00fcst d\u00fczeye \u00e7\u0131karmak ve performans darbo\u011fazlar\u0131n\u0131 a\u015fmak i\u00e7in dikkate al\u0131nmas\u0131 gereken bir\u00e7ok ince ayar ve optimizasyon bulunmaktad\u0131r. Bu b\u00f6l\u00fcmde, daha deneyimli kullan\u0131c\u0131lar i\u00e7in baz\u0131 ileri d\u00fczey ipu\u00e7lar\u0131 ve stratejiler sunaca\u011f\u0131z.<\/p>\n 1. \u0130leti\u015fim Maliyetlerini Azaltma:<\/strong><\/p>\n 2. Bellek Optimizasyonu:<\/strong><\/p>\n 3. Hibrit Paralellik Stratejilerinin Ayarlanmas\u0131:<\/strong><\/p>\n 4. K\u00fct\u00fcphane ve Ara\u00e7 Se\u00e7imi:<\/strong><\/p>\n 5. Profiling ve Hata Ay\u0131klama:<\/strong><\/p>\n Bu ileri d\u00fczey teknikler, b\u00fcy\u00fck modellerin e\u011fitimini daha verimli ve \u00f6l\u00e7eklenebilir hale getirerek, yapay zeka alan\u0131ndaki s\u0131n\u0131rlar\u0131 zorlamam\u0131za olanak tan\u0131r.<\/p>\n B\u00fcy\u00fck dil modellerinin giderek b\u00fcy\u00fcmesiyle birlikte, tek bir makinenin s\u0131n\u0131rlar\u0131n\u0131 a\u015fan e\u011fitim stratejileri ka\u00e7\u0131n\u0131lmaz hale gelmi\u015ftir. Bu rehberde, bu zorluklar\u0131n \u00fcstesinden gelmek i\u00e7in kullan\u0131lan iki temel paralellik tekni\u011fi olan Tensor Paralelli\u011fi ve Pipeline Paralelli\u011fi’ni derinlemesine inceledik. Tensor paralelli\u011fi, katman i\u00e7indeki b\u00fcy\u00fck tens\u00f6r operasyonlar\u0131n\u0131 birden fazla cihaza b\u00f6lerek hesaplama y\u00fck\u00fcn\u00fc da\u011f\u0131t\u0131rken, pipeline paralelli\u011fi modelin katmanlar\u0131n\u0131 farkl\u0131 cihazlara atayarak daha b\u00fcy\u00fck modellerin belle\u011fe s\u0131\u011fmas\u0131n\u0131 sa\u011flar.<\/p>\n Bu iki tekni\u011fin genellikle birlikte kullan\u0131ld\u0131\u011f\u0131 hibrit paralellik yakla\u015f\u0131mlar\u0131, \u00f6zellikle veri paralelli\u011fi ile birle\u015fti\u011finde, milyarlarca hatta trilyonlarca parametreye sahip modellerin bile etkili bir \u015fekilde e\u011fitilmesine olanak tan\u0131r. DeepSpeed ve Megatron-LM gibi geli\u015fmi\u015f k\u00fct\u00fcphaneler, bu karma\u015f\u0131k stratejileri uygulamak ve bellek ile ileti\u015fim optimizasyonlar\u0131 sa\u011flamak i\u00e7in g\u00fc\u00e7l\u00fc ara\u00e7lar sunmaktad\u0131r.<\/p>\n Yapay zeka modelleri daha da karma\u015f\u0131kla\u015ft\u0131k\u00e7a ve b\u00fcy\u00fcd\u00fck\u00e7e, bu da\u011f\u0131t\u0131k e\u011fitim tekniklerinin \u00f6nemi artmaya devam edecektir. Bu rehberin, bu g\u00fc\u00e7l\u00fc ara\u00e7lar\u0131 anlaman\u0131za ve kendi projelerinizde kullanman\u0131za yard\u0131mc\u0131 olmas\u0131n\u0131 umuyoruz.<\/p>\nTensor Paralelli\u011fi: Katmanlar\u0131 B\u00f6lmenin G\u00fcc\u00fc<\/h2>\n
\n NVIDIA’n\u0131n Megatron-LM k\u00fct\u00fcphanesi, b\u00fcy\u00fck dil modellerini e\u011fitmek i\u00e7in tensor paralelli\u011fini etkili bir \u015fekilde kullanan \u00f6nc\u00fc projelerden biridir. Megatron-LM, Transformer modellerinin self-attention ve feed-forward mod\u00fcllerindeki b\u00fcy\u00fck do\u011frusal katmanlar\u0131 s\u00fctunlara g\u00f6re b\u00f6lerek tensor paralelli\u011fini uygular. Bu sayede, tek bir GPU’nun belle\u011fine s\u0131\u011fmayan modellerin e\u011fitimi m\u00fcmk\u00fcn hale gelir. \u00d6rne\u011fin, 3456 boyutlu gizli durum vekt\u00f6r\u00fcne sahip bir modelde, feed-forward katman\u0131ndaki ara boyut 13824 olabilir. Bu, tek bir matris \u00e7arp\u0131m\u0131nda devasa bir a\u011f\u0131rl\u0131k matrisi anlam\u0131na gelir. Megatron-LM, bu matrisi birden fazla GPU’ya da\u011f\u0131tarak hesaplama s\u00fcresini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r. K\u00fct\u00fcphane, bu paralelle\u015ftirme stratejisini, verimlili\u011fi art\u0131rmak i\u00e7in pipeline paralelli\u011fi ile birle\u015ftirerek daha da \u00f6l\u00e7eklenebilir hale getirir.<\/p>\nPipeline Paralelli\u011fi: Modeli S\u0131ral\u0131 A\u015famalarla \u0130\u015flemek<\/h2>\n
\n Google taraf\u0131ndan geli\u015ftirilen GPipe, pipeline paralelli\u011fini uygulamak i\u00e7in pop\u00fcler bir k\u00fct\u00fcphanedir. GPipe, bir modeli ard\u0131\u015f\u0131k a\u015famalara b\u00f6ler ve her a\u015famay\u0131 bir veya daha fazla cihaza atar. Mikro-batching kullanarak, pipeline balonlar\u0131n\u0131 azaltmay\u0131 ve cihazlar\u0131n verimlili\u011fini art\u0131rmay\u0131 hedefler. GPipe, b\u00fcy\u00fck modellerin e\u011fitimini, tek bir cihaz\u0131n belle\u011fine s\u0131\u011fmayacak \u015fekilde da\u011f\u0131tarak m\u00fcmk\u00fcn k\u0131lar. \u00d6rne\u011fin, bir GPT-3 benzeri modeli e\u011fitirken, modelin farkl\u0131 b\u00f6l\u00fcmleri farkl\u0131 GPU gruplar\u0131na atan\u0131r ve veri bu gruplar aras\u0131nda ak\u0131\u015f halinde i\u015flenir. Bu, milyarlarca parametreye sahip modellerin bile da\u011f\u0131t\u0131k bir sistem \u00fczerinde e\u011fitilmesine olanak tan\u0131r.<\/p>\nHibrit Paralellik: Tensor ve Pipeline’\u0131 Birlikte Kullanmak<\/h2>\n
\n
\n
\n Microsoft’un DeepSpeed k\u00fct\u00fcphanesi, b\u00fcy\u00fck modellerin e\u011fitimi i\u00e7in tasarlanm\u0131\u015f kapsaml\u0131 bir optimizasyon ve paralellik \u00e7er\u00e7evesidir. DeepSpeed’in en dikkat \u00e7ekici \u00f6zelliklerinden biri ZeRO (Zero Redundancy Optimizer) ad\u0131 verilen bellek optimizasyonudur. ZeRO, veri paralelli\u011fi s\u0131ras\u0131nda model durumlar\u0131n\u0131 (parametreler, gradyanlar, optimizer durumlar\u0131) farkl\u0131 cihazlara da\u011f\u0131tarak bellek gereksinimini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r. ZeRO’nun farkl\u0131 seviyeleri (ZeRO-1, ZeRO-2, ZeRO-3), bu durumlar\u0131n ne kadar\u0131n\u0131n payla\u015f\u0131ld\u0131\u011f\u0131n\u0131 belirler. ZeRO-3, parametreleri, gradyanlar\u0131 ve optimizer durumlar\u0131n\u0131 t\u00fcm cihazlara da\u011f\u0131tarak en y\u00fcksek bellek tasarrufunu sa\u011flar. DeepSpeed, bu ZeRO optimizasyonlar\u0131n\u0131 tensor ve pipeline paralelli\u011fi ile birle\u015ftirerek, trilyonlarca parametreye sahip modellerin bile tek bir makineye s\u0131\u011fd\u0131r\u0131lmadan e\u011fitilmesini m\u00fcmk\u00fcn k\u0131lar.<\/p>\nUygulamal\u0131 K\u0131s\u0131m: Tensor Paralelli\u011fi ile Basit Bir \u00d6rnek<\/h2>\n
torch.distributed<\/code> mod\u00fcl\u00fcn\u00fcn kullan\u0131lmas\u0131 gerekecektir.<\/p>\nimport torch\n import torch.nn as nn\n import torch.distributed as dist\n from torch.nn.parallel import DistributedDataParallel as DDP\n import os\n\n # Varsay\u0131msal da\u011f\u0131t\u0131k ortam kurulumu (tek makine i\u00e7in)\n # Ger\u00e7ek bir da\u011f\u0131t\u0131k e\u011fitimde bu de\u011ferler farkl\u0131 olacakt\u0131r.\n os.environ['MASTER_ADDR'] = 'localhost'\n os.environ['MASTER_PORT'] = '29500' # Rastgele bir port\n\n # GPU say\u0131s\u0131n\u0131 belirleyelim (\u00f6rne\u011fin, 2 GPU)\n world_size = 2\n rank = int(os.environ.get('RANK', 0)) # Bu \u00f6rnekte manuel olarak ayarlanacak\n local_rank = int(os.environ.get('LOCAL_RANK', rank)) # Bu \u00f6rnekte manuel olarak ayarlanacak\n\n # Ger\u00e7ek bir senaryoda bu komutlar terminalden \u00e7al\u0131\u015ft\u0131r\u0131l\u0131r:\n # torchrun --nproc_per_node=2 your_script.py\n\n # Bu \u00f6rnek i\u00e7in manuel rank ve local_rank atamas\u0131:\n # E\u011fer bu kod tek ba\u015f\u0131na \u00e7al\u0131\u015ft\u0131r\u0131l\u0131yorsa, her \u00e7al\u0131\u015ft\u0131rmada farkl\u0131 bir rank atayabilirsiniz.\n # \u00d6rne\u011fin, terminalde python your_script.py komutunu \u00e7al\u0131\u015ft\u0131r\u0131rken,\n # rank 0 i\u00e7in ayr\u0131, rank 1 i\u00e7in ayr\u0131 \u00e7al\u0131\u015ft\u0131rabilirsiniz.\n # Veya daha basit bir yakla\u015f\u0131m olarak, tek bir script i\u00e7inde sim\u00fcle edebiliriz.\n\n # Bu \u00f6rnek, tek bir script i\u00e7inde sim\u00fclasyon yapacakt\u0131r.\n # Ger\u00e7ek da\u011f\u0131t\u0131k uygulamada bu 'torch.distributed.launch' veya 'torchrun' ile y\u00f6netilir.\n\n if torch.cuda.is_available():\n torch.cuda.set_device(local_rank)\n dist.init_process_group("nccl", rank=rank, world_size=world_size)\n print(f"Rank {rank} on device {local_rank} initialized.")\n else:\n print("CUDA not available. This example requires GPUs.")\n exit()<\/code><\/pre>\nall_gather<\/code> gibi da\u011f\u0131t\u0131k ileti\u015fim operasyonlar\u0131 kullan\u0131l\u0131r.<\/p>\n# Katman\u0131n giri\u015f ve \u00e7\u0131k\u0131\u015f boyutlar\u0131\n input_dim = 1024\n output_dim = 2048 # Bu boyutu b\u00f6lmek istedi\u011fimizi varsayal\u0131m\n\n # A\u011f\u0131rl\u0131k matrisini s\u00fctunlara b\u00f6lece\u011fiz.\n # Her GPU, output_dim'in bir k\u0131sm\u0131ndan sorumlu olacak.\n # \u00d6rne\u011fin, world_size = 2 ise, her GPU output_dim \/ 2 boyutunda bir \u00e7\u0131kt\u0131 \u00fcretecek.\n output_dim_per_gpu = output_dim \/\/ world_size\n\n # Basit bir tam ba\u011fl\u0131 katman\n class ColumnParallelLinear(nn.Module):\n def __init__(self, input_features, output_features, bias=True):\n super().__init__()\n self.input_features = input_features\n self.output_features = output_features\n self.use_bias = bias\n\n # A\u011f\u0131rl\u0131k matrisini s\u00fctunlara g\u00f6re b\u00f6lece\u011fiz.\n # Her GPU, output_features'\u0131n bir k\u0131sm\u0131ndan sorumlu olacak.\n self.weight = nn.Parameter(torch.Tensor(input_features, output_features))\n if bias:\n self.bias = nn.Parameter(torch.Tensor(output_features))\n else:\n self.register_parameter('bias', None)\n\n self.reset_parameters()\n\n # Bu katman\u0131 da\u011f\u0131t\u0131k hale getirece\u011fiz.\n # Her GPU sadece kendi s\u00fctunlar\u0131ndan sorumlu olacak.\n self.weight_split = torch.split(self.weight, output_dim_per_gpu, dim=1)\n if self.bias is not None:\n self.bias_split = torch.split(self.bias, output_dim_per_gpu, dim=0)\n\n # Her GPU'da sadece kendi par\u00e7as\u0131n\u0131 tutaca\u011f\u0131z.\n self.weight_gpu = self.weight_split[rank].clone().detach().requires_grad_(True)\n if self.bias is not None:\n self.bias_gpu = self.bias_split[rank].clone().detach().requires_grad_(True)\n else:\n self.bias_gpu = None\n\n # Girdiyi t\u00fcm GPU'lara yay\u0131nlayaca\u011f\u0131z.\n # \u00c7\u0131kt\u0131lar\u0131 ise t\u00fcm GPU'lardan toplayaca\u011f\u0131z.\n\n def reset_parameters(self):\n # Keras'tan ilham alan ba\u015flatma\n nn.init.kaiming_uniform_(self.weight, a=math.sqrt(5))\n if self.bias is not None:\n fan_in, _ = nn.init._calculate_fan_in_and_fan_out(self.weight)\n bound = 1 \/ math.sqrt(fan_in)\n nn.init.uniform_(self.bias, -bound, bound)\n\n def forward(self, x):\n # Girdi x'in boyutu (batch_size, input_dim) olmal\u0131.\n # Bu girdi x'i t\u00fcm GPU'lara yay\u0131nlamal\u0131y\u0131z.\n if self.bias is not None:\n # Girdiyi t\u00fcm GPU'lara yay\u0131nla\n x_gathered = [torch.zeros_like(x) for _ in range(world_size)]\n dist.all_gather(x_gathered, x)\n x_gathered = torch.cat(x_gathered, dim=0) # Bu asl\u0131nda do\u011fru de\u011fil, x'in kendisi broadcast edilmeli.\n # Do\u011frusu:\n # x_gpu = x.clone().detach() # Sadece mevcut GPU'nun girdisi\n # dist.broadcast(x_gpu, src=0) # Kaynak rank'tan di\u011ferlerine yay\u0131nla\n\n # Daha basit bir broadcast sim\u00fclasyonu:\n if rank == 0:\n x_broadcast = x.clone().detach()\n else:\n x_broadcast = torch.zeros_like(x)\n dist.broadcast(x_broadcast, src=0)\n\n # Kendi a\u011f\u0131rl\u0131k matrisi ile \u00e7arp\u0131m yap\n output_gpu = torch.matmul(x_broadcast, self.weight_gpu)\n if self.bias_gpu is not None:\n output_gpu += self.bias_gpu\n\n # \u00c7\u0131kt\u0131lar\u0131 t\u00fcm GPU'lardan topla\n output_all = [torch.zeros_like(output_gpu) for _ in range(world_size)]\n dist.all_gather(output_all, output_gpu)\n output = torch.cat(output_all, dim=1) # S\u00fctunlar boyunca birle\u015ftir\n\n return output\n\n # \u00d6rnek kullan\u0131m\n batch_size = 32\n input_tensor = torch.randn(batch_size, input_dim)\n\n # E\u011fer GPU yoksa veya sim\u00fclasyon yapm\u0131yorsak bu k\u0131sm\u0131 atla\n if torch.cuda.is_available():\n input_tensor = input_tensor.to(local_rank)\n\n # Tensor paralelli\u011fi uygulanan katman\u0131 olu\u015ftur\n # Normalde, bu katman bir modelin par\u00e7as\u0131 olurdu.\n # \u00d6rne\u011fin, bir Transformer'\u0131n feed-forward katman\u0131ndaki ilk lineer katman.\n parallel_layer = ColumnParallelLinear(input_dim, output_dim, bias=True).to(local_rank)\n\n # \u0130leri ge\u00e7i\u015f\n output_tensor = parallel_layer(input_tensor)\n\n print(f"Rank {rank}: Input shape: {input_tensor.shape}")\n print(f"Rank {rank}: Output shape: {output_tensor.shape}")\n\n # \u00c7\u0131kt\u0131n\u0131n do\u011fru olup olmad\u0131\u011f\u0131n\u0131 kontrol edelim (sadece rank 0 i\u00e7in)\n if rank == 0:\n # Kar\u015f\u0131la\u015ft\u0131rma i\u00e7in standart bir katman olu\u015ftural\u0131m\n standard_layer = nn.Linear(input_dim, output_dim, bias=True).to(local_rank)\n standard_layer.weight.data = parallel_layer.weight.data # A\u011f\u0131rl\u0131klar\u0131 e\u015fitle\n standard_layer.bias.data = parallel_layer.bias.data # Biaslar\u0131 e\u015fitle\n\n standard_output = standard_layer(input_tensor)\n print(f"Standard layer output shape: {standard_output.shape}")\n\n # \u00c7\u0131kt\u0131lar\u0131 kar\u015f\u0131la\u015ft\u0131r\n if torch.allclose(output_tensor, standard_output, atol=1e-5):\n print("Tensor parallelism output matches standard layer output.")\n else:\n print("Tensor parallelism output DOES NOT match standard layer output.")\n\n # Da\u011f\u0131t\u0131k ortam\u0131 temizle\n dist.destroy_process_group()<\/code><\/pre>\nColumnParallelLinear<\/code> ad\u0131nda basit bir mod\u00fcl tan\u0131mlar. Bu mod\u00fcl, a\u011f\u0131rl\u0131k matrisini s\u00fctunlara b\u00f6ler. Her GPU, girdiyi al\u0131r, kendi a\u011f\u0131rl\u0131k alt matrisi ile \u00e7arpar, bias ekler ve ard\u0131ndan bu yerel \u00e7\u0131kt\u0131lar\u0131 all_gather<\/code> ile birle\u015ftirerek nihai \u00e7\u0131kt\u0131y\u0131 olu\u015fturur. Bu, tensor paralelli\u011finin temel mant\u0131\u011f\u0131n\u0131 g\u00f6sterir: hesaplama y\u00fck\u00fcn\u00fc ve bellek gereksinimini birden fazla cihaza yaymak.<\/p>\n\n
torch.distributed<\/code> paketinin daha geli\u015fmi\u015f \u00f6zellikleri ve torchrun<\/code> gibi ara\u00e7lar kullan\u0131l\u0131r.<\/li>\nx<\/code>‘in broadcast edilmesi yerine all_gather<\/code> ile toplanmas\u0131 ve ard\u0131ndan cat<\/code> ile birle\u015ftirilmesi g\u00f6sterilmi\u015ftir. Daha verimli bir yakla\u015f\u0131m, girdiyi dist.broadcast<\/code> ile ana kaynaktan (genellikle rank 0) di\u011ferlerine yay\u0131nlamakt\u0131r.<\/li>\n\u0130leri D\u00fczey: Optimizasyonlar ve \u0130pu\u00e7lar\u0131<\/h2>\n
\n
all_gather<\/code> kullan\u0131l\u0131r. E\u011fer gradyanlar toplanacaksa all_reduce<\/code> kullan\u0131l\u0131r. all_reduce<\/code>, veriyi toplar ve t\u00fcm kat\u0131l\u0131mc\u0131lara da\u011f\u0131t\u0131r, bu da genellikle all_gather<\/code>‘dan daha verimlidir \u00e7\u00fcnk\u00fc ek bir kopyalama ad\u0131m\u0131 gerektirmez.<\/li>\n<\/ul>\n\n
\n
\n
\n
torch.distributed.barrier()<\/code> gibi senkronizasyon noktalar\u0131 eklemek, ad\u0131mlar\u0131n nerede tak\u0131ld\u0131\u011f\u0131n\u0131 anlamaya yard\u0131mc\u0131 olabilir. Loglama stratejilerini dikkatli kullanmak da \u00f6nemlidir.<\/li>\n<\/ul>\nSonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n
\n