B\u00fcy\u00fck Dil Modelleri (LLM’ler) g\u00fcn\u00fcm\u00fcz\u00fcn en heyecan verici yapay zeka geli\u015fmelerinden biri. Peki, belirli bir g\u00f6reve veya sekt\u00f6re \u00f6zel bir LLM’i, y\u00fcksek maliyetli ve karma\u015f\u0131k \u00e7oklu GPU kurulumlar\u0131 yerine tek bir g\u00fc\u00e7l\u00fc H200 GPU \u00fczerinde nas\u0131l ince ayarlayabilir ve optimum performans\u0131 nas\u0131l yakalayabiliriz? Bu makale, Ornith 9b gibi orta \u00f6l\u00e7ekli bir LLM’in tek bir H200 GPU Droplet \u00fczerinde ince ayarlanmas\u0131n\u0131n maliyet, gecikme ve sunum y\u00fck\u00fc dinamiklerini derinlemesine inceliyor.<\/p>\n
B\u00fcy\u00fck Dil Modelleri (LLM’ler), geni\u015f veri k\u00fcmeleri \u00fczerinde e\u011fitilmi\u015f, insan benzeri metinler anlama, \u00fcretme ve \u00f6zetleme yetene\u011fine sahip yapay zeka modelleridir. ChatGPT, GPT-4 ve Llama gibi modeller, genel ama\u00e7l\u0131 g\u00f6revlerde ola\u011fan\u00fcst\u00fc ba\u015far\u0131lar elde etmi\u015f olsalar da, belirli bir alandaki ni\u015f ihtiya\u00e7lar\u0131 kar\u015f\u0131lamakta veya \u015firket i\u00e7i verilerle etkile\u015fimde bulunmakta zorlanabilirler. \u0130\u015fte tam bu noktada ince ayarlama (fine-tuning) devreye girer. \u0130nce ayarlama, \u00f6nceden e\u011fitilmi\u015f bir LLM’i, daha k\u00fc\u00e7\u00fck ve \u00f6zel bir veri k\u00fcmesi \u00fczerinde yeniden e\u011fiterek belirli bir g\u00f6reve veya alana \u00f6zg\u00fc hale getirme s\u00fcrecidir. Bu, modelin genel yeteneklerini korurken, hedeflenen alandaki do\u011frulu\u011funu ve alaka d\u00fczeyini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r. \u00d6rne\u011fin, bir hukuk firmas\u0131 kendi dava belgeleri \u00fczerinde e\u011fitilmi\u015f bir LLM ile yasal sorulara daha do\u011fru yan\u0131tlar alabilirken, bir e-ticaret \u015firketi \u00fcr\u00fcn a\u00e7\u0131klamalar\u0131 ve m\u00fc\u015fteri yorumlar\u0131 \u00fczerinde e\u011fitilmi\u015f bir modelle daha etkili \u00fcr\u00fcn \u00f6nerileri sunabilir.<\/p>\n
\u0130nce ayarlama, s\u0131f\u0131rdan bir model e\u011fitmekten \u00e7ok daha verimli ve maliyet etkindir. \u00c7\u00fcnk\u00fc \u00f6nceden e\u011fitilmi\u015f model, dilin temel yap\u0131lar\u0131n\u0131 ve geni\u015f d\u00fcnya bilgisini zaten \u00f6\u011frenmi\u015ftir. Bizim g\u00f6revimiz, bu temel bilgiyi spesifik alan\u0131m\u0131zdaki n\u00fcanslarla zenginle\u015ftirmektir. Bu s\u00fcre\u00e7, \u00f6zellikle s\u0131n\u0131rl\u0131 kaynaklara sahip k\u00fc\u00e7\u00fck ve orta \u00f6l\u00e7ekli i\u015fletmeler i\u00e7in kritik bir avantaj sunar. Tek bir g\u00fc\u00e7l\u00fc GPU \u00fczerinde ince ayarlama yapmak, hem eri\u015filebilirli\u011fi art\u0131r\u0131r hem de maliyetleri d\u00fc\u015f\u00fcr\u00fcr. Ornith 9b gibi 9 milyar parametreli bir model, genel LLM’lere k\u0131yasla daha y\u00f6netilebilir bir boyutta olup, tek bir H200 GPU’nun kapasitesi dahilinde y\u00fcksek performansl\u0131 ince ayar potansiyeli sunar. H200 GPU’lar, y\u00fcksek bant geni\u015fli\u011fine sahip HBM3e belle\u011fi ve geli\u015fmi\u015f Tensor \u00c7ekirdekleri sayesinde, bu t\u00fcr yo\u011fun hesaplama g\u00f6revleri i\u00e7in ideal bir platform sa\u011flar. Bu sayede, modelin \u00f6zel veri setimizle daha derin bir etkile\u015fim kurmas\u0131n\u0131 sa\u011flayarak, genel ama\u00e7l\u0131 bir modelin asla ula\u015famayaca\u011f\u0131 bir uzmanl\u0131k seviyesine eri\u015fmesini m\u00fcmk\u00fcn k\u0131lar\u0131z.<\/p>\n
Bir H200 GPU Droplet, bulut sa\u011flay\u0131c\u0131lar\u0131 taraf\u0131ndan sunulan, NVIDIA’n\u0131n en yeni ve en g\u00fc\u00e7l\u00fc veri merkezi GPU’lar\u0131ndan biri olan H200 Tensor Core GPU ile donat\u0131lm\u0131\u015f sanal bir sunucuyu ifade eder. “Droplet” terimi genellikle DigitalOcean gibi sa\u011flay\u0131c\u0131lar taraf\u0131ndan kullan\u0131l\u0131r ancak burada genel anlamda “bulut sunucusu” veya “sanal makine” olarak d\u00fc\u015f\u00fcnebiliriz. H200, \u00f6zellikle B\u00fcy\u00fck Dil Modelleri (LLM’ler) gibi yo\u011fun hesaplama ve bellek gerektiren i\u015f y\u00fckleri i\u00e7in tasarlanm\u0131\u015ft\u0131r. Peki, neden Ornith 9b gibi bir modeli ince ayarlamak i\u00e7in tek bir H200 GPU Droplet’i tercih etmeliyiz?<\/p>\n
\u00d6ncelikle, H200’\u00fcn sundu\u011fu ola\u011fan\u00fcst\u00fc performans, ince ayar s\u00fcre\u00e7lerini dramatik \u015fekilde h\u0131zland\u0131r\u0131r. H200, \u00f6nceki nesil A100 ve H100 GPU’lara k\u0131yasla \u00e7ok daha y\u00fcksek bellek bant geni\u015fli\u011fine (HBM3e ile 4.8 TB\/s’ye kadar) ve daha fazla belle\u011fe (141 GB’a kadar) sahiptir. Bu, \u00f6zellikle 9 milyar parametreli bir modelin a\u011f\u0131rl\u0131klar\u0131n\u0131 ve aktivasyonlar\u0131n\u0131 bellekte tutarken, ayn\u0131 zamanda geni\u015f veri k\u00fcmeleri \u00fczerinde h\u0131zl\u0131 okuma ve yazma i\u015flemleri yapabilmek i\u00e7in kritik \u00f6neme sahiptir. Daha y\u00fcksek bellek kapasitesi, daha b\u00fcy\u00fck toplu i\u015f boyutlar\u0131 (batch sizes) kullanmam\u0131za olanak tan\u0131r, bu da e\u011fitim verimlili\u011fini art\u0131r\u0131r ve daha az ad\u0131mda daha iyi bir yak\u0131nsama sa\u011flar. \u0130kinci olarak, tek bir H200 kullan\u0131m\u0131, \u00e7oklu GPU kurulumlar\u0131n\u0131n getirdi\u011fi karma\u015f\u0131kl\u0131klardan ka\u00e7\u0131nmam\u0131z\u0131 sa\u011flar. \u00c7oklu GPU ortamlar\u0131nda veri paralelizmi, model paralelizmi veya boru hatt\u0131 paralelizmi gibi stratejilerin uygulanmas\u0131 gerekir ki bu da ek yaz\u0131l\u0131m geli\u015ftirme ve optimizasyon \u00e7abalar\u0131 gerektirir. Tek bir GPU ile bu t\u00fcr da\u011f\u0131t\u0131k e\u011fitim zorluklar\u0131 ortadan kalkar, kurulum ve y\u00f6netim \u00e7ok daha basit hale gelir. Bu durum, \u00f6zellikle k\u0131s\u0131tl\u0131 b\u00fct\u00e7eye veya teknik uzmanl\u0131\u011fa sahip ekipler i\u00e7in b\u00fcy\u00fck bir avantajd\u0131r.<\/p>\n
\u00dc\u00e7\u00fcnc\u00fc olarak, bulut tabanl\u0131 bir “Droplet” kullanmak, donan\u0131m sat\u0131n alma ve bak\u0131m maliyetlerinden kurtulmak anlam\u0131na gelir. \u0130htiyac\u0131m\u0131z oldu\u011funda H200 \u00f6rne\u011fini kiralayabilir ve i\u015fimiz bitti\u011finde kapatarak sadece kulland\u0131\u011f\u0131m\u0131z s\u00fcre kadar \u00f6deme yapar\u0131z. Bu “kulland\u0131k\u00e7a \u00f6de” modeli, sermaye harcamalar\u0131n\u0131 (CAPEX) i\u015fletme giderlerine (OPEX) d\u00f6n\u00fc\u015ft\u00fcrerek finansal esneklik sa\u011flar. Ayr\u0131ca, bulut sa\u011flay\u0131c\u0131lar\u0131 genellikle g\u00fcncel s\u00fcr\u00fcc\u00fcleri, k\u00fct\u00fcphaneleri ve i\u015fletim sistemlerini y\u00f6netir, bu da bizim \u00fczerimizdeki operasyonel y\u00fck\u00fc azalt\u0131r. Son olarak, H200’\u00fcn Tensor \u00c7ekirdekleri, karma hassasiyetli (mixed-precision) e\u011fitim i\u00e7in optimize edilmi\u015ftir. Bu, model a\u011f\u0131rl\u0131klar\u0131n\u0131 ve hesaplamalar\u0131n\u0131 daha d\u00fc\u015f\u00fck hassasiyetli formatlarda (FP16 veya BF16) yaparak bellek kullan\u0131m\u0131n\u0131 azalt\u0131r ve hesaplama h\u0131z\u0131n\u0131 art\u0131r\u0131r. Ornith 9b gibi bir modelin ince ayar\u0131 s\u0131ras\u0131nda bu \u00f6zellik, hem e\u011fitimi h\u0131zland\u0131r\u0131r hem de mevcut belle\u011fi daha verimli kullanmam\u0131z\u0131 sa\u011flar. T\u00fcm bu avantajlar bir araya geldi\u011finde, tek bir H200 GPU Droplet, Ornith 9b gibi orta \u00f6l\u00e7ekli bir LLM’i verimli, maliyet etkin ve y\u00f6netilebilir bir \u015fekilde ince ayarlamak i\u00e7in ideal bir se\u00e7im haline gelir.<\/p>\n
Ornith 9b gibi 9 milyar parametreli bir B\u00fcy\u00fck Dil Modelini tek bir H200 GPU \u00fczerinde ince ayarlamak, do\u011fru stratejilerle olduk\u00e7a verimli bir \u015fekilde ger\u00e7ekle\u015ftirilebilir. Bu s\u00fcre\u00e7 genellikle veri haz\u0131rl\u0131\u011f\u0131, model se\u00e7imi, ince ayar teknikleri ve e\u011fitim a\u015famalar\u0131n\u0131 kapsar. \u0130\u015fte ad\u0131m ad\u0131m bir k\u0131lavuz:<\/p>\n
\u0130nce ayar\u0131n ba\u015far\u0131s\u0131, b\u00fcy\u00fck \u00f6l\u00e7\u00fcde kullan\u0131lan veri k\u00fcmesinin kalitesine ve alaka d\u00fczeyine ba\u011fl\u0131d\u0131r. Ornith 9b’yi belirli bir g\u00f6rev i\u00e7in optimize etmek istiyorsak, o g\u00f6reve \u00f6zg\u00fc, y\u00fcksek kaliteli bir veri k\u00fcmesi olu\u015fturmal\u0131y\u0131z. \u00d6rne\u011fin, bir m\u00fc\u015fteri hizmetleri botu i\u00e7in, ge\u00e7mi\u015f konu\u015fma kay\u0131tlar\u0131, SSS belgeleri ve \u00fcr\u00fcn bilgileri gibi veriler toplanmal\u0131d\u0131r.<\/p>\n
Ad\u0131mlar:<\/strong> 4. Tokenizasyon:<\/strong> Metin verilerini modelin anlayabilece\u011fi token’lara d\u00f6n\u00fc\u015ft\u00fcr\u00fcn. 5. Veri B\u00f6lme:<\/strong> Veri k\u00fcmesini e\u011fitim, do\u011frulama ve test setlerine ay\u0131r\u0131n (\u00f6rne\u011fin %80 e\u011fitim, %10 do\u011frulama, %10 test).<\/p>\n 9 milyar parametreli bir modeli tek bir H200 GPU’da e\u011fitmek, \u00f6zellikle 141 GB HBM3e belle\u011fe sahip olsa bile, bellek verimlili\u011fi gerektirir. Burada Parameter-Efficient Fine-Tuning (PEFT) k\u00fct\u00fcphanesi ve QLoRA (Quantized Low-Rank Adaptation) gibi teknikler devreye girer.<\/p>\n * PEFT:<\/strong> Sadece modelin k\u00fc\u00e7\u00fck bir alt k\u00fcmesini e\u011fiterek bellek ve hesaplama maliyetlerini d\u00fc\u015f\u00fcren bir dizi tekniktir. Bu sayede, modelin b\u00fcy\u00fck a\u011f\u0131rl\u0131klar\u0131n\u0131 dondururken, sadece eklenen k\u00fc\u00e7\u00fck, ayarlanabilir katmanlar\u0131 e\u011fitiriz. Bu teknikler sayesinde, Ornith 9b’nin tamam\u0131n\u0131 belle\u011fe y\u00fcklemek yerine, sadece adapt\u00f6r katmanlar\u0131n\u0131 e\u011fiterek \u00f6nemli \u00f6l\u00e7\u00fcde bellek tasarrufu sa\u011flar\u0131z.<\/p>\n Bir H200 Droplet \u00fczerinde ince ayar yapmak i\u00e7in genellikle a\u015fa\u011f\u0131daki ad\u0131mlar izlenir:<\/p>\n 1. Droplet’i Ba\u015flatma:<\/strong> Bulut sa\u011flay\u0131c\u0131n\u0131zdan bir H200 GPU \u00f6rne\u011fi ba\u015flat\u0131n. Do\u011fru s\u00fcr\u00fcc\u00fclerin ve CUDA k\u00fct\u00fcphanelerinin y\u00fckl\u00fc oldu\u011fundan emin olun. 3. \u0130nce Ayar Beti\u011fi Olu\u015fturma:<\/strong> A\u015fa\u011f\u0131daki gibi bir Python beti\u011fi ile ince ayar s\u00fcrecini ba\u015flatabilirsiniz. Bu \u00f6rnek, Bu betik, QLoRA kullanarak Ornith 9b modelini nas\u0131l y\u00fckleyip e\u011fitebilece\u011finize dair temel bir \u00e7er\u00e7eve sunar. Tek bir H200 GPU Droplet \u00fczerinde Ornith 9b gibi bir LLM’i ince ayarlaman\u0131n maliyeti, \u00e7e\u015fitli fakt\u00f6rlere ba\u011fl\u0131 olarak \u00f6nemli \u00f6l\u00e7\u00fcde de\u011fi\u015febilir. Bu fakt\u00f6rler aras\u0131nda bulut sa\u011flay\u0131c\u0131s\u0131n\u0131n saatlik \u00fccretleri, e\u011fitim s\u00fcresi, veri aktar\u0131m maliyetleri ve depolama giderleri bulunur.<\/p>\n 1. H200 GPU Saatlik \u00dccretleri:<\/strong> * \u00d6rnek Hesaplama:<\/strong> Bu maliyet, sadece GPU kullan\u0131m\u0131n\u0131 kapsar. CPU, RAM ve depolama gibi di\u011fer bile\u015fenlerin maliyetleri de Droplet’in toplam saatlik \u00fccretine dahil olabilir.<\/p>\n 2. Veri Aktar\u0131m ve Depolama Maliyetleri:<\/strong> 3. Yaz\u0131l\u0131m Lisanslar\u0131 ve Ek Hizmetler:<\/strong> Maliyet Optimizasyonu \u0130pu\u00e7lar\u0131:<\/strong> \u00d6zetle, Ornith 9b’yi tek bir H200 \u00fczerinde ince ayarlamak, birka\u00e7 y\u00fcz dolarl\u0131k bir maliyetle tamamlanabilir. Ancak bu, kullan\u0131lan veri k\u00fcmesinin b\u00fcy\u00fckl\u00fc\u011f\u00fc, istenen do\u011fruluk seviyesi ve e\u011fitim s\u00fcresine ba\u011fl\u0131 olarak artabilir. Maliyetleri etkin bir \u015fekilde y\u00f6netmek i\u00e7in, yukar\u0131daki optimizasyon stratejilerini g\u00f6z \u00f6n\u00fcnde bulundurmak kritik \u00f6neme sahiptir.<\/p>\n Bir LLM’i ince ayarlad\u0131ktan sonraki en \u00f6nemli ad\u0131mlardan biri, onu ger\u00e7ek d\u00fcnya uygulamalar\u0131nda verimli bir \u015fekilde sunabilmektir. Bu, kullan\u0131c\u0131 isteklerine h\u0131zl\u0131 yan\u0131t verme (d\u00fc\u015f\u00fck gecikme) ve sunucu kaynaklar\u0131n\u0131 etkin kullanma (d\u00fc\u015f\u00fck sunum y\u00fck\u00fc) anlam\u0131na gelir. Ornith 9b gibi 9 milyar parametreli bir model i\u00e7in bu optimizasyonlar hayati \u00f6nem ta\u015f\u0131r.<\/p>\n Gecikme, bir kullan\u0131c\u0131 iste\u011finin (prompt) sunucuya g\u00f6nderilmesinden, modelin yan\u0131t\u0131n\u0131 d\u00f6nd\u00fcrmesine kadar ge\u00e7en s\u00fcredir. D\u00fc\u015f\u00fck gecikme, kullan\u0131c\u0131 deneyimi i\u00e7in kritik \u00f6neme sahiptir.<\/p>\n 1. Model Kuantizasyonu (Quantization):<\/strong> Modelin a\u011f\u0131rl\u0131klar\u0131n\u0131 daha d\u00fc\u015f\u00fck hassasiyetli formatlara (\u00f6rne\u011fin, FP32’den FP16’ya, INT8’e veya INT4’e) d\u00f6n\u00fc\u015ft\u00fcrmek, hem bellek kullan\u0131m\u0131n\u0131 azalt\u0131r hem de hesaplama h\u0131z\u0131n\u0131 art\u0131r\u0131r. H200 GPU’lar, d\u00fc\u015f\u00fck hassasiyetli hesaplamalar i\u00e7in \u00f6zel olarak optimize edilmi\u015f Tensor \u00c7ekirdeklerine sahiptir.<\/p>\n 2. \u00d6nbellekleme (Caching):<\/strong> LLM’ler, her yeni token \u00fcrettiklerinde \u00f6nceki tokenlar\u0131n anahtar (key) ve de\u011fer (value) vekt\u00f6rlerini (KV Cache) tekrar hesaplamak yerine \u00f6nbellekte tutarak h\u0131z kazan\u0131r. Bu, \u00f6zellikle uzun yan\u0131tlar \u00fcretirken gecikmeyi \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r. Sunum y\u00fck\u00fc, bir modelin \u00e7al\u0131\u015fmas\u0131 i\u00e7in gereken CPU, RAM ve GPU kaynaklar\u0131n\u0131n toplam\u0131d\u0131r. D\u00fc\u015f\u00fck sunum y\u00fck\u00fc, daha az maliyetle daha fazla iste\u011fi i\u015fleyebilmek anlam\u0131na gelir.<\/p>\n 1. PEFT Adapt\u00f6rlerini Kullanma:<\/strong> E\u011fer model PEFT (\u00f6rne\u011fin LoRA) ile ince ayarland\u0131ysa, \u00fcretimde sadece temel modeli ve k\u00fc\u00e7\u00fck adapt\u00f6r a\u011f\u0131rl\u0131klar\u0131n\u0131 y\u00fckleyebiliriz. Bu, tam modelin tamam\u0131n\u0131 y\u00fcklemekten \u00e7ok daha az bellek gerektirir. Modelin tamam\u0131 4-bit nicelle\u015ftirilmi\u015f (QLoRA) olarak y\u00fcklendiyse, adapt\u00f6r katmanlar\u0131 aktif hale getirilir. Bu optimizasyon teknikleri, Ornith 9b gibi ince ayarl\u0131 bir LLM’in tek bir H200 GPU \u00fczerinde bile y\u00fcksek performansla ve d\u00fc\u015f\u00fck maliyetle sunulabilmesini sa\u011flar. \u00d6zellikle kuantizasyon ve PEFT adapt\u00f6rlerinin kullan\u0131m\u0131, H200’\u00fcn g\u00fc\u00e7l\u00fc donan\u0131m\u0131n\u0131 tamamlayarak hem gecikmeyi hem de sunum y\u00fck\u00fcn\u00fc minimize etmede kilit rol oynar.<\/p>\n Ornith 9b gibi bir LLM’i tek bir H200 GPU’da ince ayarlamak ve sunmak, temel ad\u0131mlar\u0131n \u00f6tesinde baz\u0131 ileri d\u00fczey optimizasyonlar gerektirebilir. Bu ipu\u00e7lar\u0131, hem e\u011fitim s\u00fcrecini daha verimli hale getirecek hem de modelin \u00fcretim ortam\u0131ndaki performans\u0131n\u0131 art\u0131racakt\u0131r.<\/p>\n 1. Dinamik Pad Token Y\u00f6netimi:<\/strong> Tokenizasyon s\u0131ras\u0131nda, farkl\u0131 uzunluktaki girdileri ayn\u0131 boyuta getirmek i\u00e7in padding yap\u0131l\u0131r. Dinamik padding, her toplu i\u015flemdeki en uzun diziyi temel alarak padding yapar, bu da gereksiz padding token’lar\u0131ndan kaynaklanan hesaplama y\u00fck\u00fcn\u00fc azalt\u0131r ve bellek kullan\u0131m\u0131n\u0131 optimize eder. 2. \u00d6zel Veri Y\u00fckleyicileri (Custom DataLoaders):<\/strong> B\u00fcy\u00fck veri k\u00fcmeleriyle \u00e7al\u0131\u015f\u0131rken, standart PyTorch DataLoader’\u0131n \u00f6tesine ge\u00e7mek gerekebilir. \u00d6rne\u011fin, 4. Bfloat16 Hassasiyetinin Tam Potansiyelini Kullanma:<\/strong> H200 GPU’lar, bfloat16 (BF16) format\u0131n\u0131 do\u011fal olarak destekler ve bu formatta FP16’ya g\u00f6re daha geni\u015f dinamik aral\u0131\u011fa sahiptir. Bu, modelin e\u011fitim s\u0131ras\u0131nda daha stabil olmas\u0131n\u0131 sa\u011flayabilir. 1. API G\u00fcvenli\u011fi:<\/strong> Modelinizi bir API arac\u0131l\u0131\u011f\u0131yla sunuyorsan\u0131z, API anahtarlar\u0131, JWT (JSON Web Tokens) veya OAuth2 gibi kimlik do\u011frulama\/yetkilendirme mekanizmalar\u0131 kullanarak yetkisiz eri\u015fimi engelleyin. Bu ileri d\u00fczey optimizasyonlar ve g\u00fcvenlik stratejileri, Ornith 9b gibi bir LLM’i tek bir H200 GPU \u00fczerinde ba\u015far\u0131l\u0131 bir \u015fekilde ince ayarlaman\u0131n ve ard\u0131ndan \u00fcretimde g\u00fcvenli ve \u00f6l\u00e7eklenebilir bir \u015fekilde sunman\u0131n anahtarlar\u0131d\u0131r. Her bir ad\u0131m, modelin potansiyelini tam olarak ortaya \u00e7\u0131kar\u0131rken, operasyonel verimlili\u011fi ve maliyet etkinli\u011fini art\u0131rmaya yard\u0131mc\u0131 olur.<\/p>\n Bu makalede, Ornith 9b gibi 9 milyar parametreli bir B\u00fcy\u00fck Dil Modelini (LLM) tek bir H200 GPU Droplet \u00fczerinde ince ayarlaman\u0131n inceliklerini, maliyet, gecikme ve sunum y\u00fck\u00fc perspektiflerinden ele ald\u0131k. G\u00f6rd\u00fc\u011f\u00fcm\u00fcz gibi, H200 GPU’nun y\u00fcksek bellek bant geni\u015fli\u011fi ve kapasitesi, Parameter-Efficient Fine-Tuning (PEFT) ve QLoRA gibi tekniklerle birle\u015fti\u011finde, tek bir g\u00fc\u00e7l\u00fc donan\u0131m \u00fczerinde bile etkileyici sonu\u00e7lar elde etmeyi m\u00fcmk\u00fcn k\u0131l\u0131yor. \u0130nce ayar s\u00fcreci, do\u011fru veri haz\u0131rl\u0131\u011f\u0131, optimize edilmi\u015f e\u011fitim stratejileri ve dikkatli hiperparametre se\u00e7imiyle hem maliyet etkin hem de zaman a\u00e7\u0131s\u0131ndan verimli bir \u015fekilde ger\u00e7ekle\u015ftirilebilir.<\/p>\n Maliyet analizi, bir H200 GPU’nun saatlik \u00fccretlerinin yan\u0131 s\u0131ra veri aktar\u0131m ve depolama giderlerinin de g\u00f6z \u00f6n\u00fcnde bulundurulmas\u0131 gerekti\u011fini g\u00f6sterdi. Genellikle birka\u00e7 y\u00fcz dolarl\u0131k bir b\u00fct\u00e7eyle Ornith 9b’nin ince ayar\u0131 tamamlanabilirken, spot \u00f6rnekleri ve erken durdurma gibi optimizasyonlarla bu maliyet daha da d\u00fc\u015f\u00fcr\u00fclebilir. Gecikme ve sunum y\u00fck\u00fc optimizasyonlar\u0131 ise, ince ayarl\u0131 modelin \u00fcretim ortam\u0131nda h\u0131zl\u0131 ve verimli \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flamak i\u00e7in kritik \u00f6neme sahiptir. Model kuantizasyonu, toplu i\u015fleme, KV \u00f6nbellekleme ve VLLM gibi \u00e7\u0131kar\u0131m motorlar\u0131, kullan\u0131c\u0131 deneyimini iyile\u015ftirirken sunucu kaynaklar\u0131n\u0131n etkin kullan\u0131m\u0131n\u0131 sa\u011flar. Son olarak, ileri d\u00fczey ipu\u00e7lar\u0131 ve g\u00fcvenlik stratejileri, modelin hem e\u011fitimde hem de \u00fcretimde potansiyelini en \u00fcst d\u00fczeye \u00e7\u0131karmak i\u00e7in rehberlik etti. Tek bir H200 GPU ile bile, LLM’leri belirli ihtiya\u00e7lara g\u00f6re uyarlamak ve bunlar\u0131 ger\u00e7ek d\u00fcnya uygulamalar\u0131na entegre etmek art\u0131k \u00e7ok daha eri\u015filebilir hale gelmi\u015ftir.<\/p>\n
\n1. Veri Toplama:<\/strong> Hedef g\u00f6reve uygun metin verilerini toplay\u0131n. Bu veriler yap\u0131land\u0131r\u0131lm\u0131\u015f (JSON, CSV) veya yap\u0131land\u0131r\u0131lmam\u0131\u015f (d\u00fcz metin belgeleri, web sayfalar\u0131) olabilir.
\n2. Veri Temizli\u011fi:<\/strong> Toplanan verilerdeki g\u00fcr\u00fclt\u00fcy\u00fc (HTML etiketleri, reklamlar, tekrarlayan i\u00e7erik, imla hatalar\u0131) temizleyin. Bu ad\u0131m, modelin gereksiz bilgilerden \u00f6\u011frenmesini engeller.
\n3. Bi\u00e7imlendirme:<\/strong> Verileri modelin anlayabilece\u011fi bir formata d\u00f6n\u00fc\u015ft\u00fcr\u00fcn. Genellikle bu, soru-cevap \u00e7iftleri, talimat-yan\u0131t \u00e7iftleri veya belirli bir prompt yap\u0131s\u0131 \u015feklinde olur. \u00d6rne\u011fin, Alpaca veya ShareGPT formatlar\u0131 yayg\u0131n olarak kullan\u0131l\u0131r.<\/p>\n[\n {\n "instruction": "Bu makale ne hakk\u0131nda?",\n "input": "B\u00fcy\u00fck Dil Modelleri ve ince ayar s\u00fcreci \u00fczerine bir makale.",\n "output": "Makale, LLM'lerin ince ayar\u0131n\u0131n \u00f6nemini ve Ornith 9b'nin tek bir H200 GPU'da nas\u0131l ince ayarlanaca\u011f\u0131n\u0131 anlat\u0131yor."\n },\n {\n "instruction": "H200 GPU'nun temel \u00f6zellikleri nelerdir?",\n "input": "",\n "output": "H200 GPU, y\u00fcksek bellek bant geni\u015fli\u011fi (4.8 TB\/s) ve 141 GB'a kadar HBM3e belle\u011fe sahiptir."\n }\n ]<\/code><\/pre>\ntransformers<\/code> k\u00fct\u00fcphanesi i\u00e7indeki AutoTokenizer<\/code> s\u0131n\u0131f\u0131 bu i\u015flem i\u00e7in idealdir.<\/p>\nfrom transformers import AutoTokenizer\n\n model_name = "Ornith\/Ornith-9b" # \u00d6rnek bir model ad\u0131\n tokenizer = AutoTokenizer.from_pretrained(model_name)\n\n def tokenize_function(examples):\n return tokenizer(examples["text"], truncation=True, max_length=512)\n\n # Veri k\u00fcmenizi y\u00fckledikten sonra bu fonksiyonu uygulay\u0131n\n # tokenized_dataset = raw_dataset.map(tokenize_function, batched=True)<\/code><\/pre>\nPEFT ve QLoRA ile Bellek Optimizasyonu<\/h4>\n
\n* LoRA (Low-Rank Adaptation):<\/strong> PEFT’in pop\u00fcler bir uygulamas\u0131d\u0131r. Her katmandaki a\u011f\u0131rl\u0131k matrislerine d\u00fc\u015f\u00fck rankl\u0131 matrisler ekleyerek modelin ince ayar\u0131n\u0131 yapar. Bu ek matrisler, orijinal modelin a\u011f\u0131rl\u0131klar\u0131ndan \u00e7ok daha az parametreye sahiptir.
\n* QLoRA:<\/strong> LoRA’n\u0131n kuantize edilmi\u015f (nicelle\u015ftirilmi\u015f) bir versiyonudur. Modelin orijinal a\u011f\u0131rl\u0131klar\u0131n\u0131 4-bit nicelle\u015ftirilmi\u015f formda bellekte tutar ve sadece d\u00fc\u015f\u00fck rankl\u0131 adapt\u00f6r matrislerini e\u011fitir. Bu, bellek kullan\u0131m\u0131n\u0131 dramatik \u015fekilde azalt\u0131r ve H200’\u00fcn 141 GB belle\u011fini daha verimli kullanmam\u0131z\u0131 sa\u011flar.<\/p>\nE\u011fitim Ortam\u0131n\u0131n Kurulumu ve \u0130nce Ayar Komutlar\u0131<\/h4>\n
\n2. Gerekli K\u00fct\u00fcphaneleri Y\u00fckleme:<\/strong> pip<\/code> kullanarak transformers<\/code>, peft<\/code>, accelerate<\/code>, bitsandbytes<\/code>, torch<\/code> gibi k\u00fct\u00fcphaneleri y\u00fckleyin.<\/p>\npip install transformers peft accelerate bitsandbytes torch<\/code><\/pre>\ntransformers<\/code> ve peft<\/code> k\u00fct\u00fcphanelerinin kullan\u0131m\u0131n\u0131 basitle\u015ftirir.<\/p>\nfrom transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer\n from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training\n from datasets import load_dataset\n import torch\n\n # 1. Model ve Tokenizer Y\u00fckleme\n model_id = "Ornith\/Ornith-9b" # Placeholder, ger\u00e7ek model ad\u0131n\u0131 kullan\u0131n\n tokenizer = AutoTokenizer.from_pretrained(model_id)\n tokenizer.pad_token = tokenizer.eos_token # Genellikle padding token ayarlan\u0131r\n\n # 2. QLoRA i\u00e7in Modeli Haz\u0131rlama (4-bit nicelle\u015ftirme)\n model = AutoModelForCausalLM.from_pretrained(\n model_id,\n load_in_4bit=True,\n torch_dtype=torch.bfloat16, # H200 i\u00e7in bfloat16 \u00f6nerilir\n device_map="auto"\n )\n model = prepare_model_for_kbit_training(model)\n\n # 3. LoRA Yap\u0131land\u0131rmas\u0131\n lora_config = LoraConfig(\n r=16, # LoRA rank\n lora_alpha=32, # LoRA \u00f6l\u00e7eklendirme fakt\u00f6r\u00fc\n target_modules=["q_proj", "v_proj", "k_proj", "o_proj"], # Hangi katmanlara LoRA uygulanacak\n lora_dropout=0.05,\n bias="none",\n task_type="CAUSAL_LM"\n )\n model = get_peft_model(model, lora_config)\n model.print_trainable_parameters() # E\u011fitilebilir parametre say\u0131s\u0131n\u0131 g\u00f6sterir\n\n # 4. Veri K\u00fcmesini Y\u00fckleme ve \u0130\u015fleme (\u00d6rnek)\n # Kendi veri k\u00fcmenizi buradan y\u00fckleyin ve tokenize edin\n # dataset = load_dataset("json", data_files="your_fine_tuning_data.json")\n # tokenized_dataset = dataset.map(lambda examples: tokenizer(examples["text"], truncation=True, max_length=512), batched=True)\n # train_dataset = tokenized_dataset["train"]\n # eval_dataset = tokenized_dataset["validation"]\n\n # Basit bir dummy veri k\u00fcmesi olu\u015ftural\u0131m\n from datasets import Dataset\n dummy_data = {"text": ["Bu bir \u00f6rnek metin. Model bunu \u00f6\u011frenmeli.", "\u0130kinci \u00f6rnek metin. \u00c7ok \u00f6nemli bilgiler i\u00e7eriyor."]}\n dummy_dataset = Dataset.from_dict(dummy_data)\n tokenized_dummy_dataset = dummy_dataset.map(lambda examples: tokenizer(examples["text"], truncation=True, max_length=512), batched=True)\n train_dataset = tokenized_dummy_dataset\n eval_dataset = tokenized_dummy_dataset # Ger\u00e7ek uygulamada ayr\u0131 bir eval seti kullan\u0131n\n\n # 5. E\u011fitim Arg\u00fcmanlar\u0131\n training_args = TrainingArguments(\n output_dir=".\/results",\n num_train_epochs=3,\n per_device_train_batch_size=4, # H200'de daha b\u00fcy\u00fck batch size denenebilir\n gradient_accumulation_steps=4, # Sanal batch size'\u0131 art\u0131rmak i\u00e7in\n optim="paged_adamw_8bit", # Bellek verimli optimizer\n save_steps=500,\n logging_steps=50,\n learning_rate=2e-4,\n weight_decay=0.001,\n fp16=False, # H200 bfloat16 deste\u011fi ile daha iyi\n bf16=True, # bfloat16 kullan\n max_grad_norm=0.3,\n warmup_ratio=0.03,\n lr_scheduler_type="cosine",\n report_to="tensorboard",\n push_to_hub=False # Modelinizi Hugging Face Hub'a y\u00fcklemek isterseniz True yap\u0131n\n )\n\n # 6. Trainer Olu\u015fturma ve E\u011fitme\n trainer = Trainer(\n model=model,\n args=training_args,\n train_dataset=train_dataset,\n eval_dataset=eval_dataset,\n tokenizer=tokenizer\n )\n\n trainer.train()\n\n # 7. E\u011fitilmi\u015f Modeli Kaydetme\n trainer.save_model(".\/fine_tuned_ornith_9b")<\/code><\/pre>\nper_device_train_batch_size<\/code> ve gradient_accumulation_steps<\/code> parametrelerini H200’\u00fcn y\u00fcksek belle\u011fini g\u00f6z \u00f6n\u00fcnde bulundurarak ayarlayabilirsiniz.<\/p>\nMaliyet Analizi: H200 GPU Droplet \u00dczerinde \u0130nce Ayar Ne Kadara Mal Olur?<\/h3>\n
\nH200 GPU’lar, piyasadaki en yeni ve en g\u00fc\u00e7l\u00fc GPU’lar aras\u0131nda yer ald\u0131\u011f\u0131ndan, saatlik kiralama \u00fccretleri di\u011fer GPU’lara k\u0131yasla daha y\u00fcksektir. \u00d6rne\u011fin, b\u00fcy\u00fck bulut sa\u011flay\u0131c\u0131lar\u0131nda (AWS, Azure, GCP) H200 \u00f6rneklerinin saatlik \u00fccretleri, yap\u0131land\u0131rmaya ve b\u00f6lgeye ba\u011fl\u0131 olarak 5 ila 15 dolar aras\u0131nda de\u011fi\u015febilir. Baz\u0131 niche sa\u011flay\u0131c\u0131lar veya \u00f6n rezervasyonlar ile daha uygun fiyatlar bulunabilir.<\/p>\n
\n * H200 saatlik \u00fccreti: 10 $
\n * Ornith 9b’nin ince ayar\u0131n\u0131n tahmini s\u00fcresi: 24-48 saat (veri k\u00fcmesinin b\u00fcy\u00fckl\u00fc\u011f\u00fcne, batch size’a ve epoch say\u0131s\u0131na g\u00f6re de\u011fi\u015fir).
\n * Minimum Maliyet (24 saat):<\/strong> 24 saat * 10 $\/saat = 240 $
\n * Maksimum Maliyet (48 saat):<\/strong> 48 saat * 10 $\/saat = 480 $<\/p>\n
\n* Veri Aktar\u0131m\u0131 (Egress):<\/strong> \u0130nce ayar veri k\u00fcmenizi Droplet’e y\u00fcklerken veya e\u011fitilmi\u015f modeli Droplet’ten indirirken veri aktar\u0131m maliyetleri olu\u015fabilir. Bu maliyetler genellikle gigabayt ba\u015f\u0131na hesaplan\u0131r ve sa\u011flay\u0131c\u0131ya g\u00f6re de\u011fi\u015fir (\u00f6rne\u011fin, 0.05 $ \/ GB). E\u011fer veri k\u00fcmeniz \u00e7ok b\u00fcy\u00fckse (\u00f6rne\u011fin 100 GB), bu da ek bir maliyet kalemi olu\u015fturabilir.
\n* Depolama (Disk):<\/strong> Model a\u011f\u0131rl\u0131klar\u0131 ve veri k\u00fcmesi i\u00e7in gerekli olan disk alan\u0131 da maliyetlere yans\u0131r. Genellikle gigabayt ba\u015f\u0131na ayl\u0131k \u00fccretlendirilir (\u00f6rne\u011fin, 0.10 $ \/ GB \/ ay). \u0130nce ayar s\u00fcreci boyunca depolama ihtiyac\u0131n\u0131z olacakt\u0131r.<\/p>\n
\nBaz\u0131 \u00f6zel yaz\u0131l\u0131mlar veya ara\u00e7lar i\u00e7in lisans \u00fccretleri olabilir, ancak a\u00e7\u0131k kaynak k\u00fct\u00fcphaneler (Hugging Face Transformers, PyTorch) kullan\u0131l\u0131yorsa bu genellikle ge\u00e7erli de\u011fildir. \u0130zleme ve g\u00fcnl\u00fck kayd\u0131 (logging) hizmetleri de k\u00fc\u00e7\u00fck ek maliyetler getirebilir.<\/p>\n
\n* Spot \u00d6rnekleri Kullanma:<\/strong> Baz\u0131 bulut sa\u011flay\u0131c\u0131lar\u0131, daha d\u00fc\u015f\u00fck fiyatlarla kullan\u0131lmayan kapasiteyi “spot \u00f6rnekleri” olarak sunar. Ancak bu \u00f6rnekler, bulut sa\u011flay\u0131c\u0131s\u0131n\u0131n ihtiyac\u0131 oldu\u011funda kesintiye u\u011frat\u0131labilir. Kesintiye dayan\u0131kl\u0131 i\u015f y\u00fckleri i\u00e7in uygundur.
\n* Veri K\u00fcmesi Boyutu:<\/strong> Daha k\u00fc\u00e7\u00fck, ancak y\u00fcksek kaliteli bir veri k\u00fcmesi kullanmak, e\u011fitim s\u00fcresini ve dolay\u0131s\u0131yla maliyeti d\u00fc\u015f\u00fcr\u00fcr.
\n* Erken Durdurma (Early Stopping):<\/strong> Do\u011frulama setindeki performans d\u00fc\u015fmeye ba\u015flad\u0131\u011f\u0131nda e\u011fitimi durdurmak, gereksiz GPU kullan\u0131m\u0131n\u0131 engeller.
\n* PEFT\/QLoRA Kullan\u0131m\u0131:<\/strong> Bu teknikler, daha az bellek ve hesaplama kayna\u011f\u0131 gerektirdi\u011finden, daha k\u00fc\u00e7\u00fck Droplet’lerde bile daha verimli e\u011fitim sa\u011flar ve potansiyel olarak daha k\u0131sa e\u011fitim s\u00fcrelerine yol a\u00e7abilir.
\n* B\u00f6lge Se\u00e7imi:<\/strong> Farkl\u0131 bulut b\u00f6lgelerinde GPU fiyatlar\u0131 de\u011fi\u015febilir. En uygun fiyatl\u0131 b\u00f6lgeyi ara\u015ft\u0131rmak faydal\u0131 olabilir.<\/p>\nGecikme (Latency) ve Sunum Y\u00fck\u00fc (Serving Overhead) Optimizasyonu<\/h3>\n
\u0130nce Ayarl\u0131 Modelin Gecikmesini Azaltma Yollar\u0131 Nelerdir?<\/h4>\n
from transformers import AutoModelForCausalLM, AutoTokenizer\n import torch\n\n model_id = ".\/fine_tuned_ornith_9b" # E\u011fitilmi\u015f modelinizin yolu\n tokenizer = AutoTokenizer.from_pretrained(model_id)\n\n # FP16 (bfloat16) ile y\u00fckleme\n model_fp16 = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")\n\n # INT8 ile y\u00fckleme\n # model_int8 = AutoModelForCausalLM.from_pretrained(model_id, load_in_8bit=True, device_map="auto")\n\n # INT4 ile y\u00fckleme\n # model_int4 = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, device_map="auto")<\/code><\/pre>\n
\n3. Toplu \u0130\u015fleme (Batching):<\/strong> Birden fazla kullan\u0131c\u0131 iste\u011fini tek bir toplu i\u015flemde birle\u015ftirerek GPU’nun paralel i\u015flem g\u00fcc\u00fcn\u00fc daha verimli kullanmak, genel verimi art\u0131r\u0131r. Dinamik toplu i\u015fleme (dynamic batching), GPU’nun her zaman dolu kalmas\u0131n\u0131 sa\u011flayarak bekleme s\u00fcrelerini minimize eder.
\n4. Model Derleme (Model Compilation):<\/strong> ONNX Runtime, TensorRT veya OpenVINO gibi ara\u00e7lar, modelleri belirli donan\u0131mlar i\u00e7in optimize edilmi\u015f d\u00fc\u015f\u00fck seviyeli kodlara derleyerek \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 art\u0131rabilir. TensorRT, NVIDIA GPU’lar i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015ft\u0131r ve H200 \u00fczerinde \u00f6nemli performans art\u0131\u015flar\u0131 sa\u011flayabilir.
\n5. Sunucu Konumu ve A\u011f Optimizasyonu:<\/strong> Sunucunun kullan\u0131c\u0131ya co\u011frafi olarak yak\u0131n olmas\u0131, a\u011f gecikmesini azalt\u0131r. Ayr\u0131ca, y\u00fcksek bant geni\u015fli\u011fine sahip, d\u00fc\u015f\u00fck gecikmeli a\u011f ba\u011flant\u0131lar\u0131 da \u00f6nemlidir.<\/p>\nSunum Y\u00fck\u00fcn\u00fc (Serving Overhead) Azaltma Stratejileri Nelerdir?<\/h4>\n
\n2. Model Boyutunu K\u00fc\u00e7\u00fcltme:<\/strong>
\n * Bilgi Dam\u0131tma (Knowledge Distillation):<\/strong> Daha b\u00fcy\u00fck, ince ayarl\u0131 bir “\u00f6\u011fretmen” modelden daha k\u00fc\u00e7\u00fck bir “\u00f6\u011frenci” modele bilgi aktar\u0131m\u0131 yapmak. \u00d6\u011frenci model, daha az parametreye sahip olmas\u0131na ra\u011fmen \u00f6\u011fretmen modelin performans\u0131na yak\u0131n sonu\u00e7lar verebilir.
\n * Budama (Pruning):<\/strong> Modeldeki \u00f6nemsiz a\u011f\u0131rl\u0131klar\u0131 veya n\u00f6ronlar\u0131 kald\u0131rmak.
\n3. Sunucu Mimarisi:<\/strong>
\n * VLLM gibi \u00c7\u0131kar\u0131m Motorlar\u0131:<\/strong> VLLM, PagedAttention algoritmas\u0131 sayesinde KV Cache y\u00f6netimini optimize ederek LLM \u00e7\u0131kar\u0131m\u0131nda \u00f6nemli \u00f6l\u00e7\u00fcde verim art\u0131\u015f\u0131 sa\u011flar. Bu, \u00f6zellikle y\u00fcksek e\u015fzamanl\u0131 isteklerde GPU belle\u011fini daha verimli kullan\u0131r.
\n * Model Sunum \u00c7er\u00e7eveleri:<\/strong> Triton Inference Server veya FastAPI ile olu\u015fturulmu\u015f \u00f6zel bir API, model sunumunu kolayla\u015ft\u0131r\u0131r ve \u00f6l\u00e7eklenebilirlik sa\u011flar.
\n4. Otomatik \u00d6l\u00e7eklendirme (Autoscaling):<\/strong> Gelen isteklerin yo\u011funlu\u011funa g\u00f6re dinamik olarak ek GPU Droplet’leri ba\u015flatmak veya kapatmak, kaynaklar\u0131 verimli kullan\u0131r ve maliyetleri optimize eder. Tek bir H200, belirli bir e\u015fi\u011fe kadar y\u00fcksek performans sunsa da, \u00e7ok y\u00fcksek talep durumunda ek H200’ler devreye al\u0131nabilir.<\/p>\n\u0130leri D\u00fczey Optimizasyonlar ve \u0130pu\u00e7lar\u0131<\/h3>\n
Daha H\u0131zl\u0131 ve Verimli \u0130nce Ayar i\u00e7in \u0130pu\u00e7lar\u0131 Nelerdir?<\/h4>\n
transformers<\/code> k\u00fct\u00fcphanesindeki DataCollatorForLanguageModeling<\/code> veya DataCollatorForSeq2Seq<\/code> ile bu sa\u011flanabilir.<\/p>\nfrom transformers import DataCollatorForLanguageModeling\n # ... tokenizer ve tokenized_dataset tan\u0131mland\u0131ktan sonra\n data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)\n # Trainer'a data_collator parametresi olarak ge\u00e7irin\n # trainer = Trainer(..., data_collator=data_collator)<\/code><\/pre>\nwebdataset<\/code> gibi k\u00fct\u00fcphaneler, veri y\u00fckleme ve \u00f6n i\u015flemeyi daha verimli hale getirerek GPU’nun veri beklemesini engeller. Bu, e\u011fitim d\u00f6ng\u00fcs\u00fcn\u00fcn kesintisiz \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar.
\n3. Gradient Checkpointing:<\/strong> \u00d6zellikle \u00e7ok b\u00fcy\u00fck modellerde veya b\u00fcy\u00fck batch size’larda bellek sorunlar\u0131 ya\u015fan\u0131yorsa, gradient checkpointing etkinle\u015ftirilebilir. Bu teknik, baz\u0131 ara aktivasyonlar\u0131 kaydetmek yerine yeniden hesaplayarak bellek kullan\u0131m\u0131n\u0131 azalt\u0131r. Ancak, bu i\u015flem hesaplama s\u00fcresini bir miktar art\u0131rabilir.<\/p>\nmodel.gradient_checkpointing_enable()<\/code><\/pre>\ntorch_dtype=torch.bfloat16<\/code> ve bf16=True<\/code> ayarlar\u0131n\u0131 do\u011fru \u015fekilde kulland\u0131\u011f\u0131n\u0131zdan emin olun.
\n5. Optimize Edilmi\u015f Optimizer’lar:<\/strong> bitsandbytes<\/code> k\u00fct\u00fcphanesindeki PagedAdamW8bit<\/code> gibi bellek a\u00e7\u0131s\u0131ndan optimize edilmi\u015f optimizer’lar, \u00f6zellikle QLoRA ile ince ayar yaparken bellek kullan\u0131m\u0131n\u0131 daha da d\u00fc\u015f\u00fcr\u00fcr. Bu, daha b\u00fcy\u00fck modelleri veya daha b\u00fcy\u00fck batch size’lar\u0131 tek bir GPU’da \u00e7al\u0131\u015ft\u0131rman\u0131za olanak tan\u0131r.
\n6. Hyperparameter Ayar\u0131 (Hyperparameter Tuning):<\/strong> \u00d6\u011frenme oran\u0131, batch size, LoRA rank (r) ve alpha (lora_alpha) gibi hiperparametrelerin do\u011fru ayarlanmas\u0131, hem e\u011fitim s\u00fcresini k\u0131saltabilir hem de nihai model performans\u0131n\u0131 art\u0131rabilir. Optuna<\/code> veya Weights & Biases<\/code> gibi ara\u00e7lar, bu s\u00fcreci otomatikle\u015ftirebilir.<\/p>\n\u00dcretim Ortam\u0131nda Model Sunumu i\u00e7in G\u00fcvenlik ve \u00d6l\u00e7eklenebilirlik<\/h4>\n
\n2. \u0130stek H\u0131z S\u0131n\u0131rlama (Rate Limiting):<\/strong> Hizmet reddi (DoS) sald\u0131r\u0131lar\u0131n\u0131 veya k\u00f6t\u00fcye kullan\u0131m\u0131 \u00f6nlemek i\u00e7in API isteklerine h\u0131z s\u0131n\u0131rlamalar\u0131 uygulay\u0131n.
\n3. Model S\u00fcr\u00fcm Kontrol\u00fc:<\/strong> Farkl\u0131 model versiyonlar\u0131n\u0131 y\u00f6netmek ve gerekti\u011finde kolayca geri d\u00f6nebilmek i\u00e7in model s\u00fcr\u00fcm kontrol\u00fc uygulay\u0131n. Bu, yeni ince ayarl\u0131 modelleri g\u00fcvenli bir \u015fekilde da\u011f\u0131tman\u0131za olanak tan\u0131r.
\n4. \u0130zleme ve G\u00fcnl\u00fck Kayd\u0131 (Monitoring & Logging):<\/strong> Modelin performans\u0131n\u0131 (gecikme, verim), kaynak kullan\u0131m\u0131n\u0131 (GPU kullan\u0131m\u0131, bellek) ve hata oranlar\u0131n\u0131 s\u00fcrekli olarak izleyin. Prometheus, Grafana gibi ara\u00e7lar ve merkezi g\u00fcnl\u00fck kayd\u0131 sistemleri (ELK Stack) bu konuda yard\u0131mc\u0131 olabilir.
\n5. Kapsay\u0131c\u0131la\u015ft\u0131rma (Containerization):<\/strong> Modeli ve ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131 Docker gibi kapsay\u0131c\u0131lar i\u00e7inde paketlemek, da\u011f\u0131t\u0131m\u0131 basitle\u015ftirir ve farkl\u0131 ortamlarda tutarl\u0131l\u0131k sa\u011flar. Kubernetes gibi orkestrasyon ara\u00e7lar\u0131, bu kapsay\u0131c\u0131lar\u0131n \u00f6l\u00e7eklenmesini ve y\u00f6netimini kolayla\u015ft\u0131r\u0131r.
\n6. A\/B Testi:<\/strong> Yeni ince ayarl\u0131 bir modelin etkisini mevcut modelle kar\u015f\u0131la\u015ft\u0131rmak i\u00e7in A\/B testleri yap\u0131n. Bu, yeni modelin ger\u00e7ek d\u00fcnya performans\u0131n\u0131 \u00f6l\u00e7menizi ve riskleri y\u00f6netmenizi sa\u011flar.<\/p>\nSonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h3>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h4>\n
\n
\n E\u011fitim s\u00fcresi, veri k\u00fcmesinin b\u00fcy\u00fckl\u00fc\u011f\u00fcne, toplu i\u015f boyutuna (batch size), \u00f6\u011frenme oran\u0131na ve epoch say\u0131s\u0131na g\u00f6re de\u011fi\u015fir. QLoRA gibi tekniklerle ve optimize edilmi\u015f bir veri k\u00fcmesiyle, Ornith 9b’nin ince ayar\u0131 genellikle 24 ila 48 saat aras\u0131nda s\u00fcrebilir. Daha k\u00fc\u00e7\u00fck, hedefe odakl\u0131 veri k\u00fcmeleri bu s\u00fcreyi daha da k\u0131saltabilir.\n <\/li>\n
\n H200’\u00fcn 141 GB HBM3e belle\u011fi olduk\u00e7a c\u00f6mert olsa da, 9 milyar parametreli bir modeli tam hassasiyette (FP32) e\u011fitmek yine de bellek zorlay\u0131c\u0131 olabilir. QLoRA, model a\u011f\u0131rl\u0131klar\u0131n\u0131 4-bit nicelle\u015ftirerek bellek kullan\u0131m\u0131n\u0131 dramatik \u015fekilde azalt\u0131r. Bu, daha b\u00fcy\u00fck toplu i\u015f boyutlar\u0131 kullanman\u0131za veya daha uzun dizilerle \u00e7al\u0131\u015fman\u0131za olanak tan\u0131r, bu da e\u011fitim verimlili\u011fini art\u0131r\u0131r ve bellek ta\u015fmas\u0131 riskini azalt\u0131r. Dolay\u0131s\u0131yla, gerekli olmasa bile kesinlikle \u00f6nerilir.\n <\/li>\n
\n \u00c7\u0131kar\u0131m gecikmesini d\u00fc\u015f\u00fcrmek i\u00e7in model kuantizasyonu (\u00f6zellikle INT4 veya INT8), dinamik toplu i\u015fleme, KV \u00f6nbellekleme ve TensorRT gibi derleme ara\u00e7lar\u0131n\u0131n kullan\u0131m\u0131 kritik \u00f6neme sahiptir. Ayr\u0131ca, VLLM gibi optimize edilmi\u015f \u00e7\u0131kar\u0131m motorlar\u0131, y\u00fcksek e\u015fzamanl\u0131 isteklerde bile d\u00fc\u015f\u00fck gecikme ve y\u00fcksek verim sa\u011flayabilir.\n <\/li>\n
\n Tek bir H200 GPU, orta d\u00fczeyde bir talep i\u00e7in Ornith 9b’yi sunmak i\u00e7in olduk\u00e7a g\u00fc\u00e7l\u00fc bir se\u00e7enektir. Ancak, e\u015fzamanl\u0131 istek say\u0131s\u0131 artt\u0131k\u00e7a veya \u00e7ok d\u00fc\u015f\u00fck gecikme gereksinimleri oldu\u011funda, ek H200 \u00f6rnekleri ile yatay \u00f6l\u00e7eklendirme veya vLLM gibi y\u00fcksek performansl\u0131 \u00e7\u0131kar\u0131m motorlar\u0131 kullanmak gerekebilir. Kuantizasyon ve PEFT adapt\u00f6rlerinin kullan\u0131m\u0131, tek bir H200’\u00fcn kapasitesini daha da art\u0131racakt\u0131r.\n <\/li>\n
\n Genellikle JSON format\u0131nda, talimat-girdi-\u00e7\u0131kt\u0131 (instruction-input-output) veya diyalog format\u0131nda yap\u0131land\u0131r\u0131lm\u0131\u015f veri k\u00fcmeleri tercih edilir. Alpaca veya ShareGPT formatlar\u0131 yayg\u0131n olarak kullan\u0131l\u0131r ve transformers<\/code> k\u00fct\u00fcphanesiyle kolayca entegre edilebilir. Veri k\u00fcmesinin kalitesi ve alaka d\u00fczeyi, format\u0131ndan daha \u00f6nemlidir.\n <\/li>\n<\/ol>\n