Bu makale, Meta’n\u0131n g\u00fc\u00e7l\u00fc a\u00e7\u0131k kaynakl\u0131 b\u00fcy\u00fck dil modeli (LLM) LLama3’\u00fc, pop\u00fcler ve kullan\u0131c\u0131 dostu bir ara\u00e7 olan LLama-Factory kullanarak nas\u0131l e\u011fitece\u011finizi ve ince ayarlayaca\u011f\u0131n\u0131z\u0131 (finetune) detayl\u0131 bir \u015fekilde a\u00e7\u0131klamaktad\u0131r. LLM’lerin belirli g\u00f6revlere veya alanlara adaptasyonu i\u00e7in ince ayar kritik bir ad\u0131md\u0131r ve LLama-Factory bu s\u00fcreci \u00f6nemli \u00f6l\u00e7\u00fcde basitle\u015ftirir ve h\u0131zland\u0131r\u0131r. Bu k\u0131lavuz, teorik temellerden pratik uygulamalara, veri haz\u0131rl\u0131\u011f\u0131ndan model de\u011ferlendirmesine kadar t\u00fcm s\u00fcreci kapsayacakt\u0131r.<\/p>\n
Son y\u0131llarda, B\u00fcy\u00fck Dil Modelleri (LLM’ler) yapay zeka alan\u0131nda devrim niteli\u011finde ilerlemelere yol a\u00e7m\u0131\u015ft\u0131r. Metin \u00fcretimi, \u00e7eviri, \u00f6zetleme, soru yan\u0131tlama ve karma\u015f\u0131k diyaloglar gibi geni\u015f bir yelpazedeki g\u00f6revlerde insan benzeri performans sergileme yetenekleri sayesinde, LLM’ler bir\u00e7ok end\u00fcstride ve ara\u015ft\u0131rma alan\u0131nda merkezi bir rol oynamaktad\u0131r. Bu modeller, milyarlarca parametreye sahip olup, internetten toplanan devasa metin ve kod veri k\u00fcmeleri \u00fczerinde \u00f6nceden e\u011fitilirler. Bu \u00f6n e\u011fitim s\u00fcreci, modellerin dilin gramerini, semanti\u011fini ve pragmati\u011fini derinlemesine anlamalar\u0131n\u0131 sa\u011flar.<\/p>\n
Meta taraf\u0131ndan geli\u015ftirilen LLama (Large Language Model Meta AI) serisi, a\u00e7\u0131k kaynak toplulu\u011funa katk\u0131lar\u0131yla \u00f6ne \u00e7\u0131kmaktad\u0131r. LLama3, bu serinin en son ve en geli\u015fmi\u015f \u00fcyesidir. Farkl\u0131 boyutlarda (\u00f6rne\u011fin, 8 milyar ve 70 milyar parametre) sunulan LLama3 modelleri, \u00f6nceki iterasyonlar\u0131na g\u00f6re \u00f6nemli performans iyile\u015ftirmeleri sunar. \u00d6zellikle, daha geni\u015f ve y\u00fcksek kaliteli veri k\u00fcmeleri \u00fczerinde e\u011fitilmi\u015f olmas\u0131, daha uzun ba\u011flam pencerelerini desteklemesi ve geli\u015ftirilmi\u015f mimarisi sayesinde, LLama3 karma\u015f\u0131k ak\u0131l y\u00fcr\u00fctme, kodlama ve \u00e7ok dilli yeteneklerde \u00fcst\u00fcn performans sergilemektedir.<\/p>\n
LLama3’\u00fcn a\u00e7\u0131k kaynak yakla\u015f\u0131m\u0131, ara\u015ft\u0131rmac\u0131lar\u0131n ve geli\u015ftiricilerin modeli incelemesine, de\u011fi\u015ftirmesine ve da\u011f\u0131tmas\u0131na olanak tan\u0131r. Bu \u015feffafl\u0131k ve eri\u015filebilirlik, inovasyonu te\u015fvik eder ve modelin geni\u015f bir uygulama yelpazesinde benimsenmesini h\u0131zland\u0131r\u0131r. Ancak, \u00f6nceden e\u011fitilmi\u015f bir LLM ne kadar g\u00fc\u00e7l\u00fc olursa olsun, genellikle belirli bir g\u00f6rev veya sekt\u00f6r i\u00e7in en iyi performans\u0131 elde etmek amac\u0131yla \u00f6zel bir adaptasyona ihtiya\u00e7 duyar. \u0130\u015fte bu noktada ince ayar (finetuning) devreye girer.<\/p>\n
\u00d6nceden e\u011fitilmi\u015f bir LLM, genel dil anlay\u0131\u015f\u0131na sahip olsa da, belirli bir alan\u0131n terminolojisine, stilistik \u00f6zelliklerine veya g\u00f6rev gereksinimlerine tam olarak uyum sa\u011flayamayabilir. \u00d6rne\u011fin, bir hukuk metni \u00f6zetleme sistemi veya bir t\u0131bbi te\u015fhis destek arac\u0131 geli\u015ftirmek istiyorsan\u0131z, genel bir modelin bu spesifik alanlardaki performans\u0131 yetersiz kalabilir. Finetuning, modeli daha k\u00fc\u00e7\u00fck, g\u00f6rev odakl\u0131 bir veri k\u00fcmesi \u00fczerinde ek e\u011fitimden ge\u00e7irerek bu bo\u015flu\u011fu doldurur. Bu s\u00fcre\u00e7, modelin mevcut bilgi ve yeteneklerini korurken, yeni verilerden \u00f6\u011frenmesini ve belirli bir alana veya g\u00f6reve \u00f6zg\u00fc desenleri tan\u0131mas\u0131n\u0131 sa\u011flar.<\/p>\n
Geleneksel olarak, finetuning t\u00fcm model parametrelerinin g\u00fcncellenmesini i\u00e7erir. Bu “tam finetuning” (full finetuning) y\u00f6ntemi, y\u00fcksek performans potansiyeli sunsa da, \u00f6nemli dezavantajlar\u0131 vard\u0131r:<\/p>\n
* Y\u00fcksek Hesaplama Maliyeti:<\/strong> Milyarlarca parametreyi g\u00fcncellemek, b\u00fcy\u00fck miktarda GPU belle\u011fi ve hesaplama g\u00fcc\u00fc gerektirir. Bu k\u0131s\u0131tlamalar\u0131 a\u015fmak i\u00e7in, \u00f6zellikle LLM’ler i\u00e7in geli\u015ftirilen “Parametre-Verimli \u0130nce Ayar” (Parameter-Efficient Finetuning – PEFT) y\u00f6ntemleri ortaya \u00e7\u0131km\u0131\u015ft\u0131r. PEFT, modelin sadece k\u00fc\u00e7\u00fck bir k\u0131sm\u0131n\u0131 veya eklenen yeni parametreleri e\u011fiterek, hesaplama ve depolama maliyetlerini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131rken, tam finetuning’e yak\u0131n performans elde etmeyi hedefler.<\/p>\n LLama-Factory gibi ara\u00e7lar, \u00e7e\u015fitli PEFT y\u00f6ntemlerini destekler. En yayg\u0131n olanlardan baz\u0131lar\u0131 \u015funlard\u0131r:<\/p>\n * LoRA (Low-Rank Adaptation):<\/strong> LoRA, \u00f6nceden e\u011fitilmi\u015f modelin a\u011f\u0131rl\u0131k matrislerine d\u00fc\u015f\u00fck dereceli (low-rank) matrisler ekler ve sadece bu ek matrisleri e\u011fitir. Bu, e\u011fitilebilir parametre say\u0131s\u0131n\u0131 binlerce kat azaltabilir. LoRA’n\u0131n temel prensibi, b\u00fcy\u00fck bir matristeki de\u011fi\u015fikliklerin d\u00fc\u015f\u00fck dereceli bir matrisle yeterince temsil edilebilece\u011fi varsay\u0131m\u0131d\u0131r. PEFT y\u00f6ntemleri, finetuning s\u00fcrecini demokratikle\u015ftirerek, daha az kaynakla bile g\u00fc\u00e7l\u00fc LLM’lerin \u00f6zelle\u015ftirilmesine olanak tan\u0131r.<\/p>\n LLama-Factory, b\u00fcy\u00fck dil modellerinin (LLM’ler) e\u011fitimi, ince ayar\u0131 ve \u00e7\u0131kar\u0131m\u0131 i\u00e7in tasarlanm\u0131\u015f kapsaml\u0131 ve kullan\u0131c\u0131 dostu bir ara\u00e7 setidir. \u00d6zellikle PEFT y\u00f6ntemlerine odaklanarak, geli\u015ftiricilerin ve ara\u015ft\u0131rmac\u0131lar\u0131n karma\u015f\u0131k LLM finetuning s\u00fcre\u00e7lerini basitle\u015ftirmeyi hedefler. Hugging Face’in * Geni\u015f Model Deste\u011fi:<\/strong> LLama3, Llama2, Llama, Falcon, Mistral, Qwen, ChatGLM ve daha bir\u00e7ok pop\u00fcler LLM mimarisini destekler. Bu, kullan\u0131c\u0131lar\u0131n farkl\u0131 modeller \u00fczerinde kolayca deney yapmas\u0131na olanak tan\u0131r. LLama-Factory, LLM finetuning’i karma\u015f\u0131k bir ara\u015ft\u0131rma alan\u0131ndan pratik bir m\u00fchendislik g\u00f6revine d\u00f6n\u00fc\u015ft\u00fcrerek, daha fazla ki\u015finin bu g\u00fc\u00e7l\u00fc teknolojiden faydalanmas\u0131n\u0131 sa\u011flamaktad\u0131r.<\/p>\n LLama-Factory kullanarak LLama3’\u00fc finetune etmek, birka\u00e7 ad\u0131mdan olu\u015fan sistematik bir s\u00fcre\u00e7tir. Bu ad\u0131mlar, ortam kurulumundan modelin da\u011f\u0131t\u0131m\u0131na kadar her \u015feyi kapsar.<\/p>\n Finetuning i\u015flemine ba\u015flamadan \u00f6nce uygun bir geli\u015ftirme ortam\u0131 kurmak esast\u0131r.<\/p>\n * Donan\u0131m Gereksinimleri:<\/strong> LLM finetuning, genellikle g\u00fc\u00e7l\u00fc bir GPU gerektirir. NVIDIA GPU’lar (CUDA deste\u011fi ile) standartt\u0131r. Bellek miktar\u0131 (\u00f6rne\u011fin, 16GB, 24GB, 48GB) finetune edece\u011finiz modelin boyutuna ve kullanaca\u011f\u0131n\u0131z y\u00f6nteme (QLoRA i\u00e7in daha az bellek yeterli olabilir) ba\u011fl\u0131d\u0131r. 2. Gerekli Python k\u00fct\u00fcphanelerini y\u00fckleyin:<\/p>\n Bu komut, Finetuning’in ba\u015far\u0131s\u0131, b\u00fcy\u00fck \u00f6l\u00e7\u00fcde kullan\u0131lan veri k\u00fcmesinin kalitesine ve alaka d\u00fczeyine ba\u011fl\u0131d\u0131r.<\/p>\n * Veri K\u00fcmesi T\u00fcrleri:<\/strong> * Veri Kalitesi ve Miktar\u0131:<\/strong> LLama-Factory, komut sat\u0131r\u0131 arg\u00fcmanlar\u0131 veya bir yap\u0131land\u0131rma dosyas\u0131 arac\u0131l\u0131\u011f\u0131yla esnek bir \u015fekilde yap\u0131land\u0131r\u0131labilir.<\/p>\n * Temel Model Se\u00e7imi:<\/strong> Hugging Face Model Hub’dan \u00f6nceden e\u011fitilmi\u015f LLama3 modelini belirtmeniz gerekir. \u00d6rne\u011fin, * LLama-Factory’nin web aray\u00fcz\u00fcn\u00fc kullanmak i\u00e7in:<\/p>\n Bu komut, bir web sunucusu ba\u015flat\u0131r ve taray\u0131c\u0131n\u0131zdan eri\u015febilece\u011finiz g\u00f6rsel bir aray\u00fcz sunar. Bu aray\u00fcz \u00fczerinden model, veri k\u00fcmesi ve hiperparametre ayarlar\u0131n\u0131 kolayca yapabilir ve e\u011fitimi ba\u015flatabilirsiniz.<\/p>\n E\u011fitim komutunu \u00e7al\u0131\u015ft\u0131rd\u0131\u011f\u0131n\u0131zda, LLama-Factory s\u00fcreci otomatik olarak y\u00f6netecektir.<\/p>\n * \u0130lerleme Takibi:<\/strong> E\u011fitim s\u0131ras\u0131nda, terminalde veya TensorBoard gibi ara\u00e7larla (LLama-Factory genellikle otomatik olarak kaydeder) e\u011fitim kayb\u0131, \u00f6\u011frenme oran\u0131 ve di\u011fer metrikler g\u00f6r\u00fcnt\u00fclenecektir. Kayb\u0131n zamanla azalmas\u0131, modelin \u00f6\u011frendi\u011fini g\u00f6sterir. E\u011fitimden sonra, finetune edilmi\u015f modelin performans\u0131n\u0131 de\u011ferlendirmek kritik \u00f6neme sahiptir.<\/p>\n * De\u011ferlendirme Metrikleri:<\/strong> Finetune edilmi\u015f modelinizi kaydettikten sonra, \u00e7\u0131kar\u0131m (inference) i\u00e7in kullanabilirsiniz.<\/p>\n * Adapt\u00f6r Kaydetme:<\/strong> PEFT y\u00f6ntemleri kullan\u0131ld\u0131\u011f\u0131nda, LLama-Factory genellikle sadece adapt\u00f6r a\u011f\u0131rl\u0131klar\u0131n\u0131 kaydeder. Bu, temel modelle birle\u015ftirilerek tam bir model olu\u015fturulabilir. * \u00c7\u0131kar\u0131m \u0130\u00e7in Model Y\u00fckleme ve Kullan\u0131m:<\/strong> LLama-Factory, finetuning s\u00fcrecini basitle\u015ftirirken, performans\u0131 daha da art\u0131rmak i\u00e7in baz\u0131 ileri d\u00fczey teknikler ve en iyi uygulamalar mevcuttur.<\/p>\n * Grid Search\/Random Search:<\/strong> Farkl\u0131 hiperparametre kombinasyonlar\u0131n\u0131 sistematik veya rastgele bir \u015fekilde deneyerek en iyi kombinasyonu bulma. S\u0131n\u0131rl\u0131 veri k\u00fcmeleriyle \u00e7al\u0131\u015f\u0131rken, veri augmentasyonu (veri art\u0131rma) teknikleri yard\u0131mc\u0131 olabilir:<\/p>\n * Paraphrasing:<\/strong> Mevcut \u00f6rnekleri farkl\u0131 \u015fekillerde yeniden ifade ederek yeni \u00f6rnekler olu\u015fturma. \u00c7ok b\u00fcy\u00fck modelleri veya veri k\u00fcmelerini finetune ederken, tek bir GPU yetersiz kalabilir. LLama-Factory, Bu, Finetune edilmi\u015f modellerin \u00e7\u0131kt\u0131lar\u0131n\u0131n g\u00fcvenli, adil ve etik oldu\u011fundan emin olmak \u00f6nemlidir.<\/p>\n * Bias Tespiti ve Azaltma:<\/strong> E\u011fitim verilerindeki potansiyel yanl\u0131l\u0131klar\u0131 (bias) analiz edin ve m\u00fcmk\u00fcnse d\u00fczeltin. Modelin \u00e7\u0131kt\u0131lar\u0131nda ortaya \u00e7\u0131kan yanl\u0131l\u0131klar\u0131 izleyin ve model \u00fczerinde ek finetuning veya prompt m\u00fchendisli\u011fi ile azaltmaya \u00e7al\u0131\u015f\u0131n. Bulut tabanl\u0131 GPU’lar kullan\u0131yorsan\u0131z, maliyetleri optimize etmek \u00f6nemlidir.<\/p>\n * Spot Instance Kullan\u0131m\u0131:<\/strong> Daha d\u00fc\u015f\u00fck maliyetli spot \u00f6rneklerini kullanarak e\u011fitim maliyetlerini azalt\u0131n, ancak bu \u00f6rnekler kesintiye u\u011frayabilir. LLM finetuning s\u00fcrecinde baz\u0131 yayg\u0131n sorunlarla kar\u015f\u0131la\u015f\u0131labilir.<\/p>\n * CUDA Out of Memory (OOM) Hatas\u0131:<\/strong> LLama3 gibi g\u00fc\u00e7l\u00fc B\u00fcy\u00fck Dil Modellerini belirli g\u00f6revlere veya alanlara g\u00f6re ince ayarlamak, bu modellerin potansiyelini tam olarak ortaya \u00e7\u0131karman\u0131n anahtar\u0131d\u0131r. LLama-Factory, bu karma\u015f\u0131k s\u00fcreci basitle\u015ftiren, h\u0131zland\u0131ran ve demokratikle\u015ftiren m\u00fckemmel bir ara\u00e7t\u0131r. Kullan\u0131c\u0131 dostu aray\u00fcz\u00fc, geni\u015f model ve PEFT y\u00f6ntemi deste\u011fi sayesinde, hem deneyimli AI m\u00fchendisleri hem de alana yeni ba\u015flayanlar i\u00e7in LLama3’\u00fc \u00f6zelle\u015ftirmek art\u0131k \u00e7ok daha eri\u015filebilir hale gelmi\u015ftir.<\/p>\n Bu makalede ele al\u0131nan ad\u0131mlar\u0131 ve en iyi uygulamalar\u0131 takip ederek, kendi \u00f6zel ihtiya\u00e7lar\u0131n\u0131z i\u00e7in y\u00fcksek performansl\u0131 LLama3 modelleri e\u011fitebilir ve da\u011f\u0131tabilirsiniz. Yapay zekan\u0131n h\u0131zla geli\u015fen bu alan\u0131nda, LLama-Factory gibi ara\u00e7lar, inovasyonun \u00f6n\u00fcn\u00fc a\u00e7maya ve LLM teknolojilerini daha geni\u015f bir kitleye ula\u015ft\u0131rmaya devam edecektir. Gelecekte, daha da verimli finetuning y\u00f6ntemleri ve daha geli\u015fmi\u015f otomasyon ara\u00e7lar\u0131n\u0131n ortaya \u00e7\u0131kmas\u0131yla, LLM’lerin \u00f6zelle\u015ftirilmesi daha da kolayla\u015facakt\u0131r. Bu alandaki geli\u015fmeleri takip etmek ve deneyler yapmak, kendi projelerinizde \u00e7\u0131\u011f\u0131r a\u00e7\u0131c\u0131 sonu\u00e7lar elde etmenizi sa\u011flayacakt\u0131r.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"LLama3’\u00fc LLama-Factory Kullanarak E\u011fitme ve \u0130nce Ayarlama: Derinlemesine Bir K\u0131lavuz\nBu makale, Meta’n\u0131n g\u00fc\u00e7l\u00fc a\u00e7\u0131k kaynakl\u0131 b\u00fcy\u00fck dil m","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-40277","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n* Depolama Gereksinimi:<\/strong> Her finetuned model, temel modelle ayn\u0131 boyutta olur, bu da \u00e7ok say\u0131da \u00f6zel model depolamay\u0131 zorla\u015ft\u0131r\u0131r.
\n* A\u015f\u0131r\u0131 Uyum (Overfitting) Riski:<\/strong> K\u00fc\u00e7\u00fck veri k\u00fcmeleriyle tam finetuning yapmak, modelin yeni verilere genelleme yetene\u011fini azaltarak a\u015f\u0131r\u0131 uyuma yol a\u00e7abilir.<\/p>\nPop\u00fcler PEFT Y\u00f6ntemleri<\/h5>\n
\n* QLoRA (Quantized LoRA):<\/strong> QLoRA, LoRA’n\u0131n bir uzant\u0131s\u0131d\u0131r. Model a\u011f\u0131rl\u0131klar\u0131n\u0131 4-bit hassasiyetinde niceleyerek (quantize ederek) GPU bellek t\u00fcketimini daha da azalt\u0131r. Bu sayede, \u00e7ok daha b\u00fcy\u00fck modellerin bile s\u0131n\u0131rl\u0131 GPU kaynaklar\u0131yla finetune edilmesi m\u00fcmk\u00fcn hale gelir.
\n* AdaLoRA:<\/strong> LoRA’n\u0131n adaptif bir versiyonudur. Her katmandaki adapt\u00f6r matrislerinin rank’\u0131n\u0131 (derecesini) dinamik olarak ayarlar, b\u00f6ylece daha \u00f6nemli katmanlara daha fazla kapasite ayr\u0131l\u0131r ve performans\u0131 art\u0131r\u0131r.
\n* DoRA (Weight-Decomposed LoRA):<\/strong> DoRA, LoRA’y\u0131 a\u011f\u0131rl\u0131k ayr\u0131\u015ft\u0131rma (weight decomposition) tekni\u011fiyle birle\u015ftirir. \u00d6nceden e\u011fitilmi\u015f a\u011f\u0131rl\u0131klar\u0131 iki bile\u015fene ay\u0131r\u0131r: b\u00fcy\u00fckl\u00fck (magnitude) ve y\u00f6n (direction). LoRA adapt\u00f6rleri sadece y\u00f6n bile\u015fenini ayarlar, bu da daha iyi performans ve kararl\u0131l\u0131k sa\u011flayabilir.
\n* Llama-Factory’nin Destekledi\u011fi Di\u011fer Y\u00f6ntemler:<\/strong> LLama-Factory genellikle P-tuning, Prefix-tuning ve Prompt-tuning gibi di\u011fer prompt tabanl\u0131 PEFT y\u00f6ntemlerini de destekler. Bu y\u00f6ntemler, modelin giri\u015fine \u00f6zel “prompt” veya “prefix” token’lar\u0131 ekleyerek modeli belirli g\u00f6revlere y\u00f6nlendirir ve sadece bu prompt’lar\u0131 e\u011fitir.<\/p>\nLLama-Factory Nedir?<\/h3>\n
transformers<\/code> ve PEFT<\/code> k\u00fct\u00fcphaneleri \u00fczerine in\u015fa edilmi\u015f olup, bu k\u00fct\u00fcphanelerin g\u00fc\u00e7l\u00fc altyap\u0131s\u0131n\u0131 sezgisel bir aray\u00fcz ve ek \u00f6zelliklerle birle\u015ftirir.<\/p>\nLLama-Factory’nin Temel \u00d6zellikleri ve Avantajlar\u0131<\/h4>\n
\n* \u00c7oklu Finetuning Y\u00f6ntemleri:<\/strong> LoRA, QLoRA, AdaLoRA, DoRA ve tam finetuning gibi \u00e7e\u015fitli PEFT y\u00f6ntemlerini ve geleneksel finetuning’i destekler. Bu \u00e7e\u015fitlilik, kullan\u0131c\u0131lara g\u00f6revlerine ve kaynaklar\u0131na en uygun y\u00f6ntemi se\u00e7me esnekli\u011fi sunar.
\n* Kullan\u0131c\u0131 Dostu Aray\u00fcz:<\/strong> Hem komut sat\u0131r\u0131 aray\u00fcz\u00fc (CLI) hem de Gradio tabanl\u0131 bir web kullan\u0131c\u0131 aray\u00fcz\u00fc (Web UI) sunar. Web UI, kod yazmadan model se\u00e7imi, veri y\u00fckleme, hiperparametre ayarlar\u0131 ve e\u011fitim ba\u015flatma gibi i\u015flemleri g\u00f6rsel olarak yapmay\u0131 m\u00fcmk\u00fcn k\u0131lar.
\n* Veri Y\u00f6netimi ve \u00d6n \u0130\u015fleme:<\/strong> \u00c7e\u015fitli veri formatlar\u0131n\u0131 (JSON, JSONL, CSV) destekler ve veri k\u00fcmelerinin kolayca haz\u0131rlanmas\u0131 i\u00e7in ara\u00e7lar sunar. Dahili \u015fablonlar (template) sayesinde instruction tuning i\u00e7in veri formatlama basitle\u015ftirilir.
\n* E\u011fitim ve De\u011ferlendirme Otomasyonu:<\/strong> E\u011fitim d\u00f6ng\u00fcs\u00fcn\u00fc, checkpoint kaydetmeyi, de\u011ferlendirme metriklerini ve g\u00fcnl\u00fck kayd\u0131n\u0131 otomatikle\u015ftirir.
\n* Kaynak Verimlili\u011fi:<\/strong> \u00d6zellikle QLoRA gibi niceleme tabanl\u0131 y\u00f6ntemlerle, daha az GPU belle\u011fiyle daha b\u00fcy\u00fck modellerin finetune edilmesine olanak tan\u0131r.
\n* Esneklik ve Geni\u015fletilebilirlik:<\/strong> A\u00e7\u0131k kaynakl\u0131 yap\u0131s\u0131 sayesinde, kullan\u0131c\u0131lar kendi \u00f6zel ihtiya\u00e7lar\u0131na g\u00f6re kodu de\u011fi\u015ftirebilir veya yeni \u00f6zellikler ekleyebilirler.
\n* Aktif Topluluk Deste\u011fi:<\/strong> Geni\u015f bir kullan\u0131c\u0131 ve geli\u015ftirici toplulu\u011fu taraf\u0131ndan desteklenir, bu da sorun giderme ve yeni \u00f6zelliklerin geli\u015ftirilmesine yard\u0131mc\u0131 olur.<\/p>\nLLama-Factory ile Llama3 Finetuning S\u00fcreci<\/h3>\n
1. Ortam Kurulumu<\/h4>\n
\n* Yaz\u0131l\u0131m Gereksinimleri:<\/strong>
\n * Python:<\/strong> Python 3.8 veya \u00fczeri \u00f6nerilir.
\n * PyTorch:<\/strong> CUDA uyumlu bir PyTorch s\u00fcr\u00fcm\u00fc y\u00fckleyin.
\n * CUDA Toolkit:<\/strong> GPU s\u00fcr\u00fcc\u00fclerinizin ve CUDA Toolkit’in g\u00fcncel oldu\u011fundan emin olun.
\n* LLama-Factory Kurulumu:<\/strong>
\n 1. LLama-Factory GitHub deposunu klonlay\u0131n:<\/p>\ngit clone https:\/\/github.com\/hiyouga\/LLaMA-Factory.git\n cd LLaMA-Factory<\/code><\/pre>\npip install -r requirements.txt<\/code><\/pre>\ntransformers<\/code>, peft<\/code>, accelerate<\/code>, bitsandbytes<\/code> (niceleme i\u00e7in) gibi temel k\u00fct\u00fcphaneleri y\u00fckleyecektir.<\/p>\n2. Veri Haz\u0131rl\u0131\u011f\u0131<\/h4>\n
\n * Instruction Tuning:<\/strong> Modelin belirli talimatlar\u0131 takip etmesini sa\u011flamak i\u00e7in kullan\u0131l\u0131r (\u00f6rne\u011fin, “Bu metni \u00f6zetle:”, “\u015eu soruyu yan\u0131tla:”). Veriler genellikle {\"instruction\": \"...\", \"input\": \"...\", \"output\": \"...\"}<\/code> format\u0131nda olur.
\n * Chat Tuning:<\/strong> Modelin diyalog kurma yetene\u011fini geli\u015ftirmek i\u00e7in kullan\u0131l\u0131r (\u00f6rne\u011fin, sohbet botlar\u0131). Veriler genellikle {\"conversations\": [{\"role\": \"user\", \"content\": \"...\"}, {\"role\": \"assistant\", \"content\": \"...\"}]}<\/code> format\u0131nda olur.
\n * Domain Adaptation:<\/strong> Modelin belirli bir alan\u0131n (t\u0131bbi, hukuki, finansal) dilini ve terminolojisini \u00f6\u011frenmesini sa\u011flamak i\u00e7in kullan\u0131l\u0131r.
\n* Veri Format\u0131:<\/strong> LLama-Factory genellikle JSON veya JSONL (her sat\u0131r\u0131n bir JSON nesnesi oldu\u011fu) format\u0131ndaki veri k\u00fcmelerini tercih eder. \u00d6rnek bir JSONL format\u0131 (instruction tuning i\u00e7in):<\/p>\n{\"instruction\": \"Bu metni \u00f6zetle.\", \"input\": \"B\u00fcy\u00fck dil modelleri...\", \"output\": \"LLM'ler...\"}\n {\"instruction\": \"\u015eu soruyu yan\u0131tla.\", \"input\": \"D\u00fcnyan\u0131n en y\u00fcksek da\u011f\u0131 nedir?\", \"output\": \"Everest.\"}<\/code><\/pre>\n
\n * Kalite:<\/strong> Temiz, tutarl\u0131, do\u011fru ve g\u00f6revle alakal\u0131 veriler kullan\u0131n. Yanl\u0131\u015f etiketlenmi\u015f veya d\u00fc\u015f\u00fck kaliteli veriler, modelin performans\u0131n\u0131 olumsuz etkiler.
\n * Miktar:<\/strong> PEFT y\u00f6ntemleri daha az veriyle \u00e7al\u0131\u015fsa da, genellikle birka\u00e7 bin ila on binlerce \u00f6rnek, iyi bir ba\u015flang\u0131\u00e7 noktas\u0131d\u0131r. Miktar, g\u00f6revin karma\u015f\u0131kl\u0131\u011f\u0131na ve istenen performans seviyesine ba\u011fl\u0131d\u0131r.
\n* E\u011fitim\/Do\u011frulama B\u00f6l\u00fcnmesi:<\/strong> Veri k\u00fcmenizi e\u011fitim ve do\u011frulama (validation) setlerine ay\u0131r\u0131n. Do\u011frulama seti, modelin e\u011fitim s\u0131ras\u0131nda g\u00f6r\u00fclmeyen verilere ne kadar iyi genellendi\u011fini izlemek i\u00e7in kullan\u0131l\u0131r. Genellikle %90 e\u011fitim, %10 do\u011frulama oran\u0131 kullan\u0131l\u0131r.
\n* Tokenizasyon ve cutoff_len<\/code>:<\/strong> LLama-Factory, dahili olarak tokenizasyonu y\u00f6netir. cutoff_len<\/code> parametresi, her giri\u015fin maksimum uzunlu\u011funu belirler. Bu de\u011fer, modelin ba\u011flam penceresinden k\u00fc\u00e7\u00fck olmal\u0131 ve veri k\u00fcmenizdeki \u00f6rneklerin \u00e7o\u011funu kapsayacak kadar b\u00fcy\u00fck olmal\u0131d\u0131r.<\/p>\n3. Model Y\u00fckleme ve Konfig\u00fcrasyon<\/h4>\n
meta-llama\/Llama-3-8b-instruct<\/code>.
\n* Finetuning Tipi:<\/strong> Hangi PEFT y\u00f6ntemini kullanaca\u011f\u0131n\u0131z\u0131 belirtin (lora<\/code>, qlora<\/code>, adalora<\/code>, dora<\/code>, full<\/code>).
\n* LLama-Factory Komut Sat\u0131r\u0131 \u00d6rne\u011fi (QLoRA ile):<\/strong><\/p>\nCUDA_VISIBLE_DEVICES=0 python src\/train_bash.py \\\n --stage sft \\\n --model_name_or_path meta-llama\/Llama-3-8b-instruct \\\n --do_train \\\n --dataset your_custom_dataset_name \\ # LLama-Factory'nin datasets klas\u00f6r\u00fcndeki bir klas\u00f6r ad\u0131 veya do\u011frudan JSON\/JSONL yolu\n --template llama3 \\\n --finetuning_type qlora \\\n --lora_rank 16 \\\n --lora_alpha 32 \\\n --lora_dropout 0.05 \\\n --quantization_bit 4 \\\n --learning_rate 5e-5 \\\n --num_train_epochs 3 \\\n --max_samples 10000 \\ # E\u011fitim i\u00e7in kullan\u0131lacak maksimum \u00f6rnek say\u0131s\u0131\n --per_device_train_batch_size 4 \\\n --gradient_accumulation_steps 4 \\\n --lr_scheduler_type cosine \\\n --logging_steps 10 \\\n --save_steps 500 \\\n --output_dir saves\/Llama3-8B-sft \\\n --plot_loss \\\n --fp16 \\\n --cutoff_len 1024<\/code><\/pre>\n--stage sft<\/code>: S\u00fcpervizyonlu finetuning a\u015famas\u0131n\u0131 belirtir.
\n * --model_name_or_path<\/code>: Temel modelin Hugging Face ID’si veya yerel yolu.
\n * --do_train<\/code>: E\u011fitim modunu etkinle\u015ftirir. --do_eval<\/code> ile de\u011ferlendirme de yap\u0131labilir.
\n * --dataset<\/code>: Kendi veri k\u00fcmenizin ad\u0131n\u0131 veya yolunu belirtir. LLama-Factory, data<\/code> klas\u00f6r\u00fcnde tan\u0131mlanm\u0131\u015f veri k\u00fcmelerini otomatik olarak bulabilir veya do\u011frudan bir JSON\/JSONL dosya yolu verebilirsiniz.
\n * --template llama3<\/code>: LLama3 i\u00e7in uygun prompt \u015fablonunu kullan\u0131r.
\n * --finetuning_type qlora<\/code>: QLoRA y\u00f6ntemini se\u00e7er.
\n * --lora_rank<\/code>, --lora_alpha<\/code>, --lora_dropout<\/code>: LoRA\/QLoRA’ya \u00f6zg\u00fc hiperparametreler. lora_rank<\/code> adapt\u00f6r matrisinin boyutunu, lora_alpha<\/code> \u00f6l\u00e7eklendirme fakt\u00f6r\u00fcn\u00fc belirler.
\n * --quantization_bit 4<\/code>: 4-bit nicelemeyi etkinle\u015ftirir (QLoRA i\u00e7in).
\n * --learning_rate<\/code>: E\u011fitim h\u0131z\u0131.
\n * --num_train_epochs<\/code>: E\u011fitim d\u00f6nemi say\u0131s\u0131.
\n * --per_device_train_batch_size<\/code>: Her GPU’daki toplu i\u015f boyutu.
\n --gradient_accumulation_steps<\/code>: Gradyan biriktirme ad\u0131mlar\u0131, etkili toplu i\u015f boyutunu art\u0131r\u0131r (per_device_train_batch_size <\/em> gradient_accumulation_steps<\/code>).
\n * --output_dir<\/code>: E\u011fitilmi\u015f model ve checkpoint’lerin kaydedilece\u011fi dizin.
\n * --plot_loss<\/code>: E\u011fitim kayb\u0131n\u0131 grafik olarak \u00e7izer.
\n * --fp16<\/code>: Yar\u0131 hassasiyetli (float16) e\u011fitimi etkinle\u015ftirir, bellek kullan\u0131m\u0131n\u0131 azalt\u0131r ve e\u011fitimi h\u0131zland\u0131r\u0131r. Bazen --bf16<\/code> daha iyi kararl\u0131l\u0131k sa\u011flayabilir.
\n * --cutoff_len<\/code>: Maksimum giri\u015f uzunlu\u011fu.<\/p>\npython src\/web_ui.py<\/code><\/pre>\n4. E\u011fitim (Finetuning)<\/h4>\n
\n* GPU Bellek Y\u00f6netimi:<\/strong> CUDA out of memory<\/code> hatalar\u0131yla kar\u015f\u0131la\u015f\u0131rsan\u0131z, per_device_train_batch_size<\/code> veya gradient_accumulation_steps<\/code> de\u011ferlerini azaltmay\u0131 veya 8-bit nicelemeye ge\u00e7meyi deneyin (--quantization_bit 8<\/code>).
\n* Checkpointing:<\/strong> LLama-Factory, belirli aral\u0131klarla modelin durumunu (checkpoint) kaydeder. Bu, e\u011fitimi kesintiye u\u011frad\u0131\u011f\u0131nda kald\u0131\u011f\u0131n\u0131z yerden devam etmenizi sa\u011flar.<\/p>\n5. De\u011ferlendirme<\/h4>\n
\n * Perplexity:<\/strong> Dil modelleri i\u00e7in yayg\u0131n bir metriktir; daha d\u00fc\u015f\u00fck perplexity daha iyi bir model anlam\u0131na gelir.
\n * G\u00f6rev Spesifik Metrikler:<\/strong> \u00d6zetleme i\u00e7in ROUGE, \u00e7eviri i\u00e7in BLEU, s\u0131n\u0131fland\u0131rma i\u00e7in F1 skoru, do\u011fruluk gibi g\u00f6revle ilgili metrikler kullan\u0131l\u0131r.
\n * \u0130nsan De\u011ferlendirmesi:<\/strong> \u00d6zellikle yarat\u0131c\u0131 veya karma\u015f\u0131k g\u00f6revler i\u00e7in, insan de\u011ferlendirmesi modelin \u00e7\u0131kt\u0131lar\u0131n\u0131n kalitesini anlamak i\u00e7in en g\u00fcvenilir y\u00f6ntemdir.
\n* Do\u011frulama Seti Kullan\u0131m\u0131:<\/strong> Modelin e\u011fitim s\u0131ras\u0131nda g\u00f6rmedi\u011fi do\u011frulama seti \u00fczerindeki performans\u0131n\u0131 de\u011ferlendirerek a\u015f\u0131r\u0131 uyumu tespit edebilirsiniz.
\n* LLama-Factory ile De\u011ferlendirme:<\/strong> --do_eval<\/code> bayra\u011f\u0131n\u0131 --do_train<\/code> ile birlikte kullanarak e\u011fitim s\u0131ras\u0131nda veya e\u011fitimden sonra ayr\u0131 bir komutla de\u011ferlendirme yapabilirsiniz.<\/p>\npython src\/train_bash.py \\\n --stage sft \\\n --model_name_or_path meta-llama\/Llama-3-8b-instruct \\\n --adapter_name_or_path saves\/Llama3-8B-sft \\ # E\u011fitilmi\u015f adapt\u00f6r\u00fcn yolu\n --do_eval \\\n --dataset your_validation_dataset_name \\\n --template llama3 \\\n --finetuning_type qlora \\\n --quantization_bit 4 \\\n --per_device_eval_batch_size 8 \\\n --output_dir saves\/Llama3-8B-sft<\/code><\/pre>\n6. Model Kaydetme ve Kullan\u0131m<\/h4>\n
\n* Model Birle\u015ftirme (Opsiyonel):<\/strong> Adapt\u00f6r a\u011f\u0131rl\u0131klar\u0131n\u0131 temel modelle birle\u015ftirmek, modeli Hugging Face transformers<\/code> k\u00fct\u00fcphanesi ile do\u011frudan kullanmak i\u00e7in daha kolay bir yol sa\u011flar.<\/p>\npython src\/export_model.py \\\n --model_name_or_path meta-llama\/Llama-3-8b-instruct \\\n --adapter_name_or_path saves\/Llama3-8B-sft \\\n --template llama3 \\\n --finetuning_type qlora \\\n --quantization_bit 4 \\\n --export_dir merged_Llama3-8B-sft<\/code><\/pre>\n
\n Birle\u015ftirilmi\u015f modeli veya temel model ve adapt\u00f6r\u00fc ayr\u0131 ayr\u0131 y\u00fckleyerek \u00e7\u0131kar\u0131m yapabilirsiniz.<\/p>\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\n import torch\n\n # Birle\u015ftirilmi\u015f modeli y\u00fckleme\n model_path = \"merged_Llama3-8B-sft\" # veya Hugging Face'den indirilen temel model + adapt\u00f6r yolu\n tokenizer = AutoTokenizer.from_pretrained(model_path)\n model = AutoModelForCausalLM.from_pretrained(\n model_path,\n torch_dtype=torch.bfloat16, # veya torch.float16\n device_map=\"auto\"\n )\n\n # \u00d6rnek talimat\n instruction = \"T\u00fcrkiye'nin ba\u015fkenti neresidir?\"\n input_text = \"\" # E\u011fer input_text yoksa bo\u015f b\u0131rak\u0131n\n\n # LLama3 i\u00e7in \u00f6zel sohbet \u015fablonu\n messages = [\n {\"role\": \"system\", \"content\": \"Sen faydal\u0131 bir yapay zeka asistan\u0131s\u0131n.\"},\n {\"role\": \"user\", \"content\": f\"{instruction}\\n{input_text}\".strip()}\n ]\n prompt = tokenizer.apply_chat_template(\n messages,\n tokenize=False,\n add_generation_prompt=True\n )\n\n inputs = tokenizer(prompt, return_tensors=\"pt\").to(model.device)\n outputs = model.generate(\n <\/em>inputs,\n max_new_tokens=100,\n do_sample=True,\n temperature=0.7,\n top_k=50,\n top_p=0.95\n )\n\n response = tokenizer.decode(outputs[0][inputs[\"input_ids\"].shape[-1]:], skip_special_tokens=True)\n print(f\"Modelin yan\u0131t\u0131: {response}\")<\/code><\/pre>\n\u0130leri D\u00fczey Konular ve En \u0130yi Uygulamalar<\/h3>\n
Hiperparametre Optimizasyonu<\/h4>\n
lora_rank<\/code>, learning_rate<\/code>, batch_size<\/code>, num_train_epochs<\/code> gibi hiperparametrelerin do\u011fru ayarlanmas\u0131, modelin performans\u0131n\u0131 b\u00fcy\u00fck \u00f6l\u00e7\u00fcde etkiler.<\/p>\n
\n* Bayesian Optimizasyonu:<\/strong> \u00d6nceki denemelerin sonu\u00e7lar\u0131na dayanarak, daha verimli bir \u015fekilde en iyi hiperparametreleri arama (\u00f6rne\u011fin, Optuna veya Weights & Biases ile entegrasyon).<\/p>\nVeri Augmentasyonu ve Sentetik Veri \u00dcretimi<\/h4>\n
\n* Sentetik Veri \u00dcretimi:<\/strong> Daha b\u00fcy\u00fck, g\u00fc\u00e7l\u00fc bir LLM kullanarak veya kural tabanl\u0131 sistemlerle sentetik e\u011fitim verileri \u00fcretme.<\/p>\n\u00c7oklu GPU E\u011fitimi<\/h4>\n
accelerate<\/code> k\u00fct\u00fcphanesi \u00fczerine kuruldu\u011fu i\u00e7in, \u00e7oklu GPU e\u011fitimini kolayca destekler.<\/p>\naccelerate launch src\/train_bash.py ...<\/code><\/pre>\naccelerate config<\/code> ile yap\u0131land\u0131r\u0131lm\u0131\u015f \u00e7oklu GPU ortamlar\u0131nda e\u011fitimi otomatik olarak da\u011f\u0131t\u0131r.<\/p>\nG\u00fcvenlik, Etik ve Bias<\/h4>\n
\n* Zararl\u0131 \u0130\u00e7erik Filtreleme:<\/strong> Modelin zararl\u0131, toksik veya yasa d\u0131\u015f\u0131 i\u00e7erik \u00fcretmesini engellemek i\u00e7in g\u00fcvenlik filtreleri uygulay\u0131n ve veri k\u00fcmenizi temizleyin.<\/p>\nMaliyet Optimizasyonu<\/h4>\n
\n* Verimli Model Se\u00e7imi:<\/strong> G\u00f6reviniz i\u00e7in yeterli olan en k\u00fc\u00e7\u00fck modeli se\u00e7in.
\n* Erken Durdurma (Early Stopping):<\/strong> Do\u011frulama kayb\u0131 belirli bir say\u0131da epoch boyunca iyile\u015fmedi\u011finde e\u011fitimi durdurarak gereksiz hesaplama g\u00fcc\u00fc harcamaktan ka\u00e7\u0131n\u0131n.<\/p>\nS\u0131k Kar\u015f\u0131la\u015f\u0131lan Sorunlar ve \u00c7\u00f6z\u00fcmleri<\/h3>\n
\n * per_device_train_batch_size<\/code> de\u011ferini azalt\u0131n.
\n * gradient_accumulation_steps<\/code> de\u011ferini art\u0131r\u0131n (bu, etkili batch boyutunu korurken bellek kullan\u0131m\u0131n\u0131 azalt\u0131r).
\n * --quantization_bit 4<\/code> veya --quantization_bit 8<\/code> kullanarak nicelemeyi etkinle\u015ftirin.
\n * --fp16<\/code> veya --bf16<\/code> kullanarak yar\u0131 hassasiyetli e\u011fitime ge\u00e7in.
\n * Daha fazla GPU belle\u011fine sahip bir GPU kullan\u0131n.
\n* Veri Formatlama Hatalar\u0131:<\/strong>
\n * Veri k\u00fcmenizin LLama-Factory’nin bekledi\u011fi JSON\/JSONL format\u0131na ve \u015fablonuna (template) uygun oldu\u011fundan emin olun.
\n * \u00d6zellikle instruction tuning veya chat formatlar\u0131 i\u00e7in template<\/code> parametresini do\u011fru ayarlay\u0131n.
\n* Yava\u015f E\u011fitim:<\/strong>
\n * --fp16<\/code> veya --bf16<\/code> kullan\u0131n.
\n * Daha h\u0131zl\u0131 bir GPU kullan\u0131n.
\n * gradient_accumulation_steps<\/code> de\u011ferini optimize edin.
\n * Veri y\u00fckleme darbo\u011fazlar\u0131n\u0131 kontrol edin (veri k\u00fcmesi \u00e7ok b\u00fcy\u00fckse veya disk G\/\u00c7 yava\u015fsa).
\n* Modelin Yak\u0131nsamamas\u0131 (Loss Azalm\u0131yor):<\/strong>
\n * learning_rate<\/code> de\u011ferini kontrol edin. \u00c7ok y\u00fcksek veya \u00e7ok d\u00fc\u015f\u00fck olabilir.
\n * num_train_epochs<\/code> de\u011ferini art\u0131r\u0131n.
\n * Veri k\u00fcmenizin kalitesini ve alaka d\u00fczeyini g\u00f6zden ge\u00e7irin. Yeterince \u00e7e\u015fitli veya kaliteli de\u011filse, model \u00f6\u011frenemeyebilir.
\n * lora_rank<\/code> gibi PEFT hiperparametrelerini ayarlay\u0131n. \u00c7ok d\u00fc\u015f\u00fck bir rank<\/code> modelin yeterince \u00f6\u011frenmesini engelleyebilir.
\n* D\u00fc\u015f\u00fck De\u011ferlendirme Performans\u0131:<\/strong>
\n * A\u015f\u0131r\u0131 uyumu kontrol edin (e\u011fitim kayb\u0131 azal\u0131rken do\u011frulama kayb\u0131 art\u0131yor mu?).
\n * Daha fazla veya daha \u00e7e\u015fitli e\u011fitim verisi ekleyin.
\n * Farkl\u0131 PEFT y\u00f6ntemlerini veya hiperparametreleri deneyin.
\n * Modelin \u00e7\u0131kt\u0131lar\u0131n\u0131 manuel olarak inceleyerek hatalar\u0131n do\u011fas\u0131n\u0131 anlamaya \u00e7al\u0131\u015f\u0131n.<\/p>\nSonu\u00e7<\/h3>\n