B\u00fcy\u00fck dil modellerini (LLM) belirli bir g\u00f6reve veya veri k\u00fcmesine uyarlamak i\u00e7in yap\u0131lan ince ayar (fine-tuning) s\u00fcre\u00e7leri, yapay zeka projelerinde heyecan verici sonu\u00e7lar vaat eder. Ancak, modelin sorunsuz bir \u015fekilde y\u00fcklendi\u011fini g\u00f6rd\u00fc\u011f\u00fcn\u00fczde ve ilk sorgunuzu g\u00f6nderdi\u011finizde her \u015feyin bir anda bozuldu\u011funu deneyimlemek, geli\u015ftiriciler i\u00e7in en sinir bozucu anlardan biridir. \u00d6zellikle Google’\u0131n g\u00fc\u00e7l\u00fc ve hafif modeli Gemma 4 gibi pop\u00fcler bir LLM \u00fczerinde \u00e7al\u0131\u015f\u0131rken bu t\u00fcr bir durumla kar\u015f\u0131la\u015fmak, hem zaman kayb\u0131na hem de b\u00fcy\u00fck bir hayal k\u0131r\u0131kl\u0131\u011f\u0131na yol a\u00e7abilir. Bu makalede, ince ayarl\u0131 Gemma 4 modelinizin neden ilk mesajda \u00e7\u00f6kebilece\u011fini derinlemesine inceleyecek, olas\u0131 nedenleri analiz edecek ve ad\u0131m ad\u0131m sorun giderme stratejileri sunarak bu t\u00fcr sorunlar\u0131n \u00fcstesinden gelmenize yard\u0131mc\u0131 olaca\u011f\u0131z.<\/p>\n
B\u00fcy\u00fck Dil Modelleri (LLM’ler), milyarlarca parametreye sahip, devasa metin veri k\u00fcmeleri \u00fczerinde e\u011fitilmi\u015f, insan benzeri metin anlama ve \u00fcretme yetene\u011fine sahip yapay zeka modelleridir. Bu modeller, sohbet robotlar\u0131ndan i\u00e7erik \u00fcretimine, kod tamamlamadan dil \u00e7evirisine kadar geni\u015f bir yelpazede kullan\u0131lmaktad\u0131r. Ancak, genel ama\u00e7l\u0131 olarak e\u011fitilmi\u015f bu modeller, \u00e7o\u011fu zaman spesifik i\u015f ihtiya\u00e7lar\u0131m\u0131za veya alan bilgimize tam olarak uymayabilir. \u0130\u015fte bu noktada, “ince ayar” (fine-tuning) kavram\u0131 devreye girer. \u0130nce ayar, \u00f6nceden e\u011fitilmi\u015f bir LLM’yi belirli bir g\u00f6rev veya veri k\u00fcmesi \u00fczerinde ek e\u011fitimden ge\u00e7irerek performans\u0131n\u0131 art\u0131rma ve modelin o alana \u00f6zg\u00fc dil kal\u0131plar\u0131n\u0131 \u00f6\u011frenmesini sa\u011flama s\u00fcrecidir.<\/p>\n
Gemma 4, Google taraf\u0131ndan geli\u015ftirilen, a\u00e7\u0131k kaynakl\u0131 ve hafif bir LLM ailesidir. Performans\u0131yla dikkat \u00e7eken Gemma modelleri, \u00f6zellikle kaynak k\u0131s\u0131tl\u0131 ortamlarda veya daha h\u0131zl\u0131 \u00e7\u0131kar\u0131m (inference) gerektiren uygulamalarda tercih edilmektedir. Gemma’n\u0131n mimarisi, Transformer tabanl\u0131 olup, verimli bir \u015fekilde \u00e7al\u0131\u015fmak \u00fczere optimize edilmi\u015ftir. \u0130nce ayar s\u00fcrecinde, genellikle LoRA (Low-Rank Adaptation) veya QLoRA (Quantized LoRA) gibi y\u00f6ntemler kullan\u0131l\u0131r. Bu teknikler, modelin t\u00fcm a\u011f\u0131rl\u0131klar\u0131n\u0131 yeniden e\u011fitmek yerine, sadece k\u00fc\u00e7\u00fck, d\u00fc\u015f\u00fck dereceli adapt\u00f6r katmanlar\u0131n\u0131 e\u011fitmeyi i\u00e7erir. Bu sayede, \u00e7ok daha az hesaplama kayna\u011f\u0131 ve zaman harcanarak modelin belirli bir g\u00f6reve adapte olmas\u0131 sa\u011flan\u0131r. \u00d6rne\u011fin, bir m\u00fc\u015fteri hizmetleri sohbet botu geli\u015ftirmek istedi\u011finizde, genel bir LLM’yi kendi \u015firketinizin \u00fcr\u00fcnleri, hizmetleri ve m\u00fc\u015fteri diyaloglar\u0131 ile ince ayardan ge\u00e7irerek \u00e7ok daha alakal\u0131 ve do\u011fru yan\u0131tlar \u00fcreten bir model elde edebilirsiniz. Bu s\u00fcre\u00e7te veri haz\u0131rl\u0131\u011f\u0131 kritik \u00f6neme sahiptir. \u0130nce ayar i\u00e7in kullan\u0131lan veri setinin kalitesi, format\u0131 ve modelin tokenizer’\u0131 ile uyumu, nihai modelin ba\u015far\u0131s\u0131n\u0131 do\u011frudan etkiler. Yanl\u0131\u015f tokenizasyon veya prompt (istem) format\u0131, modelin do\u011fru bir \u015fekilde \u00f6\u011frenmesini engelleyebilir ve \u00e7\u0131kar\u0131m a\u015famas\u0131nda beklenmedik hatalara yol a\u00e7abilir. Dolay\u0131s\u0131yla, ince ayar sadece teknik bir s\u00fcre\u00e7 de\u011fil, ayn\u0131 zamanda dikkatli veri m\u00fchendisli\u011fi ve model mimarisi anlay\u0131\u015f\u0131 gerektiren kapsaml\u0131 bir yakla\u015f\u0131md\u0131r. Bu temel bilgiler \u0131\u015f\u0131\u011f\u0131nda, ince ayarl\u0131 Gemma 4 modelinizin neden ilk mesajda \u00e7\u00f6kt\u00fc\u011f\u00fcn\u00fc anlamak i\u00e7in daha derinlemesine bir analiz yapabiliriz.<\/p>\n
\u0130nce ayarl\u0131 Gemma 4 modelinizin sorunsuz bir \u015fekilde y\u00fcklenip, ilk sorgunuzda aniden \u00e7\u00f6kmesi veya beklenmedik davran\u0131\u015flar sergilemesi, geli\u015ftiriciler i\u00e7in olduk\u00e7a kafa kar\u0131\u015ft\u0131r\u0131c\u0131 bir durumdur. Modelin y\u00fcklenmesi, genellikle model a\u011f\u0131rl\u0131klar\u0131n\u0131n belle\u011fe al\u0131nd\u0131\u011f\u0131 ve temel konfig\u00fcrasyonlar\u0131n ayarland\u0131\u011f\u0131 anlam\u0131na gelir. Ancak bu, modelin \u00e7\u0131kar\u0131m i\u00e7in tamamen haz\u0131r oldu\u011fu veya her t\u00fcrl\u00fc girdiyle ba\u015fa \u00e7\u0131kabilece\u011fi anlam\u0131na gelmez. Bu t\u00fcr bir “ilk mesajda \u00e7\u00f6kme” durumu, genellikle g\u00f6zden ka\u00e7an ancak kritik \u00f6neme sahip detaylardan kaynaklan\u0131r. \u0130\u015fte bu t\u00fcr problemlere yol a\u00e7abilecek ba\u015fl\u0131ca nedenler:<\/p>\n
Model e\u011fitimi ve \u00e7\u0131kar\u0131m ortamlar\u0131 aras\u0131ndaki tutars\u0131zl\u0131klar, s\u0131k kar\u015f\u0131la\u015f\u0131lan bir problem kayna\u011f\u0131d\u0131r. \u00d6rne\u011fin, modeli e\u011fitirken kulland\u0131\u011f\u0131n\u0131z PyTorch, Transformers k\u00fct\u00fcphanesi veya CUDA s\u00fcr\u00fcm\u00fc ile \u00e7\u0131kar\u0131m yapmaya \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131z ortamdaki s\u00fcr\u00fcmler farkl\u0131 olabilir. Bir k\u00fct\u00fcphanenin yeni bir s\u00fcr\u00fcm\u00fc, eski bir modelin bekledi\u011fi bir fonksiyonu de\u011fi\u015ftirmi\u015f veya kald\u0131rm\u0131\u015f olabilir. Benzer \u015fekilde, CUDA s\u00fcr\u00fcmleri aras\u0131ndaki uyumsuzluklar, \u00f6zellikle GPU \u00fczerinde \u00e7al\u0131\u015fan modellerde bellek eri\u015fim hatalar\u0131na veya beklenmedik \u00e7\u00f6k\u00fc\u015flere neden olabilir. Donan\u0131m taraf\u0131nda ise, e\u011fitim s\u0131ras\u0131nda kullan\u0131lan GPU’nun belle\u011fi (VRAM) ile \u00e7\u0131kar\u0131m i\u00e7in kullan\u0131lan GPU’nun VRAM’i aras\u0131nda farklar olabilir. Model y\u00fcklense bile, ilk sorgu s\u0131ras\u0131nda gereken ara hesaplamalar veya aktivasyonlar mevcut VRAM s\u0131n\u0131rlar\u0131n\u0131 a\u015fabilir ve bu da an\u0131nda bir \u00e7\u00f6k\u00fc\u015fle sonu\u00e7lanabilir. Bu t\u00fcr durumlar, \u00f6zellikle modelin hassas bir \u015fekilde optimize edildi\u011fi veya kuantize edildi\u011fi durumlarda daha belirgin hale gelir. S\u00fcr\u00fcm kontrol\u00fc ve ortam tutarl\u0131l\u0131\u011f\u0131, bu t\u00fcr sorunlar\u0131n \u00f6n\u00fcne ge\u00e7mek i\u00e7in hayati \u00f6neme sahiptir.<\/p>\n
LLM’ler, belirli bir formatta token (jeton) edilmi\u015f girdilerle \u00e7al\u0131\u015fmak \u00fczere e\u011fitilirler. \u0130nce ayar s\u0131ras\u0131nda modelin \u00f6\u011frendi\u011fi prompt \u015fablonu ve tokenizasyon stratejisi, \u00e7\u0131kar\u0131m s\u0131ras\u0131nda kullan\u0131lanla birebir ayn\u0131 olmal\u0131d\u0131r. \u00d6rne\u011fin, ince ayar verinizde her \u00f6rne\u011fi Modelin y\u00fcklenmesi, model a\u011f\u0131rl\u0131klar\u0131n\u0131n belle\u011fe s\u0131\u011fd\u0131\u011f\u0131 anlam\u0131na gelse de, \u00e7\u0131kar\u0131m s\u0131ras\u0131nda aktivasyonlar, ara katman \u00e7\u0131kt\u0131lar\u0131 ve gradyanlar (e\u011fer e\u011fitim modunda kalm\u0131\u015fsa) i\u00e7in ek belle\u011fe ihtiya\u00e7 duyulur. \u00d6zellikle ilk sorgu, modelin belirli bir input uzunlu\u011fu veya batch size (toplu i\u015f boyutu) ile kar\u015f\u0131la\u015fmas\u0131 durumunda beklenenden daha fazla bellek t\u00fcketebilir. Gemma 4 gibi modeller kuantize edilmi\u015f olsa bile, belirli bir girdi uzunlu\u011fu veya karma\u015f\u0131kl\u0131\u011f\u0131, mevcut VRAM’i a\u015farak bir “CUDA Out Of Memory” (OOM) hatas\u0131na yol a\u00e7abilir. Bu durum, modelin ilk hesaplamas\u0131n\u0131 yapmaya \u00e7al\u0131\u015f\u0131rken aniden durmas\u0131na neden olur. Ayr\u0131ca, modelin kendisi bellek s\u0131z\u0131nt\u0131lar\u0131na sahip olabilir veya \u00e7\u0131kar\u0131m s\u00fcrecinde gereksiz yere bellek tutuyor olabilir. Bu t\u00fcr performans s\u0131n\u0131rlar\u0131, \u00f6zellikle b\u00fcy\u00fck modellerle \u00e7al\u0131\u015f\u0131rken dikkatle y\u00f6netilmesi gereken kritik bir fakt\u00f6rd\u00fcr.<\/p>\n \u0130nce ayar sonras\u0131 modelin kaydedilmesi ve daha sonra \u00e7\u0131kar\u0131m i\u00e7in y\u00fcklenmesi s\u00fcre\u00e7leri de hatalara a\u00e7\u0131k olabilir. Model a\u011f\u0131rl\u0131klar\u0131 do\u011fru kaydedilmemi\u015f olabilir, veya tokenizer’\u0131n ve konfig\u00fcrasyon dosyas\u0131n\u0131n modelle birlikte do\u011fru bir \u015fekilde kaydedilmedi\u011fi durumlar ortaya \u00e7\u0131kabilir. \u00d6rne\u011fin, modelin \u0130nce ayarl\u0131 Gemma 4 modelinizin ilk mesajda \u00e7\u00f6kmesi durumunda panik yapmak yerine, sistematik bir sorun giderme yakla\u015f\u0131m\u0131 benimsemek \u00f6nemlidir. A\u015fa\u011f\u0131daki ad\u0131mlar, bu t\u00fcr sorunlar\u0131n k\u00f6kenini bulman\u0131za ve etkili \u00e7\u00f6z\u00fcmler geli\u015ftirmenize yard\u0131mc\u0131 olacakt\u0131r:<\/p>\n \u0130lk olarak, modelin e\u011fitildi\u011fi ve \u00e7\u0131kar\u0131m yap\u0131lmaya \u00e7al\u0131\u015f\u0131ld\u0131\u011f\u0131 ortamlar aras\u0131ndaki t\u00fcm farkl\u0131l\u0131klar\u0131 ortadan kald\u0131rmaya \u00e7al\u0131\u015fmal\u0131s\u0131n\u0131z. Bu, genellikle k\u00fct\u00fcphane ve yaz\u0131l\u0131m s\u00fcr\u00fcmlerinin kontrol edilmesiyle ba\u015flar.<\/p>\n Bir \u00f6rnek olarak, ortam\u0131n\u0131z\u0131 kontrol etmek i\u00e7in a\u015fa\u011f\u0131daki kodu kullanabilirsiniz:<\/p>\n Bu \u00e7\u0131kt\u0131y\u0131 e\u011fitim ortam\u0131n\u0131zdaki \u00e7\u0131kt\u0131yla kar\u015f\u0131la\u015ft\u0131r\u0131n.<\/p>\n Modelin bekledi\u011fi formatta bir girdi sa\u011flamak hayati \u00f6nem ta\u015f\u0131r.<\/p>\n \u00d6rnek bir prompt format\u0131 ve tokenizasyon:<\/p>\n Bellek yetersizli\u011fi, ilk \u00e7\u00f6k\u00fc\u015flerin yayg\u0131n bir nedenidir.<\/p>\n Kuantize edilmi\u015f model y\u00fckleme \u00f6rne\u011fi:<\/p>\n Problemin GPU’dan m\u0131 yoksa modelin kendisinden mi kaynakland\u0131\u011f\u0131n\u0131 anlamak i\u00e7in farkl\u0131 testler yap\u0131n.<\/p>\n Hata mesajlar\u0131 ve loglar, sorunun k\u00f6kenine dair en \u00f6nemli ipu\u00e7lar\u0131n\u0131 sunar.<\/p>\n Bu ad\u0131mlar\u0131 takip ederek, sorunun kayna\u011f\u0131n\u0131 sistemli bir \u015fekilde izole edebilir ve uygun \u00e7\u00f6z\u00fcm\u00fc uygulayabilirsiniz. Unutmay\u0131n, \u00e7o\u011fu zaman problem, ortam, veri format\u0131 veya bellek y\u00f6netimi gibi temel konularda yatar.<\/p>\n \u015eimdi, ince ayarl\u0131 bir Gemma 4 modelinin ilk mesajda \u00e7\u00f6kmesi senaryosunu ger\u00e7ek d\u00fcnya benzeri bir \u00f6rnekle ele alal\u0131m. Diyelim ki, bir e-ticaret sitesi i\u00e7in m\u00fc\u015fteri destek sorular\u0131n\u0131 yan\u0131tlamak \u00fczere Gemma 4 modelini, \u015firket i\u00e7i SSS metinleri ve m\u00fc\u015fteri diyaloglar\u0131 ile ince ayardan ge\u00e7irdiniz. Modelinizi ba\u015far\u0131yla e\u011fittiniz, kaydedip sunucuya da\u011f\u0131tt\u0131n\u0131z. Ancak, ilk m\u00fc\u015fteri sorusunu g\u00f6nderdi\u011finizde, modeliniz bir hata f\u0131rlat\u0131yor ve yan\u0131t \u00fcretmiyor.<\/p>\n Senaryo: \u0130nce ayarl\u0131 Gemma 4 modeliniz, Model Y\u00fckleme ve Hata Durumu (Yanl\u0131\u015f Prompt Format\u0131):<\/p>\n Bu senaryoda, modelin e\u011fitildi\u011fi prompt \u015fablonuna uymayan bir girdi g\u00f6nderildi\u011fi i\u00e7in modelin i\u00e7 mekanizmalar\u0131 beklenmedik bir durumla kar\u015f\u0131la\u015f\u0131r. Bu durum, bir Sorun Giderme Ad\u0131mlar\u0131 ve \u00c7\u00f6z\u00fcm:<\/p>\n Do\u011fru Prompt Format\u0131 ile \u00c7\u00f6z\u00fcm:<\/p>\n Bu d\u00fczeltme ile model, bekledi\u011fi formatta bir girdi al\u0131r ve sorunsuz bir \u015fekilde yan\u0131t \u00fcretebilir. Bu \u00f6rnek, k\u00fc\u00e7\u00fck bir format hatas\u0131n\u0131n bile modelin tamamen \u00e7\u00f6kmesine neden olabilece\u011fini ve sorun giderme s\u00fcrecinde prompt \u015fablonlar\u0131n\u0131n ve tokenizasyonun ne kadar kritik oldu\u011funu g\u00f6stermektedir. Her zaman modelinizin e\u011fitim s\u0131ras\u0131nda hangi format\u0131 bekledi\u011fini hat\u0131rlay\u0131n ve \u00e7\u0131kar\u0131m s\u0131ras\u0131nda da buna sad\u0131k kal\u0131n.<\/p>\n \u0130nce ayarl\u0131 Gemma 4 modelinizin ilk mesajda \u00e7\u00f6kmesi gibi sorunlarla kar\u015f\u0131la\u015fmamak veya bu sorunlar\u0131 daha h\u0131zl\u0131 \u00e7\u00f6zmek i\u00e7in baz\u0131 ileri d\u00fczey ipu\u00e7lar\u0131 ve en iyi uygulamalar mevcuttur. Bu yakla\u015f\u0131mlar, model da\u011f\u0131t\u0131m s\u00fcre\u00e7lerinizi daha sa\u011flam hale getirirken, olas\u0131 hatalar\u0131 en aza indirmenize yard\u0131mc\u0131 olacakt\u0131r.<\/p>\n Model e\u011fitimi ve \u00e7\u0131kar\u0131m\u0131 i\u00e7in ortam tutars\u0131zl\u0131klar\u0131, en yayg\u0131n sorun kaynaklar\u0131ndan biridir. Bu sorunu k\u00f6kten \u00e7\u00f6zmenin en etkili yolu, Docker gibi konteynerle\u015ftirme teknolojilerini kullanmakt\u0131r. Docker, uygulaman\u0131z\u0131 ve t\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131 (k\u00fct\u00fcphaneler, Python s\u00fcr\u00fcm\u00fc, CUDA s\u00fcr\u00fcc\u00fcleri vb.) izole edilmi\u015f bir “konteyner” i\u00e7inde paketlemenizi sa\u011flar. Bu sayede, e\u011fitim ortam\u0131n\u0131zda \u00e7al\u0131\u015fan model, konteyner i\u00e7inde ayn\u0131 ortamla birlikte \u00e7\u0131kar\u0131m ortam\u0131na ta\u015f\u0131nabilir. Bu, “benim makinemde \u00e7al\u0131\u015f\u0131yor” sendromunu ortadan kald\u0131r\u0131r ve da\u011f\u0131t\u0131m s\u00fcre\u00e7lerinizi \u00e7ok daha g\u00fcvenilir hale getirir. \u00d6rne\u011fin, bir Dockerfile ile t\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131z\u0131 tan\u0131mlayabilir ve modelinizi bu konteyner i\u00e7inde \u00e7al\u0131\u015ft\u0131rabilirsiniz.<\/p>\n Bu yakla\u015f\u0131m, hem yerel geli\u015ftirme ortam\u0131n\u0131zda hem de \u00fcretim sunucular\u0131n\u0131zda ayn\u0131 ortam\u0131 garanti eder.<\/p>\n Model ya\u015fam d\u00f6ng\u00fcs\u00fc y\u00f6netimi (MLOps) s\u00fcre\u00e7lerinin \u00f6nemli bir par\u00e7as\u0131 da model s\u00fcr\u00fcmlemedir. Her ince ayar denemesini veya model g\u00fcncellemesini bir s\u00fcr\u00fcm numaras\u0131 ile etiketlemek, hangi modelin hangi ortamda ne zaman e\u011fitildi\u011fini takip etmenizi sa\u011flar. Ayr\u0131ca, s\u00fcrekli entegrasyon\/s\u00fcrekli da\u011f\u0131t\u0131m (CI\/CD) boru hatlar\u0131, modelinizi her g\u00fcncelledi\u011finizde otomatik olarak test etmenize ve da\u011f\u0131tman\u0131za olanak tan\u0131r. Bu boru hatlar\u0131, modelin y\u00fcklenip y\u00fcklenmedi\u011fini, temel bir sorguya do\u011fru yan\u0131t verip vermedi\u011fini ve performans metriklerini kar\u015f\u0131lay\u0131p kar\u015f\u0131lamad\u0131\u011f\u0131n\u0131 kontrol edebilir. B\u00f6ylece, \u00fcretim ortam\u0131na hatal\u0131 bir modelin gitmesi riski azal\u0131r ve ilk mesajda \u00e7\u00f6kme gibi sorunlar daha geli\u015ftirme a\u015famas\u0131nda yakalanabilir.<\/p>\n B\u00fcy\u00fck dil modelleriyle \u00e7al\u0131\u015f\u0131rken bellek y\u00f6netimi her zaman kritik bir konudur.<\/p>\n \u00dcretim ortam\u0131ndaki modelin davran\u0131\u015flar\u0131n\u0131 anlamak i\u00e7in kapsaml\u0131 loglama ve izleme sistemleri kurmak elzemdir.<\/p>\n Bu ileri d\u00fczey uygulamalar, sadece mevcut sorunlar\u0131 \u00e7\u00f6zmekle kalmaz, ayn\u0131 zamanda gelecekte ortaya \u00e7\u0131kabilecek benzer sorunlar\u0131 proaktif bir \u015fekilde \u00f6nlemenize ve yapay zeka modellerinizi daha g\u00fcvenilir bir \u015fekilde da\u011f\u0131tman\u0131za olanak tan\u0131r. Model geli\u015ftirme ve da\u011f\u0131t\u0131m, s\u00fcrekli bir \u00f6\u011frenme ve iyile\u015ftirme s\u00fcrecidir.<\/p>\n \u0130nce ayarl\u0131 Gemma 4 modelinizin sorunsuz y\u00fcklendi\u011fini g\u00f6r\u00fcp ilk mesajda \u00e7\u00f6kmesi, yapay zeka geli\u015ftirme yolculu\u011funda s\u0131k kar\u015f\u0131la\u015f\u0131lan ancak olduk\u00e7a sinir bozucu bir durumdur. Bu makale boyunca, bu t\u00fcr sorunlar\u0131n temelinde yatan nedenleri \u2013 ortam tutars\u0131zl\u0131klar\u0131, veri ve tokenizasyon uyu\u015fmazl\u0131klar\u0131, bellek y\u00f6netimi sorunlar\u0131 ve model kaydetme\/y\u00fckleme hatalar\u0131 \u2013 detayl\u0131 bir \u015fekilde inceledik. Ayr\u0131ca, ad\u0131m ad\u0131m sorun giderme stratejileri sunarak, bu karma\u015f\u0131k problemleri sistematik bir yakla\u015f\u0131mla \u00e7\u00f6zmenize yard\u0131mc\u0131 olmay\u0131 hedefledik. Unutulmamal\u0131d\u0131r ki, ba\u015far\u0131l\u0131 bir LLM da\u011f\u0131t\u0131m\u0131 sadece modelin kendisiyle ilgili de\u011fil, ayn\u0131 zamanda \u00e7evresel fakt\u00f6rler, veri m\u00fchendisli\u011fi ve dikkatli bir test s\u00fcreciyle de yak\u0131ndan ili\u015fkilidir. Tutarl\u0131 ortamlar sa\u011flamak, prompt \u015fablonlar\u0131na sad\u0131k kalmak, bellek kullan\u0131m\u0131n\u0131 optimize etmek ve kapsaml\u0131 loglama yapmak, bu t\u00fcr sorunlar\u0131n \u00f6n\u00fcne ge\u00e7mede kritik rol oynar. Her hata, \u00f6\u011frenme ve sisteminizi daha sa\u011flam hale getirme f\u0131rsat\u0131d\u0131r. Bu bilgiler \u0131\u015f\u0131\u011f\u0131nda, ince ayarl\u0131 yapay zeka modellerinizi daha g\u00fcvenle geli\u015ftirebilir ve da\u011f\u0131tabilirsiniz.<\/p>\n #YapayZeka #LLM #Gemma #\u0130nceAyar #Makine\u00d6\u011frenimi #SorunGiderme<\/p>\n","protected":false},"excerpt":{"rendered":"B\u00fcy\u00fck dil modellerini (LLM) belirli bir g\u00f6reve veya veri k\u00fcmesine uyarlamak i\u00e7in yap\u0131lan ince ayar (fine-tuning) s\u00fcre\u00e7leri, yapay zeka projelerinde heyecan verici sonu\u00e7lar vaat eder.","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-43117","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n<start_of_turn>user\\n{prompt}<end_of_turn>\\n<start_of_turn>model\\n{response}<end_of_turn><\/code> gibi \u00f6zel token’lar ve yap\u0131larla haz\u0131rlad\u0131ysan\u0131z, \u00e7\u0131kar\u0131m yaparken de sorgunuzu bu formata uygun hale getirmeniz gerekir. E\u011fer ilk mesaj\u0131n\u0131z\u0131 standart, ham bir metin olarak g\u00f6nderirseniz, model bu girdiyi do\u011fru bir \u015fekilde anlayamayabilir, bu da i\u00e7sel mant\u0131k hatalar\u0131na veya modelin \u00e7\u00f6kmesine yol a\u00e7abilir. Yanl\u0131\u015f tokenizasyon, modelin bekledi\u011fi girdi boyutlar\u0131n\u0131 veya token ID’lerini de\u011fi\u015ftirebilir, bu da bellek eri\u015fim hatalar\u0131 veya hesaplama grafi\u011fi uyumsuzluklar\u0131 olarak kendini g\u00f6sterebilir. Bu nedenle, ince ayar s\u0131ras\u0131nda kullan\u0131lan tokenizer’\u0131n, prompt \u015fablonunun ve \u00f6zel token’lar\u0131n \u00e7\u0131kar\u0131m a\u015famas\u0131nda da titizlikle kullan\u0131ld\u0131\u011f\u0131ndan emin olmak \u015fartt\u0131r.<\/p>\nBellek Y\u00f6netimi ve Performans S\u0131n\u0131rlar\u0131<\/h3>\n
Model Kaydetme ve Y\u00fckleme Hatalar\u0131<\/h3>\n
safetensors<\/code> format\u0131nda kaydedilmesi s\u0131ras\u0131nda bir hata olu\u015fmu\u015f olabilir veya dosya bozulmu\u015f olabilir. Y\u00fckleme s\u0131ras\u0131nda ise, modelin do\u011fru bir \u015fekilde deserializasyon (seri durumdan \u00e7\u0131karma) edilememesi, baz\u0131 katmanlar\u0131n veya parametrelerin eksik veya hatal\u0131 y\u00fcklenmesine neden olabilir. Bu t\u00fcr durumlar, modelin y\u00fcklenmi\u015f gibi g\u00f6r\u00fcnmesine ra\u011fmen, ilk hesaplama denemesinde i\u00e7sel bir tutars\u0131zl\u0131k nedeniyle \u00e7\u00f6kmesine yol a\u00e7abilir. Bu nedenle, modelin kaydedildi\u011fi ve y\u00fcklendi\u011fi kod bloklar\u0131n\u0131n dikkatle incelenmesi ve test edilmesi gerekmektedir.<\/p>\nAd\u0131m Ad\u0131m Sorun Giderme: \u00c7\u00f6z\u00fcme Giden Yol Haritas\u0131<\/h2>\n
\u00c7al\u0131\u015fma Ortam\u0131n\u0131z\u0131 Do\u011frulay\u0131n: S\u00fcr\u00fcm Kontrolleri ve Ba\u011f\u0131ml\u0131l\u0131klar<\/h3>\n
\n
pip freeze > requirements.txt<\/code> komutuyla e\u011fitim ortam\u0131n\u0131zdaki ba\u011f\u0131ml\u0131l\u0131klar\u0131 listeleyip, bu listeyi \u00e7\u0131kar\u0131m ortam\u0131nda kullanabilirsiniz.<\/li>\n\nimport torch\nimport transformers\nimport accelerate\nimport bitsandbytes\n\nprint(f\"PyTorch S\u00fcr\u00fcm\u00fc: {torch.__version__}\")\nprint(f\"Transformers S\u00fcr\u00fcm\u00fc: {transformers.__version__}\")\nprint(f\"Accelerate S\u00fcr\u00fcm\u00fc: {accelerate.__version__}\")\nprint(f\"BitsAndBytes S\u00fcr\u00fcm\u00fc: {bitsandbytes.__version__}\")\nprint(f\"CUDA Mevcut mu: {torch.cuda.is_available()}\")\nif torch.cuda.is_available():\n print(f\"CUDA S\u00fcr\u00fcm\u00fc: {torch.version.cuda}\")\n print(f\"GPU Ad\u0131: {torch.cuda.get_device_name(0)}\")\n<\/code><\/pre>\n<\/div>\nGiri\u015f Verisini ve Prompt \u015eablonunu \u0130nceleyin<\/h3>\n
\n
<start_of_turn><\/code>, <end_of_turn><\/code>) kesinlikle \u00e7\u0131kar\u0131m s\u0131ras\u0131nda da kullan\u0131n. Modelin e\u011fitildi\u011fi format neyse, ilk sorgunuzu da o formata uygun hale getirin.<\/li>\nAutoTokenizer.from_pretrained(...)<\/code>) kulland\u0131\u011f\u0131n\u0131zdan emin olun. Tokenizasyonun kendisi de tutarl\u0131 olmal\u0131d\u0131r.<\/li>\n\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\nmodel_id = \"google\/gemma-2b-it\" # veya kendi ince ayarl\u0131 modeliniz\ntokenizer = AutoTokenizer.from_pretrained(model_id)\n\n# \u0130nce ayar s\u0131ras\u0131nda kullan\u0131lan \u00f6rnek bir \u015fablon\nchat = [\n {\"role\": \"user\", \"content\": \"Merhaba, nas\u0131ls\u0131n?\"},\n]\nprompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)\nprint(f\"Kullan\u0131lan Prompt: {prompt}\")\n\n# \u015eimdi bu prompt'u token'lara ay\u0131r\u0131p modele g\u00f6nderin\ninputs = tokenizer(prompt, return_tensors=\"pt\").to(\"cuda\")\n# Model.generate(inputs...)\n<\/code><\/pre>\n<\/div>\nBellek Kullan\u0131m\u0131n\u0131 \u0130zleme ve Optimizasyon<\/h3>\n
\n
nvidia-smi<\/code> komutu (Linux) veya Task Manager (Windows) ile anl\u0131k VRAM kullan\u0131m\u0131n\u0131 g\u00f6rebilirsiniz.<\/li>\ntorch.cuda.empty_cache()<\/code> komutunu kullanarak gereksiz GPU belle\u011fini serbest b\u0131rakabilirsiniz.<\/li>\n<\/ol>\n\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig\n\nnf4_config = BitsAndBytesConfig(\n load_in_4bit=True,\n bnb_4bit_quant_type=\"nf4\",\n bnb_4bit_use_double_quant=True,\n bnb_4bit_compute_dtype=torch.bfloat16\n)\n\nmodel = AutoModelForCausalLM.from_pretrained(\n \"google\/gemma-2b-it\", # veya kendi modeliniz\n quantization_config=nf4_config,\n device_map=\"auto\"\n)\ntokenizer = AutoTokenizer.from_pretrained(\"google\/gemma-2b-it\")\n<\/code><\/pre>\n<\/div>\nModeli Farkl\u0131 Bir \u015eekilde Test Etme: CPU ve Basit Giri\u015fler<\/h3>\n
\n
google\/gemma-2b-it<\/code>) y\u00fckleyin ve ayn\u0131 prompt ile test edin. E\u011fer temel model sorunsuz \u00e7al\u0131\u015f\u0131yorsa, sorun ince ayar s\u00fcrecinizde veya kaydedilen modelinizde olabilir.<\/li>\nmax_new_tokens<\/code> de\u011ferini \u00e7ok d\u00fc\u015f\u00fck bir say\u0131ya (\u00f6rne\u011fin 5-10) ayarlayarak deneyin. Bu, modelin sadece \u00e7ok k\u0131sa bir \u00e7\u0131kt\u0131 \u00fcretmesini isteyerek potansiyel uzun \u00e7\u0131kt\u0131 kaynakl\u0131 sorunlar\u0131 minimize eder.<\/li>\n<\/ol>\nDerinlemesine Log Analizi ve Hata Ay\u0131klama<\/h3>\n
\n
\n import logging\n logging.basicConfig(level=logging.DEBUG)\n <\/code><\/pre>\n<\/p><\/div>\n<\/li>\npdb<\/code> veya VS Code’un hata ay\u0131klay\u0131c\u0131s\u0131) kullanarak kodunuzda ad\u0131m ad\u0131m ilerleyin. Modelin generate()<\/code> fonksiyonuna girmeden hemen \u00f6nceki ve sonraki durumu inceleyin. Hatan\u0131n tam olarak nerede f\u0131rlat\u0131ld\u0131\u011f\u0131n\u0131 belirlemeye \u00e7al\u0131\u015f\u0131n.<\/li>\n<\/ol>\n\u00d6rnek Bir Senaryo: Gemma 4 \u0130nce Ayar Hatas\u0131n\u0131n \u00c7\u00f6z\u00fcm\u00fc<\/h2>\n
mistralai\/Mistral-7B-Instruct-v0.2<\/code> modelinin prompt \u015fablonuna benzer bir yap\u0131 ile e\u011fitildi\u011fini varsayal\u0131m. Yani, her kullan\u0131c\u0131 sorgusu [INST] {soru} [\/INST]<\/code> format\u0131nda sar\u0131lm\u0131\u015ft\u0131. Ancak, \u00e7\u0131kar\u0131m ortam\u0131nda bu \u015fablonu unuttunuz ve do\u011frudan kullan\u0131c\u0131 sorusunu g\u00f6nderdiniz.<\/p>\n\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\n# \u0130nce ayarl\u0131 modelinizin yolu\nmodel_path = \".\/my_finetuned_gemma_4_model\" \n\n# Modeli ve tokenizer'\u0131 y\u00fckleme\ntokenizer = AutoTokenizer.from_pretrained(model_path)\nmodel = AutoModelForCausalLM.from_pretrained(\n model_path,\n torch_dtype=torch.bfloat16,\n device_map=\"auto\"\n)\n\n# Yanl\u0131\u015f prompt format\u0131: do\u011frudan metin g\u00f6nderimi\nuser_question = \"Sipari\u015fimin durumu nedir?\"\ninputs = tokenizer(user_question, return_tensors=\"pt\").to(\"cuda\")\n\ntry:\n outputs = model.generate(\n inputs.input_ids,\n max_new_tokens=100,\n do_sample=True,\n top_k=50,\n top_p=0.95,\n temperature=0.7\n )\n response = tokenizer.decode(outputs[0], skip_special_tokens=True)\n print(\"Model Yan\u0131t\u0131:\", response)\nexcept Exception as e:\n print(f\"Model ilk mesajda \u00e7\u00f6kt\u00fc: {e}\")\n # \u00d6rnek hata: \"RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!\"\n # Veya \"IndexError: index out of range in self\" gibi hatalar\n<\/code><\/pre>\n<\/div>\nIndexError<\/code> (dizin hatas\u0131) veya RuntimeError<\/code> (\u00e7al\u0131\u015fma zaman\u0131 hatas\u0131) gibi \u00e7e\u015fitli hatalara yol a\u00e7abilir. Model, bekledi\u011fi \u00f6zel token’lar\u0131 veya yap\u0131lar\u0131 bulamad\u0131\u011f\u0131 i\u00e7in tokenizasyon veya i\u00e7sel hesaplamalarda sorun ya\u015far.<\/p>\n\n
IndexError<\/code> veya RuntimeError<\/code> belirtir ve modelin i\u00e7 mant\u0131\u011f\u0131nda bir \u015feylerin yanl\u0131\u015f gitti\u011fini g\u00f6sterir. Bu, genellikle yanl\u0131\u015f girdi format\u0131na i\u015faret eder.<\/li>\n[INST] {soru} [\/INST]<\/code>) hat\u0131rlars\u0131n\u0131z.<\/li>\n\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\nmodel_path = \".\/my_finetuned_gemma_4_model\" \n\ntokenizer = AutoTokenizer.from_pretrained(model_path)\nmodel = AutoModelForCausalLM.from_pretrained(\n model_path,\n torch_dtype=torch.bfloat16,\n device_map=\"auto\"\n)\n\n# Do\u011fru prompt format\u0131: modelin e\u011fitildi\u011fi \u015fablonu kullanma\nuser_question = \"Sipari\u015fimin durumu nedir?\"\nformatted_prompt = f\"[INST] {user_question} [\/INST]\"\n\ninputs = tokenizer(formatted_prompt, return_tensors=\"pt\").to(\"cuda\")\n\ntry:\n outputs = model.generate(\n inputs.input_ids,\n max_new_tokens=100,\n do_sample=True,\n top_k=50,\n top_p=0.95,\n temperature=0.7\n )\n response = tokenizer.decode(outputs[0], skip_special_tokens=True)\n # Yan\u0131ttan prompt k\u0131sm\u0131n\u0131 temizle\n response = response.replace(formatted_prompt, \"\").strip()\n print(\"Model Yan\u0131t\u0131:\", response)\nexcept Exception as e:\n print(f\"Model ilk mesajda \u00e7\u00f6kt\u00fc: {e}\")\n<\/code><\/pre>\n<\/div>\n\u0130leri D\u00fczey \u0130pu\u00e7lar\u0131 ve En \u0130yi Uygulamalar<\/h2>\n
Tutarl\u0131 Ortamlar \u0130\u00e7in Konteynerle\u015ftirme (Docker)<\/h3>\n
\n# \u00d6rnek Dockerfile\nFROM nvidia\/cuda:12.1.1-devel-ubuntu22.04 # CUDA s\u00fcr\u00fcm\u00fcn\u00fczle uyumlu bir temel imaj\nWORKDIR \/app\nCOPY requirements.txt .\nRUN pip install --no-cache-dir -r requirements.txt\nCOPY . .\n# Modelinizi ve \u00e7\u0131kar\u0131m beti\u011finizi kopyalay\u0131n\nCMD [\"python\", \"inference_app.py\"]\n<\/code><\/pre>\n<\/div>\nModel S\u00fcr\u00fcmleme ve CI\/CD Entegrasyonu<\/h3>\n
Geli\u015fmi\u015f Bellek Y\u00f6netimi ve Optimizasyon Teknikleri<\/h3>\n
\n
gc.collect()<\/code> ve torch.cuda.empty_cache()<\/code> gibi komutlar\u0131 uygun yerlerde kullanarak belle\u011fi manuel olarak temizlemeyi d\u00fc\u015f\u00fcnebilirsiniz.<\/li>\n<\/ul>\nDetayl\u0131 Loglama ve \u0130zleme (Monitoring)<\/h3>\n
\n
Sonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular<\/h3>\n
\n
\n C: Bu durum genellikle ortam tutars\u0131zl\u0131klar\u0131 (farkl\u0131 k\u00fct\u00fcphane veya CUDA s\u00fcr\u00fcmleri), yanl\u0131\u015f prompt \u015fablonu veya tokenizasyon, yetersiz GPU belle\u011fi (VRAM) veya modelin yanl\u0131\u015f kaydedilip y\u00fcklenmesi gibi nedenlerden kaynaklan\u0131r.\n <\/li>\n
\n C: Bu genellikle GPU belle\u011fi (VRAM) yetersizli\u011fine veya CUDA s\u00fcr\u00fcc\u00fcleri ile PyTorch\/Transformers k\u00fct\u00fcphaneleri aras\u0131ndaki uyumsuzluklara i\u015faret eder. VRAM kullan\u0131m\u0131n\u0131 izleyin ve CUDA s\u00fcr\u00fcm\u00fcn\u00fcz\u00fc kontrol edin. Modelinizi kuantize etmeyi veya daha k\u00fc\u00e7\u00fck bir batch boyutu kullanmay\u0131 deneyin.\n <\/li>\n
\n C: Prompt \u015fablonu, modelin e\u011fitildi\u011fi belirli bir girdi format\u0131d\u0131r (\u00f6rne\u011fin, [INST] soru [\/INST]<\/code>). Model, bu \u015fablona uygun token’lar\u0131 bekler. \u00c7\u0131kar\u0131m s\u0131ras\u0131nda farkl\u0131 bir \u015fablon kullanmak, modelin girdiyi yanl\u0131\u015f yorumlamas\u0131na ve \u00e7\u00f6kmesine yol a\u00e7abilir.\n <\/li>\n
\n C: Docker, e\u011fitim ve \u00e7\u0131kar\u0131m ortamlar\u0131 aras\u0131ndaki tutars\u0131zl\u0131klar\u0131 b\u00fcy\u00fck \u00f6l\u00e7\u00fcde ortadan kald\u0131rarak bir\u00e7ok sorunu \u00e7\u00f6zebilir. T\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131 ve yaz\u0131l\u0131m s\u00fcr\u00fcmlerini tek bir izole edilmi\u015f pakette birle\u015ftirdi\u011fi i\u00e7in ortam kaynakl\u0131 hatalar\u0131 azalt\u0131r.\n <\/li>\n
\n C: Python traceback’ini dikkatlice okuyun, hata mesaj\u0131n\u0131n hangi dosyadan ve sat\u0131rdan geldi\u011fini belirleyin. nvidia-smi<\/code> ile VRAM kullan\u0131m\u0131n\u0131, pip freeze<\/code> ile k\u00fct\u00fcphane s\u00fcr\u00fcmlerini kontrol edin. M\u00fcmk\u00fcnse, hata ay\u0131klay\u0131c\u0131 (debugger) kullanarak kodda ad\u0131m ad\u0131m ilerleyin ve loglama seviyesini art\u0131rarak daha fazla bilgi toplamaya \u00e7al\u0131\u015f\u0131n.\n <\/li>\n<\/ol>\n