\u015eimdi teorik bilgileri prati\u011fe d\u00f6kelim ve sqrt(d_k)<\/code> \u00f6l\u00e7eklendirmesini i\u00e7eren basit bir Self-Attention katman\u0131n\u0131 nas\u0131l kodlayabilece\u011fimize bakal\u0131m. Python ve PyTorch benzeri bir yakla\u015f\u0131mla, temel ad\u0131mlar\u0131 ve bu \u00f6l\u00e7eklendirme fakt\u00f6r\u00fcn\u00fcn kod i\u00e7indeki yerini g\u00f6sterece\u011fim. Bu \u00f6rnek, bir Transformer'\u0131n i\u00e7indeki temel attention mekanizmas\u0131n\u0131n bir basitle\u015ftirilmi\u015f halini temsil edecektir.<\/p>\n

\u0130lk olarak, giri\u015f verilerimizi (\u00f6rne\u011fin kelime g\u00f6mmeleri) Query (Q), Key (K) ve Value (V) matrislerine d\u00f6n\u00fc\u015ft\u00fcrmemiz gerekir. Bunun i\u00e7in do\u011frusal d\u00f6n\u00fc\u015f\u00fcmler kullan\u0131r\u0131z. Farz edelim ki, giri\u015f vekt\u00f6rlerimizin boyutu d_model<\/code> ve Q, K, V vekt\u00f6rlerinin boyutu d_k<\/code> olsun.<\/p>\n

\n\nimport torch\nimport torch.nn as nn\nimport math\n\nclass BasitSelfAttention(nn.Module):\n def __init__(self, d_model, d_k):\n super(BasitSelfAttention, self).__init__()\n # Q, K, V i\u00e7in lineer katmanlar\n self.query_proj = nn.Linear(d_model, d_k)\n self.key_proj = nn.Linear(d_model, d_k)\n self.value_proj = nn.Linear(d_model, d_k)\n self.scale_factor = math.sqrt(d_k)\n\n def forward(self, x):\n # x: (batch_size, sequence_length, d_model) boyutunda giri\u015f\n batch_size, seq_len, d_model = x.size()\n\n # Q, K, V projeksiyonlar\u0131\n # \u00c7\u0131kt\u0131 boyutlar\u0131: (batch_size, sequence_length, d_k)\n Q = self.query_proj(x)\n K = self.key_proj(x)\n V = self.value_proj(x)\n\n # Dikkat skorlar\u0131n\u0131 hesapla: Q * K.T\n # K.transpose(-2, -1) ile K matrisinin son iki boyutunu de\u011fi\u015ftiriyoruz\n # (batch_size, seq_len, d_k) @ (batch_size, d_k, seq_len) -> (batch_size, seq_len, seq_len)\n attention_scores = torch.matmul(Q, K.transpose(-2, -1))\n\n # * BURADA \u0130\u015eTE KR\u0130T\u0130K sqrt(d_k) \u00d6L\u00c7EKLEND\u0130RMES\u0130 DEVREYE G\u0130R\u0130YOR <\/strong>*\n attention_scores = attention_scores \/ self.scale_factor\n\n # Softmax uygula: Dikkat a\u011f\u0131rl\u0131klar\u0131n\u0131 olu\u015ftur\n # Softmax'\u0131 son boyuta uyguluyoruz (seq_len boyutu)\n attention_weights = torch.softmax(attention_scores, dim=-1)\n\n # Dikkat a\u011f\u0131rl\u0131klar\u0131n\u0131 Value vekt\u00f6rleriyle \u00e7arp ve topla\n # (batch_size, seq_len, seq_len) @ (batch_size, seq_len, d_k) -> (batch_size, seq_len, d_k)\n output = torch.matmul(attention_weights, V)\n\n return output, attention_weights\n\n# \u00d6rnek kullan\u0131m:\nd_model = 512 # Her bir kelimenin g\u00f6mme boyutu\nd_k = 64 # Query, Key, Value vekt\u00f6rlerinin boyutu\nbatch_size = 4\nsequence_length = 10 # C\u00fcmledeki kelime say\u0131s\u0131\n\n# Rastgele bir giri\u015f tens\u00f6r\u00fc olu\u015ftural\u0131m\n# Bu, 4 c\u00fcmlenin, her birinde 10 kelime ve her kelimenin 512 boyutlu g\u00f6m\u00fcl\u00fc halidir.\ninput_tensor = torch.randn(batch_size, sequence_length, d_model)\n\n# Self-Attention katman\u0131n\u0131 ba\u015flat\nattention_layer = BasitSelfAttention(d_model, d_k)\n\n# Katman\u0131 \u00e7al\u0131\u015ft\u0131r\noutput, attention_weights = attention_layer(input_tensor)\n\nprint(\"\u00c7\u0131k\u0131\u015f boyutu:\", output.shape) # (batch_size, sequence_length, d_k) olmal\u0131\nprint(\"Dikkat a\u011f\u0131rl\u0131klar\u0131 boyutu:\", attention_weights.shape) # (batch_size, sequence_length, sequence_length) olmal\u0131\n<\/pre>\n<\/code>\n<\/div>\n Yukar\u0131daki kod blo\u011funda, attention_scores = attention_scores \/ self.scale_factor<\/code> sat\u0131r\u0131, sqrt(d_k)<\/code> \u00f6l\u00e7eklendirmesinin tam olarak nerede uyguland\u0131\u011f\u0131n\u0131 g\u00f6steriyor. Bu basit b\u00f6lme i\u015flemi, Softmax fonksiyonunun daha stabil gradyanlar \u00fcretmesini sa\u011flayarak modelin \u00f6\u011frenmesini kolayla\u015ft\u0131r\u0131r. d_model<\/code> genellikle 512 gibi bir de\u011fer olurken, d_k<\/code> genellikle d_model<\/code>'in bir b\u00f6l\u00fcm\u00fc (\u00f6rne\u011fin 64) olarak ayarlan\u0131r. Bu parametreler, modelin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 ve hesaplama maliyetini do\u011frudan etkiler.<\/p>\n Bu pratik \u00f6rnek, Self-Attention mekanizmas\u0131n\u0131n ard\u0131ndaki matematiksel ve programatik ad\u0131mlar\u0131 net bir \u015fekilde anlaman\u0131za yard\u0131mc\u0131 olmu\u015ftur. \u00d6l\u00e7eklendirmenin bu kadar basit bir b\u00f6lme i\u015flemiyle ne denli kritik bir fark yaratabildi\u011fini g\u00f6rmek \u015fa\u015f\u0131rt\u0131c\u0131 olabilir. Ancak derin \u00f6\u011frenme d\u00fcnyas\u0131nda, k\u00fc\u00e7\u00fck g\u00f6r\u00fcnen detaylar genellikle en b\u00fcy\u00fck etkiyi yarat\u0131r. Bu kod par\u00e7ac\u0131\u011f\u0131, kendi Transformer modellerinizi olu\u015ftururken veya mevcut modelleri incelerken size bir ba\u015flang\u0131\u00e7 noktas\u0131 sunacakt\u0131r.<\/p>\n \n Uzman \u0130pucu: \u00c7ok ba\u015fl\u0131 dikkat (Multi-Head Attention) mekanizmas\u0131nda her bir ba\u015fl\u0131k i\u00e7in ayr\u0131 Q, K, V projeksiyonlar\u0131 yap\u0131l\u0131r ve her ba\u015fl\u0131k kendi d_k<\/code> de\u011ferine sahip olabilir. Bu, \u00f6l\u00e7eklendirme fakt\u00f6r\u00fcn\u00fcn her ba\u015fl\u0131k i\u00e7in ayr\u0131 ayr\u0131 hesapland\u0131\u011f\u0131 anlam\u0131na gelir. Bu tasar\u0131m, modelin farkl\u0131 \"g\u00f6revler\" veya \"ili\u015fki t\u00fcrleri\" i\u00e7in dikkatini farkl\u0131 yerlere odaklamas\u0131na olanak tan\u0131yarak performans\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r.\n<\/div>\nGer\u00e7ek D\u00fcnya Senaryolar\u0131: sqrt(d_k) Nerede Fark Yarat\u0131r?<\/h2>\nsqrt(d_k)<\/code> \u00f6l\u00e7eklendirmesinin sadece teorik bir detay olmad\u0131\u011f\u0131n\u0131, aksine modern yapay zeka uygulamalar\u0131n\u0131n temelini olu\u015fturan kritik bir bile\u015fen oldu\u011funu biliyor muydunuz? Bu k\u00fc\u00e7\u00fck matematiksel fakt\u00f6r, \u00f6zellikle b\u00fcy\u00fck \u00f6l\u00e7ekli derin \u00f6\u011frenme modellerinin ba\u015far\u0131s\u0131nda vazge\u00e7ilmez bir rol oynar. \u0130\u015fte bu \u00f6l\u00e7eklendirmenin ger\u00e7ek d\u00fcnya senaryolar\u0131nda nas\u0131l bir fark yaratt\u0131\u011f\u0131na dair iki \u00e7arp\u0131c\u0131 vaka analizi:<\/p>\n Vaka Analizi 1: B\u00fcy\u00fck Dil Modelleri (LLM'ler) ve E\u011fitim Stabilitesi<\/h3>\nG\u00fcn\u00fcm\u00fcz\u00fcn en etkileyici yapay zeka ba\u015far\u0131lar\u0131ndan biri olan GPT-3, PaLM, LLaMA gibi b\u00fcy\u00fck dil modelleri, milyarlarca parametreye sahip Transformer mimarilerine dayan\u0131r. Bu modeller, internetten toplanan devasa metin veri k\u00fcmeleri \u00fczerinde g\u00fcnlerce, hatta haftalarca e\u011fitilir. B\u00f6ylesine b\u00fcy\u00fck modelleri e\u011fitmek, zaten b\u00fcy\u00fck bir m\u00fchendislik ve hesaplama zorlu\u011fudur. E\u011fitim s\u0131ras\u0131nda gradyan patlamas\u0131 veya gradyan kaybolmas\u0131 gibi istikrars\u0131zl\u0131klar ya\u015fanmas\u0131, t\u00fcm bu eme\u011fi ve hesaplama g\u00fcc\u00fcn\u00fc bo\u015fa \u00e7\u0131karabilir. \u0130\u015fte tam da bu noktada sqrt(d_k)<\/code> \u00f6l\u00e7eklendirmesi devreye girer.<\/p>\n LLM'lerde genellikle \u00e7ok y\u00fcksek d_model<\/code> ve d_k<\/code> boyutlar\u0131 kullan\u0131l\u0131r. \u00d6rne\u011fin, 768 ila 12288 aras\u0131nda de\u011fi\u015fen d_model<\/code> de\u011ferleri ve 64 ila 128 aras\u0131nda de\u011fi\u015fen d_k<\/code> de\u011ferleri yayg\u0131nd\u0131r. Bu y\u00fcksek boyutlar, Self-Attention nokta \u00e7arp\u0131mlar\u0131n\u0131n potansiyel olarak astronomik de\u011ferlere ula\u015fmas\u0131na neden olurdu. sqrt(d_k)<\/code> \u00f6l\u00e7eklendirmesi olmasayd\u0131, Softmax fonksiyonu s\u00fcrekli olarak doygunluk durumuna ula\u015f\u0131r, gradyanlar yok olur ve model etkili bir \u015fekilde \u00f6\u011frenemezdi. E\u011fitimin ba\u015flar\u0131nda k\u00fc\u00e7\u00fck varyasyonlar bile, katmanlar boyunca yay\u0131ld\u0131k\u00e7a katlanarak b\u00fcy\u00fcr ve modelin a\u011f\u0131rl\u0131klar\u0131n\u0131 tamamen bozard\u0131. Ancak sqrt(d_k)<\/code> sayesinde, dikkat skorlar\u0131 daha y\u00f6netilebilir bir aral\u0131kta tutulur, Softmax daha sa\u011fl\u0131kl\u0131 gradyanlar \u00fcretir ve model, bu devasa veri k\u00fcmeleri \u00fczerinde bile saatlerce, g\u00fcnlerce, hatta haftalarca istikrarl\u0131 bir \u015fekilde \u00f6\u011frenmeye devam edebilir. Bu, LLM'lerin insan benzeri metinler \u00fcretme, \u00e7eviri yapma ve karma\u015f\u0131k sorular\u0131 yan\u0131tlama gibi inan\u0131lmaz yeteneklerini m\u00fcmk\u00fcn k\u0131lan temel fakt\u00f6rlerden biridir. K\u0131sacas\u0131, sqrt(d_k)<\/code> olmadan g\u00fcn\u00fcm\u00fcz\u00fcn devasa LLM'lerini bu kadar ba\u015far\u0131l\u0131 bir \u015fekilde e\u011fitmek neredeyse imkans\u0131z olurdu.<\/p>\n Vaka Analizi 2: Bilgisayar G\u00f6r\u00fcs\u00fc (Vision Transformers) ve \u00d6zellik Temsili<\/h3>\nTransformer'lar ba\u015flang\u0131\u00e7ta do\u011fal dil i\u015fleme i\u00e7in tasarlanm\u0131\u015f olsa da, son y\u0131llarda bilgisayar g\u00f6r\u00fcs\u00fc alan\u0131nda da b\u00fcy\u00fck ba\u015far\u0131lar elde ettiler. Vision Transformer (ViT) gibi modeller, g\u00f6r\u00fcnt\u00fcleri k\u00fc\u00e7\u00fck \"yamalar\" (patches) halinde b\u00f6lerek ve her bir yamay\u0131 bir kelime gibi i\u015flemden ge\u00e7irerek Self-Attention'\u0131 g\u00f6rsel g\u00f6revlere uygulad\u0131. Burada da sqrt(d_k)<\/code> \u00f6l\u00e7eklendirmesi kritik bir rol oynar.<\/p>\n Bir g\u00f6r\u00fcnt\u00fcdeki her bir yama, kendine has bir \u00f6zellik vekt\u00f6r\u00fc olarak temsil edilir. Bu yamalar aras\u0131ndaki Self-Attention, modelin bir g\u00f6r\u00fcnt\u00fcdeki farkl\u0131 b\u00f6lgelerin birbiriyle nas\u0131l ili\u015fkili oldu\u011funu, \u00f6rne\u011fin bir kedinin ba\u015f\u0131n\u0131n g\u00f6vdesiyle veya kuyru\u011fuyla ili\u015fkisini \u00f6\u011frenmesini sa\u011flar. d_k<\/code> boyutlar\u0131 burada da genellikle olduk\u00e7a y\u00fcksektir. G\u00f6r\u00fcnt\u00fcdeki say\u0131s\u0131z yama aras\u0131nda hesaplanan dikkat skorlar\u0131, e\u011fer \u00f6l\u00e7eklendirilmezse yine ayn\u0131 Softmax doygunluk sorununa yol a\u00e7ard\u0131. Model, g\u00f6r\u00fcnt\u00fcdeki \u00f6zellikler aras\u0131ndaki karma\u015f\u0131k ve ince ili\u015fkileri etkili bir \u015fekilde \u00f6\u011frenemez, bunun yerine rastgele veya tekd\u00fcze dikkat da\u011f\u0131l\u0131mlar\u0131 \u00fcretirdi. sqrt(d_k)<\/code> sayesinde, ViT'ler g\u00f6r\u00fcnt\u00fcdeki farkl\u0131 yama \u00e7iftleri aras\u0131ndaki benzerlikleri ve farkl\u0131l\u0131klar\u0131 daha hassas bir \u015fekilde \u00f6l\u00e7ebilir ve b\u00f6ylece daha zengin ve ba\u011flamsal g\u00f6rsel \u00f6zellik temsilleri olu\u015fturabilir. Bu da ViT'lerin g\u00f6r\u00fcnt\u00fc s\u0131n\u0131fland\u0131rma, nesne tespiti ve segmentasyon gibi g\u00f6revlerde geleneksel evri\u015fimli a\u011flara (CNN'ler) rakip olmas\u0131n\u0131, hatta baz\u0131 durumlarda onlar\u0131 geride b\u0131rakmas\u0131n\u0131 sa\u011flam\u0131\u015ft\u0131r. Dolay\u0131s\u0131yla, sqrt(d_k)<\/code> sadece metin verileriyle de\u011fil, g\u00f6rsel verilerle \u00e7al\u0131\u015fan Transformer'lar i\u00e7in de hayati \u00f6neme sahiptir.<\/p>\n \u00d6l\u00e7eklendirme Olmasayd\u0131 Ne Olurdu? Bir Vaka Analizi<\/h2>\n\u015eimdi biraz hayali bir senaryo kural\u0131m: Bir yapay zeka m\u00fchendisisiniz ve Transformer mimarisini kullanarak yeni bir dil modeli geli\u015ftirmeye \u00e7al\u0131\u015f\u0131yorsunuz. Ancak, bir g\u00f6zden ka\u00e7\u0131rma sonucu veya teorik bilgiyi yeterince sindiremedi\u011finiz i\u00e7in, Self-Attention mekanizmas\u0131ndaki kritik sqrt(d_k)<\/code> \u00f6l\u00e7eklendirme fakt\u00f6r\u00fcn\u00fc kodunuza eklemeyi unutuyorsunuz. Peki, bu durumda modelinizin e\u011fitim s\u00fcreci ve performans\u0131 nas\u0131l etkilenirdi? Gelin, bu hipotetik \"\u00f6l\u00e7eklendirmesiz Transformer\" projesinin olas\u0131 ak\u0131betini bir vaka analiziyle inceleyelim.<\/p>\n Senaryo: \"Unutulmu\u015f \u00d6l\u00e7eklendirme\" Projesi<\/h3>\n\nProjenin Ba\u015flang\u0131c\u0131:<\/strong> B\u00fcy\u00fck bir metin veri k\u00fcmesi \u00fczerinde s\u0131f\u0131rdan bir dil modeli e\u011fitmeye ba\u015fl\u0131yorsunuz. Model mimariniz standart bir Transformer encoder'\u0131 gibi, \u00e7ok ba\u015fl\u0131 dikkat katmanlar\u0131 ve besleme ileri (feed-forward) a\u011flar\u0131 i\u00e7eriyor. Ancak dikkat katman\u0131nda Q * K.transpose(-2, -1)<\/code> i\u015fleminden sonra sqrt(d_k)<\/code>'ye b\u00f6lme ad\u0131m\u0131n\u0131 atl\u0131yorsunuz.<\/li>\n E\u011fitimin \u0130lk A\u015famalar\u0131:<\/strong> E\u011fitimin ilk birka\u00e7 iterasyonunda her \u015fey normal g\u00f6r\u00fcn\u00fcyor. Kay\u0131p de\u011feri d\u00fc\u015f\u00fcyor, gradyanlar hesaplan\u0131yor. Model, ba\u015flang\u0131\u00e7ta veri \u00fczerinde y\u00fczeysel bir \u015feyler \u00f6\u011frenmeye ba\u015fl\u0131yor. Bu yan\u0131lt\u0131c\u0131 olabilir, \u00e7\u00fcnk\u00fc model hen\u00fcz karma\u015f\u0131k ili\u015fkileri \u00f6\u011frenmeye ba\u015flamam\u0131\u015ft\u0131r.<\/li>\n Ani De\u011fer Patlamalar\u0131 ve Kay\u0131p Dengesizli\u011fi:<\/strong> \u00c7ok ge\u00e7meden, e\u011fitim metriklerinizde tuhafl\u0131klar belirmeye ba\u015fl\u0131yor. \u00d6zellikle, Self-Attention katmanlar\u0131ndan \u00e7\u0131kan dikkat skorlar\u0131, beklenen de\u011ferlerin \u00e7ok \u00fczerine \u00e7\u0131k\u0131yor. Softmax'a giren bu devasa de\u011ferler (\u00f6rne\u011fin 1000'ler veya daha fazlas\u0131), Softmax'\u0131n \u00e7\u0131kt\u0131s\u0131n\u0131 neredeyse tamamen tek bir \u00f6\u011feye odakl\u0131yor. \u00d6rne\u011fin, bir kelime i\u00e7in t\u00fcm dikkat a\u011f\u0131rl\u0131klar\u0131 [0.001, 0.001, ..., 0.995, 0.001] \u015feklinde da\u011f\u0131l\u0131yor. Bu, modelin t\u00fcm ba\u011flam\u0131 g\u00f6z ard\u0131 edip, sadece tek bir kelimeye k\u00f6r\u00fc k\u00f6r\u00fcne odakland\u0131\u011f\u0131 anlam\u0131na geliyor.<\/li>\n Gradyan Kaybolmas\u0131 veya Patlamas\u0131:<\/strong> Softmax fonksiyonu bu denli doygunlu\u011fa ula\u015ft\u0131\u011f\u0131nda, gradyanlar son derece k\u00fc\u00e7\u00fck hale geliyor (yakla\u015f\u0131k s\u0131f\u0131r). Bu \"gradyan kaybolmas\u0131\", geriye yay\u0131l\u0131m s\u0131ras\u0131nda a\u011f\u0131rl\u0131k g\u00fcncellemelerinin etkisiz kalmas\u0131na yol a\u00e7ar. Daha derin katmanlardaki a\u011f\u0131rl\u0131klar neredeyse hi\u00e7 g\u00fcncellenmez. Alternatif olarak, e\u011fer a\u011f\u0131rl\u0131klar \u00e7ok h\u0131zl\u0131 b\u00fcy\u00fcrse, \"gradyan patlamas\u0131\" ya\u015fanabilir ve modelin a\u011f\u0131rl\u0131klar\u0131 'NaN' (Not a Number) de\u011ferlerine d\u00f6n\u00fc\u015febilir, bu da e\u011fitimi tamamen durdurur. \u00d6\u011frenme oran\u0131 hassasiyeti de a\u015f\u0131r\u0131 derecede artar; en k\u00fc\u00e7\u00fck bir de\u011fi\u015fiklik bile e\u011fitimi ya durdurur ya da \u00e7\u00f6kertir.<\/li>\n Performans D\u00fc\u015f\u00fc\u015f\u00fc ve Anlams\u0131z \u00c7\u0131kt\u0131lar:<\/strong> E\u011fitim ilerledik\u00e7e, modelin kay\u0131p de\u011feri ya tak\u0131l\u0131r ya da aniden y\u00fckselir. Do\u011frulama setindeki performans metrikleri (accuracy, perplexity vb.) bir t\u00fcrl\u00fc iyile\u015fmez. Model, sentaktik olarak do\u011fru g\u00f6r\u00fcnen ancak semantik olarak tamamen anlams\u0131z metinler \u00fcretir. \u00d6rne\u011fin, bir c\u00fcmleyi \u00e7evirmeye \u00e7al\u0131\u015ft\u0131\u011f\u0131nda sadece bir kelimeyi tekrar eden \u00e7\u0131kt\u0131lar verebilir veya ba\u011flamdan tamamen kopuk ifadeler kullanabilir. Bu, modelin karma\u015f\u0131k dilsel ba\u011f\u0131ml\u0131l\u0131klar\u0131 \u00f6\u011frenemedi\u011finin a\u00e7\u0131k bir i\u015faretidir.<\/li>\n Enerji ve Zaman \u0130sraf\u0131:<\/strong> Sonu\u00e7 olarak, haftalar s\u00fcren pahal\u0131 GPU kaynaklar\u0131 ve geli\u015ftirme s\u00fcresi bo\u015fa gitmi\u015f olur. Model, hi\u00e7bir zaman tatmin edici bir performans seviyesine ula\u015famaz ve projeniz ba\u015far\u0131s\u0131zl\u0131kla sonu\u00e7lan\u0131r. Sorunu tespit etmek de zor olabilir, \u00e7\u00fcnk\u00fc \u00e7o\u011fu derin \u00f6\u011frenme hatas\u0131 gibi, \"kay\u0131p de\u011ferim neden d\u00fc\u015fm\u00fcyor?\" sorusu bir\u00e7ok farkl\u0131 nedene i\u015faret edebilir.<\/li>\n<\/ol>\nBu senaryo, basit bir \u00f6l\u00e7eklendirme fakt\u00f6r\u00fcn\u00fcn g\u00f6z ard\u0131 edilmesinin, modern derin \u00f6\u011frenme modellerinin e\u011fitim s\u00fcrecini ve nihai performans\u0131n\u0131 nas\u0131l fel\u00e7 edebilece\u011fini a\u00e7\u0131k\u00e7a g\u00f6stermektedir. sqrt(d_k)<\/code> \u00f6l\u00e7eklendirmesi olmadan, Transformer'lar sadece ka\u011f\u0131t \u00fczerinde kalan etkileyici bir mimari olmaktan \u00f6teye ge\u00e7emezlerdi. Bu, derin \u00f6\u011frenme prati\u011finde k\u00fc\u00e7\u00fck g\u00f6r\u00fcnen matematiksel detaylar\u0131n ne kadar b\u00fcy\u00fck sonu\u00e7lar do\u011furabilece\u011fine dair m\u00fckemmel bir \u00f6rnektir.<\/p>\n \u0130leri D\u00fczey \u0130pu\u00e7lar\u0131: \u00d6l\u00e7eklendirme ve Optimizasyon Teknikleri<\/h2>\nsqrt(d_k)<\/code> \u00f6l\u00e7eklendirmesinin \u00f6nemini ve pratik uygulamas\u0131n\u0131 art\u0131k anlad\u0131k. Ancak Transformer tabanl\u0131 modellerle \u00e7al\u0131\u015f\u0131rken performans\u0131 ve e\u011fitim stabilitesini art\u0131rmak i\u00e7in sadece bu \u00f6l\u00e7eklendirme yeterli de\u011fildir. \u0130\u015fte daha deneyimli kullan\u0131c\u0131lar i\u00e7in baz\u0131 ileri d\u00fczey ipu\u00e7lar\u0131 ve optimizasyon teknikleri:<\/p>\n 1. Katman Normalizasyonu (Layer Normalization) ile Birle\u015ftirme<\/h3>\nTransformer mimarisinde, Self-Attention katmanlar\u0131ndan ve besleme ileri a\u011flardan sonra genellikle Katman Normalizasyonu (Layer Normalization) kullan\u0131l\u0131r. LayerNorm, her bir \u00f6rnek i\u00e7in aktivasyonlar\u0131 normalle\u015ftirerek, modelin \u00f6\u011frenme s\u00fcrecini daha istikrarl\u0131 hale getirir ve daha b\u00fcy\u00fck \u00f6\u011frenme oranlar\u0131 kullan\u0131lmas\u0131na olanak tan\u0131r. sqrt(d_k)<\/code> ile dikkat skorlar\u0131n\u0131 \u00f6l\u00e7eklendirmek, Softmax'\u0131n girdilerini stabilize ederken, LayerNorm ise katman \u00e7\u0131kt\u0131lar\u0131n\u0131 stabilize eder. Bu iki tekni\u011fin birle\u015fimi, gradyanlar\u0131n ak\u0131\u015f\u0131n\u0131 daha da iyile\u015ftirir ve modelin derin a\u011flarda bile stabil bir \u015fekilde \u00f6\u011frenmesini sa\u011flar.<\/p>\n \n\nimport torch.nn as nn\n\n# Basit Self-Attention \u00e7\u0131k\u0131\u015f\u0131ndan sonra LayerNorm uygulamas\u0131\nself.attention_output_norm = nn.LayerNorm(d_k) # d_k, attention'dan \u00e7\u0131kan boyut\n\n# ... forward fonksiyonu i\u00e7inde ...\noutput, _ = self.attention_layer(x)\noutput = self.attention_output_norm(output) # Normalizasyon uygula\n<\/pre>\n<\/code>\n<\/div>\n 2. \u00d6\u011frenme Oran\u0131 Planlay\u0131c\u0131lar\u0131 (Learning Rate Schedulers)<\/h3>\nTransformer modelleri genellikle \u00f6zel \u00f6\u011frenme oran\u0131 planlay\u0131c\u0131lar\u0131 ile e\u011fitilir. Bunlardan en bilineni, ba\u015flang\u0131\u00e7ta \u00f6\u011frenme oran\u0131n\u0131 \u0131s\u0131tma (warm-up) periyodunda kademeli olarak art\u0131ran, ard\u0131ndan ise ad\u0131m ad\u0131m veya kosin\u00fcs benzeri bir fonksiyonla d\u00fc\u015f\u00fcren planlay\u0131c\u0131lard\u0131r. Bu, modelin ba\u015flang\u0131\u00e7ta a\u015f\u0131r\u0131 b\u00fcy\u00fck gradyan g\u00fcncellemelerinden ka\u00e7\u0131nmas\u0131n\u0131 ve e\u011fitimi stabilize etmesini sa\u011flar. sqrt(d_k)<\/code> ile dikkat mekanizmas\u0131ndaki gradyan sorunlar\u0131n\u0131 azalt\u0131rken, iyi bir \u00f6\u011frenme oran\u0131 planlay\u0131c\u0131s\u0131 genel model e\u011fitimini daha da sa\u011flamla\u015ft\u0131r\u0131r.<\/p>\n 3. Dikkat Maskeleme (Attention Masking)<\/h3>\nTransformer'lar metin i\u015flerken, bir kelimenin gelecekteki kelimelere dikkat etmemesi gereken durumlar (\u00f6rne\u011fin, bir sonraki kelimeyi tahmin ederken) veya bir girdi dizisindeki dolgu (padding) token'lar\u0131na dikkat etmemesi gereken durumlar vard\u0131r. \"Dikkat maskeleme\", dikkat skorlar\u0131 Softmax'a girmeden \u00f6nce, baz\u0131 ba\u011flant\u0131lar\u0131n de\u011ferlerini \u00e7ok k\u00fc\u00e7\u00fck negatif say\u0131larla (\u00f6rne\u011fin -1e9) de\u011fi\u015ftirerek bu token'lara dikkat etmeyi engellemektir. Bu, Softmax'\u0131n bu de\u011ferlere s\u0131f\u0131ra yak\u0131n bir a\u011f\u0131rl\u0131k atamas\u0131n\u0131 sa\u011flar, b\u00f6ylece modelin sadece ge\u00e7erli ve uygun bilgilere odaklanmas\u0131n\u0131 sa\u011flar. Bu teknik, \u00f6zellikle diziden diziye (sequence-to-sequence) g\u00f6revlerde ve dil modellemesinde yayg\u0131n olarak kullan\u0131l\u0131r.<\/p>\n 4. Dropout Kullan\u0131m\u0131<\/h3>\nA\u015f\u0131r\u0131 \u00f6\u011frenmeyi (overfitting) \u00f6nlemek i\u00e7in Transformer modellerinde Dropout katmanlar\u0131 s\u0131k\u00e7a kullan\u0131l\u0131r. Dropout, e\u011fitim s\u0131ras\u0131nda n\u00f6ronlar\u0131n rastgele bir k\u0131sm\u0131n\u0131 ge\u00e7ici olarak devre d\u0131\u015f\u0131 b\u0131rakarak modelin farkl\u0131 \u00f6zellik kombinasyonlar\u0131na g\u00fcvenmesini \u00f6\u011fretir ve genelleme yetene\u011fini art\u0131r\u0131r. Bu, \u00f6zellikle b\u00fcy\u00fck ve karma\u015f\u0131k modellerde modelin daha sa\u011flam olmas\u0131n\u0131 sa\u011flar.<\/p>\n 5. \u00c7ok Ba\u015fl\u0131 Dikkat (Multi-Head Attention)<\/h3>\nTransformer'lar\u0131n sundu\u011fu en b\u00fcy\u00fck yeniliklerden biri olan \u00e7ok ba\u015fl\u0131 dikkat, modelin farkl\u0131 alt uzaylarda bilgi edinmesini sa\u011flar. Her bir \"ba\u015fl\u0131k\", Q, K, V i\u00e7in kendi lineer projeksiyonlar\u0131na sahiptir ve dikkat hesaplamas\u0131n\u0131 ba\u011f\u0131ms\u0131z olarak yapar. Sonu\u00e7lar birle\u015ftirilerek nihai \u00e7\u0131kt\u0131 elde edilir. Bu, modelin farkl\u0131 \"dikkat t\u00fcrlerini\" paralel olarak \u00f6\u011frenmesine olanak tan\u0131r (\u00f6rne\u011fin, bir ba\u015fl\u0131k isimleri fiillere ba\u011flarken, ba\u015fka bir ba\u015fl\u0131k s\u0131fatlar\u0131 niteledikleri isimlere ba\u011flayabilir). sqrt(d_k)<\/code> \u00f6l\u00e7eklendirmesi, her ba\u015fl\u0131k i\u00e7in ba\u011f\u0131ms\u0131z olarak uygulan\u0131r, b\u00f6ylece her ba\u015fl\u0131k kendi dikkat mekanizmas\u0131n\u0131 stabil bir \u015fekilde \u00e7al\u0131\u015ft\u0131r\u0131r.<\/p>\n \n Uzman \u0130pucu: Modelinizi optimize ederken, sadece sqrt(d_k)<\/code>'ye g\u00fcvenmeyin. Layer Normalizasyonun do\u011fru yerle\u015fimi, uygun \u00f6\u011frenme oran\u0131 planlay\u0131c\u0131lar\u0131 ve etkili dikkat maskeleme stratejileri bir araya geldi\u011finde, Transformer'\u0131n\u0131z\u0131n potansiyelini tam olarak ortaya \u00e7\u0131karabilirsiniz. Unutmay\u0131n, derin \u00f6\u011frenme optimizasyonu genellikle birden fazla tekni\u011fin dikkatli bir kombinasyonunu gerektirir.\n<\/div>\nMobil Cihazlarda Performans \u0130\u00e7in HTML Optimizasyonlar\u0131<\/h2>\nYapay zeka modellerinin yan\u0131 s\u0131ra, bu makaleyi okudu\u011funuz web sayfas\u0131n\u0131n veya herhangi bir web uygulamas\u0131n\u0131n performans\u0131n\u0131 optimize etmek de olduk\u00e7a \u00f6nemlidir, \u00f6zellikle mobil cihazlarda. Kullan\u0131c\u0131 deneyimini art\u0131rmak ve i\u00e7eri\u011finizi daha geni\u015f bir kitleye ula\u015ft\u0131rmak i\u00e7in duyarl\u0131 (responsive) ve h\u0131zl\u0131 y\u00fcklenen web sayfalar\u0131 tasarlamak kritik bir ad\u0131md\u0131r. \u0130\u015fte sqrt(d_k)<\/code> gibi teknik detaylar\u0131 a\u00e7\u0131klayan bir web sayfas\u0131n\u0131 bile mobil uyumlu hale getirmek i\u00e7in kullanabilece\u011finiz baz\u0131 HTML ve CSS ipu\u00e7lar\u0131, \u00f6zellikle medya sorgular\u0131 (media queries) ile:<\/p>\n 1. Duyarl\u0131 Tasar\u0131m \u0130\u00e7in Meta Viewport Etiketi<\/h3>\nHer \u015feyden \u00f6nce, web sayfan\u0131z\u0131n taray\u0131c\u0131 taraf\u0131ndan do\u011fru bir \u015fekilde \u00f6l\u00e7eklendirilmesini sa\u011flamak i\u00e7in HTML'inizin <\/code> b\u00f6l\u00fcm\u00fcne a\u015fa\u011f\u0131daki meta etiketini eklemelisiniz. Bu etiket, sayfan\u0131n cihaz\u0131n geni\u015fli\u011fini baz almas\u0131n\u0131 ve ilk y\u00fcklemede %100 yak\u0131nla\u015ft\u0131rma kullanmas\u0131n\u0131 s\u00f6yler:<\/p>\n \n\n\n<\/pre>\n<\/code>\n<\/div>\n 2. Esnek Izgara Sistemleri ve G\u00f6rseller<\/h3>\nMobil uyumlu tasar\u0131mda, sabit geni\u015flikler yerine y\u00fczdelik de\u011ferler veya flexbox<\/code>, grid<\/code> gibi CSS layout teknikleri kullanmak esast\u0131r. G\u00f6rsellerin de boyutlar\u0131n\u0131n cihaza g\u00f6re ayarlanabilmesi i\u00e7in max-width: 100%;<\/code> kural\u0131n\u0131 uygulamak yayg\u0131n bir pratikdir.<\/p>\n \n\n