Yapay zeka d\u00fcnyas\u0131n\u0131 k\u00f6kten de\u011fi\u015ftiren Transformer mimarisi ve dikkat mekanizmas\u0131n\u0131n derinliklerine iniyoruz. NLP teknolojisinin d\u00f6n\u00fcm noktas\u0131n\u0131 ke\u015ffedin.<\/p>\n
Hayal edin; elinizde binlerce sayfal\u0131k bir roman var ve bu roman\u0131n son sayfas\u0131ndaki bir gizemi \u00e7\u00f6zmek i\u00e7in ilk sayfadaki tek bir kelimeye ihtiyac\u0131n\u0131z var. \u0130nsan beyni i\u00e7in bu olduk\u00e7a kolay bir s\u00fcre\u00e7tir \u00e7\u00fcnk\u00fc biz okurken \u00f6nemli olaylara “odaklan\u0131r\u0131z”. Ancak 2017 y\u0131l\u0131ndan \u00f6nce yapay zeka modelleri i\u00e7in bu durum tam bir kabustu. Eski nesil modeller, metinleri kelime kelime, s\u0131rayla okumak zorundayd\u0131. Bu durum, uzun bir c\u00fcmlenin sonuna gelindi\u011finde ba\u015flang\u0131c\u0131n\u0131n tamamen unutulmas\u0131na yol a\u00e7\u0131yordu. \u0130\u015fte tam bu t\u0131kanma noktas\u0131nda, yapay zeka d\u00fcnyas\u0131nda ta\u015flar\u0131 yerinden oynatan bir makale yay\u0131mland\u0131: “Attention Is All You Need”<\/em>. Bu makaleyle hayat\u0131m\u0131za giren Transformer mimarisi, sadece do\u011fal dil i\u015flemeyi (NLP) de\u011fil, t\u00fcm yapay zeka ekosistemini sonsuza dek de\u011fi\u015ftirdi. Bu \u00fc\u00e7 b\u00f6l\u00fcml\u00fck serimizin ilk k\u0131sm\u0131nda, Transformer mimarisinin do\u011fu\u015funu, neden bu kadar devrimsel oldu\u011funu ve temel \u00e7al\u0131\u015fma prensiplerini ad\u0131m ad\u0131m inceleyece\u011fiz.<\/p>\n Transformer mimarisinden \u00f6nce, do\u011fal dil i\u015fleme ve dizi i\u015fleme (sequence processing) g\u00f6revlerinde taht\u0131n sahibi Yinelemeli Yapay Sinir A\u011flar\u0131 (RNN – Recurrent Neural Networks) ve onlar\u0131n daha geli\u015fmi\u015f bir versiyonu olan Uzun K\u0131sa S\u00fcreli Bellek (LSTM – Long Short-Term Memory) a\u011flar\u0131yd\u0131. \u00d6zellikle bu modellerin temel felsefesi, veriyi s\u0131rayla (sequential) i\u015flemek \u00fczerine kuruluydu. Bir c\u00fcmleyi anlamland\u0131rmak i\u00e7in ilk kelimeden ba\u015flar, ald\u0131klar\u0131 bilgiyi bir sonraki ad\u0131ma aktar\u0131r ve bu \u015fekilde ilerlerlerdi.<\/p>\n Ancak bu ard\u0131\u015f\u0131k yap\u0131, beraberinde \u00e7ok b\u00fcy\u00fck iki problem getirdi. \u0130lk olarak, paralelle\u015ftirme (parallelization) imkans\u0131zl\u0131\u011f\u0131<\/strong> ciddi bir darbo\u011faz olu\u015fturuyordu. Bir sonraki kelimeyi i\u015flemek i\u00e7in mutlaka bir \u00f6nceki kelimenin i\u015fleminin bitmesi gerekiyordu. Bu durum, modern grafik i\u015flemcilerin (GPU) sundu\u011fu devasa paralel i\u015flem g\u00fcc\u00fcnden yararlanamamak anlam\u0131na geliyordu. Dolay\u0131s\u0131yla, b\u00fcy\u00fck veri k\u00fcmeleriyle modelleri e\u011fitmek haftalar, hatta aylar s\u00fcr\u00fcyordu.<\/p>\n \u0130kinci b\u00fcy\u00fck sorun ise uzun vadeli ba\u011f\u0131ml\u0131l\u0131k (long-term dependency)<\/strong> problemiydi. Bir metin uzad\u0131k\u00e7a, modelin ilk kelimelerle olan ba\u011flam ili\u015fkisi zay\u0131fl\u0131yordu. Gradyanlar\u0131n yok olmas\u0131 (vanishing gradient) veya patlamas\u0131 (exploding gradient) gibi matematiksel engeller nedeniyle, LSTM a\u011flar\u0131 bile belirli bir uzunluktan sonra ba\u011flam\u0131 kaybediyordu. A\u015fa\u011f\u0131daki tabloda, geleneksel y\u00f6ntemler ile Transformer mimarisinin temel farklar\u0131n\u0131 daha net g\u00f6rebilirsiniz:<\/p>\n Sonu\u00e7 olarak, yapay zeka ara\u015ft\u0131rmac\u0131lar\u0131 daha b\u00fcy\u00fck modeller e\u011fitmek ve daha uzun metinleri anlamland\u0131rmak istediklerinde bu mimari s\u0131n\u0131rlara \u00e7arp\u0131yorlard\u0131. Sekt\u00f6r\u00fcn acilen yeni bir yakla\u015f\u0131ma ihtiyac\u0131 vard\u0131.<\/p>\n Yapay zekadaki bu t\u0131kan\u0131kl\u0131\u011f\u0131 a\u015fmak i\u00e7in geli\u015ftirilen en parlak fikir, insan alg\u0131s\u0131ndan ilham alan “Dikkat Mekanizmas\u0131” (Attention Mechanism) oldu. G\u00fcnl\u00fck hayatta bir gazete haberine g\u00f6z gezdirirken her kelimeye ayn\u0131 enerjiyi harcamay\u0131z. Ba\u015fl\u0131\u011fa, kal\u0131n yaz\u0131lm\u0131\u015f kelimelere veya ilgimizi \u00e7eken kavramlara odaklan\u0131r\u0131z. \u0130\u015fte dikkat mekanizmas\u0131, yapay zeka modellerine tam olarak bu yetene\u011fi kazand\u0131rd\u0131.<\/p>\n \u0130lk olarak Bahdanau ve arkada\u015flar\u0131 taraf\u0131ndan 2014 y\u0131l\u0131nda ortaya at\u0131lan bu konsept, modelin girdi dizisindeki belirli kelimeler aras\u0131ndaki ili\u015fki derecesini hesaplamas\u0131n\u0131 sa\u011flad\u0131. \u00d6rne\u011fin, “Kedi h\u0131zl\u0131ca ko\u015ftu \u00e7\u00fcnk\u00fc k\u00f6pekten korkuyordu” c\u00fcmlesini ele alal\u0131m. Buradaki “korkuyordu” kelimesinin kiminle ili\u015fkili oldu\u011funu anlamak i\u00e7in model, “kedi” kelimesine daha y\u00fcksek bir “dikkat a\u011f\u0131rl\u0131\u011f\u0131” (attention weight) verir. Bu sayede kelimeler aras\u0131ndaki mesafe ne kadar uzak olursa olsun, aralar\u0131ndaki anlamsal ba\u011f do\u011frudan kurulabilir.<\/p>\n Transformer mimarisi ise bu fikri bir ad\u0131m daha ileri ta\u015f\u0131yarak, ard\u0131\u015f\u0131k yap\u0131lar\u0131 tamamen ortadan kald\u0131rd\u0131 ve sadece dikkat mekanizmas\u0131na dayal\u0131 bir yap\u0131 in\u015fa etti. Art\u0131k modeller, kelimeleri s\u0131rayla okumak yerine, t\u00fcm c\u00fcmleyi ayn\u0131 anda g\u00f6r\u00fcyor ve kelimelerin birbirleriyle olan ili\u015fkilerini tek bir ad\u0131mda hesaplayabiliyordu. Bu durum, yapay zekan\u0131n ba\u011flam\u0131 anlama yetene\u011finde adeta bir kuantum s\u0131\u00e7ramas\u0131 yaratt\u0131.<\/p>\n Transformer mimarisi, temelde iki ana bloktan olu\u015fur: Encoder (Kodlay\u0131c\u0131)<\/strong> ve Decoder (Kod \u00c7\u00f6z\u00fcc\u00fc)<\/strong>. Bu iki yap\u0131, karma\u015f\u0131k matematiksel i\u015flemlerle veriyi i\u015fler ve d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Ancak mimariyi anlamak i\u00e7in \u00f6ncelikle verinin bu sisteme nas\u0131l girdi\u011fini kavramam\u0131z gerekir. Gelin, bu s\u00fcreci ad\u0131m ad\u0131m inceleyelim.<\/p>\n \u0130lk ad\u0131m, metnin bilgisayar\u0131n anlayabilece\u011fi say\u0131lara d\u00f6n\u00fc\u015ft\u00fcr\u00fclmesidir. Bu i\u015fleme Konumsal kodlama, her kelimenin c\u00fcmledeki konumuna dair bilgiyi i\u00e7eren benzersiz bir matematiksel dalga fonksiyonunu (sin\u00fcs ve kosin\u00fcs dalgalar\u0131) kelime vekt\u00f6rlerine ekler. B\u00f6ylece model, “Mavi araba” ile “Araba mavi” aras\u0131ndaki fark\u0131, kelimelerin s\u0131ras\u0131n\u0131 bilerek ay\u0131rt edebilir. Bu \u00f6n i\u015flemler tamamland\u0131ktan sonra veri, as\u0131l b\u00fcy\u00fcleyici k\u0131s\u0131m olan dikkat katmanlar\u0131na aktar\u0131l\u0131r.<\/p>\n Geleneksel bir Transformer mimarisinde Encoder, girdi metnini al\u0131r, analiz eder ve bu metnin anlamsal bir temsilini (representation) olu\u015fturur. Decoder ise bu anlamsal temsili kullanarak hedef \u00e7\u0131kt\u0131y\u0131 ad\u0131m ad\u0131m \u00fcretir. \u00d6rne\u011fin, bir \u0130ngilizce-T\u00fcrk\u00e7e \u00e7eviri g\u00f6revinde, “The cat sat on the mat” c\u00fcmlesi \u00f6nce Encoder taraf\u0131ndan tamamen okunur ve \u00e7\u00f6z\u00fcmlenir. Ard\u0131ndan Decoder, bu bilgiyi kullanarak “Kedi mat\u0131n \u00fczerine oturdu” \u00e7\u0131kt\u0131s\u0131n\u0131 \u00fcretmeye ba\u015flar.<\/p>\n Encoder ve Decoder bloklar\u0131n\u0131n i\u00e7inde birden fazla katman bulunur. Her katmanda self-attention (\u00f6z-dikkat) ve feed-forward (ileri beslemeli) sinir a\u011f\u0131 katmanlar\u0131 yer al\u0131r. Ayr\u0131ca, e\u011fitim s\u00fcrecini stabilize etmek ve derin a\u011flarda bilgi kayb\u0131n\u0131 \u00f6nlemek i\u00e7in her katman\u0131n etraf\u0131nda art\u0131k ba\u011flant\u0131lar (residual connections) ve katman normalizasyonu (layer normalization) kullan\u0131l\u0131r.<\/p>\n Transformer mimarisinin kalbi \u015f\u00fcphesiz Self-Attention (\u00d6z-Dikkat)<\/strong> mekanizmas\u0131d\u0131r. Bu mekanizma, bir c\u00fcmledeki her kelimenin, ayn\u0131 c\u00fcmledeki di\u011fer t\u00fcm kelimelerle olan ili\u015fkisini hesaplar. Matematiksel olarak bu i\u015flem, her kelime i\u00e7in \u00fc\u00e7 farkl\u0131 vekt\u00f6r \u00fcretilerek ger\u00e7ekle\u015ftirilir:<\/p>\n Bu kavramlar\u0131 bir k\u00fct\u00fcphane analojisiyle a\u00e7\u0131klayabiliriz. Bir konu hakk\u0131nda ara\u015ft\u0131rma yapmak istedi\u011finizde (Query), k\u00fct\u00fcphanedeki kitaplar\u0131n arkas\u0131ndaki dizin bilgilerine bakars\u0131n\u0131z (Key). E\u015fle\u015fen en do\u011fru kitab\u0131 buldu\u011funuzda ise o kitab\u0131n i\u00e7indeki bilgiyi okursunuz (Value). Matematiksel olarak \u00f6z-dikkat \u015fu form\u00fclle hesaplan\u0131r:<\/p>\n Burada Teorik bilgileri peki\u015ftirmenin en iyi yolu pratik yapmakt\u0131r. G\u00fcn\u00fcm\u00fczde Hugging Face k\u00fct\u00fcphanesi sayesinde Transformer modellerini kullanmak son derece kolayla\u015fm\u0131\u015ft\u0131r. A\u015fa\u011f\u0131daki kod blo\u011funda, T\u00fcrk\u00e7e bir metnin duygu analizini (sentiment analysis) ger\u00e7ekle\u015ftirmek i\u00e7in \u00f6nceden e\u011fitilmi\u015f bir Transformer modelini nas\u0131l kullanabilece\u011fimizi g\u00f6rebilirsiniz:<\/p>\n Yukar\u0131daki kod, arka planda milyonlarca parametreye sahip bir Transformer mimarisini (BERT tabanl\u0131) \u00e7al\u0131\u015ft\u0131r\u0131r. Model, kelimeler aras\u0131ndaki t\u00fcm \u00f6z-dikkat ili\u015fkilerini saniyeler i\u00e7inde analiz ederek metnin olumlu mu yoksa olumsuz mu oldu\u011funu y\u00fcksek do\u011frulukla tespit eder.<\/p>\n Gelin, bu teknolojinin i\u015f d\u00fcnyas\u0131ndaki somut bir yans\u0131mas\u0131na g\u00f6z atal\u0131m. T\u00fcrkiye’nin \u00f6nde gelen e-ticaret platformlar\u0131ndan birini hayal edin. G\u00fcnde y\u00fcz binlerce yeni \u00fcr\u00fcn yorumu al\u0131yorlar. M\u00fc\u015fteri memnuniyetini \u00f6l\u00e7mek ve \u015fikayetlere an\u0131nda m\u00fcdahale etmek i\u00e7in bu yorumlar\u0131n h\u0131zla kategorize edilmesi gerekiyor.<\/p>\n Eski sistemde, bu i\u015flem i\u00e7in kelime e\u015fle\u015ftirme (rule-based) y\u00f6ntemleri veya klasik LSTM modelleri kullan\u0131l\u0131yordu. Ancak T\u00fcrk\u00e7e, sondan eklemeli bir dil oldu\u011fu i\u00e7in kelime k\u00f6klerini bulmak ve mecazi ifadeleri anlamak bu modeller i\u00e7in \u00e7ok zordu. \u00d6rne\u011fin, “Bu fiyata daha iyisi \u015eam’da kay\u0131s\u0131!” yorumundaki olumlu tonu eski sistemler yakalayam\u0131yor, i\u00e7inde olumsuz kelimeler ar\u0131yordu. Sonu\u00e7 olarak do\u011fruluk oran\u0131 %72 civar\u0131nda kal\u0131yordu ve sistem \u00e7ok yava\u015f \u00e7al\u0131\u015f\u0131yordu.<\/p>\n \u015eirket, Transformer tabanl\u0131 T\u00fcrk\u00e7e BERT modeline ge\u00e7i\u015f yapt\u0131ktan sonra \u015fu sonu\u00e7lar\u0131 elde etti:<\/p>\n Bu vaka analizi, Transformer mimarisinin sadece akademik bir ba\u015far\u0131 olmad\u0131\u011f\u0131n\u0131, i\u015f s\u00fcre\u00e7lerini optimize etmede nas\u0131l devrimsel bir ara\u00e7 oldu\u011funu a\u00e7\u0131k\u00e7a g\u00f6stermektedir.<\/p>\n Transformer mimarisi, yapay zekada yeni bir d\u00f6nemin kap\u0131lar\u0131n\u0131 aralad\u0131. Bug\u00fcn kulland\u0131\u011f\u0131m\u0131z ChatGPT, Midjourney, Claude ve daha pek \u00e7ok devrimsel teknoloji, g\u00fcc\u00fcn\u00fc bu temel mimariden al\u0131yor. Serimizin bu ilk b\u00f6l\u00fcm\u00fcnde, geleneksel modellerin neden yetersiz kald\u0131\u011f\u0131n\u0131, dikkat mekanizmas\u0131n\u0131n mant\u0131\u011f\u0131n\u0131 ve mimarinin temel ta\u015flar\u0131n\u0131 inceledik. Bir sonraki b\u00f6l\u00fcmde, bu mimarinin nas\u0131l devasa modellere d\u00f6n\u00fc\u015ft\u00fc\u011f\u00fcn\u00fc ve GPT serisinin arkas\u0131ndaki s\u0131rlar\u0131 ele alaca\u011f\u0131z.<\/p>\n 1. Transformer mimarisi sadece metin i\u015flemlerinde mi kullan\u0131l\u0131r?<\/strong> 2. LSTM modelleri tamamen tarih mi oldu?<\/strong> 3. Transformer modellerinin en b\u00fcy\u00fck dezavantaj\u0131 nedir?<\/strong> #YapayZeka #TransformerMimarisi #DerinOgrenme #NLP #Teknoloji<\/p>\nYapay Zeka Neden T\u0131kand\u0131? RNN ve LSTM\u2019in S\u0131n\u0131rlar\u0131 Nelerdi?<\/h2>\n
\n\n
\n \n\u00d6zellik<\/th>\n RNN \/ LSTM<\/th>\n Transformer Mimarisi<\/th>\n<\/tr>\n<\/thead>\n \n \u0130\u015fleme Bi\u00e7imi<\/td>\n Ard\u0131\u015f\u0131k (S\u0131rayla)<\/td>\n Paralel (E\u015fzamanl\u0131)<\/td>\n<\/tr>\n \n Uzun Ba\u011flam Belle\u011fi<\/td>\n Zay\u0131f (Unutma e\u011filimli)<\/td>\n \u00c7ok G\u00fc\u00e7l\u00fc (S\u0131n\u0131rs\u0131z yak\u0131n)<\/td>\n<\/tr>\n \n GPU Uyumlulu\u011fu<\/td>\n D\u00fc\u015f\u00fck (Yava\u015f e\u011fitim)<\/td>\n M\u00fckemmel (H\u0131zl\u0131 e\u011fitim)<\/td>\n<\/tr>\n \n Hesaplama Karma\u015f\u0131kl\u0131\u011f\u0131<\/td>\n Dizi uzunlu\u011funa ba\u011fl\u0131 do\u011frusal<\/td>\n Dizi uzunlu\u011funun karesiyle orant\u0131l\u0131<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Dikkat Mekanizmas\u0131 (Attention Mechanism) Nedir ve Neyi De\u011fi\u015ftirdi?<\/h2>\n
Ad\u0131m Ad\u0131m Transformer Mimarisi: Temel Bile\u015fenler Nelerdir?<\/h2>\n
Tokenization<\/code> (Belirte\u00e7lere Ay\u0131rma) ad\u0131 verilir. Metin k\u00fc\u00e7\u00fck par\u00e7alara (kelimeler veya alt kelimeler) ayr\u0131ld\u0131ktan sonra, her bir belirte\u00e7 y\u00fcksek boyutlu bir vekt\u00f6re d\u00f6n\u00fc\u015ft\u00fcr\u00fcl\u00fcr. Bu i\u015fleme ise Word Embedding<\/code> (Kelime G\u00f6mme) denir. Ancak Transformer mimarisi t\u00fcm kelimeleri ayn\u0131 anda i\u015fledi\u011fi i\u00e7in, kelimelerin c\u00fcmle i\u00e7indeki s\u0131ras\u0131n\u0131 kaybeder. Bu sorunu \u00e7\u00f6zmek i\u00e7in mimariye \u00e7ok kritik bir bile\u015fen eklenmi\u015ftir: Positional Encoding (Konumsal Kodlama)<\/strong>.<\/p>\nEncoder (Kodlay\u0131c\u0131) ve Decoder (Kod \u00c7\u00f6z\u00fcc\u00fc) Nas\u0131l \u00c7al\u0131\u015f\u0131r?<\/h3>\n
Self-Attention (\u00d6z-Dikkat) S\u00fcreci Nas\u0131l \u0130\u015fler?<\/h3>\n
\n
Attention(Q, K, V) = softmax( (Q * K^T) \/ sqrt(d_k) ) * V<\/code><\/p>\nd_k<\/code>, anahtar vekt\u00f6rlerinin boyutunu temsil eder ve b\u00f6lme i\u015flemi gradyanlar\u0131n \u00e7ok k\u00fc\u00e7\u00fclmesini engellemek i\u00e7in \u00f6l\u00e7ekleme amac\u0131 ta\u015f\u0131r. Softmax fonksiyonu ise elde edilen skorlar\u0131 olas\u0131l\u0131k de\u011ferlerine (0 ile 1 aras\u0131na) d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. B\u00f6ylece model, hangi kelimeye ne kadar odaklanmas\u0131 gerekti\u011fini kesin bir \u015fekilde \u00f6\u011frenir.<\/p>\nKodlarla Transformer: Basit Bir PyTorch Uygulamas\u0131<\/h2>\n
from transformers import pipeline\n\n# T\u00fcrk\u00e7e duygu analizi i\u00e7in \u00f6nceden e\u011fitilmi\u015f bir Transformer modeli y\u00fckl\u00fcyoruz\nclassifier = pipeline(\"sentiment-analysis\", model=\"savasy\/bert-base-turkish-sentiment-analysis\")\n\n# Analiz etmek istedi\u011fimiz T\u00fcrk\u00e7e m\u00fc\u015fteri yorumlar\u0131\ncomments = [\n \"Bu \u00fcr\u00fcn\u00fc ald\u0131\u011f\u0131m i\u00e7in ger\u00e7ekten \u00e7ok mutluyum, harika \u00e7al\u0131\u015f\u0131yor!\",\n \"Kargo \u00e7ok yava\u015f geldi ve paketleme berbatt\u0131, kesinlikle tavsiye etmem.\"\n]\n\n# Modeli \u00e7al\u0131\u015ft\u0131r\u0131yoruz ve sonu\u00e7lar\u0131 ekrana yazd\u0131r\u0131yoruz\nfor comment in comments:\n result = classifier(comment)[0]\n print(f\"Yorum: '{comment}'\")\n print(f\"Durum: {result['label']} (G\u00fcven Skoru: {result['score']:.4f})\\n\")\n<\/code><\/pre>\n<\/div>\nGer\u00e7ek D\u00fcnya Senaryosu: T\u00fcrk\u00e7e M\u00fc\u015fteri Yorumlar\u0131n\u0131 S\u0131n\u0131fland\u0131rma<\/h2>\n
\n
Transformer Mimarisinin Gelece\u011fi ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular<\/h3>\n
\nHay\u0131r. \u0130lk olarak do\u011fal dil i\u015fleme i\u00e7in geli\u015ftirilmi\u015f olsa da g\u00fcn\u00fcm\u00fczde Vision Transformers (ViT) ile bilgisayarl\u0131 g\u00f6r\u00fc (computer vision), ses i\u015fleme ve hatta biyolojide protein katlanmas\u0131 tahmini (AlphaFold) gibi \u00e7ok farkl\u0131 alanlarda ba\u015far\u0131yla kullan\u0131lmaktad\u0131r.<\/p>\n
\nB\u00fcy\u00fck \u00f6l\u00e7\u00fcde evet. Ancak \u00e7ok d\u00fc\u015f\u00fck donan\u0131ml\u0131 cihazlarda veya \u00e7ok k\u0131sa dizilerin ger\u00e7ek zamanl\u0131 i\u015flenmesi gereken baz\u0131 \u00f6zel end\u00fcstriyel senaryolarda, d\u00fc\u015f\u00fck hesaplama maliyeti nedeniyle hala tercih edilebilmektedir.<\/p>\n
\nEn b\u00fcy\u00fck dezavantaj\u0131, hesaplama maliyetinin y\u00fcksek olmas\u0131d\u0131r. \u00d6z-dikkat mekanizmas\u0131, girdi uzunlu\u011funun karesiyle orant\u0131l\u0131 (O(N^2)) kaynak t\u00fcketti\u011fi i\u00e7in \u00e7ok uzun metinlerde devasa miktarda bellek (VRAM) ve i\u015flemci g\u00fcc\u00fc gerektirir.<\/p>\n