B\u00fcy\u00fck dil modelleri (LLM’ler) d\u00fcnyas\u0131nda son y\u0131llarda ya\u015fanan h\u0131zl\u0131 geli\u015fmeler, yapay zekan\u0131n yeteneklerini bamba\u015fka bir seviyeye ta\u015f\u0131d\u0131. Peki, bu devasa modellerin arkas\u0131ndaki sihir nedir? Cevap genellikle “Transformer” mimarisinde gizlidir. Bu makale, Transformer’\u0131n temel bile\u015fenlerini, \u00e7al\u0131\u015fma prensiplerini ve do\u011fal dil i\u015flemedeki (NLP) devrimsel etkilerini s\u0131f\u0131rdan ba\u015flayarak, ad\u0131m ad\u0131m a\u00e7\u0131kl\u0131yor. E\u011fer LLM’lerin kalbindeki bu g\u00fc\u00e7l\u00fc yap\u0131y\u0131 anlamak istiyorsan\u0131z, do\u011fru yerdesiniz. Gelin, Transformer’\u0131n b\u00fcy\u00fcl\u00fc d\u00fcnyas\u0131na birlikte dalal\u0131m ve bu mimarinin nas\u0131l bir \u00e7\u0131\u011f\u0131r a\u00e7t\u0131\u011f\u0131n\u0131 ke\u015ffedelim.<\/p>\n
Son birka\u00e7 y\u0131ld\u0131r, yapay zeka alan\u0131nda b\u00fcy\u00fck dil modellerinin (LLM’ler) y\u00fckseli\u015fi, teknoloji d\u00fcnyas\u0131nda adeta bir deprem etkisi yaratt\u0131. \u0130nsan benzeri metinler \u00fcretme, karma\u015f\u0131k sorular\u0131 yan\u0131tlama, diller aras\u0131 \u00e7eviri yapma ve hatta kod yazma yetenekleri sayesinde LLM’ler, bir\u00e7ok sekt\u00f6rde d\u00f6n\u00fc\u015ft\u00fcr\u00fcc\u00fc bir potansiyel sunuyor. Bu modellerin bu denli \u00f6nemli hale gelmesinin temelinde, do\u011fal dili anlama ve \u00fcretme yeteneklerinin daha \u00f6nceki y\u00f6ntemlere k\u0131yasla katlanarak artmas\u0131 yat\u0131yor. Geleneksel do\u011fal dil i\u015fleme yakla\u015f\u0131mlar\u0131, genellikle kural tabanl\u0131 sistemler veya daha basit makine \u00f6\u011frenimi algoritmalar\u0131 \u00fczerine kuruluydu. Ancak bu yakla\u015f\u0131mlar, dilin karma\u015f\u0131kl\u0131\u011f\u0131, ba\u011flamsal incelikleri ve s\u00fcrekli de\u011fi\u015fen yap\u0131s\u0131 kar\u015f\u0131s\u0131nda yetersiz kal\u0131yordu.<\/p>\n
\u00d6zellikle metinlerdeki uzun menzilli ba\u011f\u0131ml\u0131l\u0131klar\u0131 (long-range dependencies) anlama konusunda ciddi zorluklar ya\u015fan\u0131yordu. Bir c\u00fcmlenin ba\u015f\u0131ndaki bir kelimenin anlam\u0131, c\u00fcmlenin sonundaki bir kelimeyle do\u011frudan ili\u015fkili olabilir ve bu t\u00fcr ili\u015fkileri yakalamak, geleneksel modeller i\u00e7in b\u00fcy\u00fck bir problemdi. \u00d6rne\u011fin, “Ay\u015fe, d\u00fcn yeni ald\u0131\u011f\u0131 kitab\u0131 okurken \u00e7ok keyif ald\u0131; o, fantastik bir d\u00fcnyaya dalm\u0131\u015ft\u0131” c\u00fcmlesinde “o” zamirinin “Ay\u015fe”ye mi yoksa “kitaba” m\u0131 g\u00f6nderme yapt\u0131\u011f\u0131n\u0131 anlamak, modelin ba\u011flam\u0131 do\u011fru yorumlamas\u0131n\u0131 gerektirir. Tekrarlayan sinir a\u011flar\u0131 (Recurrent Neural Networks – RNN) ve onlar\u0131n geli\u015ftirilmi\u015f versiyonlar\u0131 olan Uzun K\u0131sa S\u00fcreli Bellek (Long Short-Term Memory – LSTM) a\u011flar\u0131, bu uzun menzilli ba\u011f\u0131ml\u0131l\u0131klar\u0131 bir nebze \u00e7\u00f6zebilse de, \u00f6zellikle \u00e7ok uzun metinlerde performans d\u00fc\u015f\u00fc\u015fleri ya\u015f\u0131yor ve e\u011fitim s\u00fcre\u00e7leri olduk\u00e7a yava\u015f ilerliyordu. \u00c7\u00fcnk\u00fc bu modeller, kelimeleri veya token’lar\u0131 (belirte\u00e7leri) ard\u0131\u015f\u0131k bir \u015fekilde i\u015fledi\u011fi i\u00e7in, paralel i\u015flemeye pek elveri\u015fli de\u011fildi. Bu durum, b\u00fcy\u00fck veri k\u00fcmeleri \u00fczerinde model e\u011fitmenin maliyetini ve s\u00fcresini art\u0131r\u0131yordu.<\/p>\n
\u0130\u015fte tam bu noktada, Transformer mimarisi sahneye \u00e7\u0131karak t\u00fcm bu sorunlara yenilik\u00e7i bir \u00e7\u00f6z\u00fcm getirdi. Transformer’\u0131n en b\u00fcy\u00fck avantajlar\u0131ndan biri, s\u0131ral\u0131 i\u015flemeye ba\u011f\u0131ml\u0131l\u0131\u011f\u0131 ortadan kald\u0131rarak paralel i\u015flemeye olanak tan\u0131mas\u0131d\u0131r. Bu sayede, \u00e7ok daha b\u00fcy\u00fck veri setleri \u00fczerinde daha h\u0131zl\u0131 ve verimli bir \u015fekilde e\u011fitim yap\u0131labilmekte, b\u00f6ylece daha yetenekli ve karma\u015f\u0131k dil modelleri geli\u015ftirilebilmektedir. G\u00fcn\u00fcm\u00fczde kulland\u0131\u011f\u0131m\u0131z bir\u00e7ok chatbot, makine \u00e7evirisi uygulamas\u0131, metin \u00f6zetleme arac\u0131 ve hatta kod tamamlama asistan\u0131, temelinde Transformer mimarisinin g\u00fcc\u00fcn\u00fc bar\u0131nd\u0131r\u0131r. Bu modeller, dili sadece kelime kelime de\u011fil, ayn\u0131 zamanda ba\u011flamsal olarak da anlayarak, kullan\u0131c\u0131lar\u0131na \u00e7ok daha do\u011fal ve anlaml\u0131 etkile\u015fimler sunar. Dolay\u0131s\u0131yla, LLM’lerin bu kadar \u00f6nemli hale gelmesinin arkas\u0131ndaki ana itici g\u00fc\u00e7, Transformer’\u0131n getirdi\u011fi bu devrimsel yeniliklerdir diyebiliriz.<\/p>\n
Transformer mimarisi, 2017 y\u0131l\u0131nda Google Brain ekibi taraf\u0131ndan “Attention Is All You Need” (Dikkat Tek \u0130htiyac\u0131n\u0131z Olan \u015eeydir) ba\u015fl\u0131kl\u0131 makaleyle tan\u0131t\u0131ld\u0131\u011f\u0131nda, do\u011fal dil i\u015fleme (NLP) alan\u0131nda adeta bir paradigma de\u011fi\u015fimi yaratt\u0131. Bu makale, RNN’ler ve LSTM’ler gibi s\u0131ral\u0131 (sequential) i\u015flem yapan a\u011flar\u0131n s\u0131n\u0131rlamalar\u0131n\u0131 a\u015fan, tamamen dikkat mekanizmas\u0131na (attention mechanism) dayal\u0131 yeni bir model \u00f6neriyordu. Transformer’\u0131n devrim niteli\u011finde olmas\u0131n\u0131n ard\u0131nda yatan temel nedenler ve mimarisinin genel yap\u0131s\u0131, onu modern yapay zeka d\u00fcnyas\u0131n\u0131n vazge\u00e7ilmez bir par\u00e7as\u0131 haline getirmi\u015ftir.<\/p>\n
En ba\u015fta, Transformer, RNN’lerin kar\u015f\u0131la\u015ft\u0131\u011f\u0131 uzun menzilli ba\u011f\u0131ml\u0131l\u0131k sorununu \u00e7ok daha etkili bir \u015fekilde \u00e7\u00f6zm\u00fc\u015ft\u00fcr. Geleneksel s\u0131ral\u0131 modeller, bir c\u00fcmlenin ba\u015f\u0131ndaki bilgiyi c\u00fcmlenin sonuna ta\u015f\u0131makta zorlan\u0131rken, Transformer, dikkat mekanizmas\u0131 sayesinde bir kelimeyi i\u015flerken c\u00fcmlenin di\u011fer t\u00fcm kelimeleriyle olan ili\u015fkisini do\u011frudan kurabilir. Bu, modelin metin i\u00e7indeki ba\u011flam\u0131 \u00e7ok daha derinlemesine anlamas\u0131n\u0131 sa\u011flar. \u00d6rne\u011fin, bir makine \u00e7evirisi g\u00f6revinde, bir c\u00fcmlenin farkl\u0131 b\u00f6lgelerindeki kelimelerin birbirini nas\u0131l etkiledi\u011fini anlamak, do\u011fru ve ak\u0131c\u0131 bir \u00e7eviri i\u00e7in kritik \u00f6neme sahiptir. Transformer, bu ili\u015fkileri e\u015f zamanl\u0131 olarak de\u011ferlendirerek \u00e7eviri kalitesini art\u0131rm\u0131\u015ft\u0131r.<\/p>\n
\u0130kinci ve belki de en \u00f6nemli devrimsel \u00f6zelli\u011fi, paralelle\u015ftirme (parallelization) yetene\u011fidir. RNN’ler, bir kelimeyi i\u015flemeden \u00f6nce \u00f6nceki kelimenin i\u015flenmesini beklemek zorundayd\u0131. Bu “s\u0131ral\u0131” yap\u0131, \u00f6zellikle b\u00fcy\u00fck veri k\u00fcmeleri ve uzun metinler \u00fczerinde e\u011fitim s\u00fcrelerini ciddi \u015fekilde uzat\u0131yordu. Transformer ise, dikkat mekanizmas\u0131 sayesinde t\u00fcm giri\u015f dizisini (input sequence) ayn\u0131 anda i\u015fleyebilir. Bu durum, modern donan\u0131mlar\u0131n (GPU’lar gibi) paralel i\u015flem g\u00fcc\u00fcn\u00fc tam olarak kullan\u0131lmas\u0131na olanak tan\u0131r ve e\u011fitim s\u00fcrelerini \u00f6nemli \u00f6l\u00e7\u00fcde k\u0131salt\u0131r. Bu h\u0131zlanma, \u00e7ok daha b\u00fcy\u00fck modellerin ve veri k\u00fcmelerinin e\u011fitilmesini m\u00fcmk\u00fcn k\u0131larak, g\u00fcn\u00fcm\u00fczdeki b\u00fcy\u00fck dil modellerinin (GPT-3, BERT vb.) ortaya \u00e7\u0131k\u0131\u015f\u0131n\u0131n \u00f6n\u00fcn\u00fc a\u00e7m\u0131\u015ft\u0131r.<\/p>\n
Transformer mimarisi, temelde bir kodlay\u0131c\u0131 (Encoder) ve bir kod \u00e7\u00f6z\u00fcc\u00fc (Decoder) yap\u0131s\u0131ndan olu\u015fur. Bu yap\u0131, \u00f6zellikle makine \u00e7evirisi gibi “sekansdan-sekansa” (sequence-to-sequence) g\u00f6revler i\u00e7in idealdir. Kodlay\u0131c\u0131, giri\u015f metnini (\u00f6rne\u011fin, bir \u0130ngilizce c\u00fcmle) al\u0131r ve onun anlamsal bir temsilini (contextualized representation) olu\u015fturur. Kod \u00e7\u00f6z\u00fcc\u00fc ise, bu anlamsal temsili kullanarak hedef dildeki metni (\u00f6rne\u011fin, bir T\u00fcrk\u00e7e c\u00fcmle) \u00fcretir. Her iki blok da kendi i\u00e7inde birden fazla katmandan olu\u015fur ve her katman, \u00e7oklu dikkat (Multi-Head Attention) mekanizmas\u0131 ile ileri beslemeli sinir a\u011flar\u0131n\u0131 (Feed-Forward Networks) bar\u0131nd\u0131r\u0131r. Bu mod\u00fcler yap\u0131, Transformer’\u0131n karma\u015f\u0131k dil modellerini olu\u015fturmak i\u00e7in esnek ve \u00f6l\u00e7eklenebilir bir temel sunmas\u0131n\u0131 sa\u011flar. Dolay\u0131s\u0131yla, Transformer sadece bir model mimarisi de\u011fil, ayn\u0131 zamanda do\u011fal dil i\u015fleme alan\u0131nda yeni bir d\u00f6nemin kap\u0131lar\u0131n\u0131 aralayan bir inovasyondur.<\/p>\n
Transformer mimarisinin kalbinde yer alan ve onu bu kadar g\u00fc\u00e7l\u00fc k\u0131lan ana bile\u015fen, “Self-Attention” (\u00d6z-Dikkat) mekanizmas\u0131d\u0131r. Bu mekanizma, bir kelimeyi i\u015flerken, ayn\u0131 c\u00fcmledeki di\u011fer t\u00fcm kelimelerle olan ili\u015fkisini ve \u00f6nemini dinamik olarak belirlemesini sa\u011flar. Geleneksel RNN’lerde veya LSTM’lerde oldu\u011fu gibi kelimeleri s\u0131rayla i\u015flemek yerine, Self-Attention, her bir kelimenin di\u011fer t\u00fcm kelimelere ne kadar “dikkat etmesi” gerekti\u011fini hesaplayarak ba\u011flamsal bir anlam kazanmas\u0131na yard\u0131mc\u0131 olur. Peki, bu b\u00fcy\u00fcleyici mekanizma tam olarak nas\u0131l \u00e7al\u0131\u015f\u0131r?<\/p>\n
Self-Attention, her kelime i\u00e7in \u00fc\u00e7 farkl\u0131 vekt\u00f6r olu\u015fturur: Sorgu (Query – Q), Anahtar (Key – K) ve De\u011fer (Value – V). Bu vekt\u00f6rler, giri\u015f kelime g\u00f6m\u00fcleri (word embeddings) veya \u00f6nceki katmanlardan gelen temsiller \u00fczerinden do\u011frusal d\u00f6n\u00fc\u015f\u00fcmler (linear transformations) uygulanarak elde edilir.<\/p>\n
1. Sorgu (Query – Q):<\/strong> Mevcut kelimeyi temsil eder ve di\u011fer kelimelerle olan ili\u015fkisini sorgulamak i\u00e7in kullan\u0131l\u0131r. \u00c7al\u0131\u015fma ad\u0131mlar\u0131 \u015fu \u015fekildedir:<\/p>\n * Ad\u0131m 1: Skor Hesaplama:<\/strong> Her bir kelimenin sorgu vekt\u00f6r\u00fc (Q), c\u00fcmlenin di\u011fer t\u00fcm kelimelerinin anahtar vekt\u00f6rleriyle (K) noktasal \u00e7arp\u0131m (dot product) yoluyla kar\u015f\u0131la\u015ft\u0131r\u0131l\u0131r. Bu \u00e7arp\u0131m, mevcut kelimenin di\u011fer kelimelerle olan benzerli\u011fini veya ili\u015fkisinin g\u00fcc\u00fcn\u00fc g\u00f6steren bir “dikkat skoru” verir. \u00d6rne\u011fin, “Kediler fareleri kovalar” c\u00fcmlesinde “kovalar” kelimesinin “kediler” ve “fareleri” kelimeleriyle ne kadar ili\u015fkili oldu\u011funu bu skorlar belirler. <\/code>\n <\/div>\n Bu \u00f6rnekte, \u00fc\u00e7\u00fcnc\u00fc kelimenin (skoru 3.1 olan) en y\u00fcksek dikkat a\u011f\u0131rl\u0131\u011f\u0131na sahip oldu\u011funu ve bu nedenle mevcut kelimenin ba\u011flam\u0131 i\u00e7in en \u00f6nemli oldu\u011funu g\u00f6r\u00fcyoruz. Bu s\u00fcre\u00e7, c\u00fcmledeki her kelime i\u00e7in ayr\u0131 ayr\u0131 tekrarlan\u0131r. B\u00f6ylece, her kelime kendi ba\u011flam\u0131n\u0131 di\u011fer t\u00fcm kelimelerden \u00f6\u011frenmi\u015f olur. Transformer mimarisi, bu Self-Attention mekanizmas\u0131n\u0131 tek ba\u015f\u0131na de\u011fil, ayn\u0131 zamanda \"Multi-Head Attention\" (\u00c7oklu Ba\u015fl\u0131 Dikkat) olarak kullan\u0131r. Multi-Head Attention, birden fazla Self-Attention mekanizmas\u0131n\u0131n paralel olarak \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131 ve sonu\u00e7lar\u0131n\u0131n birle\u015ftirilmesiyle, modelin farkl\u0131 \"dikkat ba\u015fl\u0131klar\u0131\" arac\u0131l\u0131\u011f\u0131yla farkl\u0131 t\u00fcrde ili\u015fkileri (\u00f6rne\u011fin, sentaktik ili\u015fkiler, semantik ili\u015fkiler) ayn\u0131 anda yakalamas\u0131n\u0131 sa\u011flar. Bu sayede, model \u00e7ok daha zengin ve kapsaml\u0131 bir ba\u011flam anlay\u0131\u015f\u0131 geli\u015ftirir.<\/p>\n Transformer mimarisinin en temel \u00f6zelliklerinden biri, kelimeleri paralel olarak i\u015fleyebilmesidir. Bu, e\u011fitim s\u00fcresini \u00f6nemli \u00f6l\u00e7\u00fcde h\u0131zland\u0131r\u0131rken, ayn\u0131 zamanda geleneksel s\u0131ral\u0131 modellerin (RNN'ler, LSTM'ler) do\u011fal olarak sahip oldu\u011fu bir bilgiyi, yani kelimelerin s\u0131ras\u0131n\u0131 veya konumunu kaybetme riskini de beraberinde getirir. Bir c\u00fcmlenin anlam\u0131, kelimelerin dizili\u015fine b\u00fcy\u00fck \u00f6l\u00e7\u00fcde ba\u011fl\u0131d\u0131r. \u00d6rne\u011fin, \"k\u00f6pek insan\u0131 \u0131s\u0131rd\u0131\" ile \"insan k\u00f6pe\u011fi \u0131s\u0131rd\u0131\" c\u00fcmleleri ayn\u0131 kelimeleri i\u00e7erse de, farkl\u0131 anlamlara sahiptir. \u0130\u015fte bu konumsal bilgiyi Transformer'a sa\u011flamak i\u00e7in \"Positional Encoding\" (Konumsal Kodlama) ad\u0131 verilen dahice bir y\u00f6ntem kullan\u0131l\u0131r.<\/p>\n Transformer, giri\u015f kelime g\u00f6m\u00fclerini (word embeddings) do\u011frudan dikkat katmanlar\u0131na beslemeden \u00f6nce, her bir kelimenin konumuna \u00f6zg\u00fc bir vekt\u00f6rle birle\u015ftirir. Bu konum vekt\u00f6rleri, kelimenin c\u00fcmledeki pozisyonunu kodlar ve modele s\u0131ralama bilgisi sa\u011flar. En yayg\u0131n kullan\u0131lan Positional Encoding y\u00f6ntemi, sin\u00fcs ve kosin\u00fcs fonksiyonlar\u0131na dayan\u0131r. Bu fonksiyonlar, kelimenin pozisyonuna ( Positional Encoding vekt\u00f6rleri \u015fu form\u00fcllerle hesaplan\u0131r:<\/p>\n * Burada: Bu form\u00fcllerin se\u00e7ilmesinin birka\u00e7 \u00f6nemli nedeni vard\u0131r:<\/p>\n 1. Benzersiz Temsil:<\/strong> Her pozisyon i\u00e7in benzersiz bir konum vekt\u00f6r\u00fc \u00fcretilir. Bu, modelin farkl\u0131 kelimeleri farkl\u0131 pozisyonlarda ay\u0131rt etmesini sa\u011flar. Her kelime g\u00f6m\u00fcs\u00fc, hesaplanan Positional Encoding vekt\u00f6r\u00fc ile toplan\u0131r. \u00d6rne\u011fin, Transformer mimarisi, temel olarak bir Encoder (Kodlay\u0131c\u0131) y\u0131\u011f\u0131n\u0131 ve bir Decoder (Kod \u00c7\u00f6z\u00fcc\u00fc) y\u0131\u011f\u0131n\u0131ndan olu\u015fur. Bu iki ana bile\u015fen, \u00f6zellikle makine \u00e7evirisi gibi bir dilden di\u011ferine veya bir sekansdan ba\u015fka bir sekanse d\u00f6n\u00fc\u015f\u00fcm gerektiren g\u00f6revlerde birlikte \u00e7al\u0131\u015f\u0131r. Her iki y\u0131\u011f\u0131n da ayn\u0131 temel katmanlardan olu\u015fsa da, i\u00e7 i\u015fleyi\u015flerinde \u00f6nemli farkl\u0131l\u0131klar bulunur.<\/p>\n Encoder, giri\u015f dizisini (\u00f6rne\u011fin, kaynak dildeki bir c\u00fcmle) al\u0131r ve onu ba\u011flamsal olarak zenginle\u015ftirilmi\u015f bir dizi temsiline d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Her bir Encoder katman\u0131, iki ana alt katmandan olu\u015fur:<\/p>\n 1. Multi-Head Self-Attention Mekanizmas\u0131:<\/strong> Bu katman, giri\u015f dizisindeki her bir kelimenin, ayn\u0131 dizideki di\u011fer t\u00fcm kelimelerle olan ili\u015fkisini de\u011ferlendirir. Daha \u00f6nce bahsetti\u011fimiz Self-Attention mekanizmas\u0131n\u0131n birden fazla paralel versiyonunu (ba\u015fl\u0131klar\u0131n\u0131) \u00e7al\u0131\u015ft\u0131rarak, modelin farkl\u0131 t\u00fcrde ba\u011f\u0131ml\u0131l\u0131klar\u0131 ve ili\u015fkileri ayn\u0131 anda yakalamas\u0131n\u0131 sa\u011flar. Her bir ba\u015fl\u0131k, farkl\u0131 bir dikkat fonksiyonu gibi davran\u0131r ve farkl\u0131 bir temsil \u00f6\u011frenir. Sonu\u00e7lar birle\u015ftirilerek tek bir \u00e7\u0131kt\u0131 vekt\u00f6r\u00fc elde edilir. Her iki alt katman\u0131n etraf\u0131nda da \"Residual Connections\" (Kal\u0131nt\u0131 Ba\u011flant\u0131lar) ve \"Layer Normalization\" (Katman Normalizasyonu) bulunur. Residual Connections, bir katman\u0131n girdisini do\u011frudan \u00e7\u0131kt\u0131s\u0131na ekleyerek, derin a\u011flarda gradyan ak\u0131\u015f\u0131n\u0131 kolayla\u015ft\u0131r\u0131r ve e\u011fitim kararl\u0131l\u0131\u011f\u0131n\u0131 art\u0131r\u0131r. Layer Normalization ise, her bir katman\u0131n \u00e7\u0131kt\u0131s\u0131n\u0131n ortalamas\u0131n\u0131 ve varyans\u0131n\u0131 normalize ederek e\u011fitimi h\u0131zland\u0131r\u0131r ve daha istikrarl\u0131 hale getirir. Encoder y\u0131\u011f\u0131n\u0131, genellikle 6 veya daha fazla bu katmanlardan olu\u015fur ve her bir sonraki katman, \u00f6nceki katmandan gelen bilgiyi daha da rafine eder.<\/p>\n Decoder, Encoder'\u0131n \u00e7\u0131kt\u0131s\u0131n\u0131 (kaynak dilin ba\u011flamsal temsilini) ve daha \u00f6nce \u00fcretilmi\u015f hedef dil kelimelerini alarak, hedef dildeki bir sonraki kelimeyi \u00fcretir. Her bir Decoder katman\u0131, \u00fc\u00e7 ana alt katmandan olu\u015fur:<\/p>\n 1. Maskelenmi\u015f Multi-Head Self-Attention Mekanizmas\u0131 (Masked Multi-Head Self-Attention):<\/strong> Bu katman, Encoder'daki Self-Attention'a benzer \u015fekilde \u00e7al\u0131\u015f\u0131r, ancak \u00f6nemli bir farkla: Gelecekteki (hen\u00fcz \u00fcretilmemi\u015f) kelimelere dikkat etmesini engellemek i\u00e7in bir \"maske\" uygulan\u0131r. Bu, modelin yaln\u0131zca mevcut kelimeye ve ondan \u00f6nceki kelimelere dikkat etmesini sa\u011flar, b\u00f6ylece bir sonraki kelimeyi tahmin ederken \"hile yapmas\u0131n\u0131\" \u00f6nler. Bu, modelin otoregresif (autoregressive) bir \u015fekilde kelime \u00fcretmesini sa\u011flar. Yine, bu alt katmanlar\u0131n etraf\u0131nda da Residual Connections ve Layer Normalization bulunur. Decoder y\u0131\u011f\u0131n\u0131 da genellikle 6 veya daha fazla bu katmanlardan olu\u015fur. Son Decoder katman\u0131n\u0131n \u00e7\u0131kt\u0131s\u0131, bir do\u011frusal katman (linear layer) ve bir softmax fonksiyonu arac\u0131l\u0131\u011f\u0131yla hedef dildeki kelime da\u011farc\u0131\u011f\u0131 (vocabulary) \u00fczerindeki olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131na d\u00f6n\u00fc\u015ft\u00fcr\u00fcl\u00fcr. En y\u00fcksek olas\u0131l\u0131\u011fa sahip kelime, bir sonraki \u00e7\u0131kt\u0131 kelimesi olarak se\u00e7ilir.<\/p>\n Bu Encoder-Decoder yap\u0131s\u0131, Transformer'\u0131n karma\u015f\u0131k dil g\u00f6revlerini etkin bir \u015fekilde yerine getirmesini sa\u011flar. Her bir blok, gelen bilgiyi i\u015fleyerek ve dikkat mekanizmalar\u0131 arac\u0131l\u0131\u011f\u0131yla ilgili ba\u011flam\u0131 yakalayarak, derinlemesine anlama ve do\u011fru \u00fcretim yetene\u011fi sunar.<\/p>\n Transformer mimarisinin do\u011fal dil i\u015fleme (NLP) alan\u0131ndaki ba\u015far\u0131s\u0131, onu g\u00fcn\u00fcm\u00fcz\u00fcn en yayg\u0131n kullan\u0131lan yapay zeka modellerinden biri haline getirmi\u015ftir. G\u00fcnl\u00fck hayat\u0131m\u0131zda fark\u0131nda olmasak da, bir\u00e7ok dijital hizmet ve uygulama Transformer tabanl\u0131 teknolojileri kullanmaktad\u0131r. Bu mimarinin sundu\u011fu esneklik ve y\u00fcksek performans, \u00e7e\u015fitli ger\u00e7ek d\u00fcnya senaryolar\u0131nda devrim niteli\u011finde \u00e7\u00f6z\u00fcmler sunmu\u015ftur.<\/p>\n 1. Makine \u00c7evirisi (Machine Translation):<\/strong> Transformer'\u0131n en bilinen ve etkili uygulamalar\u0131ndan biri makine \u00e7evirisidir. Google Translate gibi platformlar, Transformer tabanl\u0131 modeller kullanarak diller aras\u0131 \u00e7eviride \u00f6nemli bir kalite art\u0131\u015f\u0131 sa\u011flam\u0131\u015ft\u0131r. Encoder-Decoder yap\u0131s\u0131, bir dilden al\u0131nan metni di\u011ferine y\u00fcksek do\u011frulukla ve ba\u011flam\u0131 koruyarak \u00e7evirebilmektedir. \u00d6rne\u011fin, \u0130ngilizce'den T\u00fcrk\u00e7e'ye veya T\u00fcrk\u00e7e'den Almanca'ya yap\u0131lan \u00e7evirilerde eskisine g\u00f6re \u00e7ok daha ak\u0131c\u0131 ve do\u011fal sonu\u00e7lar elde edilmektedir.
\n2. Anahtar (Key – K):<\/strong> Di\u011fer kelimeleri temsil eder ve mevcut kelimenin sorgusuna ne kadar uydu\u011funu belirlemek i\u00e7in kullan\u0131l\u0131r.
\n3. De\u011fer (Value – V):<\/strong> Di\u011fer kelimelerin i\u00e7eri\u011fini temsil eder ve dikkat skorlar\u0131na g\u00f6re a\u011f\u0131rl\u0131kland\u0131r\u0131larak toplan\u0131r.<\/p>\n
\n* Ad\u0131m 2: \u00d6l\u00e7eklendirme (Scaling):<\/strong> Elde edilen skorlar, anahtar vekt\u00f6rlerinin boyutunun karek\u00f6k\u00fcne b\u00f6l\u00fcnerek \u00f6l\u00e7eklendirilir (Scaled Dot-Product Attention). Bu \u00f6l\u00e7eklendirme, \u00e7ok b\u00fcy\u00fck skorlar\u0131n softmax fonksiyonunu (bir sonraki ad\u0131mda kullan\u0131lacak) doyurmas\u0131n\u0131 engelleyerek, modelin daha kararl\u0131 bir \u015fekilde \u00f6\u011frenmesine yard\u0131mc\u0131 olur.
\n* Ad\u0131m 3: Normalizasyon (Softmax Uygulamas\u0131):<\/strong> \u00d6l\u00e7eklendirilmi\u015f skorlar, bir softmax<\/code> fonksiyonundan ge\u00e7irilir. softmax<\/code>, bu skorlar\u0131 0 ile 1 aras\u0131nda de\u011fi\u015fen ve toplam\u0131 1 olan olas\u0131l\u0131klara d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Bu olas\u0131l\u0131klar, her bir kelimenin di\u011fer kelimelere ne kadar “dikkat etmesi” gerekti\u011fini g\u00f6steren “dikkat a\u011f\u0131rl\u0131klar\u0131d\u0131r” (attention weights). Y\u00fcksek bir a\u011f\u0131rl\u0131k, o kelimenin mevcut kelimenin ba\u011flam\u0131n\u0131 anlamak i\u00e7in daha \u00f6nemli oldu\u011fu anlam\u0131na gelir. \u00d6rne\u011fin, softmax<\/code> fonksiyonu, bir kelimenin dikkat a\u011f\u0131rl\u0131klar\u0131n\u0131 \u015fu \u015fekilde hesaplar:<\/p>\n\n # Basit bir Python benzeri pseudocode\n import numpy as np\n\n def softmax(x):\n exp_x = np.exp(x - np.max(x)) # Say\u0131sal kararl\u0131l\u0131k i\u00e7in\n return exp_x \/ np.sum(exp_x)\n\n # \u00d6rnek dikkat skorlar\u0131\n attention_scores = np.array([1.2, 0.5, 3.1, -0.8])\n attention_weights = softmax(attention_scores)\n print(f\"Dikkat A\u011f\u0131rl\u0131klar\u0131: {attention_weights}\")\n # \u00c7\u0131kt\u0131: Dikkat A\u011f\u0131rl\u0131klar\u0131: [0.089, 0.045, 0.793, 0.009] (yakla\u015f\u0131k de\u011ferler)\n <\/pre>\n
\n* Ad\u0131m 4: De\u011ferlerin A\u011f\u0131rl\u0131kl\u0131 Toplam\u0131:<\/strong> Son olarak, elde edilen dikkat a\u011f\u0131rl\u0131klar\u0131, di\u011fer kelimelerin de\u011fer vekt\u00f6rleriyle (V) \u00e7arp\u0131l\u0131r ve toplan\u0131r. Bu a\u011f\u0131rl\u0131kl\u0131 toplam, mevcut kelime i\u00e7in yeni, ba\u011flamsal olarak zenginle\u015ftirilmi\u015f bir temsil (contextualized representation) olu\u015fturur. Bu temsil, kelimenin sadece kendi anlam\u0131n\u0131 de\u011fil, ayn\u0131 zamanda c\u00fcmledeki di\u011fer kelimelerle olan ili\u015fkisini de i\u00e7erir.<\/p>\nPositional Encoding: Kelimelerin Konumsal Bilgisi Nas\u0131l Korunur?<\/h3>\n
pos<\/code>) ve g\u00f6m\u00fcl\u00fc vekt\u00f6r\u00fcn boyutundaki belirli bir indekse (i<\/code>) g\u00f6re de\u011fi\u015fen de\u011ferler \u00fcretir.<\/p>\nPE(pos, 2i) = sin(pos \/ 10000^(2i\/d_model))<\/code>
\n* PE(pos, 2i+1) = cos(pos \/ 10000^(2i\/d_model))<\/code><\/p>\n
\n* pos<\/code>: Kelimenin c\u00fcmle i\u00e7indeki pozisyonu (0'dan ba\u015flayarak).
\n* i<\/code>: G\u00f6m\u00fcl\u00fc vekt\u00f6rdeki boyut indeksi (0'dan d_model\/2 - 1<\/code>'e kadar).
\n* d_model<\/code>: G\u00f6m\u00fcl\u00fc vekt\u00f6r\u00fcn boyutudur (yani, her kelimenin ve konum vekt\u00f6r\u00fcn\u00fcn boyutu).<\/p>\n
\n2. Mesafe Bilgisi:<\/strong> Sin\u00fcs ve kosin\u00fcs fonksiyonlar\u0131n\u0131n periyodik yap\u0131s\u0131 sayesinde, modelin farkl\u0131 pozisyonlar aras\u0131ndaki g\u00f6receli mesafeyi kolayca \u00f6\u011frenmesine yard\u0131mc\u0131 olur. \u00d6rne\u011fin, PE(pos + k)<\/code>, PE(pos)<\/code>'un do\u011frusal bir fonksiyonu olarak ifade edilebilir. Bu \u00f6zellik, modelin \"g\u00f6receli pozisyonlar\u0131\" (relative positions) anlamas\u0131 i\u00e7in kritiktir. Bir kelimenin kendisinden 5 kelime sonra gelen ba\u015fka bir kelimeyle olan ili\u015fkisi, pozisyonlar\u0131 ne olursa olsun benzer bir \u015fekilde kodlan\u0131r.
\n3. \u00d6l\u00e7eklenebilirlik:<\/strong> Bu y\u00f6ntem, e\u011fitim s\u0131ras\u0131nda g\u00f6r\u00fclmeyen daha uzun c\u00fcmlelere genelleme yapabilir. \u00c7\u00fcnk\u00fc form\u00fcller, belirli bir maksimum c\u00fcmle uzunlu\u011funa ba\u011fl\u0131 de\u011fildir; her pozisyon i\u00e7in dinamik olarak hesaplanabilirler. Bu, Transformer'\u0131n esnekli\u011fini art\u0131r\u0131r.
\n4. Ekstra \u00d6\u011frenme Y\u00fck\u00fc Yok:<\/strong> Positional Encoding vekt\u00f6rleri, modelin \u00f6\u011frenilebilir parametreleri de\u011fildir; sabit, \u00f6nceden tan\u0131mlanm\u0131\u015f fonksiyonlarla hesaplan\u0131rlar. Bu, modelin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 art\u0131rmaz ve e\u011fitim s\u00fcrecini kolayla\u015ft\u0131r\u0131r.<\/p>\nembedding(\"kelime\") + PE(pos)<\/code> \u015feklinde bir i\u015flem ger\u00e7ekle\u015fir. Bu toplama i\u015flemi, kelimenin anlamsal i\u00e7eri\u011fine konumsal bilgiyi ekler. B\u00f6ylece, Transformer'\u0131n dikkat mekanizmalar\u0131, sadece kelimelerin anlamlar\u0131na de\u011fil, ayn\u0131 zamanda c\u00fcmledeki yerlerine g\u00f6re de dikkat etmeyi \u00f6\u011frenir. Bu sayede, \"k\u00f6pek insan\u0131 \u0131s\u0131rd\u0131\" c\u00fcmlesindeki \"k\u00f6pek\" kelimesi, c\u00fcmledeki ilk pozisyonda ve \"insan\" kelimesi ikinci pozisyonda oldu\u011fu bilgisiyle birlikte i\u015flenir, bu da modelin do\u011fru anlamsal \u00e7\u0131kar\u0131mlar yapmas\u0131n\u0131 sa\u011flar. Positional Encoding, Transformer'\u0131n s\u0131ral\u0131 bilgiyi kaybetmeden paralel i\u015flem yapabilmesinin anahtar\u0131d\u0131r ve mimarinin genel ba\u015far\u0131s\u0131nda kritik bir rol oynar.<\/p>\nEncoder ve Decoder Bloklar\u0131: Bilgi Ak\u0131\u015f\u0131 Nas\u0131l Ger\u00e7ekle\u015fir?<\/h3>\n
Encoder (Kodlay\u0131c\u0131) Blo\u011fu<\/h4>\n
\n2. Konum-Bazl\u0131 \u0130leri Beslemeli A\u011f (Position-wise Feed-Forward Network):<\/strong> Dikkat katman\u0131n\u0131n \u00e7\u0131kt\u0131s\u0131, her bir pozisyon i\u00e7in ba\u011f\u0131ms\u0131z olarak uygulanan basit bir ileri beslemeli sinir a\u011f\u0131na (MLP - Multi-Layer Perceptron) g\u00f6nderilir. Bu a\u011f, genellikle iki do\u011frusal d\u00f6n\u00fc\u015f\u00fcm ve aralar\u0131nda bir aktivasyon fonksiyonundan (ReLU gibi) olu\u015fur. Bu katman, modelin dikkat katman\u0131ndan gelen bilgiyi daha karma\u015f\u0131k bir \u015fekilde i\u015flemesini ve daha y\u00fcksek seviyeli \u00f6zellikler \u00e7\u0131karmas\u0131n\u0131 sa\u011flar.<\/p>\nDecoder (Kod \u00c7\u00f6z\u00fcc\u00fc) Blo\u011fu<\/h4>\n
\n2. Multi-Head Cross-Attention Mekanizmas\u0131 (Encoder-Decoder Attention):<\/strong> Bu katman, Decoder'\u0131n en kritik b\u00f6l\u00fcmlerinden biridir. Burada, Decoder'dan gelen sorgu (Q) vekt\u00f6rleri, Encoder'\u0131n son katman\u0131ndan gelen anahtar (K) ve de\u011fer (V) vekt\u00f6rleriyle etkile\u015fime girer. Bu sayede, Decoder, hedef dildeki mevcut kelimeyi \u00fcretirken, kaynak dildeki t\u00fcm kelimelerden ilgili bilgiyi \u00e7ekebilir. \u00d6rne\u011fin, bir \u00e7eviri g\u00f6revinde, \u00e7evirilen kelimenin kaynak dildeki hangi kelimelere kar\u015f\u0131l\u0131k geldi\u011fini \u00f6\u011frenmesini sa\u011flar. Bu, Encoder ile Decoder aras\u0131nda bir k\u00f6pr\u00fc g\u00f6revi g\u00f6r\u00fcr.
\n3. Konum-Bazl\u0131 \u0130leri Beslemeli A\u011f (Position-wise Feed-Forward Network):<\/strong> Encoder'dakiyle ayn\u0131 yap\u0131ya sahiptir ve \u00e7apraz dikkat katman\u0131n\u0131n \u00e7\u0131kt\u0131s\u0131n\u0131 i\u015fler.<\/p>\nTransformer Uygulamalar\u0131 ve Ger\u00e7ek D\u00fcnya Senaryolar\u0131 Nelerdir?<\/h3>\n
\n2. Metin \u00d6zetleme (Text Summarization):<\/strong> Uzun metinleri k\u0131sa ve \u00f6z bir \u015fekilde \u00f6zetlemek, bilgiye h\u0131zl\u0131 eri\u015fim i\u00e7in kritik bir ihtiya\u00e7t\u0131r. Transformer tabanl\u0131 modeller, makaleleri, raporlar\u0131 veya haber metinlerini ana fikirlerini koruyarak otomatik olarak \u00f6zetleyebilir. Bu, \u00f6zellikle gazetecilik, akademik ara\u015ft\u0131rma veya i\u015f zekas\u0131 gibi alanlarda b\u00fcy\u00fck bir zaman tasarrufu sa\u011flar. \u00d6rne\u011fin, bir finans \u015firketi, g\u00fcnl\u00fck piyasa raporlar\u0131n\u0131 otomatik olarak \u00f6zetleyerek analistlerinin i\u015f y\u00fck\u00fcn\u00fc azaltabilir.
\n3. Soru Yan\u0131tlama Sistemleri (Question Answering Systems):<\/strong> Arama motorlar\u0131ndan m\u00fc\u015fteri hizmetleri botlar\u0131na kadar bir\u00e7ok alanda soru yan\u0131tlama sistemleri kullan\u0131lmaktad\u0131r. Transformer modelleri, verilen bir metin par\u00e7as\u0131ndan veya bilgi bankas\u0131ndan kullan\u0131c\u0131lar\u0131n sorular\u0131na do\u011fru ve ilgili cevaplar\u0131 bulma konusunda olduk\u00e7a ba\u015far\u0131l\u0131d\u0131r. Bu sistemler, \u00f6zellikle e-ticaret sitelerindeki SSS (S\u0131k\u00e7a Sorulan Sorular) b\u00f6l\u00fcmlerinde veya teknik destek botlar\u0131nda kullan\u0131c\u0131 deneyimini iyile\u015ftirmek i\u00e7in kullan\u0131l\u0131r.
\n4. Metin \u00dcretimi ve \u0130\u00e7erik Olu\u015fturma (Text Generation and Content Creation):<\/strong> Transformer'\u0131n en dikkat \u00e7ekici yeteneklerinden biri, insan benzeri metinler \u00fcretebilmesidir. GPT (Generative Pre-trained Transformer) serisi gibi modeller, bir ba\u015flang\u0131\u00e7 metni (prompt) verildi\u011finde hikayeler, \u015fiirler, e-postalar, makaleler ve hatta kod \u00fcretebilir. Bu, pazarlama, i\u00e7erik yazarl\u0131\u011f\u0131, senaryo yaz\u0131m\u0131 ve yaz\u0131l\u0131m geli\u015ftirme gibi alanlarda yarat\u0131c\u0131 s\u00fcre\u00e7leri destekler. \u00d6rne\u011fin, bir blog yazar\u0131, Transformer tabanl\u0131 bir ara\u00e7 kullanarak yeni bir makale tasla\u011f\u0131 olu\u015fturabilir veya farkl\u0131 ba\u015fl\u0131k se\u00e7enekleri \u00fcretebilir.
\n5. Duygu Analizi ve Metin S\u0131n\u0131fland\u0131rma (Sentiment Analysis and Text Classification):<\/strong> M\u00fc\u015fteri yorumlar\u0131n\u0131, sosyal medya g\u00f6nderilerini veya anket yan\u0131tlar\u0131n\u0131 analiz ederek duygu durumunu (pozitif, negatif, n\u00f6tr) belirlemek, i\u015fletmeler i\u00e7in de\u011ferli i\u00e7g\u00f6r\u00fcler sa\u011flar. Transformer modelleri, metinleri farkl\u0131 kategorilere (\u00f6rne\u011fin, spam\/spam de\u011fil, haber\/spor\/politika) s\u0131n\u0131fland\u0131rmada da y\u00fcksek do\u011frulukla \u00e7al\u0131\u015f\u0131r.
\n6. T\u00fcrk\u00e7e NLP Uygulamalar\u0131:<\/strong> T\u00fcrkiye'de de Transformer modelleri, T\u00fcrk\u00e7e'nin kendine \u00f6zg\u00fc dilbilgisel yap\u0131s\u0131 ve morfolojik zenginli\u011fiyle ba\u015fa \u00e7\u0131kmak i\u00e7in adapte edilmektedir<\/p>\n","protected":false},"excerpt":{"rendered":"LLM \u00c7al\u0131\u015fma G\u00fcnl\u00fc\u011f\u00fc #1: Transformer Mimarisi ile B\u00fcy\u00fck Dil Modellerini Anlamak B\u00fcy\u00fck dil modelleri (LLM’ler) d\u00fcnyas\u0131nda son y\u0131llarda ya\u015fanan h\u0131zl\u0131 geli\u015fmeler, yapay zekan\u0131n yeteneklerini bamba\u015fka bir seviyeye ta\u015f\u0131d\u0131.","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-41523","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n