Kodunuzun bir bilgisayar taraf\u0131ndan anla\u015f\u0131labilir ve \u00e7al\u0131\u015ft\u0131r\u0131labilir hale geldi\u011fini hi\u00e7 d\u00fc\u015f\u00fcnd\u00fcn\u00fcz m\u00fc? Bu karma\u015f\u0131k s\u00fcrecin ilk ve en temel ad\u0131mlar\u0131ndan biri s\u00f6zc\u00fcksel analizdir. Bu makale, derleyici geli\u015ftirme serimizin \u00fc\u00e7\u00fcnc\u00fc b\u00f6l\u00fcm\u00fcnde, s\u00f6zc\u00fcksel analizin ne oldu\u011funu, nas\u0131l \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 ve kendi derleyicinizin temelini atarken neden vazge\u00e7ilmez bir bile\u015fen oldu\u011funu detayl\u0131ca ele alacakt\u0131r. Hadi, bu heyecan verici d\u00fcnyaya birlikte ad\u0131m atal\u0131m ve kodun ilk d\u00f6n\u00fc\u015f\u00fcm\u00fcn\u00fc ke\u015ffedelim!<\/p>\n
Yaz\u0131l\u0131m geli\u015ftirme d\u00fcnyas\u0131nda, yazd\u0131\u011f\u0131m\u0131z \u00fcst d\u00fczey kodlar\u0131n (C++, Python, Java vb.) makineler taraf\u0131ndan anla\u015f\u0131lan d\u00fc\u015f\u00fck seviyeli komutlara \u00e7evrilmesi gerekiyor. \u0130\u015fte bu \u00e7eviri i\u015flemini ger\u00e7ekle\u015ftiren yaz\u0131l\u0131mlara derleyici (compiler) diyoruz. Derleyiciler, bu karma\u015f\u0131k g\u00f6revi birka\u00e7 a\u015famaya b\u00f6lerek yerine getirirler ve bu a\u015famalar\u0131n ilki “S\u00f6zc\u00fcksel Analiz” veya “Lexical Analysis” olarak adland\u0131r\u0131l\u0131r. Bir kod dosyas\u0131n\u0131n ham metin girdisinden anlaml\u0131 par\u00e7ac\u0131klar \u00e7\u0131karmay\u0131 hedefleyen bu a\u015fama, asl\u0131nda derleyicinin kodla ilk tan\u0131\u015ft\u0131\u011f\u0131 noktad\u0131r. Bu y\u00fczden de b\u00fcy\u00fck bir titizlik ve do\u011frulukla yap\u0131lmas\u0131 hayati \u00f6nem ta\u015f\u0131r. S\u00f6zc\u00fcksel analiz, adeta bir dildeki kelimeleri ve noktalama i\u015faretlerini birbirinden ay\u0131klama i\u015flemine benzer; b\u00f6ylece daha sonraki a\u015famalarda bu par\u00e7alar \u00fczerinde sentaktik ve semantik incelemeler yap\u0131labilir.<\/p>\n
Bu makalede, s\u00f6zc\u00fcksel analiz s\u00fcrecini s\u0131f\u0131rdan ele alacak, temel kavramlar\u0131 a\u00e7\u0131klayacak ve kendi s\u00f6zc\u00fcksel \u00e7\u00f6z\u00fcmleyicinizi (lexer) olu\u015fturmak i\u00e7in pratik bilgiler sunaca\u011f\u0131z. Ayr\u0131ca, bu a\u015famada kar\u015f\u0131la\u015f\u0131labilecek olas\u0131 zorluklar\u0131 ve performans ipu\u00e7lar\u0131n\u0131 da inceleyece\u011fiz. Derleyici geli\u015ftirme serimizin bu \u00f6nemli dura\u011f\u0131nda edinece\u011finiz bilgiler, hem kendi programlama dilinizi olu\u015fturma hayalinize bir ad\u0131m daha yakla\u015ft\u0131racak hem de mevcut dillerin nas\u0131l \u00e7al\u0131\u015ft\u0131\u011f\u0131na dair derinlemesine bir anlay\u0131\u015f kazand\u0131racakt\u0131r. Haz\u0131rsan\u0131z, kodun atomlar\u0131n\u0131 ke\u015ffetmeye ba\u015flayal\u0131m!<\/p>\n
S\u00f6zc\u00fcksel analizin kalbinde yatan \u00fc\u00e7 temel kavram vard\u0131r: “Token” (belirte\u00e7), “Lexeme” (s\u00f6zc\u00fck birimi) ve “Delimiter” (ayra\u00e7). Bu kavramlar\u0131 anlamak, bir lexer’\u0131n tam olarak ne i\u015f yapt\u0131\u011f\u0131n\u0131 kavraman\u0131n anahtar\u0131d\u0131r. Asl\u0131nda, bu terimler yaz\u0131l\u0131m m\u00fchendisli\u011finde s\u0131k\u00e7a kar\u015f\u0131m\u0131za \u00e7\u0131ksa da, derleyici ba\u011flam\u0131nda \u00f6zel anlamlar ta\u015f\u0131rlar ve kodun i\u015flenmesinde kritik roller \u00fcstlenirler.<\/p>\n
Bir token, programlama dilinin en k\u00fc\u00e7\u00fck anlaml\u0131 birimidir. D\u00fc\u015f\u00fcn\u00fcn ki bir c\u00fcmleyi olu\u015fturan kelimeler gibidirler. \u00d6rne\u011fin, bir de\u011fi\u015fkene atama yapan Tokenlerin yap\u0131s\u0131 genellikle bir Bu yap\u0131, derleyicinin program\u0131n mant\u0131ksal ak\u0131\u015f\u0131n\u0131 ve veri manip\u00fclasyonunu anlamas\u0131n\u0131 sa\u011flar.<\/p>\n Lexeme ise, kaynak kod i\u00e7inde bir tokeni olu\u015fturan ger\u00e7ek metin par\u00e7as\u0131d\u0131r. Yani, ‘IDENTIFIER’ t\u00fcr\u00fcndeki tokenin lexeme’si ‘x’dir. ‘INTEGER_LITERAL’ t\u00fcr\u00fcndeki tokenin lexeme’si ’10’dur. Asl\u0131nda, lexeme’ler kaynak koddan do\u011frudan al\u0131nan dizelerdir ve tokenlar bu lexeme’lerin anlamsal etiketleridir. Bir lexer, kaynak kodu tarayarak lexeme’leri belirler ve bu lexeme’lere kar\u015f\u0131l\u0131k gelen tokenleri \u00fcretir. Ayn\u0131 lexeme’e sahip farkl\u0131 token t\u00fcrleri olabilece\u011fi gibi (\u00f6rne\u011fin, “a” bir de\u011fi\u015fken ad\u0131 veya bir anahtar kelime olabilir), farkl\u0131 lexeme’lere sahip ayn\u0131 token t\u00fcrleri de olabilir (\u00f6rne\u011fin, “x” ve “y” her ikisi de tan\u0131mlay\u0131c\u0131 tokenlerdir).<\/p>\n Ayra\u00e7lar, kaynak kodda lexeme’leri birbirinden ay\u0131rmak i\u00e7in kullan\u0131lan karakterlerdir. En yayg\u0131n ayra\u00e7lar bo\u015fluk (whitespace), sekme (tab), yeni sat\u0131r karakterleri (newline) ve yorum sat\u0131rlar\u0131d\u0131r. Lexical analiz s\u0131ras\u0131nda bu ayra\u00e7lar genellikle g\u00f6z ard\u0131 edilir veya tek bir “whitespace” tokeni olarak kabul edilir ve genellikle sonraki a\u015famalara aktar\u0131lmazlar. Bununla birlikte, programlama dillerinde noktal\u0131 virg\u00fcl ( \u015eimdi bir \u00f6rnekle bu \u00fc\u00e7 kavram\u0131 daha iyi anlayal\u0131m:<\/p>\n <\/code><\/p>\n Bu kod par\u00e7ac\u0131\u011f\u0131nda s\u00f6zc\u00fcksel analiz \u015fu tokenleri \u00fcretecektir:<\/p>\n G\u00f6rd\u00fc\u011f\u00fcn\u00fcz gibi, s\u00f6zc\u00fcksel analiz kaynak kodu bir ham metin y\u0131\u011f\u0131n\u0131ndan al\u0131p, derleyicinin sonraki a\u015famalar\u0131nda kolayca i\u015fleyebilece\u011fi yap\u0131land\u0131r\u0131lm\u0131\u015f bir token ak\u0131\u015f\u0131na d\u00f6n\u00fc\u015ft\u00fcr\u00fcyor. Bu ayr\u0131\u015ft\u0131rma i\u015flemi, derleyicinin program\u0131n s\u00f6zdizimini ve anlambilimini anlamas\u0131 i\u00e7in ilk ve en kritik ad\u0131m\u0131 te\u015fkil eder.<\/p>\n S\u00f6zc\u00fcksel analizde lexeme'leri tan\u0131mak i\u00e7in en g\u00fc\u00e7l\u00fc ve yayg\u0131n kullan\u0131lan y\u00f6ntemlerden biri d\u00fczenli ifadelerdir (Regular Expressions veya Regex). Regex, belirli bir desene uyan metin dizilerini tan\u0131mlamak i\u00e7in kullan\u0131lan \u00f6zel bir karakter dizisidir. Bir lexer yazarken, her farkl\u0131 token t\u00fcr\u00fc i\u00e7in (anahtar kelimeler, tan\u0131mlay\u0131c\u0131lar, say\u0131lar, operat\u00f6rler vb.) bir d\u00fczenli ifade tan\u0131mlayarak, kaynak kod ak\u0131\u015f\u0131nda bu desenleri arar ve e\u015fle\u015fen par\u00e7alar\u0131 tokenlere d\u00f6n\u00fc\u015ft\u00fcr\u00fcr\u00fcz. Bu yakla\u015f\u0131m, \u00f6zellikle metin tabanl\u0131 verilerle u\u011fra\u015f\u0131rken inan\u0131lmaz derecede esneklik ve g\u00fc\u00e7 sa\u011flar.<\/p>\n D\u00fczenli ifadeler, karma\u015f\u0131k karakter dizilerini k\u0131sa ve anla\u015f\u0131l\u0131r bir \u015fekilde tan\u0131mlamam\u0131z\u0131 sa\u011flar. \u00d6rne\u011fin:<\/p>\n Bir lexer tasarlarken, bu d\u00fczenli ifadeleri belirli bir \u00f6ncelik s\u0131ras\u0131na g\u00f6re uygulamak \u00f6nemlidir. \u00d6rne\u011fin, anahtar kelimeler ( Diyelim ki sadece toplama, \u00e7\u0131karma, \u00e7arpma ve b\u00f6lme i\u015flemleri yapabilen basit bir hesap makinesi dili i\u00e7in bir lexer yaz\u0131yoruz. Dilimiz \u015fu token t\u00fcrlerini i\u00e7erecek: \u0130\u015fte bu dil i\u00e7in kullanabilece\u011fimiz baz\u0131 d\u00fczenli ifade desenleri ve bir Python benzeri s\u00f6zde kodla basit bir lexer \u00f6rne\u011fi:<\/p>\n <\/code><\/p>\n Yukar\u0131daki \u00f6rnekte, D\u00fczenli ifadeler teorik olarak sonlu otomatlara (Finite Automata - FA) dayan\u0131r. Her d\u00fczenli ifade, e\u015fde\u011fer bir sonlu otomat ile temsil edilebilir. Sonlu otomatlar, belirli bir durum k\u00fcmesine ve bu durumlar aras\u0131nda ge\u00e7i\u015fleri tan\u0131mlayan kurallara sahip soyut makinelerdir. Lexer'lar, genellikle Durum Ge\u00e7i\u015f Diyagramlar\u0131 (State Transition Diagrams) olarak g\u00f6rselle\u015ftirilebilen bu otomatlar arac\u0131l\u0131\u011f\u0131yla lexeme'leri tan\u0131r.<\/p>\n Bir NFA (Non-deterministic Finite Automaton) veya DFA (Deterministic Finite Automaton) olu\u015fturarak, her bir lexeme t\u00fcr\u00fc i\u00e7in nas\u0131l bir karakter dizisi bekledi\u011fimizi modelleyebiliriz. \u00d6rne\u011fin, bir tan\u0131mlay\u0131c\u0131y\u0131 tan\u0131mak i\u00e7in, 'ba\u015flang\u0131\u00e7' durumundan bir harf veya alt \u00e7izgi ile 'tan\u0131mlay\u0131c\u0131_okunuyor' durumuna ge\u00e7ilir. Ard\u0131ndan, 'tan\u0131mlay\u0131c\u0131_okunuyor' durumunda iken harf, rakam veya alt \u00e7izgi gelmeye devam ettik\u00e7e bu durumda kal\u0131n\u0131r. Farkl\u0131 bir karakter geldi\u011finde ise tan\u0131mlay\u0131c\u0131 tamamlanm\u0131\u015f olur ve bir 'IDENTIFIER' tokeni \u00fcretilir. Bu, lexer'\u0131n \"makine \u00f6\u011frenimi\" gibi, girdi ak\u0131\u015f\u0131na g\u00f6re durumunu de\u011fi\u015ftirmesi ve belirli bir deseni tan\u0131mas\u0131 anlam\u0131na gelir.<\/p>\n Lex veya Flex gibi lexer \u00fcrete\u00e7leri, bize d\u00fczenli ifadeleri girdi olarak verip, otomatik olarak bu ifadeleri sonlu otomatlara d\u00f6n\u00fc\u015ft\u00fcren ve ard\u0131ndan h\u0131zl\u0131 bir lexer kodu \u00fcreten ara\u00e7lard\u0131r. Bu ara\u00e7lar, elle bir lexer yazmaktan \u00e7ok daha verimli ve hatas\u0131z bir \u015fekilde lexer olu\u015fturmam\u0131z\u0131 sa\u011flar. Dolay\u0131s\u0131yla, derinlemesine bir anlay\u0131\u015f i\u00e7in sonlu otomat teorisini bilmek faydal\u0131 olsa da, pratik uygulamalarda haz\u0131r ara\u00e7lar b\u00fcy\u00fck kolayl\u0131k sa\u011flar.<\/p>\n Bir lexer tasarlarken sadece do\u011fru tokenleri \u00fcretmek yeterli de\u011fildir; ayn\u0131 zamanda hatalar\u0131 do\u011fru bir \u015fekilde ele almak ve performans\u0131 optimize etmek de b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r. Yanl\u0131\u015f girilen kodlarla veya beklenmeyen karakterlerle kar\u015f\u0131la\u015f\u0131ld\u0131\u011f\u0131nda lexer'\u0131n nas\u0131l tepki verece\u011fi, derleyicinin kullan\u0131c\u0131 dostu olup olmad\u0131\u011f\u0131n\u0131 belirleyen kritik bir fakt\u00f6rd\u00fcr.<\/p>\n Lexical analiz s\u0131ras\u0131nda kar\u015f\u0131la\u015f\u0131labilecek hatalar genellikle iki ana kategoriye ayr\u0131l\u0131r:<\/p>\n \u0130yi bir hata y\u00f6netimi stratejisi \u015funlar\u0131 i\u00e7ermelidir:<\/p>\n <\/code><\/p>\n Derleyiciler genellikle b\u00fcy\u00fck kod tabanlar\u0131n\u0131 i\u015fledikleri i\u00e7in, lexical analiz a\u015famas\u0131n\u0131n h\u0131zl\u0131 olmas\u0131 \u00f6nemlidir. \u0130\u015fte baz\u0131 optimizasyon ipu\u00e7lar\u0131:<\/p>\n B\u00fcy\u00fck bir yaz\u0131l\u0131m projesinde, \u00f6rne\u011fin 100.000 sat\u0131rdan fazla kodu olan bir uygulama geli\u015ftirirken, lexical hatalar\u0131n tespiti ve y\u00f6netimi hayati \u00f6nem ta\u015f\u0131r. E\u011fer lexer yaln\u0131zca ilk hatada durup rapor verseydi, geli\u015ftiricinin her hatay\u0131 d\u00fczelttikten sonra tekrar derleme yapmas\u0131 gerekirdi. Bu, geli\u015ftirme s\u00fcrecini ciddi \u015fekilde yava\u015flat\u0131r. Modern derleyiciler, bu t\u00fcr durumlar i\u00e7in genellikle hata kurtarma mekanizmalar\u0131n\u0131 devreye sokar. \u00d6rne\u011fin, ge\u00e7ersiz bir karakter dizisiyle kar\u015f\u0131la\u015f\u0131ld\u0131\u011f\u0131nda, lexer o karakter dizisini \"INVALID_TOKEN\" olarak i\u015faretler, hata mesaj\u0131n\u0131 kaydeder ve bir sonraki potansiyel ge\u00e7erli tokeni aramaya devam eder. B\u00f6ylece, tek bir derleme i\u015fleminde birden fazla lexical hatan\u0131n raporlanmas\u0131 sa\u011flan\u0131r, bu da geli\u015ftiricinin daha az iterasyonla sorunlar\u0131 \u00e7\u00f6zmesine olanak tan\u0131r.<\/p>\n Kendi lexer'\u0131n\u0131z\u0131 olu\u015fturmak, s\u00f6zc\u00fcksel analizin temel prensiplerini peki\u015ftirmenin en iyi yoludur. Bu b\u00f6l\u00fcmde, basit bir lexer'\u0131n temel yap\u0131 ta\u015flar\u0131n\u0131 ve ad\u0131m ad\u0131m nas\u0131l olu\u015fturulaca\u011f\u0131n\u0131 inceleyece\u011fiz. Amac\u0131m\u0131z, herhangi bir programlama dilinde uygulanabilecek genel bir \u015fablon sunmakt\u0131r.<\/p>\n Bir lexer genellikle a\u015fa\u011f\u0131daki ana bile\u015fenleri i\u00e7erir:<\/p>\n \u015eimdi, basit bir programlama dili i\u00e7in (sadece matematiksel ifadeler ve de\u011fi\u015fkenler) bir lexer'\u0131n temel iskeletini ad\u0131m ad\u0131m olu\u015ftural\u0131m. Bu \u00f6rnekte JavaScript benzeri bir s\u00f6zde kod kullanaca\u011f\u0131z.<\/p>\n \u0130lk olarak, dilimizde bulunacak t\u00fcm token t\u00fcrlerini ( <\/code><\/p>\n Girdi metnini i\u015fleyecek ana lexer s\u0131n\u0131f\u0131n\u0131 tan\u0131mlayal\u0131m. Bu s\u0131n\u0131f, girdi metnini tutacak, mevcut okuma pozisyonunu y\u00f6netecek ve karakter okuma i\u015flemleri i\u00e7in yard\u0131mc\u0131 metotlara sahip olacakt\u0131r.<\/p>\n <\/code><\/p>\n Bu, lexer'\u0131n kalbidir. Kaynak kodu karakter karakter tarayarak, tan\u0131mlanan desenlere uyan lexeme'leri bulur ve bunlara kar\u015f\u0131l\u0131k gelen tokenleri olu\u015fturur. Burada d\u00fczenli ifadeler veya elle yaz\u0131lm\u0131\u015f durum makineleri kullan\u0131labilir.<\/p>\n <\/code><\/p>\n Bu temel yap\u0131, lexer'\u0131n\u0131z i\u00e7in g\u00fc\u00e7l\u00fc bir ba\u015flang\u0131\u00e7 noktas\u0131d\u0131r. Karma\u015f\u0131kl\u0131k artt\u0131k\u00e7a, Kullan\u0131m \u00d6rne\u011fi:<\/strong><\/p>\n <\/code><\/p>\n Bu \u00f6rnekte, elle yaz\u0131lm\u0131\u015f bir lexer'\u0131n temel mant\u0131\u011f\u0131n\u0131 g\u00f6r\u00fcyorsunuz. Her ad\u0131mda bir karakter okuyup, bir sonraki tokeni tahmin etmeye \u00e7al\u0131\u015f\u0131yor. Girdi metni karma\u015f\u0131kla\u015ft\u0131k\u00e7a, bu manuel yakla\u015f\u0131m\u0131n yerini daha \u00e7ok d\u00fczenli ifade tabanl\u0131 veya otomatik lexer \u00fcrete\u00e7leri al\u0131r. Kendi dilinizin ihtiya\u00e7lar\u0131na g\u00f6re bu yap\u0131y\u0131 geni\u015fletebilir ve geli\u015ftirebilirsiniz.<\/p>\n Derleyici geli\u015ftirme serimizin bu \u00fc\u00e7\u00fcnc\u00fc b\u00f6l\u00fcm\u00fcnde, s\u00f6zc\u00fcksel analizin b\u00fcy\u00fcleyici d\u00fcnyas\u0131na derinlemesine bir dal\u0131\u015f yapt\u0131k. Art\u0131k, kaynak kodun ham metin formundan anlaml\u0131 tokenler ak\u0131\u015f\u0131na nas\u0131l d\u00f6n\u00fc\u015ft\u00fcr\u00fcld\u00fc\u011f\u00fcn\u00fc, bu d\u00f6n\u00fc\u015f\u00fcm\u00fcn arkas\u0131ndaki temel kavramlar olan token, lexeme ve ayrac\u0131 net bir \u015fekilde anl\u0131yorsunuz. D\u00fczenli ifadelerin bu s\u00fcre\u00e7teki kritik rol\u00fcn\u00fc, sonlu otomatlarla olan ili\u015fkisini ve kendi lexer'\u0131n\u0131z\u0131 olu\u015ftururken izlemeniz gereken ad\u0131mlar\u0131 pratik \u00f6rneklerle ele ald\u0131k. Ayr\u0131ca, hata y\u00f6netimi ve performans optimizasyonu gibi \u00f6nemli konulara de\u011finerek, sa\u011flam ve etkili bir lexer geli\u015ftirmenin ipu\u00e7lar\u0131n\u0131 da payla\u015ft\u0131k.<\/p>\n S\u00f6zc\u00fcksel analiz, bir derleyicinin in\u015faat\u0131n\u0131n temelini olu\u015fturur. Bu a\u015fama olmadan, program\u0131n s\u00f6zdizimini kontrol etmek veya anlamsal anlam\u0131n\u0131 \u00e7\u0131karmak imkans\u0131z hale gelirdi. \u015eimdi, elinizde programlama dilinizin \"kelimeleri\" var. Bir sonraki ad\u0131mda, bu kelimeleri kullanarak \"c\u00fcmleleri\" nas\u0131l olu\u015fturaca\u011f\u0131m\u0131z\u0131, yani s\u00f6zdizimsel analizi (parsing) inceleyece\u011fiz. Bu, derleyici geli\u015ftirme yolculu\u011funuzda att\u0131\u011f\u0131n\u0131z b\u00fcy\u00fck bir ad\u0131md\u0131r ve sizi kendi programlama dilinizi yaratma hedefinize bir ad\u0131m daha yakla\u015ft\u0131rmaktad\u0131r. Unutmay\u0131n, her b\u00fcy\u00fck yaz\u0131l\u0131m projesi, b\u00f6yle k\u00fc\u00e7\u00fck ve temel ad\u0131mlarla ba\u015flar!<\/p>\n <\/body>x = 10;<\/code> ifadesinde, ‘x’, ‘=’, ’10’ ve ‘;’ her biri ayr\u0131 birer tokendir. Bir token sadece bir metin par\u00e7as\u0131 de\u011fildir; ayn\u0131 zamanda bir “t\u00fcr” ve bazen de bir “de\u011fer” ta\u015f\u0131r. \u00d6rne\u011fin, ‘x’ bir ‘IDENTIFIER’ (tan\u0131mlay\u0131c\u0131) t\u00fcr\u00fcnde tokendir, ’10’ bir ‘INTEGER_LITERAL’ (tam say\u0131 sabiti) t\u00fcr\u00fcnde tokendir ve ‘=’ bir ‘ASSIGNMENT_OPERATOR’ (atama operat\u00f6r\u00fc) t\u00fcr\u00fcndedir. Bu t\u00fcr bilgisi, derleyicinin sonraki a\u015famalar\u0131nda (s\u00f6zdizimsel analiz) hangi tokenin ne anlama geldi\u011fini anlamas\u0131 i\u00e7in hayati derecede \u00f6nemlidir.<\/p>\ntip<\/code> (type) ve bir de\u011fer<\/code> (value) i\u00e7erir. \u00d6rne\u011fin:<\/p>\n\n
{ type: \"KEYWORD\", value: \"if\" }<\/code><\/li>\n{ type: \"IDENTIFIER\", value: \"sayac\" }<\/code><\/li>\n{ type: \"INTEGER_LITERAL\", value: \"100\" }<\/code><\/li>\n{ type: \"OPERATOR\", value: \"+\" }<\/code><\/li>\n<\/ul>\nLexeme (S\u00f6zc\u00fck Birimi) Nedir?<\/h3>\n
Delimiter (Ayra\u00e7) Nedir?<\/h3>\n
;<\/code>), parantezler (()<\/code>, {}<\/code>, []<\/code>) ve virg\u00fcl (,<\/code>) gibi karakterler de birer ayra\u00e7 g\u00f6revi g\u00f6rebilirler; ancak bunlar genellikle kendi ba\u015flar\u0131na birer operat\u00f6r veya noktalama tokeni olarak i\u015flenirler.<\/p>\n\n int sayi = 20; \/\/ Bu bir atama islemidir\n <\/pre>\n\n\n
\n \nLexeme (S\u00f6zc\u00fck Birimi)<\/th>\n Token T\u00fcr\u00fc (Type)<\/th>\n A\u00e7\u0131klama<\/th>\n<\/tr>\n<\/thead>\n \n int<\/code><\/td>\nKEYWORD<\/td>\n Bir anahtar kelime (integer tipi)<\/td>\n<\/tr>\n \n sayi<\/code><\/td>\nIDENTIFIER<\/td>\n Bir tan\u0131mlay\u0131c\u0131 (de\u011fi\u015fken ad\u0131)<\/td>\n<\/tr>\n \n =<\/code><\/td>\nOPERATOR<\/td>\n Bir operat\u00f6r (atama operat\u00f6r\u00fc)<\/td>\n<\/tr>\n \n 20<\/code><\/td>\nINTEGER_LITERAL<\/td>\n Bir tam say\u0131 sabiti<\/td>\n<\/tr>\n \n ;<\/code><\/td>\nPUNCTUATION<\/td>\n Bir noktalama i\u015fareti (ifade sonu)<\/td>\n<\/tr>\n \n \/\/ Bu bir atama islemidir<\/code><\/td>\nCOMMENT (ignored)<\/td>\n Bir yorum sat\u0131r\u0131, genellikle yok say\u0131l\u0131r<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n D\u00fczenli \u0130fadeler (Regular Expressions) ile S\u00f6zc\u00fckleri Tan\u0131ma: Pratik Bir Yakla\u015f\u0131m Nas\u0131l Olur?<\/h2>\n
Regex Temelleri ve Lexer Uygulamas\u0131<\/h3>\n
\n
[a-zA-Z_][a-zA-Z0-9_]*<\/code>: Bir tan\u0131mlay\u0131c\u0131y\u0131 (de\u011fi\u015fken veya fonksiyon ad\u0131) temsil eder. Bir harf veya alt \u00e7izgi ile ba\u015flar, ard\u0131ndan s\u0131f\u0131r veya daha fazla harf, rakam veya alt \u00e7izgi gelebilir.<\/li>\n[0-9]+<\/code>: Bir veya daha fazla rakamdan olu\u015fan bir tam say\u0131y\u0131 temsil eder.<\/li>\n\\\/\\\/.*<\/code>: Tek sat\u0131rl\u0131k bir yorumu temsil eder (\/\/<\/code> ile ba\u015flar, ard\u0131ndan herhangi bir karakter gelebilir).<\/li>\n\"([^\"\\\\]|\\\\.)*\"<\/code>: T\u0131rnak i\u00e7inde metin dizisini (string literal) temsil eder, ka\u00e7\u0131\u015f karakterlerini de dikkate al\u0131r.<\/li>\n\\+|-|\\*|\\\/|=<\/code>: Basit aritmetik operat\u00f6rleri veya atama operat\u00f6r\u00fcn\u00fc temsil eder.<\/li>\n<\/ul>\nif<\/code>, while<\/code>) genellikle tan\u0131mlay\u0131c\u0131lardan \u00f6nce kontrol edilmelidir, \u00e7\u00fcnk\u00fc \"if\" kelimesi asl\u0131nda tan\u0131mlay\u0131c\u0131 regex'iyle de e\u015fle\u015fir. Ancak biz \"if\"i bir anahtar kelime olarak tan\u0131mak isteriz. Bu \u00f6nceliklendirme, lexer'\u0131n do\u011fru tokenleri \u00fcretmesini sa\u011flar.<\/p>\nVaka Analizi: Basit Bir Hesap Makinesi Dili Lexer'\u0131<\/h3>\n
NUMBER<\/code>, PLUS<\/code>, MINUS<\/code>, MULTIPLY<\/code>, DIVIDE<\/code>, LPAREN<\/code>, RPAREN<\/code>, EOF<\/code> (dosya sonu).<\/p>\n\n import re\n\n # Token t\u00fcrleri ve onlara kar\u015f\u0131l\u0131k gelen regex desenleri\n # \u00d6ncelik s\u0131ras\u0131 \u00f6nemlidir: Uzun desenler k\u0131sa desenlerden \u00f6nce gelmeli\n TOKEN_SPECS = [\n ('NUMBER', r'\\d+(\\.\\d*)?'), # Tamsay\u0131 veya ondal\u0131kl\u0131 say\u0131\n ('PLUS', r'\\+'), # Toplama operat\u00f6r\u00fc\n ('MINUS', r'-'), # \u00c7\u0131karma operat\u00f6r\u00fc\n ('MULTIPLY', r'\\*'), # \u00c7arpma operat\u00f6r\u00fc\n ('DIVIDE', r'\\\/'), # B\u00f6lme operat\u00f6r\u00fc\n ('LPAREN', r'\\('), # Sol parantez\n ('RPAREN', r'\\)'), # Sa\u011f parantez\n ('WHITESPACE', r'\\s+'), # Bo\u015fluk karakterleri (genellikle atlan\u0131r)\n ('INVALID', r'.') # Tan\u0131nmayan herhangi bir karakter\n ]\n\n class Token:\n def __init__(self, type, value):\n self.type = type\n self.value = value\n\n def __repr__(self):\n return f\"Token({self.type}, {repr(self.value)})\"\n\n class Lexer:\n def __init__(self, text):\n self.text = text\n self.pos = 0\n self.tokens = []\n\n def tokenize(self):\n while self.pos < len(self.text):\n match = None\n for token_type, pattern in TOKEN_SPECS:\n regex = re.compile(pattern)\n m = regex.match(self.text, self.pos)\n if m:\n match = m\n break\n\n if match:\n lexeme = match.group(0)\n self.pos = match.end()\n\n if token_type == 'WHITESPACE':\n continue # Bo\u015fluklar\u0131 atla\n elif token_type == 'INVALID':\n raise Exception(f\"Ge\u00e7ersiz karakter: {lexeme} konum: {match.start()}\")\n else:\n self.tokens.append(Token(token_type, lexeme))\n else:\n raise Exception(f\"Beklenmeyen karakter: {self.text[self.pos]} konum: {self.pos}\")\n\n self.tokens.append(Token('EOF', None)) # Dosya sonu belirteci\n return self.tokens\n\n # Kullan\u0131m \u00f6rne\u011fi:\n # source_code = \"10 + (2 * 5) - 3 \/ 1\"\n # lexer = Lexer(source_code)\n # tokens = lexer.tokenize()\n # for token in tokens:\n # console.log(token)\n <\/pre>\nTOKEN_SPECS<\/code> listesi her bir token t\u00fcr\u00fc i\u00e7in bir d\u00fczenli ifade tan\u0131mlar. Lexer, kaynak kodu ba\u015ftan sona tararken, her bir pozisyonda TOKEN_SPECS<\/code> listesindeki desenleri s\u0131rayla dener. \u0130lk e\u015fle\u015fen deseni buldu\u011funda, ilgili lexeme'i \u00e7\u0131kar\u0131r, bir token olu\u015fturur ve metin ak\u0131\u015f\u0131nda ilerler. Bo\u015fluk karakterleri \u00f6zel olarak ele al\u0131n\u0131r ve token listesine eklenmez. Tan\u0131nmayan bir karakterle kar\u015f\u0131la\u015f\u0131ld\u0131\u011f\u0131nda ise bir hata f\u0131rlat\u0131l\u0131r.<\/p>\nSonlu Otomatlar (Finite Automata) ve Lexer Tasar\u0131m\u0131: Makine \u00d6\u011frenimi Mant\u0131\u011f\u0131 Nas\u0131l Uygulan\u0131r?<\/h3>\n
Hata Y\u00f6netimi ve Performans Optimizasyonu: Lexical Analyzer'da Kar\u015f\u0131la\u015f\u0131lan Zorluklar Nelerdir?<\/h2>\n
Etkin Hata Y\u00f6netimi Nas\u0131l Yap\u0131l\u0131r?<\/h3>\n
\n
$<\/code> karakterinin beklenmeyen bir yerde kullan\u0131lmas\u0131).<\/li>\nif_then<\/code> yerine if-then<\/code> yaz\u0131lmas\u0131, burada -<\/code> operat\u00f6r olabilir ama if-then<\/code> bir anahtar kelime veya tan\u0131mlay\u0131c\u0131 de\u011fildir).<\/li>\n<\/ol>\n\n
\n \/\/ Hata raporlama \u00f6rne\u011fi (s\u00f6zde kod)\n function reportError(message, line, column) {\n console.error(Lexical Hata [Sat\u0131r ${line}, S\u00fctun ${column}]: ${message}<\/code>);\n }\n\n \/\/ Lexer i\u00e7erisinde\n \/\/ ...\n \/\/ if (match is None):\n \/\/ reportError(\"Beklenmeyen karakter\", currentLine, currentColumn);\n \/\/ self.pos += 1; \/\/ Hatal\u0131 karakteri atla ve devam et\n \/\/ ...\n <\/pre>\nPerformans Optimizasyonu Teknikleri<\/h3>\n
\n
re<\/code> mod\u00fcl\u00fc veya C++'\u0131n std::regex<\/code>'i) performans\u0131 \u00f6nemlidir. Baz\u0131 dillerde yerle\u015fik regex motorlar\u0131 yava\u015f olabilir; bu durumda harici k\u00fct\u00fcphaneler (\u00f6rne\u011fin Google'\u0131n RE2 k\u00fct\u00fcphanesi) veya \u00f6zel olarak yaz\u0131lm\u0131\u015f, daha performansl\u0131 DFA tabanl\u0131 tan\u0131y\u0131c\u0131lar tercih edilebilir.<\/li>\nVaka Analizi: B\u00fcy\u00fck Bir Projede Hata Y\u00f6netimi<\/h3>\n
S\u00f6zc\u00fcksel Analiz Arac\u0131n\u0131n Yap\u0131sal \u015eablonu: Kendi Lexer'\u0131n\u0131z\u0131 Nas\u0131l Olu\u015fturursunuz?<\/h2>\n
Lexer'\u0131n Ana Bile\u015fenleri<\/h3>\n
\n
getNextToken()<\/code> Metodu:<\/strong> Girdi ak\u0131\u015f\u0131ndan bir sonraki ge\u00e7erli tokeni bulan, olu\u015fturup d\u00f6nd\u00fcren ana metod.<\/li>\nAd\u0131m 1: Token T\u00fcrlerini Tan\u0131mlama<\/h3>\n
TokenType<\/code>) belirlememiz gerekir. Bu, lexer'\u0131n ve daha sonraki ayr\u0131\u015ft\u0131rma a\u015famalar\u0131n\u0131n \u00e7al\u0131\u015faca\u011f\u0131 temel yap\u0131 ta\u015flar\u0131d\u0131r.<\/p>\n\n \/\/ Token T\u00fcrleri\n const TokenType = {\n IDENTIFIER: 'IDENTIFIER', \/\/ De\u011fi\u015fken isimleri (\u00f6rn: 'x', 'sayac')\n NUMBER: 'NUMBER', \/\/ Say\u0131lar (\u00f6rn: '10', '3.14')\n PLUS: 'PLUS', \/\/ Toplama operat\u00f6r\u00fc '+'\n MINUS: 'MINUS', \/\/ \u00c7\u0131karma operat\u00f6r\u00fc '-'\n MULTIPLY: 'MULTIPLY', \/\/ \u00c7arpma operat\u00f6r\u00fc '*'\n DIVIDE: 'DIVIDE', \/\/ B\u00f6lme operat\u00f6r\u00fc '\/'\n ASSIGN: 'ASSIGN', \/\/ Atama operat\u00f6r\u00fc '='\n LPAREN: 'LPAREN', \/\/ Sol parantez '('\n RPAREN: 'RPAREN', \/\/ Sa\u011f parantez ')'\n SEMICOLON: 'SEMICOLON', \/\/ Noktal\u0131 virg\u00fcl ';'\n EOF: 'EOF' \/\/ Dosya Sonu (End Of File)\n };\n\n \/\/ Token s\u0131n\u0131f\u0131\n class Token {\n constructor(type, value) {\n this.type = type;\n this.value = value;\n }\n\n toString() {\n return Token(${this.type}, ${this.value !== null ? JSON.stringify(this.value) : 'null'})<\/code>;\n }\n }\n <\/pre>\nAd\u0131m 2: Lexer S\u0131n\u0131f\u0131n\u0131 Olu\u015fturma<\/h3>\n
\n class Lexer {\n constructor(input) {\n this.input = input;\n this.position = 0; \/\/ Girdi ak\u0131\u015f\u0131ndaki mevcut karakterin indeksi\n this.line = 1; \/\/ Mevcut sat\u0131r numaras\u0131\n this.column = 0; \/\/ Mevcut s\u00fctun numaras\u0131\n }\n\n \/\/ Mevcut karakteri d\u00f6nd\u00fcr\u00fcr\n peek() {\n return this.position < this.input.length ? this.input[this.position] : null;\n }\n\n \/\/ Mevcut karakteri d\u00f6nd\u00fcr\u00fcr ve pozisyonu bir art\u0131r\u0131r\n advance() {\n const char = this.peek();\n if (char === '\\n') {\n this.line++;\n this.column = 0;\n } else {\n this.column++;\n }\n this.position++;\n return char;\n }\n\n \/\/ Belirli bir deseni atlar (\u00f6rn: bo\u015fluklar)\n skipWhitespace() {\n while (this.peek() !== null && \/\\s\/.test(this.peek())) {\n this.advance();\n }\n }\n\n \/\/ Hata raporlama\n error(message) {\n throw new Error(Lexer Hatas\u0131 [Sat\u0131r ${this.line}, S\u00fctun ${this.column}]: ${message}<\/code>);\n }\n\n \/\/ ... getNextToken metodu buraya gelecek ...\n }\n <\/pre>\nAd\u0131m 3:
getNextToken()<\/code> Metodunu Uygulama<\/h3>\n\n class Lexer {\n \/\/ ... \u00f6nceki kodlar ...\n\n getNextToken() {\n this.skipWhitespace(); \/\/ Her tokendan \u00f6nce bo\u015fluklar\u0131 atla\n\n if (this.position >= this.input.length) {\n return new Token(TokenType.EOF, null);\n }\n\n const char = this.peek();\n\n \/\/ Say\u0131lar\u0131 oku\n if (\/\\d\/.test(char)) {\n let value = '';\n while (this.peek() !== null && \/\\d\/.test(this.peek())) {\n value += this.advance();\n }\n \/\/ Ondal\u0131kl\u0131 say\u0131lar\u0131 da destekle\n if (this.peek() === '.') {\n value += this.advance();\n while (this.peek() !== null && \/\\d\/.test(this.peek())) {\n value += this.advance();\n }\n }\n return new Token(TokenType.NUMBER, parseFloat(value));\n }\n\n \/\/ Tan\u0131mlay\u0131c\u0131lar\u0131 ve Anahtar Kelimeleri oku\n if (\/[a-zA-Z_]\/.test(char)) {\n let value = '';\n while (this.peek() !== null && \/[a-zA-Z0-9_]\/.test(this.peek())) {\n value += this.advance();\n }\n \/\/ Anahtar kelime kontrol\u00fc (basit bir dilde hen\u00fcz anahtar kelime yok, ama eklenebilir)\n \/\/ if (value === 'if') return new Token(TokenType.IF, value);\n \/\/ ...\n return new Token(TokenType.IDENTIFIER, value);\n }\n\n \/\/ Operat\u00f6rler ve Noktalama i\u015faretleri\n switch (char) {\n case '+': this.advance(); return new Token(TokenType.PLUS, '+');\n case '-': this.advance(); return new Token(TokenType.MINUS, '-');\n case '*': this.advance(); return new Token(TokenType.MULTIPLY, '*');\n case '\/': this.advance(); return new Token(TokenType.DIVIDE, '\/');\n case '=': this.advance(); return new Token(TokenType.ASSIGN, '=');\n case '(': this.advance(); return new Token(TokenType.LPAREN, '(');\n case ')': this.advance(); return new Token(TokenType.RPAREN, ')');\n case ';': this.advance(); return new Token(TokenType.SEMICOLON, ';');\n default: this.error(Ge\u00e7ersiz karakter: '${char}'<\/code>);\n }\n }\n }\n <\/pre>\ngetNextToken()<\/code> metodu daha karma\u015f\u0131k hale gelebilir veya d\u00fczenli ifade motorlar\u0131 (\u00f6rne\u011fin re<\/code> mod\u00fcl\u00fc veya \u00fc\u00e7\u00fcnc\u00fc taraf bir k\u00fct\u00fcphane) kullan\u0131larak basitle\u015ftirilebilir.<\/p>\n\n \/\/ const sourceCode = \"sayac = (10 + 5) * 2;\";\n \/\/ const lexer = new Lexer(sourceCode);\n \/\/ let token;\n \/\/ do {\n \/\/ token = lexer.getNextToken();\n \/\/ console.log(token.toString());\n \/\/ } while (token.type !== TokenType.EOF);\n \/\/ \/* \u00c7\u0131kt\u0131:\n \/\/ Token(IDENTIFIER, \"sayac\")\n \/\/ Token(ASSIGN, \"=\")\n \/\/ Token(LPAREN, \"(\")\n \/\/ Token(NUMBER, 10)\n \/\/ Token(PLUS, \"+\")\n \/\/ Token(NUMBER, 5)\n \/\/ Token(RPAREN, \")\")\n \/\/ Token(MULTIPLY, \"*\")\n \/\/ Token(NUMBER, 2)\n \/\/ Token(SEMICOLON, \";\")\n \/\/ Token(EOF, null)\n \/\/ *\/\n <\/pre>\nSonu\u00e7: Derleyici Geli\u015ftirmenin \u0130lk Ad\u0131m\u0131 Tamamland\u0131<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n
\n
\n<\/html><\/p>\n","protected":false},"excerpt":{"rendered":"Kodunuzun bir bilgisayar taraf\u0131ndan anla\u015f\u0131labilir ve \u00e7al\u0131\u015ft\u0131r\u0131labilir hale geldi\u011fini hi\u00e7 d\u00fc\u015f\u00fcnd\u00fcn\u00fcz m\u00fc? Bu karma\u015f\u0131k s\u00fcrecin ilk ve en…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-33505","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n