Yapay zeka modellerinin e\u011fitilmesi \u00e7o\u011fu zaman hem y\u00fcksek hesaplama g\u00fcc\u00fc hem de devasa veri setleri gerektiren, olduk\u00e7a yava\u015f ve maliyetli bir s\u00fcre\u00e7 olabilir. Peki ya bu s\u00fcre\u00e7leri k\u00f6kten h\u0131zland\u0131rman\u0131n, yapay zekay\u0131 daha \u00e7evik ve eri\u015filebilir k\u0131lman\u0131n gizli bir yolu olsayd\u0131? Bu makalede, Peki\u015ftirmeli \u00d6\u011frenme’nin derinliklerinde yatan “gizli simetrilerin” nas\u0131l ke\u015ffedilip kullan\u0131labilece\u011fini, b\u00f6ylece AI e\u011fitimini dramatik bir \u015fekilde h\u0131zland\u0131rabilece\u011fimizi ad\u0131m ad\u0131m inceleyece\u011fiz. Haz\u0131r olun, \u00e7\u00fcnk\u00fc AI’\u0131n gelece\u011fini \u015fekillendirecek kritik bir konuya dal\u0131yoruz!<\/p>\n
G\u00fcn\u00fcm\u00fcz d\u00fcnyas\u0131nda yapay zeka uygulamalar\u0131, otonom ara\u00e7lardan t\u0131bbi te\u015fhise, oyunlardan robotik sistemlere kadar geni\u015f bir yelpazeye yay\u0131lm\u0131\u015f durumda. Ancak bu ileri seviye sistemlerin arkas\u0131nda yatan e\u011fitim s\u00fcre\u00e7leri, \u00e7o\u011fu zaman tahmin edilenden \u00e7ok daha karma\u015f\u0131k ve maliyetlidir. \u00d6zellikle Peki\u015ftirmeli \u00d6\u011frenme (Reinforcement Learning – RL) alan\u0131nda, bir yapay zeka ajan\u0131’n\u0131n (agent) belirli bir ortamda (environment) deneme-yan\u0131lma yoluyla \u00f6\u011frenmesi s\u00f6z konusu oldu\u011funda, ihtiya\u00e7 duyulan veri miktar\u0131 ve hesaplama s\u00fcresi ak\u0131l almaz boyutlara ula\u015fabilir. Bir ajan\u0131n, her olas\u0131 durumu ve eylemi deneyimleyerek optimum bir politika (policy) geli\u015ftirmesi i\u00e7in milyonlarca, hatta milyarlarca etkile\u015fim gerekebilir.<\/p>\n
Bu veri a\u00e7l\u0131\u011f\u0131 ve hesaplama maliyeti, Peki\u015ftirmeli \u00d6\u011frenme’nin ger\u00e7ek d\u00fcnya senaryolar\u0131nda geni\u015f \u00e7apl\u0131 adaptasyonunun \u00f6n\u00fcndeki en b\u00fcy\u00fck engellerden biridir. \u00d6rne\u011fin, bir robotun karma\u015f\u0131k bir montaj g\u00f6revini \u00f6\u011frenmesi i\u00e7in fiziksel d\u00fcnyada defalarca hata yapmas\u0131na izin vermek hem zaman al\u0131c\u0131 hem de pahal\u0131d\u0131r. Sanal sim\u00fclasyonlar bir nebze yard\u0131mc\u0131 olsa da, “ger\u00e7ekli\u011fe aktar\u0131m” (sim-to-real transfer) problemleri halen \u00f6nemli bir zorluk te\u015fkil eder. Bu nedenle, yapay zeka e\u011fitim s\u00fcre\u00e7lerini h\u0131zland\u0131rmak, sadece m\u00fchendislerin i\u015fini kolayla\u015ft\u0131rmakla kalmaz, ayn\u0131 zamanda AI teknolojilerinin daha uygun maliyetli, daha g\u00fcvenilir ve daha h\u0131zl\u0131 bir \u015fekilde yeni alanlara yay\u0131lmas\u0131n\u0131n da anahtar\u0131n\u0131 olu\u015fturur. AI h\u0131z\u0131n\u0131n art\u0131r\u0131lmas\u0131, yeniliklerin \u00f6n\u00fcn\u00fc a\u00e7ar ve yapay zekan\u0131n potansiyelini tam anlam\u0131yla ortaya \u00e7\u0131karmam\u0131z\u0131 sa\u011flar.<\/p>\n
Peki\u015ftirmeli \u00d6\u011frenme’nin temel prensiplerini hat\u0131rlayal\u0131m: Bir ajan, bir ortamda belirli bir “durum” (state) i\u00e7indeyken bir “eylem” (action) ger\u00e7ekle\u015ftirir. Bu eylemin sonucunda, ortam yeni bir duruma ge\u00e7er ve ajan bir “\u00f6d\u00fcl” (reward) al\u0131r. Ajan\u0131n amac\u0131, uzun vadede en y\u00fcksek toplam \u00f6d\u00fcl\u00fc maksimize edecek bir politika \u00f6\u011frenmektir. Bu politika, her durumda hangi eylemi se\u00e7ece\u011fini belirler. De\u011fer fonksiyonlar\u0131 (value functions) ise, belirli bir durum veya durum-eylem \u00e7ifti i\u00e7in gelecekte beklenen toplam \u00f6d\u00fcl\u00fc tahmin etmeye yard\u0131mc\u0131 olur. Bu d\u00f6ng\u00fcsel s\u00fcre\u00e7, ajan\u0131n ortamla etkile\u015fim kurarak tecr\u00fcbe edinmesini ve zamanla daha ak\u0131ll\u0131 kararlar vermesini sa\u011flar. Ancak, her bir durum-eylem kombinasyonunun ayr\u0131 ayr\u0131 \u00f6\u011frenilmesi gerekti\u011finde, ke\u015ffedilecek uzay\u0131n boyutu katlanarak b\u00fcy\u00fcr ve bu da h\u0131z\u0131 ciddi \u00f6l\u00e7\u00fcde d\u00fc\u015f\u00fcren bir fakt\u00f6r haline gelir. Bu noktada, simetriler devreye girerek bu karma\u015f\u0131kl\u0131\u011f\u0131 azaltma potansiyeli sunar.<\/p>\n
Simetri kavram\u0131, asl\u0131nda g\u00fcnl\u00fck hayat\u0131m\u0131zdan fizi\u011fe, matematikten sanata kadar pek \u00e7ok alanda kar\u015f\u0131m\u0131za \u00e7\u0131kar. En basit tan\u0131m\u0131yla simetri, bir nesnenin veya sistemin belirli bir d\u00f6n\u00fc\u015f\u00fcm (\u00f6rne\u011fin d\u00f6nd\u00fcrme, yans\u0131tma, \u00f6teleme) sonras\u0131nda de\u011fi\u015fmeden kalmas\u0131 veya ayn\u0131 g\u00f6r\u00fcnmesi durumudur. Bir daire, merkez etraf\u0131nda d\u00f6nd\u00fcr\u00fcld\u00fc\u011f\u00fcnde hep ayn\u0131 kal\u0131r; bu onun d\u00f6nme simetrisidir. Bir kelebek ise v\u00fccudunun orta hatt\u0131na g\u00f6re bir yans\u0131ma simetrisine sahiptir. Peki, bu kavram\u0131 Peki\u015ftirmeli \u00d6\u011frenme d\u00fcnyas\u0131na nas\u0131l ta\u015f\u0131yabiliriz ve gizli simetriler orada ne anlama geliyor?<\/p>\n
Peki\u015ftirmeli \u00d6\u011frenme ba\u011flam\u0131nda gizli simetriler, asl\u0131nda farkl\u0131 g\u00f6r\u00fcnen ancak temel \u00f6zellikleri veya sonu\u00e7lar\u0131 a\u00e7\u0131s\u0131ndan e\u015fde\u011fer olan durumlar, eylemler veya politika yap\u0131lar\u0131d\u0131r. Yani, bir ortamdaki birden fazla durum-eylem \u00e7ifti, ajan\u0131n \u00f6\u011frenme s\u00fcreci a\u00e7\u0131s\u0131ndan ayn\u0131 bilgiyi ta\u015f\u0131yor olabilir. \u00d6rne\u011fin, bir kare \u0131zgara d\u00fcnyas\u0131nda ajan\u0131n sa\u011fa hareket etmesiyle, ayn\u0131 \u0131zgaran\u0131n 90 derece d\u00f6nd\u00fcr\u00fclm\u00fc\u015f hali i\u00e7inde ajan\u0131n yukar\u0131 hareket etmesi, asl\u0131nda ayn\u0131 t\u00fcrden bir etkile\u015fimi temsil edebilir. Bu t\u00fcr e\u015fde\u011ferlikler, ajan\u0131n t\u00fcm olas\u0131 durumlar\u0131 ve eylemleri ayr\u0131 ayr\u0131 \u00f6\u011frenmek zorunda kalmamas\u0131 anlam\u0131na gelir. Simetriler, problem uzay\u0131n\u0131n ger\u00e7ekte g\u00f6r\u00fcnd\u00fc\u011f\u00fcnden daha k\u00fc\u00e7\u00fck oldu\u011funu g\u00f6steren ipu\u00e7lar\u0131d\u0131r.<\/p>\n
Bu simetriler farkl\u0131 \u015fekillerde ortaya \u00e7\u0131kabilir:<\/p>\n
Bu gizli simetrileri ke\u015ffetmek ve kullanmak, Peki\u015ftirmeli \u00d6\u011frenme algoritmalar\u0131n\u0131n veri verimlili\u011fini ve hesaplama h\u0131z\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rabilir. \u00c7\u00fcnk\u00fc ajan\u0131n, t\u00fcm simetrik e\u015fde\u011fer durumlar\u0131 ayr\u0131 ayr\u0131 \u00f6\u011frenmek yerine, sadece bir “kanonik” (temsilci) durumu \u00f6\u011frenmesi yeterli olacakt\u0131r. Bu, ajan\u0131n \u00f6\u011frenmesi gereken bilgi miktar\u0131n\u0131 dramatik bir \u015fekilde azalt\u0131r, b\u00f6ylece daha az deneme ile daha h\u0131zl\u0131 bir \u015fekilde optimum politikaya ula\u015fmas\u0131n\u0131 sa\u011flar. Markov Karar S\u00fcre\u00e7leri (MKS) teorisi ba\u011flam\u0131nda bu, durum uzay\u0131n\u0131n etkili bir \u015fekilde k\u00fc\u00e7\u00fclt\u00fclmesi veya eylem uzay\u0131n\u0131n basitle\u015ftirilmesi anlam\u0131na gelir. Bu sayede ajan\u0131n ke\u015fif alan\u0131 daral\u0131r ve \u00f6\u011frenme s\u00fcreci \u00e7ok daha verimli hale gelir.<\/p>\n
Peki\u015ftirmeli \u00d6\u011frenme s\u00fcre\u00e7lerinde simetrileri tespit etmek ve bunlar\u0131 algoritmalara dahil etmek, hem sezgisel g\u00f6zlem hem de daha geli\u015fmi\u015f otomatik y\u00f6ntemlerle m\u00fcmk\u00fcnd\u00fcr. \u0130lk ad\u0131m genellikle ortam\u0131 dikkatlice analiz etmektir. Bir\u00e7ok yapay zeka problemi, do\u011fas\u0131 gere\u011fi belirli simetrilere sahiptir; \u00f6rne\u011fin, bir robotun g\u00f6revi konumundan ba\u011f\u0131ms\u0131zsa veya bir oyun tahtas\u0131 d\u00f6nd\u00fcr\u00fcld\u00fc\u011f\u00fcnde ayn\u0131 kurallara tabi kal\u0131yorsa, bu sezgisel olarak alg\u0131lanabilecek bir simetridir. Ancak daha karma\u015f\u0131k ortamlarda, bu t\u00fcr simetrileri otomatik olarak ke\u015ffetmek i\u00e7in daha sofistike tekniklere ihtiya\u00e7 duyulur.<\/p>\n
Simetrileri alg\u0131laman\u0131n bir yolu, grup teorisi prensiplerini uygulamakt\u0131r. Grup teorisi, matematiksel olarak simetrileri tan\u0131mlamak ve s\u0131n\u0131fland\u0131rmak i\u00e7in g\u00fc\u00e7l\u00fc bir \u00e7er\u00e7eve sunar. Bir durum uzay\u0131ndaki simetrik d\u00f6n\u00fc\u015f\u00fcmlerin olu\u015fturdu\u011fu bir “grup” tan\u0131mlayarak, bu grubun durumlar\u0131 nas\u0131l e\u015fde\u011fer s\u0131n\u0131flara ay\u0131rd\u0131\u011f\u0131n\u0131 analiz edebiliriz. Derin \u00f6\u011frenme tabanl\u0131 yakla\u015f\u0131mlarda ise, \u00f6zellikle Graph Neural Networks (GNN’ler) veya Group Equivariant Convolutional Networks (GECN’ler) gibi mimariler, simetrileri otomatik olarak ke\u015ffetme ve kullanma yetene\u011fine sahiptir. Bu a\u011flar, girdi verilerindeki belirli d\u00f6n\u00fc\u015f\u00fcmlere (d\u00f6nme, yans\u0131ma vb.) kar\u015f\u0131 de\u011fi\u015fmez (invariant) veya e\u015fde\u011fer (equivariant) \u00f6zellikler \u00f6\u011frenmek \u00fczere tasarlanm\u0131\u015ft\u0131r, bu da onlar\u0131n simetrilerden do\u011fal olarak faydalanmas\u0131n\u0131 sa\u011flar.<\/p>\n
Simetriler belirlendikten sonra, bunlar\u0131 Peki\u015ftirmeli \u00d6\u011frenme algoritmalar\u0131na entegre etmenin birka\u00e7 yolu vard\u0131r. Temel prensip, simetrik olarak e\u015fde\u011fer durumlar veya eylemler i\u00e7in ayn\u0131 \u00f6\u011frenilmi\u015f de\u011ferleri veya politikalar\u0131 kullanmakt\u0131r. Bu, ajan\u0131n her bir e\u015fde\u011fer durumu ayr\u0131 ayr\u0131 \u00f6\u011frenmek zorunda kalmamas\u0131n\u0131 sa\u011flar. \u00d6rne\u011fin, Model Tabanl\u0131 Peki\u015ftirmeli \u00d6\u011frenme<\/b> yakla\u015f\u0131mlar\u0131nda, ortam\u0131n bir modelini \u00f6\u011freniriz. Simetriler bu modelin kendisini basitle\u015ftirebilir, durum uzay\u0131n\u0131 etkili bir \u015fekilde k\u00fc\u00e7\u00fclterek planlama ve arama algoritmalar\u0131n\u0131n \u00e7ok daha verimli \u00e7al\u0131\u015fmas\u0131na olanak tan\u0131r. Bir durumdan di\u011ferine ge\u00e7i\u015f olas\u0131l\u0131klar\u0131n\u0131 ve \u00f6d\u00fclleri sadece kanonik (temsilci) durumlar i\u00e7in hesaplayarak, modelin boyutunu ciddi \u00f6l\u00e7\u00fcde azaltabiliriz.<\/p>\n
Model \u0130\u00e7ermeyen Peki\u015ftirmeli \u00d6\u011frenme<\/b> y\u00f6ntemlerinde ise (\u00f6rne\u011fin Q-Learning veya Derin Q A\u011flar\u0131 – DQN), simetrileri do\u011frudan de\u011fer fonksiyonlar\u0131na veya politika a\u011flar\u0131na dahil edebiliriz. Q-Learning’de, simetrik olan t\u00fcm durum-eylem \u00e7iftleri i\u00e7in ayn\u0131 Q-de\u011ferini saklamak \u00fczere bir “kanonik durum” kavram\u0131 tan\u0131mlanabilir. Bu, Q-tablosunun boyutunu ve dolay\u0131s\u0131yla \u00f6\u011frenme s\u00fcresini azalt\u0131r. DQN gibi derin \u00f6\u011frenme tabanl\u0131 yakla\u015f\u0131mlarda ise, a\u011f\u0131n mimarisini simetriye duyarl\u0131 olacak \u015fekilde tasarlayabiliriz. \u00d6rne\u011fin, konvol\u00fcsyonel katmanlar zaten \u00f6teleme simetrisinden yararlan\u0131r; daha karma\u015f\u0131k simetriler i\u00e7in ise \u00f6zel tasarlanm\u0131\u015f equivariant katmanlar kullan\u0131labilir. Politik Gradanlar\u0131 (Policy Gradients) tabanl\u0131 y\u00f6ntemlerde de benzer \u015fekilde, politika a\u011f\u0131n\u0131n mimarisi, simetrik d\u00f6n\u00fc\u015f\u00fcmler alt\u0131nda politikay\u0131 invariant veya equivariant yapacak \u015fekilde d\u00fczenlenebilir, bu da daha genellenebilir ve h\u0131zl\u0131 \u00f6\u011frenilen politikalar elde etmemizi sa\u011flar. Bu entegrasyon y\u00f6ntemleri, ajan\u0131n \u00f6\u011frenme s\u00fcrecini h\u0131zland\u0131r\u0131rken, ayn\u0131 zamanda daha sa\u011flam ve genellenebilir bir performans sergilemesine yard\u0131mc\u0131 olur.<\/p>\nVaka Analizi: Sanal Bir Ortamda Simetri Kullan\u0131m\u0131 ve Bir \u00d6rnek Uygulama<\/h4>\n
\u015eimdi simetrilerin Peki\u015ftirmeli \u00d6\u011frenme’de nas\u0131l somut bir fayda sa\u011flad\u0131\u011f\u0131na dair basit bir senaryo d\u00fc\u015f\u00fcnelim: “Bloklar\u0131 Birle\u015ftir” ad\u0131nda, 3×3 bir \u0131zgarada oynanan basit bir bulmaca oyunu. Bu oyunda ajan, \u0131zgaradaki farkl\u0131 renkli bloklar\u0131 belirli bir desene g\u00f6re yerle\u015ftirmeye \u00e7al\u0131\u015f\u0131r. Bu oyunun kurallar\u0131ndan biri, \u0131zgaran\u0131n 90, 180 veya 270 derece d\u00f6nd\u00fcr\u00fclmesiyle veya dikey\/yatay olarak yans\u0131t\u0131lmas\u0131yla oyunun temel dinamiklerinin de\u011fi\u015fmemesidir. Yani, hedef deseni 90 derece d\u00f6nd\u00fcrmek, orijinal hedefe ula\u015fmak kadar ge\u00e7erlidir.<\/p>\n
Normal bir Peki\u015ftirmeli \u00d6\u011frenme yakla\u015f\u0131m\u0131nda, ajan her bir farkl\u0131 \u0131zgara d\u00fczenini ayr\u0131 bir “durum” olarak alg\u0131lar ve bu durumlar i\u00e7in optimum eylemleri \u00f6\u011frenmeye \u00e7al\u0131\u015f\u0131r. Ancak 3×3 bir \u0131zgaradaki olas\u0131 blok d\u00fczenlemelerinin say\u0131s\u0131 olduk\u00e7a fazlad\u0131r. E\u011fer ajana, ayn\u0131 \u0131zgara d\u00fczeninin d\u00f6nd\u00fcr\u00fclm\u00fc\u015f veya yans\u0131t\u0131lm\u0131\u015f hallerinin asl\u0131nda ayn\u0131 anlama geldi\u011fini \u00f6\u011fretmezsek, her bir simetrik d\u00f6n\u00fc\u015f\u00fcm i\u00e7in ayr\u0131 ayr\u0131 \u00f6\u011frenme yapmas\u0131 gerekir. Bu da \u00f6\u011frenme uzay\u0131n\u0131n (durum uzay\u0131n\u0131n) gereksiz yere b\u00fcy\u00fcmesi anlam\u0131na gelir.<\/p>\n
Simetrileri kullanarak bu problemi nas\u0131l \u00e7\u00f6zebiliriz? Ajan\u0131n g\u00f6rd\u00fc\u011f\u00fc her \u0131zgara durumunu al\u0131p, ona uygulanabilecek t\u00fcm simetrik d\u00f6n\u00fc\u015f\u00fcmleri (90\u00b0, 180\u00b0, 270\u00b0 d\u00f6nmeler ve dikey\/yatay yans\u0131malar) uygular\u0131z. Bu d\u00f6n\u00fc\u015f\u00fcmler sonucunda elde edilen t\u00fcm durumlar aras\u0131nda, \u00f6nceden belirlenmi\u015f bir “kanonik temsil” se\u00e7eriz. \u00d6rne\u011fin, \u0131zgara i\u00e7eri\u011fini bir say\u0131 dizisine d\u00f6n\u00fc\u015ft\u00fcr\u00fcp, bu diziler aras\u0131nda alfabetik veya say\u0131sal olarak en k\u00fc\u00e7\u00fck olan\u0131 kanonik temsil olarak se\u00e7ebiliriz. Art\u0131k ajan, herhangi bir \u0131zgara d\u00fczenini g\u00f6rd\u00fc\u011f\u00fcnde, \u00f6ncelikle onun kanonik temsilini bulur ve \u00f6\u011frenme s\u00fcre\u00e7lerini (Q-de\u011ferlerini g\u00fcncelleme, politika belirleme) bu kanonik temsil \u00fczerinden yapar. Yani, ajan\u0131n \u00f6\u011frenme belle\u011fi (Q-tablosu veya derin a\u011f\u0131n a\u011f\u0131rl\u0131klar\u0131) sadece benzersiz, kanonik durumlar\u0131 saklar.<\/p>\n
Bu yakla\u015f\u0131m sayesinde, ajan\u0131n \u00f6\u011frenmesi gereken efektif durum say\u0131s\u0131 kat kat azal\u0131r. \u00d6rne\u011fin, bir durumun 8 farkl\u0131 simetrik d\u00f6n\u00fc\u015f\u00fcm\u00fc varsa (kimlik, 3 d\u00f6nme, 4 yans\u0131ma), bu 8 durum i\u00e7in sadece tek bir de\u011fer \u00f6\u011frenmesi yeterli olur. Bu, ajan\u0131n \u00e7ok daha az veriyle, \u00e7ok daha h\u0131zl\u0131 bir \u015fekilde optimum politikay\u0131 ke\u015ffetmesini sa\u011flar. Daha az \u00f6rnekle genelleme yapabilme yetene\u011fi artar, \u00e7\u00fcnk\u00fc ajan\u0131n bir simetrik durumdan \u00f6\u011frendi\u011fi bilgi, otomatik olarak onun t\u00fcm e\u015fde\u011fer simetrik hallerine aktar\u0131l\u0131r. B\u00f6ylece, “Bloklar\u0131 Birle\u015ftir” oyununda ajan, simetrileri kullanmayan bir ajana g\u00f6re hedef deseni \u00e7ok daha k\u0131sa s\u00fcrede ve daha az hatayla tamamlayabilir.<\/p>\n
Peki\u015ftirmeli \u00d6\u011frenme’de simetrileri uygulamak i\u00e7in en temel yakla\u015f\u0131mlardan biri, Q-tablosu gibi de\u011fer fonksiyonlar\u0131n\u0131 simetriye duyarl\u0131 hale getirmektir. Bunu, her g\u00f6zlemlenen durum i\u00e7in onun “kanonik” (yani t\u00fcm simetrik e\u015fde\u011ferlerinden se\u00e7ilen tek bir temsilci) halini kullanarak yapar\u0131z. A\u015fa\u011f\u0131da, basit bir grid d\u00fcnyas\u0131 i\u00e7in pseudo-kod ile bu yakla\u015f\u0131m\u0131 nas\u0131l uygulayabilece\u011finizi g\u00f6receksiniz. Burada, \u00f6rnek olmas\u0131 a\u00e7\u0131s\u0131ndan sadece yans\u0131ma simetrisini dikkate alaca\u011f\u0131z; ger\u00e7ek uygulamalar daha fazla simetri t\u00fcr\u00fcn\u00fc i\u00e7erebilir.<\/p>\n
\n# Python Pseudo-kodu\n# Basit bir 2x1 grid durumu i\u00e7in simetriye duyarl\u0131 Q-tablosu\n\n# Simetri d\u00f6n\u00fc\u015f\u00fcm fonksiyonlar\u0131 listesi\n# Bu \u00f6rnekte, sadece kimlik (de\u011fi\u015fim yok) ve yans\u0131ma (elemanlar\u0131 yer de\u011fi\u015ftir)\n# Daha karma\u015f\u0131k ortamlar i\u00e7in d\u00f6nme vb. eklenebilir.\ndef get_symmetries():\n return [\n lambda s: list(s), # Kimlik (Identity)\n lambda s: [s[1], s[0]] # Yans\u0131ma (Reflection) - \u00d6rnek: [A, B] -> [B, A]\n ]\n\n# Bir durumun kanonik temsilini bulan fonksiyon\ndef get_canonical_state(state_tuple):\n # Tuple'\u0131 listeye \u00e7evir ki de\u011fi\u015ftirilebilir olsun\n state_list = list(state_tuple)\n \n # Ba\u015flang\u0131\u00e7ta kanonik temsil mevcut durumun kendisi olsun\n canonical_rep = state_list\n\n # T\u00fcm simetrik d\u00f6n\u00fc\u015f\u00fcmleri dene\n for sym_func in get_symmetries():\n transformed_state = sym_func(state_list)\n # Lexicographical (s\u00f6zl\u00fckbilimsel) kar\u015f\u0131la\u015ft\u0131rma ile en k\u00fc\u00e7\u00fck temsilciyi bul\n # Bu, kanonik temsili belirlemek i\u00e7in basit bir y\u00f6ntemdir.\n if transformed_state < canonical_rep:\n canonical_rep = transformed_state\n \n # Kanonik temsilciyi tekrar tuple olarak d\u00f6nd\u00fcr (immutable olmas\u0131 i\u00e7in)\n return tuple(canonical_rep)\n\n# Simetriye duyarl\u0131 Q-tablosu g\u00fcncelleme fonksiyonu\ndef update_q_table_symmetric(q_table, current_state, action, reward, next_state, alpha=0.1, gamma=0.9):\n # Mevcut ve bir sonraki durumlar\u0131n kanonik temsillerini bul\n canonical_current = get_canonical_state(current_state)\n canonical_next = get_canonical_state(next_state)\n\n # Q-tablosunda kanonik durumun varl\u0131\u011f\u0131n\u0131 kontrol et, yoksa ba\u015flat\n if canonical_current not in q_table:\n q_table[canonical_current] = {}\n if action not in q_table[canonical_current]:\n q_table[canonical_current][action] = 0.0 # Eylemi de ba\u015flat\n\n # Geleneksel Q-learning g\u00fcncelleme denklemi\n old_value = q_table[canonical_current][action]\n \n # Bir sonraki kanonik durum i\u00e7in maksimum Q-de\u011ferini bul\n # E\u011fer bir sonraki kanonik durum Q-tablosunda yoksa, 0.0 kabul et (ya da k\u00fc\u00e7\u00fck bir de\u011fer)\n max_next_q = 0.0\n if canonical_next in q_table and q_table[canonical_next]: # q_table[canonical_next] bo\u015f de\u011filse\n max_next_q = max(q_table[canonical_next].values())\n \n new_value = old_value + alpha * (reward + gamma * max_next_q - old_value)\n q_table[canonical_current][action] = new_value\n\n return q_table\n\n# --- \u00d6rnek Kullan\u0131m ---\n# Q-tablosunu ba\u015flat\nq_table = {}\n\n# Durumlar\u0131n temsili: \u00d6rne\u011fin, (0, 1) ve (1, 0) simetrik olsun\n# Eylemler: 'sol', 'sa\u011f'\n\n# \u00d6rnek 1: Durum (0, 1), Eylem 'sa\u011f', \u00d6d\u00fcl 1, Yeni Durum (1, 0)\ncurrent_state_1 = (0, 1)\naction_1 = 'sa\u011f'\nreward_1 = 1\nnext_state_1 = (1, 0)\nq_table = update_q_table_symmetric(q_table, current_state_1, action_1, reward_1, next_state_1)\n\nprint(f\"Q-tablosu (1. g\u00fcncelleme): {q_table}\")\n# Beklenen \u00e7\u0131kt\u0131: Q-tablosu sadece (0, 1) kanonik durumu i\u00e7in bir giri\u015f i\u00e7erecek.\n\n# \u00d6rnek 2: Durum (1, 0), Eylem 'sol', \u00d6d\u00fcl 1, Yeni Durum (0, 1)\n# (1, 0) durumunun kanonik hali yine (0, 1) olmal\u0131\ncurrent_state_2 = (1, 0)\naction_2 = 'sol'\nreward_2 = 1\nnext_state_2 = (0, 1)\nq_table = update_q_table_symmetric(q_table, current_state_2, action_2, reward_2, next_state_2)\n\nprint(f\"Q-tablosu (2. g\u00fcncelleme): {q_table}\")\n# Beklenen \u00e7\u0131kt\u0131: Q-tablosu hala sadece (0, 1) kanonik durumu i\u00e7in bir giri\u015f i\u00e7erecek,\n# ancak 'sol' eylemi i\u00e7in yeni bir de\u011fer i\u00e7erebilir.\n<\/pre>\n<\/code><\/p>\n
Yukar\u0131daki kod \u00f6rne\u011finde, get_canonical_state<\/code> fonksiyonu, bir durumun t\u00fcm olas\u0131 simetrik d\u00f6n\u00fc\u015f\u00fcmlerini uygulayarak ve aralar\u0131ndan \"en k\u00fc\u00e7\u00fck\" (bu \u00f6rnekte lexicographical olarak) olan\u0131 se\u00e7erek kanonik temsilini bulur. Ard\u0131ndan, update_q_table_symmetric<\/code> fonksiyonu, Q-tablosunu g\u00fcncellerken orijinal durum yerine bu kanonik temsili kullan\u0131r. Bu sayede, ajan (0, 1) durumundan \u00f6\u011frendi\u011fi bilgiyi otomatik olarak (1, 0) durumuna da genellemi\u015f olur, \u00e7\u00fcnk\u00fc her ikisinin de kanonik temsili ayn\u0131d\u0131r. Bu, bellek kullan\u0131m\u0131n\u0131 azalt\u0131rken \u00f6\u011frenme s\u00fcrecini de \u00f6nemli \u00f6l\u00e7\u00fcde h\u0131zland\u0131r\u0131r.<\/p>\n\n Uzman \u0130pucu: Karma\u015f\u0131k ortamlarda kanonik temsil bulmak zor olabilir. Bu durumlarda, simetrileri do\u011frudan sinir a\u011f\u0131 mimarisine g\u00f6mme (\u00f6rne\u011fin, Group Equivariant CNN'ler) veya durum uzay\u0131n\u0131n her bir noktas\u0131 i\u00e7in simetri grubunu dinamik olarak belirleme gibi daha ileri teknikleri de\u011ferlendirebilirsiniz. Bu teknikler sayesinde, performans\u0131 %40'tan fazla art\u0131rmak m\u00fcmk\u00fcn olabilir.\n<\/div>\nSimetri Kullan\u0131m\u0131n\u0131n Faydalar\u0131 ve Zorluklar\u0131 Nelerdir?<\/h2>\n
Peki\u015ftirmeli \u00d6\u011frenme'de simetrileri kullanmak, hem akademik ara\u015ft\u0131rmalarda hem de pratik uygulamalarda bir dizi \u00f6nemli avantaj sunar. \u00d6ncelikle, en belirgin faydas\u0131 veri verimlili\u011fidir<\/b>. Ajan\u0131n her simetrik durumu ayr\u0131 ayr\u0131 deneyimlemesi gerekmedi\u011fi i\u00e7in, \u00e7ok daha az \u00f6rneklemle ortam hakk\u0131nda bilgi edinebilir. Bu, \u00f6zellikle veri toplaman\u0131n pahal\u0131 veya zaman al\u0131c\u0131 oldu\u011fu ger\u00e7ek d\u00fcnya senaryolar\u0131nda (\u00f6rne\u011fin robotik sistemler veya otonom ara\u00e7lar) hayati \u00f6neme sahiptir. Daha az veri, do\u011fal olarak daha h\u0131zl\u0131 e\u011fitim s\u00fcreleri<\/b> anlam\u0131na gelir, \u00e7\u00fcnk\u00fc ajan optimum politikaya ula\u015fmak i\u00e7in daha az etkile\u015fime ihtiya\u00e7 duyar.<\/p>\n
\u0130kinci olarak, simetrilerin entegrasyonu, modelin genelleme yetene\u011fini<\/b> art\u0131r\u0131r. Bir ajan\u0131n bir simetrik durumdan \u00f6\u011frendi\u011fi bilgi, otomatik olarak onun t\u00fcm e\u015fde\u011fer simetrik hallerine yay\u0131l\u0131r. Bu sayede, ajan daha \u00f6nce tam olarak g\u00f6rmedi\u011fi benzer durumlarla kar\u015f\u0131la\u015ft\u0131\u011f\u0131nda bile do\u011fru kararlar verebilir. Bu, \u00f6\u011frenilen politikalar\u0131n daha sa\u011flam ve \u00e7e\u015fitli ko\u015fullara uyarlanabilir olmas\u0131n\u0131 sa\u011flar. Ayr\u0131ca, daha az parametreyle temsil edilen bir \u00f6\u011frenme uzay\u0131, daha kararl\u0131 \u00f6\u011frenme<\/b> s\u00fcre\u00e7lerine yol a\u00e7abilir ve a\u015f\u0131r\u0131 uyum (overfitting) riskini azalt\u0131r. Son olarak, durum uzay\u0131n\u0131n etkili bir \u015fekilde k\u00fc\u00e7\u00fclt\u00fclmesi, bellek kullan\u0131m\u0131n\u0131 da \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r<\/b>, bu da kaynak k\u0131s\u0131tl\u0131 ortamlarda (\u00f6rne\u011fin g\u00f6m\u00fcl\u00fc sistemler veya mobil cihazlar) b\u00fcy\u00fck bir avantajd\u0131r.<\/p>\n
Ancak, simetri kullan\u0131m\u0131n\u0131n getirdi\u011fi avantajlar\u0131n yan\u0131 s\u0131ra baz\u0131 zorluklar<\/b> da vard\u0131r. En b\u00fcy\u00fck zorluklardan biri, karma\u015f\u0131k ortamlarda simetri tespiti<\/b>dir. Basit oyunlar veya grid d\u00fcnyalar\u0131nda simetriler belirgin olsa da, ger\u00e7ek d\u00fcnyadaki karma\u015f\u0131k fiziksel sistemlerde veya y\u00fcksek boyutlu veri setlerinde gizli simetrileri otomatik olarak ke\u015ffetmek veya matematiksel olarak form\u00fcle etmek olduk\u00e7a g\u00fc\u00e7 olabilir. Yanl\u0131\u015f tespit edilen veya eksik tan\u0131mlanan simetriler, \u00f6\u011frenme s\u00fcrecini olumsuz etkileyebilir. Ayr\u0131ca, baz\u0131 sistemler k\u0131smi simetrilere<\/b> sahip olabilir, yani simetriler sadece belirli ko\u015fullar alt\u0131nda veya belirli bir hassasiyetle ge\u00e7erlidir. Bu t\u00fcr durumlarda, simetriyi do\u011frudan uygulamak yerine daha esnek yakla\u015f\u0131mlar gerekebilir. Son olarak, simetrileri mevcut Peki\u015ftirmeli \u00d6\u011frenme algoritmalar\u0131na do\u011fru bir \u015fekilde entegre etmek<\/b>, \u00f6zellikle derin \u00f6\u011frenme mimarileri kullan\u0131l\u0131rken, dikkatli bir tasar\u0131m ve uygulama gerektirir. Algoritma veya mimarinin simetrileri ger\u00e7ekten kullan\u0131p kullanmad\u0131\u011f\u0131n\u0131 do\u011frulamak da bir ba\u015fka zorluktur.<\/p>\n
Mobil cihazlar gibi k\u0131s\u0131tl\u0131 kaynaklara sahip platformlar i\u00e7in simetri kullan\u0131m\u0131 \u00f6zellikle de\u011ferlidir. Simetriler sayesinde daha k\u00fc\u00e7\u00fck ve daha verimli modeller olu\u015fturuldu\u011funda, bu modeller mobil cihazlarda \u00e7ok daha h\u0131zl\u0131 \u00e7al\u0131\u015fabilir ve daha az pil t\u00fcketir. \u00d6rne\u011fin, bir mobil oyunda veya art\u0131r\u0131lm\u0131\u015f ger\u00e7eklik (AR) uygulamas\u0131nda Peki\u015ftirmeli \u00d6\u011frenme tabanl\u0131 bir kontrol\u00f6r kullan\u0131l\u0131yorsa, simetri optimizasyonu sayesinde cihaz\u0131n performans\u0131 art\u0131r\u0131l\u0131r ve kullan\u0131c\u0131 deneyimi iyile\u015ftirilir. A\u015fa\u011f\u0131da, mobil uyumluluk i\u00e7in temel bir HTML\/CSS \u00f6rne\u011fi bulunmaktad\u0131r:<\/p>\n
\n