Yapay zeka (YZ) ajanlar\u0131, g\u00fcn\u00fcm\u00fcz i\u015f d\u00fcnyas\u0131nda s\u00fcre\u00e7leri otomatikle\u015ftirmek, veri toplamak ve karma\u015f\u0131k g\u00f6revleri yerine getirmek i\u00e7in vazge\u00e7ilmez hale geldi. Ancak bu ak\u0131ll\u0131 yard\u0131mc\u0131lar, bazen en basit g\u00f6revlerde bile zorlanabiliyor: \u00f6rne\u011fin, bir Windows uygulamas\u0131ndaki bir d\u00fc\u011fmeyi t\u0131klamak gibi. G\u00f6rsel tan\u0131ma tabanl\u0131 veya X\/Y koordinatlar\u0131na dayal\u0131 otomasyon y\u00f6ntemleri, dinamik kullan\u0131c\u0131 aray\u00fczleri (UI) kar\u015f\u0131s\u0131nda s\u0131kl\u0131kla yetersiz kal\u0131r ve ajan\u0131n “d\u00fc\u011fmeleri ka\u00e7\u0131rmas\u0131na” neden olur. Peki, bu t\u00fcr inat\u00e7\u0131 sorunlar\u0131 nas\u0131l a\u015fabiliriz? Cevap, Microsoft’un g\u00fc\u00e7l\u00fc Windows UI Otomasyonu (UIA) \u00e7er\u00e7evesinde yat\u0131yor.<\/p>\n
Yapay zeka ajanlar\u0131, \u00f6zellikle Robotik S\u00fcre\u00e7 Otomasyonu (RPA) alan\u0131nda, insan benzeri etkile\u015fimler yoluyla yaz\u0131l\u0131m uygulamalar\u0131n\u0131 kontrol etmek \u00fczere tasarlanm\u0131\u015ft\u0131r. Bu ajanlar, genellikle masa\u00fcst\u00fc uygulamalar\u0131, web taray\u0131c\u0131lar\u0131 veya sanal makineler \u00fczerinde \u00e7al\u0131\u015farak veri giri\u015fi, rapor olu\u015fturma veya sistemler aras\u0131 entegrasyon gibi g\u00f6revleri yerine getirirler. Ancak, bu “insan benzeri” etkile\u015fimlerin bir s\u0131n\u0131r\u0131 vard\u0131r. Bir insan, bir d\u00fc\u011fmenin rengi de\u011fi\u015fse, konumu biraz kayd\u0131r\u0131lsa veya boyutu farkl\u0131la\u015fsa bile onu tan\u0131y\u0131p t\u0131klayabilir. YZ ajanlar\u0131 i\u00e7in bu durum, \u00f6zellikle geleneksel otomasyon teknikleri kullan\u0131ld\u0131\u011f\u0131nda, bir kabusa d\u00f6n\u00fc\u015febilir.<\/p>\n
Sorun genellikle, ajanlar\u0131n bir UI elementini (\u00f6rne\u011fin bir d\u00fc\u011fmeyi) tan\u0131mlamak i\u00e7in kulland\u0131\u011f\u0131 y\u00f6ntemlerden kaynaklan\u0131r. \u00c7o\u011fu zaman, ajanlar ekran g\u00f6r\u00fcnt\u00fclerine dayal\u0131 g\u00f6rsel tan\u0131ma algoritmalar\u0131 veya ekran \u00fczerindeki piksel koordinatlar\u0131na (X\/Y) g\u00f6re hareket eder. G\u00f6rsel tan\u0131ma, bir d\u00fc\u011fmenin belirli bir resmini veya kal\u0131b\u0131n\u0131 arar. E\u011fer uygulaman\u0131n temas\u0131 de\u011fi\u015firse, d\u00fc\u011fmenin rengi veya yaz\u0131 tipi g\u00fcncellenirse, ajan o d\u00fc\u011fmeyi “g\u00f6remeyebilir”. Benzer \u015fekilde, X\/Y koordinatlar\u0131, uygulaman\u0131n penceresi ta\u015f\u0131nd\u0131\u011f\u0131nda, ekran \u00e7\u00f6z\u00fcn\u00fcrl\u00fc\u011f\u00fc de\u011fi\u015fti\u011finde veya farkl\u0131 bir monit\u00f6rde \u00e7al\u0131\u015ft\u0131\u011f\u0131nda tamamen anlams\u0131z hale gelir. Bu k\u0131r\u0131lganl\u0131k, YZ ajan\u0131n\u0131n g\u00fcvenilirli\u011fini ciddi \u015fekilde d\u00fc\u015f\u00fcr\u00fcr ve otomasyon s\u00fcre\u00e7lerinin s\u0131k s\u0131k ba\u015far\u0131s\u0131z olmas\u0131na yol a\u00e7ar.<\/p>\n
Dinamik kullan\u0131c\u0131 aray\u00fczleri, bu sorunu daha da derinle\u015ftirir. Modern uygulamalar, kullan\u0131c\u0131n\u0131n etkile\u015fimine veya arka plandaki verilere g\u00f6re aray\u00fcz elementlerini s\u00fcrekli olarak de\u011fi\u015ftirebilir, gizleyebilir veya yeniden d\u00fczenleyebilir. Bir d\u00fc\u011fme, belirli bir ko\u015ful sa\u011flanana kadar g\u00f6r\u00fcnmeyebilir veya farkl\u0131 bir metinle etiketi de\u011fi\u015febilir. Geleneksel otomasyon yakla\u015f\u0131mlar\u0131, bu t\u00fcr de\u011fi\u015fkenlikleri y\u00f6netmekte yetersiz kal\u0131r. Bu durum, YZ ajanlar\u0131n\u0131n sadece “d\u00fc\u011fmeleri ka\u00e7\u0131rmas\u0131na” de\u011fil, ayn\u0131 zamanda yanl\u0131\u015f d\u00fc\u011fmeleri t\u0131klamas\u0131na veya otomasyon ak\u0131\u015f\u0131n\u0131n tamamen durmas\u0131na neden olabilir. Bu nedenle, daha sa\u011flam ve esnek bir otomasyon \u00e7\u00f6z\u00fcm\u00fcne ihtiya\u00e7 duyulmaktad\u0131r.<\/p>\n
Yapay zeka ve otomasyon d\u00fcnyas\u0131nda, bir uygulaman\u0131n kullan\u0131c\u0131 aray\u00fcz\u00fc ile etkile\u015fim kurmak i\u00e7in \u00e7e\u015fitli y\u00f6ntemler kullan\u0131lm\u0131\u015ft\u0131r. Ancak bu y\u00f6ntemlerin \u00e7o\u011fu, \u00f6zellikle Windows masa\u00fcst\u00fc uygulamalar\u0131 s\u00f6z konusu oldu\u011funda, belirli s\u0131n\u0131rlamalar ve k\u0131r\u0131lganl\u0131klar bar\u0131nd\u0131r\u0131r. Gelin, bu geleneksel yakla\u015f\u0131mlar\u0131n neden yetersiz kald\u0131\u011f\u0131n\u0131 ve YZ ajanlar\u0131m\u0131z\u0131n neden s\u0131k s\u0131k t\u00f6kezledi\u011fini daha yak\u0131ndan inceleyelim.<\/p>\n
En ilkel otomasyon y\u00f6ntemlerinden biri, ekran \u00fczerindeki belirli X ve Y koordinatlar\u0131na t\u0131klamakt\u0131r. Bu yakla\u015f\u0131m, bir d\u00fc\u011fmenin veya metin kutusunun ekran\u0131n belirli bir noktas\u0131nda her zaman ayn\u0131 konumda olaca\u011f\u0131 varsay\u0131m\u0131na dayan\u0131r. Ancak bu varsay\u0131m, modern i\u015fletim sistemleri ve dinamik uygulamalar kar\u015f\u0131s\u0131nda h\u0131zla \u00e7\u00f6ker. Uygulama penceresinin konumu de\u011fi\u015fti\u011finde, ekran \u00e7\u00f6z\u00fcn\u00fcrl\u00fc\u011f\u00fc farkl\u0131la\u015ft\u0131\u011f\u0131nda veya uygulaman\u0131n kendisi g\u00fcncellendi\u011finde, belirlenen koordinatlar art\u0131k ge\u00e7erli olmaz. Bu durum, otomasyonun tamamen bozulmas\u0131na ve YZ ajan\u0131n\u0131n bo\u015flu\u011fa t\u0131klamas\u0131na neden olur. Bak\u0131m maliyeti (maintenance cost) bu y\u00f6ntemde inan\u0131lmaz derecede y\u00fcksektir, \u00e7\u00fcnk\u00fc her k\u00fc\u00e7\u00fck de\u011fi\u015fiklik otomasyon beti\u011finin yeniden yaz\u0131lmas\u0131n\u0131 gerektirir.<\/p>\n
G\u00f6rsel tan\u0131ma (visual recognition) tabanl\u0131 otomasyon, bir ad\u0131m daha ileri giderek belirli bir d\u00fc\u011fmenin veya UI elementinin ekran g\u00f6r\u00fcnt\u00fcs\u00fcn\u00fc al\u0131r ve otomasyon s\u0131ras\u0131nda bu g\u00f6r\u00fcnt\u00fcy\u00fc arar. Buldu\u011funda, ilgili konuma t\u0131klama veya metin giri\u015fi gibi eylemler ger\u00e7ekle\u015ftirir. Bu y\u00f6ntem, X\/Y koordinatlar\u0131na g\u00f6re biraz daha esnektir, \u00e7\u00fcnk\u00fc elementin konumu de\u011fi\u015fse bile g\u00f6r\u00fcnt\u00fcs\u00fc e\u015fle\u015firse bulunabilir. Ancak g\u00f6rsel tan\u0131ma da kendi i\u00e7inde b\u00fcy\u00fck s\u0131n\u0131rlamalara sahiptir:<\/p>\n
Bu yakla\u015f\u0131mlar, \u00f6zellikle YZ ajanlar\u0131n\u0131n karma\u015f\u0131k ve kritik i\u015f s\u00fcre\u00e7lerinde kullan\u0131ld\u0131\u011f\u0131 durumlarda kabul edilemez d\u00fczeyde k\u0131r\u0131lganl\u0131k sunar. G\u00fcvenilirlik eksikli\u011fi, ajanlar\u0131n s\u0131k s\u0131k hata vermesine, manuel m\u00fcdahale gerektirmesine ve sonu\u00e7 olarak otomasyonun vaat etti\u011fi verimlilik art\u0131\u015f\u0131n\u0131 sa\u011flayamamas\u0131na neden olur.<\/p>\n
Web tabanl\u0131 otomasyonda, taray\u0131c\u0131n\u0131n Belge Nesne Modeli (DOM – Document Object Model) yap\u0131s\u0131na eri\u015fmek, elementleri ID, Class, XPath gibi \u00f6zelliklerle tan\u0131mlamak olduk\u00e7a yayg\u0131n ve etkilidir. Selenium gibi ara\u00e7lar, bu sayede web elementlerini g\u00fcvenilir bir \u015fekilde bulabilir. Ancak masa\u00fcst\u00fc uygulamalar\u0131 i\u00e7in bu t\u00fcr bir DOM yap\u0131s\u0131 genellikle mevcut de\u011fildir. Baz\u0131 otomasyon ara\u00e7lar\u0131, uygulamalar\u0131n dahili API’lerine veya \u00f6zel kontrollerine eri\u015fmeye \u00e7al\u0131\u015fsa da, bu genellikle uygulaman\u0131n teknolojisine (\u00f6rne\u011fin WPF, WinForms, Qt) \u00f6zel \u00e7\u00f6z\u00fcmler gerektirir ve evrensel bir yakla\u015f\u0131m sunmaz. Bu da, farkl\u0131 uygulamalar i\u00e7in farkl\u0131 otomasyon stratejileri geli\u015ftirmek anlam\u0131na gelir ki bu da \u00f6l\u00e7eklenebilirlik (scalability) ve bak\u0131m a\u00e7\u0131s\u0131ndan zordur. \u0130\u015fte tam bu noktada, Windows UI Otomasyonu (UIA) devreye girerek bu bo\u015flu\u011fu doldurur ve masa\u00fcst\u00fc uygulamalar\u0131 i\u00e7in sa\u011flam bir \u00e7\u00f6z\u00fcm sunar.<\/p>\n
Geleneksel otomasyon y\u00f6ntemlerinin s\u0131n\u0131rlamalar\u0131 g\u00f6z \u00f6n\u00fcne al\u0131nd\u0131\u011f\u0131nda, daha sa\u011flam ve g\u00fcvenilir bir yakla\u015f\u0131ma ihtiya\u00e7 duyulur. \u0130\u015fte tam bu noktada Windows UI Otomasyonu (UIA – User Interface Automation) devreye giriyor. UIA, Microsoft taraf\u0131ndan geli\u015ftirilen ve Windows uygulamalar\u0131n\u0131n kullan\u0131c\u0131 aray\u00fcz\u00fc elementlerine programatik eri\u015fim sa\u011flayan bir eri\u015filebilirlik (accessibility) \u00e7er\u00e7evesidir. Temel amac\u0131, ekran okuyucular\u0131, b\u00fcy\u00fcte\u00e7ler ve di\u011fer yard\u0131mc\u0131 teknolojilerin engelli kullan\u0131c\u0131lara UI hakk\u0131nda bilgi sa\u011flamas\u0131na ve onlarla etkile\u015fim kurmas\u0131na olanak tan\u0131makt\u0131r. Ancak bu g\u00fc\u00e7l\u00fc \u00e7er\u00e7eve, ayn\u0131 zamanda otomasyon senaryolar\u0131 i\u00e7in de m\u00fckemmel bir temel sunar.<\/p>\n
UIA, UI elementlerini g\u00f6rsel \u00f6zellikler yerine programatik \u00f6zelliklerle tan\u0131mlar. Bu, onu X\/Y koordinatlar\u0131ndan veya g\u00f6rsel tan\u0131madan \u00e7ok daha sa\u011flam hale getirir. UIA’n\u0131n temel prensipleri \u015funlard\u0131r:<\/p>\n
AutomationElement<\/code> nesnesi olarak temsil eder. Bu nesneler, elementin t\u00fcr\u00fc, ad\u0131, kimli\u011fi, durumu gibi zengin meta veriler i\u00e7erir.<\/li>\n- Kontrol Desenleri (Control Patterns):<\/strong> Her
AutomationElement<\/code>, belirli bir i\u015flevselli\u011fi temsil eden bir veya daha fazla kontrol desenini destekleyebilir. \u00d6rne\u011fin, bir d\u00fc\u011fme genellikle InvokePattern<\/code> (t\u0131klama i\u015flevi) desteklerken, bir metin kutusu ValuePattern<\/code> (metin de\u011feri okuma\/yazma) destekler. Bu desenler, elementlerle standartla\u015ft\u0131r\u0131lm\u0131\u015f bir \u015fekilde etkile\u015fim kurmay\u0131 sa\u011flar.<\/li>\n- \u00d6zellikler (Properties):<\/strong> Her
AutomationElement<\/code>, Name<\/code> (ekranda g\u00f6r\u00fcnen metin), AutomationId<\/code> (geli\u015ftirici taraf\u0131ndan atanan benzersiz kimlik), ControlType<\/code> (d\u00fc\u011fme, metin kutusu, pencere vb.) gibi bir dizi \u00f6zelli\u011fe sahiptir. Bu \u00f6zellikler, elementleri g\u00fcvenilir bir \u015fekilde bulmak i\u00e7in kullan\u0131l\u0131r.<\/li>\n- A\u011fa\u00e7 Yap\u0131s\u0131 (Tree Structure):<\/strong> UIA, UI elementlerini hiyerar\u015fik bir a\u011fa\u00e7 yap\u0131s\u0131 (tree structure) olarak d\u00fczenler. Masa\u00fcst\u00fc (desktop) k\u00f6k elementidir, alt\u0131nda uygulamalar, pencereler, paneller ve en sonunda tek tek kontroller bulunur. Bu yap\u0131, elementler aras\u0131nda gezinmeyi ve karma\u015f\u0131k UI’larda bile do\u011fru elementi bulmay\u0131 kolayla\u015ft\u0131r\u0131r.<\/li>\n<\/ol>\n
UIA Nas\u0131l Bir Kurtar\u0131c\u0131 Olabilir?<\/h3>\n
UIA’n\u0131n bu prensipleri, YZ ajanlar\u0131n\u0131n d\u00fc\u011fmeleri ka\u00e7\u0131rma sorununa g\u00fc\u00e7l\u00fc ve kal\u0131c\u0131 bir \u00e7\u00f6z\u00fcm sunar:<\/p>\n
\n- G\u00fcvenilirlik:<\/strong> UIA, elementleri programatik \u00f6zelliklerine g\u00f6re tan\u0131mlad\u0131\u011f\u0131 i\u00e7in, uygulaman\u0131n konumu, temas\u0131 veya \u00e7\u00f6z\u00fcn\u00fcrl\u00fc\u011f\u00fc de\u011fi\u015fse bile elementler hala bulunabilir. Bir d\u00fc\u011fmenin
AutomationId<\/code>‘si veya Name<\/code>‘i genellikle de\u011fi\u015fmez.<\/li>\n- Esneklik:<\/strong> Kontrol desenleri sayesinde, farkl\u0131 t\u00fcrdeki UI elementleriyle tutarl\u0131 bir \u015fekilde etkile\u015fim kurulabilir. Bir d\u00fc\u011fmeye t\u0131klamak i\u00e7in
InvokePattern<\/code>, bir onay kutusunu i\u015faretlemek i\u00e7in TogglePattern<\/code> kullan\u0131l\u0131r.<\/li>\n- Dinamik UI Y\u00f6netimi:<\/strong> UIA, elementlerin g\u00f6r\u00fcn\u00fcrl\u00fck, etkinle\u015ftirilme durumu gibi \u00f6zelliklerini kontrol etme yetene\u011fi sunar. Bu, bir d\u00fc\u011fmenin t\u0131klanabilir hale gelmesini beklemek veya bir pencerenin a\u00e7\u0131l\u0131p a\u00e7\u0131lmad\u0131\u011f\u0131n\u0131 kontrol etmek i\u00e7in kullan\u0131labilir.<\/li>\n
- Geli\u015ftirici Odakl\u0131l\u0131k:<\/strong> Modern Windows uygulamalar\u0131n\u0131n \u00e7o\u011fu, UIA ile uyumlu olacak \u015fekilde geli\u015ftirilir. Geli\u015ftiriciler, kontrollerine
AutomationId<\/code>‘ler atayarak otomasyonu kolayla\u015ft\u0131rabilirler.<\/li>\n<\/ul>\n\u00d6zetle, UIA, YZ ajanlar\u0131m\u0131za “g\u00f6rsel” bir bak\u0131\u015f a\u00e7\u0131s\u0131 yerine “yap\u0131sal” bir bak\u0131\u015f a\u00e7\u0131s\u0131 kazand\u0131r\u0131r. Bu sayede ajanlar, bir d\u00fc\u011fmeyi sadece “ekrandaki bir resim” olarak de\u011fil, “belirli bir kimli\u011fe ve i\u015fleve sahip bir nesne” olarak alg\u0131lar. Bu da otomasyon s\u00fcre\u00e7lerinin \u00e7ok daha sa\u011flam, bak\u0131m\u0131n\u0131n kolay ve nihayetinde g\u00fcvenilir olmas\u0131n\u0131 sa\u011flar. Art\u0131k YZ ajanlar\u0131m\u0131z, dinamik ve de\u011fi\u015fken UI’lar kar\u015f\u0131s\u0131nda bile d\u00fc\u011fmeleri g\u00fcvenle t\u0131klayabilir hale gelir.<\/p>\n
Windows UI Otomasyonu ile D\u00fc\u011fmeleri Hedefleme: Ad\u0131m Ad\u0131m Yakla\u015f\u0131m<\/h2>\n
Windows UI Otomasyonu (UIA) ile bir d\u00fc\u011fmeyi g\u00fcvenilir bir \u015fekilde hedeflemek ve t\u0131klamak, geleneksel y\u00f6ntemlere g\u00f6re \u00e7ok daha sa\u011flam bir s\u00fcre\u00e7tir. Bu b\u00f6l\u00fcmde, UIA’y\u0131 kullanarak bir Windows uygulamas\u0131ndaki bir d\u00fc\u011fmeyi nas\u0131l bulaca\u011f\u0131m\u0131z\u0131 ve onunla nas\u0131l etkile\u015fim kuraca\u011f\u0131m\u0131z\u0131 ad\u0131m ad\u0131m inceleyece\u011fiz. Bu \u00f6rnekte C# dilini kullanaca\u011f\u0131z, \u00e7\u00fcnk\u00fc UIA do\u011frudan .NET Framework’\u00fcn bir par\u00e7as\u0131d\u0131r ve C# ile kullan\u0131m\u0131 olduk\u00e7a do\u011fald\u0131r.<\/p>\n
Ad\u0131m 1: UI Elementlerini Ke\u015ffetmek i\u00e7in Inspect.exe Kullan\u0131m\u0131<\/h3>\n