ByteDance taraf\u0131ndan geli\u015ftirilen UI-TARS-Desktop, multimodal yapay zeka ajanlar\u0131 ile kullan\u0131c\u0131 aray\u00fcz\u00fc otomasyonunu k\u00f6kten de\u011fi\u015ftiren a\u00e7\u0131k kaynakl\u0131 bir platformdur. Bu makalede, projenin temel prensiplerini, mimarisini ve ger\u00e7ek d\u00fcnya uygulamalar\u0131n\u0131 derinlemesine inceleyerek, geleneksel otomasyon yakla\u015f\u0131mlar\u0131na getirdi\u011fi yenilikleri ke\u015ffedece\u011fiz. G\u00fcn\u00fcm\u00fcz\u00fcn karma\u015f\u0131k dijital d\u00fcnyas\u0131nda, \u00e7e\u015fitli uygulamalar ve platformlar aras\u0131nda kesintisiz etkile\u015fim sa\u011flamak, yaz\u0131l\u0131m geli\u015ftiricilerinden test m\u00fchendislerine kadar bir\u00e7ok profesyonelin kar\u015f\u0131la\u015ft\u0131\u011f\u0131 \u00f6nemli bir zorluktur. Bu zorluk, \u00f6zellikle kullan\u0131c\u0131 aray\u00fczlerinin (GUI) s\u00fcrekli de\u011fi\u015fen yap\u0131s\u0131 ve farkl\u0131 giri\u015f modlar\u0131n\u0131 (metin, g\u00f6r\u00fcnt\u00fc, ses) bir arada kullanma ihtiyac\u0131yla daha da karma\u015f\u0131k hale gelmektedir. \u0130\u015fte tam bu noktada, UI-TARS-Desktop gibi multimodal GUI ajan stack’leri, insan benzeri bir anlay\u0131\u015fla dijital g\u00f6revleri otomatikle\u015ftirmek i\u00e7in g\u00fc\u00e7l\u00fc bir \u00e7\u00f6z\u00fcm sunar. Bu teknoloji, sadece belirli bir butona t\u0131klamak veya bir metin kutusuna veri girmek gibi basit g\u00f6revlerin \u00f6tesine ge\u00e7erek, g\u00f6rsel ve anlamsal ba\u011flam\u0131 kavrayarak daha ak\u0131ll\u0131 ve adaptif otomasyonlar olu\u015fturmam\u0131z\u0131 sa\u011flar. Bu makale boyunca, UI-TARS-Desktop’\u0131n bu devrimsel potansiyelini ad\u0131m ad\u0131m ke\u015ffedece\u011fiz.<\/p>\n
Geleneksel GUI otomasyonu, genellikle belirli elementlerin konumlar\u0131na, ID’lerine veya XPath yollar\u0131na dayanan kural tabanl\u0131 yakla\u015f\u0131mlarla ger\u00e7ekle\u015ftirilir. Selenium, Playwright gibi ara\u00e7lar bu alanda yayg\u0131n olarak kullan\u0131lsa da, bu y\u00f6ntemlerin belirli s\u0131n\u0131rlamalar\u0131 vard\u0131r. En b\u00fcy\u00fck sorunlardan biri, kullan\u0131c\u0131 aray\u00fcz\u00fcnde yap\u0131lan k\u00fc\u00e7\u00fck de\u011fi\u015fikliklerin (\u00f6rne\u011fin bir d\u00fc\u011fmenin yerinin de\u011fi\u015fmesi veya ID’sinin g\u00fcncellenmesi) otomasyon betiklerinin bozulmas\u0131na neden olmas\u0131d\u0131r. Bu durum, s\u00fcrekli bak\u0131m gerektiren ve k\u0131r\u0131lgan otomasyon \u00e7\u00f6z\u00fcmlerine yol a\u00e7ar. Ayr\u0131ca, geleneksel ara\u00e7lar, bir kullan\u0131c\u0131n\u0131n ekran\u0131nda g\u00f6rd\u00fc\u011f\u00fc g\u00f6rsel i\u00e7eri\u011fi veya etkile\u015fimdeki ba\u011flam\u0131 “anlama” yetene\u011fine sahip de\u011fildir. \u00d6rne\u011fin, bir kullan\u0131c\u0131n\u0131n bir e-ticaret sitesinde “mavi elbise” aramas\u0131n\u0131 otomatikle\u015ftirmek istedi\u011finizde, geleneksel bir ara\u00e7 sadece “arama kutusuna ‘mavi elbise’ yaz ve ara butonuna t\u0131kla” komutunu \u00e7al\u0131\u015ft\u0131rabilir. Ancak, arama sonu\u00e7lar\u0131nda \u00e7\u0131kan g\u00f6rselleri veya metin a\u00e7\u0131klamalar\u0131n\u0131 yorumlayarak en uygun \u00fcr\u00fcn\u00fc se\u00e7me yetene\u011fine sahip de\u011fildir.<\/p>\n
Multimodal GUI ajanlar\u0131 ise bu bo\u015flu\u011fu doldurur. “Multimodal” terimi, yapay zeka sistemlerinin birden fazla veri t\u00fcr\u00fcn\u00fc (modality) ayn\u0131 anda i\u015fleyebilmesi anlam\u0131na gelir. UI-TARS-Desktop \u00f6zelinde bu, bilgisayar g\u00f6r\u00fc\u015f\u00fc (g\u00f6rsel aray\u00fcz \u00f6\u011felerini tan\u0131ma), do\u011fal dil i\u015fleme (kullan\u0131c\u0131 komutlar\u0131n\u0131 ve ekran metinlerini anlama) ve hatta bazen ses gibi farkl\u0131 girdileri birle\u015ftirerek daha kapsaml\u0131 bir anlay\u0131\u015f olu\u015fturmas\u0131 demektir. Bu ajanlar, t\u0131pk\u0131 bir insan gibi, ekran\u0131 g\u00f6rsel olarak tarar, metinleri okur, ikonlar\u0131 yorumlar ve bu bilgileri birle\u015ftirerek karma\u015f\u0131k g\u00f6revleri yerine getirir. \u00d6rne\u011fin, “bu sayfadaki ‘\u0130leti\u015fim’ formunu doldur” gibi bir komut verildi\u011finde, ajan sadece “\u0130leti\u015fim” metnini de\u011fil, ayn\u0131 zamanda formun genel yap\u0131s\u0131n\u0131, ilgili giri\u015f alanlar\u0131n\u0131 ve g\u00f6nderme butonunu da g\u00f6rsel ve anlamsal olarak anlayabilir. Bu sayede, UI’da yap\u0131lan k\u00fc\u00e7\u00fck de\u011fi\u015fiklikler kar\u015f\u0131s\u0131nda daha diren\u00e7li ve adaptif otomasyonlar olu\u015fturulabilir. Multimodal ajanlar, \u00f6zellikle test otomasyonunda, robotik s\u00fcre\u00e7 otomasyonunda (RPA) ve genel dijital asistanl\u0131k g\u00f6revlerinde devrim niteli\u011finde potansiyel ta\u015f\u0131r. K\u0131r\u0131lgan betiklerin yerini, ba\u011flam\u0131 anlayan ve de\u011fi\u015fen ko\u015fullara uyum sa\u011flayabilen ak\u0131ll\u0131 sistemler almaktad\u0131r. Bu, geli\u015ftiricilerin daha az bak\u0131m maliyetiyle daha g\u00fc\u00e7l\u00fc ve esnek otomasyon \u00e7\u00f6z\u00fcmleri olu\u015fturmas\u0131na olanak tan\u0131r.<\/p>\n
UI-TARS-Desktop, ByteDance taraf\u0131ndan a\u00e7\u0131k kaynak olarak sunulan, multimodal yeteneklere sahip bir GUI ajan stack’idir. Ad\u0131ndaki “TARS” k\u0131saltmas\u0131, “Task-Agnostic Robotic System” (G\u00f6revden Ba\u011f\u0131ms\u0131z Robotik Sistem) anlam\u0131na gelir ve bu projenin temel felsefesini \u00f6zetler: belirli bir g\u00f6reve veya uygulamaya s\u0131k\u0131 s\u0131k\u0131ya ba\u011fl\u0131 kalmadan, genel bir yetenek setiyle farkl\u0131 GUI otomasyon g\u00f6revlerini yerine getirebilen bir sistem yaratmak. Proje, \u00f6zellikle b\u00fcy\u00fck dil modellerinin (LLM) ve b\u00fcy\u00fck g\u00f6rsel modellerinin (LVM) g\u00fcc\u00fcn\u00fc kullanarak, insan benzeri bir etkile\u015fim ve anlama yetene\u011fi sunmay\u0131 hedefler. Geleneksel otomasyon ara\u00e7lar\u0131n\u0131n aksine, UI-TARS-Desktop, kullan\u0131c\u0131 aray\u00fcz\u00fcn\u00fc bir dizi element ve onlar\u0131n \u00f6zelliklerinden ibaret bir yap\u0131 olarak de\u011fil, bir b\u00fct\u00fcn olarak alg\u0131lar. Bu b\u00fct\u00fcnsel alg\u0131, kullan\u0131c\u0131n\u0131n niyetini daha iyi anlamas\u0131na ve karma\u015f\u0131k senaryolarda bile do\u011fru eylemleri ger\u00e7ekle\u015ftirmesine olanak tan\u0131r.<\/p>\n
Projenin temelinde yatan birka\u00e7 kritik kavram vard\u0131r:<\/p>\n
* Multimodalite (\u00c7ok Modluluk):<\/strong> Daha \u00f6nce de belirtildi\u011fi gibi, UI-TARS-Desktop sadece metin tabanl\u0131 bilgilere de\u011fil, ayn\u0131 zamanda g\u00f6rsel bilgilere de odaklan\u0131r. Ekran g\u00f6r\u00fcnt\u00fclerini analiz eder, d\u00fc\u011fmeleri, metin kutular\u0131n\u0131, resimleri ve di\u011fer UI bile\u015fenlerini tan\u0131r. Bu sayede, ekran\u0131n mevcut durumunu ve kullan\u0131c\u0131n\u0131n etkile\u015fimde bulundu\u011fu \u00f6\u011felerin g\u00f6rsel ba\u011flam\u0131n\u0131 anlayabilir. \u00d6rne\u011fin, bir web sayfas\u0131nda “sepete ekle” yaz\u0131l\u0131 bir buton olmasa bile, g\u00f6rsel olarak bir al\u0131\u015fveri\u015f sepeti ikonu ve yan\u0131nda bir “ekle” sembol\u00fc varsa, bunu do\u011fru \u015fekilde yorumlayabilir. Bu temel kavramlar, UI-TARS-Desktop’\u0131 geleneksel otomasyon ara\u00e7lar\u0131ndan ay\u0131rarak, daha esnek, dayan\u0131kl\u0131 ve insan benzeri bir otomasyon deneyimi sunmas\u0131n\u0131 sa\u011flar. Geli\u015ftiriciler i\u00e7in bu, daha az kod yazma, daha az bak\u0131m ve daha karma\u015f\u0131k g\u00f6revleri otomatikle\u015ftirebilme anlam\u0131na gelir.<\/p>\n UI-TARS-Desktop’\u0131n g\u00fcc\u00fc, iyi d\u00fc\u015f\u00fcn\u00fclm\u00fc\u015f mod\u00fcler mimarisinden gelir. Bu mimari, farkl\u0131 bile\u015fenlerin bir araya gelerek multimodal etkile\u015fimi ve otonom g\u00f6rev y\u00fcr\u00fctmeyi m\u00fcmk\u00fcn k\u0131lmas\u0131na dayan\u0131r. Temel olarak, sistem bir g\u00f6zlem (perception) katman\u0131, bir karar verme (reasoning) katman\u0131 ve bir eylem (action) katman\u0131ndan olu\u015fur. Bu katmanlar, ajan\u0131n bir insan gibi ekran\u0131 alg\u0131lamas\u0131n\u0131, ne yapaca\u011f\u0131na karar vermesini ve ard\u0131ndan bu karar\u0131 uygulamaya koymas\u0131n\u0131 sa\u011flar.<\/p>\n Mimariyi daha detayl\u0131 inceleyelim:<\/p>\n 1. G\u00f6zlem Katman\u0131 (Perception Layer):<\/strong> Bu katman, ajan\u0131n “g\u00f6zleri” ve “kulaklar\u0131” gibidir. Kullan\u0131c\u0131 aray\u00fcz\u00fcnden bilgi toplar ve bu bilgiyi i\u015flenebilir formatlara d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. 2. Karar Verme Katman\u0131 (Reasoning Layer):<\/strong> G\u00f6zlem katman\u0131ndan gelen i\u015flenmi\u015f bilgiler bu katmanda de\u011ferlendirilir. Buras\u0131, ajan\u0131n “beyni”dir ve bir sonraki en uygun eylemi belirler. 3. Eylem Katman\u0131 (Action Layer):<\/strong> Karar verme katman\u0131nda belirlenen eylemler bu katman arac\u0131l\u0131\u011f\u0131yla ger\u00e7ekle\u015ftirilir. Buras\u0131, ajan\u0131n “elleri” gibidir. Bu mod\u00fcler ve katmanl\u0131 mimari, UI-TARS-Desktop’\u0131n hem g\u00fc\u00e7l\u00fc hem de esnek olmas\u0131n\u0131 sa\u011flar. Her bile\u015fen, kendi \u00f6zel g\u00f6revini yerine getirirken, di\u011fer bile\u015fenlerle uyumlu bir \u015fekilde \u00e7al\u0131\u015farak karma\u015f\u0131k GUI otomasyon senaryolar\u0131n\u0131n \u00fcstesinden gelebilir. Bu yap\u0131, gelecekteki geli\u015ftirmeler ve yeni multimodal modellere entegrasyon i\u00e7in de sa\u011flam bir temel sunar.<\/p>\n UI-TARS-Desktop’\u0131 kullanmaya ba\u015flamak, modern a\u00e7\u0131k kaynak projelerinde oldu\u011fu gibi genellikle belirli \u00f6n ko\u015fullar\u0131n sa\u011flanmas\u0131 ve ad\u0131mlar\u0131n takip edilmesiyle m\u00fcmk\u00fcnd\u00fcr. Bu k\u0131s\u0131mda, projenin temel kurulum s\u00fcrecini ve basit bir otomasyon senaryosu i\u00e7in ilk ad\u0131mlar\u0131 ele alaca\u011f\u0131z. Unutulmamal\u0131d\u0131r ki, ByteDance projesi hen\u00fcz geli\u015ftirme a\u015famas\u0131nda olabilir ve kurulum ad\u0131mlar\u0131 zamanla de\u011fi\u015fiklik g\u00f6sterebilir. Bu nedenle, en g\u00fcncel ve do\u011fru bilgiler i\u00e7in her zaman projenin resmi GitHub deposunu kontrol etmek en iyisidir. Ancak genel bir \u00e7er\u00e7eve sunmak gerekirse, s\u00fcre\u00e7 genellikle Python tabanl\u0131 bir ortam\u0131n haz\u0131rlanmas\u0131n\u0131 ve gerekli ba\u011f\u0131ml\u0131l\u0131klar\u0131n y\u00fcklenmesini i\u00e7erir.<\/p>\n \u00d6n Ko\u015fullar:<\/strong><\/p>\n 1. Python Ortam\u0131:<\/strong> UI-TARS-Desktop, Python tabanl\u0131 bir projedir. Bu nedenle, sisteminizde Python 3.8 veya \u00fczeri bir s\u00fcr\u00fcm\u00fcn kurulu olmas\u0131 gerekmektedir. Sanal bir ortam (\u00f6rne\u011fin Kurulum Ad\u0131mlar\u0131:<\/strong><\/p>\n 1. Projenin Klonlanmas\u0131:<\/strong> \u0130lk ad\u0131m, UI-TARS-Desktop’\u0131n GitHub deposunu yerel sisteminize klonlamakt\u0131r.<\/p>\n <\/code><\/p>\n 2. Sanal Ortam Olu\u015fturma ve Aktifle\u015ftirme:<\/strong> Proje i\u00e7in izole bir Python ortam\u0131 olu\u015fturmak en iyi yakla\u015f\u0131md\u0131r.<\/p>\n <\/code><\/p>\n 3. Ba\u011f\u0131ml\u0131l\u0131klar\u0131n Y\u00fcklenmesi:<\/strong> Klonlad\u0131\u011f\u0131n\u0131z dizinde bulunan <\/code> 4. Model A\u011f\u0131rl\u0131klar\u0131n\u0131n \u0130ndirilmesi:<\/strong> UI-TARS-Desktop, multimodal yeteneklerini sa\u011flamak i\u00e7in \u00f6nceden e\u011fitilmi\u015f b\u00fcy\u00fck dil ve g\u00f6rsel modellerine ihtiya\u00e7 duyar. Bu model a\u011f\u0131rl\u0131klar\u0131 genellikle projenin kendi komut dosyalar\u0131 veya sa\u011flad\u0131\u011f\u0131 ba\u011flant\u0131lar arac\u0131l\u0131\u011f\u0131yla indirilir.<\/p>\n <\/code><\/p>\n Basit Bir \u0130lk Otomasyon Senaryosu:<\/strong><\/p>\n Kurulum tamamland\u0131ktan sonra, basit bir g\u00f6revi otomatikle\u015ftirmeyi deneyebiliriz. Diyelim ki hedefimiz, bir taray\u0131c\u0131 a\u00e7mak, belirli bir web sitesine gitmek ve orada bir arama yapmak.<\/p>\n 1. Ajan\u0131 Ba\u015flatma:<\/strong> UI-TARS-Desktop ajan\u0131n\u0131 genellikle bir Python beti\u011fi arac\u0131l\u0131\u011f\u0131yla ba\u015flat\u0131rs\u0131n\u0131z. Bu betik, ajana hangi g\u00f6revi yapmas\u0131 gerekti\u011fini ve hangi ba\u015flang\u0131\u00e7 durumunda oldu\u011funu s\u00f6yler.<\/p>\n <\/code> 2. \u00c7al\u0131\u015ft\u0131rma:<\/strong><\/p>\n <\/code> Bu ilk ad\u0131mlar, projenin temel i\u015flevselli\u011fini anlamak i\u00e7in kritik \u00f6neme sahiptir. \u0130lerleyen a\u015famalarda, daha karma\u015f\u0131k g\u00f6revler i\u00e7in ajan\u0131 nas\u0131l \u00f6zelle\u015ftirebilece\u011finizi ve farkl\u0131 senaryolara nas\u0131l adapte edebilece\u011finizi ke\u015ffedeceksiniz. Kurulum ve ilk \u00e7al\u0131\u015ft\u0131rma, genellikle bu t\u00fcr a\u00e7\u0131k kaynak projelerde kar\u015f\u0131la\u015f\u0131lan en b\u00fcy\u00fck engellerden biridir, ancak do\u011fru dok\u00fcmantasyon ve ad\u0131mlarla kolayca a\u015f\u0131labilir.<\/p>\n UI-TARS-Desktop'\u0131n multimodal yetenekleri, onu geleneksel otomasyon \u00e7\u00f6z\u00fcmlerinin yetersiz kald\u0131\u011f\u0131 bir\u00e7ok ger\u00e7ek d\u00fcnya senaryosunda g\u00fc\u00e7l\u00fc bir ara\u00e7 haline getirir. \u00d6zellikle dinamik, karma\u015f\u0131k ve s\u00fcrekli de\u011fi\u015fen kullan\u0131c\u0131 aray\u00fczleriyle etkile\u015fim gerektiren alanlarda b\u00fcy\u00fck fark yaratma potansiyeli ta\u015f\u0131r. \u0130\u015fte UI-TARS-Desktop'\u0131n uygulama bulabilece\u011fi baz\u0131 kilit sekt\u00f6rler ve senaryolar:<\/p>\n 1. Test Otomasyonu:<\/strong> 2. Robotik S\u00fcre\u00e7 Otomasyonu (RPA):<\/strong> 3. Dijital Asistanlar ve Kullan\u0131c\u0131 Deste\u011fi:<\/strong> 4. Veri Toplama ve Web Kaz\u0131ma (Web Scraping):<\/strong> 5. E\u011fitim ve Sim\u00fclasyon:<\/strong> Bu senaryolar, UI-TARS-Desktop'\u0131n sadece belirli bir ni\u015f alanda de\u011fil, geni\u015f bir yelpazede de\u011fer yaratabilece\u011fini g\u00f6stermektedir. Multimodal yetenekleri sayesinde, dijital etkile\u015fimleri daha ak\u0131ll\u0131, esnek ve insan benzeri hale getirerek otomasyonun s\u0131n\u0131rlar\u0131n\u0131 geni\u015fletir.<\/p>\n UI-TARS-Desktop'\u0131n temel i\u015flevselli\u011fini anlad\u0131ktan sonra, daha karma\u015f\u0131k senaryolar i\u00e7in ajan\u0131 nas\u0131l optimize edebilece\u011finizi ve mevcut i\u015f ak\u0131\u015flar\u0131n\u0131za nas\u0131l entegre edebilece\u011finizi merak edebilirsiniz. \u0130\u015fte ajan\u0131n potansiyelini tam olarak kullanman\u0131za yard\u0131mc\u0131 olacak baz\u0131 ileri d\u00fczey ipu\u00e7lar\u0131 ve entegrasyon stratejileri:<\/p>\n 1. Ajan\u0131n \u00d6\u011frenme S\u00fcrecini \u0130yile\u015ftirme ve \u0130nce Ayar (Fine-Tuning):<\/strong> 2. Prompt M\u00fchendisli\u011fi (Prompt Engineering) ve G\u00f6rev Tan\u0131mlar\u0131:<\/strong>
\n* Ajan Mimarisi:<\/strong> UI-TARS-Desktop, belirli bir g\u00f6revi yerine getirmek i\u00e7in otonom hareket edebilen bir “ajan” konseptini kullan\u0131r. Bu ajanlar, bir hedef belirler, mevcut UI durumunu g\u00f6zlemler, bu g\u00f6zlemlerden yola \u00e7\u0131karak bir sonraki en iyi eylemi planlar ve bu eylemi ger\u00e7ekle\u015ftirir. Bu d\u00f6ng\u00fc, g\u00f6rev tamamlanana kadar devam eder. Bu otonom yap\u0131, geli\u015ftiricilerin sadece y\u00fcksek seviyeli hedefler belirlemesini ve ajan\u0131n detaylar\u0131 kendi ba\u015f\u0131na halletmesini sa\u011flar.
\n* G\u00f6revden Ba\u011f\u0131ms\u0131zl\u0131k:<\/strong> UI-TARS-Desktop’\u0131n en g\u00fc\u00e7l\u00fc \u00f6zelliklerinden biri, belirli bir uygulama veya senaryo i\u00e7in \u00f6zel olarak e\u011fitilmemi\u015f olmas\u0131d\u0131r. Geni\u015f bir yelpazedeki GUI’lar ve g\u00f6revler \u00fczerinde \u00e7al\u0131\u015fabilme potansiyeline sahiptir. Bu, geli\u015ftiricilerin her yeni otomasyon ihtiyac\u0131 i\u00e7in s\u0131f\u0131rdan betik yazmak yerine, ajan\u0131 farkl\u0131 g\u00f6revlere adapte edebilmesini sa\u011flar. \u00d6rne\u011fin, bir e-ticaret sitesinde \u00fcr\u00fcn arama g\u00f6revi ile bir muhasebe yaz\u0131l\u0131m\u0131nda fatura olu\u015fturma g\u00f6revi aras\u0131nda kolayca ge\u00e7i\u015f yapabilir.
\n* B\u00fcy\u00fck Dil ve G\u00f6rsel Modellerinin Entegrasyonu:<\/strong> Proje, GPT gibi b\u00fcy\u00fck dil modellerini (LLM) ve \u00e7e\u015fitli g\u00f6rsel modelleri (LVM) kullanarak ekran \u00fczerindeki metinleri anlamak, g\u00f6rsel \u00f6\u011feleri tan\u0131mak ve kullan\u0131c\u0131 komutlar\u0131n\u0131 yorumlamak i\u00e7in sofistike yetenekler sunar. Bu modeller, ajan\u0131n sadece “ne” oldu\u011funu de\u011fil, ayn\u0131 zamanda “neden” oldu\u011funu ve “nas\u0131l” etkile\u015fim kurulmas\u0131 gerekti\u011fini anlamas\u0131na yard\u0131mc\u0131 olur. \u00d6rne\u011fin, bir LLM, kullan\u0131c\u0131n\u0131n “sipari\u015f ge\u00e7mi\u015fimi g\u00f6ster” komutunu “hesab\u0131m” men\u00fcs\u00fc alt\u0131ndaki “sipari\u015flerim” ba\u011flant\u0131s\u0131na t\u0131klamak olarak yorumlayabilir.<\/p>\nUI-TARS-Desktop’\u0131n Mimari Yap\u0131s\u0131 ve Bile\u015fenleri Nas\u0131l \u00c7al\u0131\u015f\u0131r?<\/h3>\n
\n * Ekran G\u00f6r\u00fcnt\u00fcs\u00fc Yakalama (Screenshot Capture):<\/strong> Ajan\u0131n ilk ad\u0131m\u0131, mevcut ekran\u0131n anl\u0131k g\u00f6r\u00fcnt\u00fcs\u00fcn\u00fc almakt\u0131r. Bu g\u00f6r\u00fcnt\u00fc, g\u00f6rsel analiz i\u00e7in temel veri kayna\u011f\u0131n\u0131 olu\u015fturur.
\n * G\u00f6rsel Analiz ve OCR (Optical Character Recognition):<\/strong> Yakalanan ekran g\u00f6r\u00fcnt\u00fcs\u00fc \u00fczerinde bilgisayar g\u00f6r\u00fc\u015f\u00fc teknikleri uygulan\u0131r. Bu, ekrandaki t\u00fcm g\u00f6r\u00fcn\u00fcr elementlerin (d\u00fc\u011fmeler, metin kutular\u0131, ikonlar, resimler vb.) konumlar\u0131n\u0131, boyutlar\u0131n\u0131 ve t\u00fcrlerini belirlemeyi i\u00e7erir. Ayr\u0131ca, OCR teknolojisi kullan\u0131larak ekrandaki t\u00fcm metinler okunur ve bu metinler anlamsal analiz i\u00e7in haz\u0131rlan\u0131r. \u00d6rne\u011fin, bir web sayfas\u0131ndaki t\u00fcm ba\u011flant\u0131 metinleri, form alanlar\u0131n\u0131n etiketleri ve genel sayfa i\u00e7eri\u011fi bu a\u015famada \u00e7\u0131kar\u0131l\u0131r.
\n * DOM\/Eri\u015filebilirlik A\u011fac\u0131 Analizi (DOM\/Accessibility Tree Analysis):<\/strong> \u00d6zellikle web tabanl\u0131 GUI’lar i\u00e7in, ekran g\u00f6r\u00fcnt\u00fcs\u00fcn\u00fcn yan\u0131 s\u0131ra HTML DOM (Document Object Model) veya eri\u015filebilirlik a\u011fac\u0131 gibi yap\u0131sal bilgiler de toplan\u0131r. Bu bilgiler, g\u00f6rsel olarak alg\u0131lanamayan ancak mant\u0131ksal olarak \u00f6nemli olan element \u00f6zelliklerini (\u00f6rne\u011fin, bir elementin gizli olup olmad\u0131\u011f\u0131, aria-etiketleri gibi anlamsal bilgiler) sa\u011flar. Bu sayede, ajan hem g\u00f6rsel hem de yap\u0131sal ba\u011flam\u0131 birle\u015ftirerek daha zengin bir anlay\u0131\u015fa sahip olur.<\/p>\n
\n * B\u00fcy\u00fck Dil Modelleri (LLMs) ve B\u00fcy\u00fck G\u00f6rsel Modelleri (LVMs):<\/strong> Bu katman\u0131n \u00e7ekirde\u011fini LLM’ler ve LVM’ler olu\u015fturur.
\n * LLM’ler:<\/strong> Kullan\u0131c\u0131n\u0131n do\u011fal dil komutlar\u0131n\u0131 (\u00f6rne\u011fin, “\u015fu anki sipari\u015fimi iptal et”) anlar ve g\u00f6zlem katman\u0131ndan gelen metinsel verileri (OCR ile okunmu\u015f ekran metinleri, DOM bilgileri) yorumlar. LLM, mevcut durum, hedef ve olas\u0131 eylemler aras\u0131nda mant\u0131ksal bir k\u00f6pr\u00fc kurar. \u00d6rne\u011fin, kullan\u0131c\u0131n\u0131n iste\u011fine g\u00f6re ekran \u00fczerindeki hangi metinlerin veya etiketlerin hedeflenmesi gerekti\u011fini belirler.
\n * LVM’ler:<\/strong> G\u00f6rsel bilgileri (ekran g\u00f6r\u00fcnt\u00fcleri, elementlerin g\u00f6rselleri) i\u015fleyerek, g\u00f6rsel ba\u011flam\u0131 anlar ve LLM’ye bu bilgiyi aktar\u0131r. Bir LVM, belirli bir ikonun ne anlama geldi\u011fini veya bir d\u00fc\u011fmenin g\u00f6rsel olarak neyi temsil etti\u011fini yorumlayabilir.
\n * Planlama ve Eylem Se\u00e7imi (Planning and Action Selection):<\/strong> LLM, t\u00fcm bu multimodal girdileri birle\u015ftirerek, belirlenen hedefe ula\u015fmak i\u00e7in at\u0131lmas\u0131 gereken ad\u0131mlar\u0131 (bir eylem plan\u0131) olu\u015fturur. Bu plan, “t\u0131klama”, “yazma”, “kayd\u0131rma” gibi temel GUI etkile\u015fimlerini i\u00e7erir. Ajan, mevcut durumdan hedefe ula\u015fmak i\u00e7in en maliyetli veya en verimli yolu hesaplar ve bir sonraki ad\u0131m\u0131 se\u00e7er. Bu a\u015famada, olas\u0131l\u0131ksal yakla\u015f\u0131mlar ve peki\u015ftirmeli \u00f6\u011frenme teknikleri de devreye girebilir.<\/p>\n
\n * GUI Etkile\u015fimi (GUI Interaction):<\/strong> Se\u00e7ilen eylemler (\u00f6rne\u011fin, belirli bir koordinata t\u0131klama, bir metin kutusuna metin yazma, bir element \u00fczerinde kayd\u0131rma) do\u011frudan i\u015fletim sistemi veya taray\u0131c\u0131 otomasyon API’lar\u0131 arac\u0131l\u0131\u011f\u0131yla ger\u00e7ekle\u015ftirilir. Bu katman, ger\u00e7ek d\u00fcnya GUI’sinde fiziksel veya sanal etkile\u015fimi sa\u011flar.
\n * Geri Bildirim D\u00f6ng\u00fcs\u00fc (Feedback Loop):<\/strong> Her eylemden sonra, g\u00f6zlem katman\u0131 yeniden devreye girer ve yeni ekran durumunu yakalar. Bu yeni durum, karar verme katman\u0131na geri beslenir ve ajan\u0131n bir sonraki ad\u0131m\u0131n\u0131 planlamas\u0131na olanak tan\u0131r. Bu s\u00fcrekli geri bildirim d\u00f6ng\u00fcs\u00fc, ajan\u0131n dinamik UI’lara adapte olmas\u0131n\u0131 ve beklenmedik durumlarla ba\u015fa \u00e7\u0131kmas\u0131n\u0131 sa\u011flar.<\/p>\nKurulum ve \u0130lk Ad\u0131mlar: UI-TARS-Desktop ile Nas\u0131l Ba\u015flan\u0131r?<\/h3>\n
venv<\/code> veya conda<\/code>) kullanmak, ba\u011f\u0131ml\u0131l\u0131k \u00e7ak\u0131\u015fmalar\u0131n\u0131 \u00f6nlemek i\u00e7in \u015fiddetle tavsiye edilir.
\n2. Git:<\/strong> Projenin kaynak kodunu indirmek i\u00e7in Git’e ihtiyac\u0131n\u0131z olacak.
\n3. Temel Sistem Ba\u011f\u0131ml\u0131l\u0131klar\u0131:<\/strong> Bilgisayar g\u00f6r\u00fc\u015f\u00fc ve di\u011fer derin \u00f6\u011frenme k\u00fct\u00fcphaneleri i\u00e7in baz\u0131 sistem ba\u011f\u0131ml\u0131l\u0131klar\u0131 (\u00f6rne\u011fin, ffmpeg<\/code>, opencv<\/code> k\u00fct\u00fcphaneleri) gerekebilir. Bu ba\u011f\u0131ml\u0131l\u0131klar i\u015fletim sisteminize g\u00f6re farkl\u0131l\u0131k g\u00f6sterebilir.<\/p>\ngit clone https:\/\/github.com\/bytedance\/UI-TARS-Desktop.git\n cd UI-TARS-Desktop<\/code><\/pre>\n<\/p><\/div>\npython -m venv venv_uitars\n source venv_uitars\/bin\/activate # Linux\/macOS\n # veya\n venv_uitars\\Scripts\\activate # Windows<\/code><\/pre>\n<\/p><\/div>\nrequirements.txt<\/code> dosyas\u0131ndaki t\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131 y\u00fckleyin. Bu genellikle derin \u00f6\u011frenme \u00e7er\u00e7evelerini (PyTorch veya TensorFlow), bilgisayar g\u00f6r\u00fc\u015f\u00fc k\u00fct\u00fcphanelerini ve di\u011fer yard\u0131mc\u0131 ara\u00e7lar\u0131 i\u00e7erir.<\/p>\npip install -r requirements.txt<\/code><\/pre>\n<\/p><\/div>\n
\n *Not: Baz\u0131 ba\u011f\u0131ml\u0131l\u0131klar GPU deste\u011fi gerektirebilir. E\u011fer bir GPU'nuz varsa ve kullanmak istiyorsan\u0131z, ilgili k\u00fct\u00fcphanelerin (\u00f6rne\u011fin torch<\/code> i\u00e7in CUDA destekli s\u00fcr\u00fcm) manuel olarak y\u00fcklenmesi gerekebilir.*<\/p>\n# \u00d6rnek bir komut, projenin dok\u00fcmantasyonuna g\u00f6re de\u011fi\u015febilir\n python scripts\/download_models.py<\/code><\/pre>\n<\/p><\/div>\n# agent_example.py\n from uitars import UIAgent\n\n # Ajan\u0131 ba\u015flat\n agent = UIAgent(model_path=\"path\/to\/your\/downloaded\/model\")\n\n # Hedef g\u00f6revi tan\u0131mla\n task_description = \"Taray\u0131c\u0131y\u0131 a\u00e7, 'google.com' adresine git ve 'UI-TARS-Desktop nedir' diye ara.\"\n\n # G\u00f6revi y\u00fcr\u00fct\n agent.run_task(task_description)<\/pre>\n
\n Bu \u00f6rnekte, UIAgent<\/code> s\u0131n\u0131f\u0131n\u0131 kullanarak bir ajan nesnesi olu\u015fturulur ve run_task<\/code> metodu ile do\u011fal dil komutu verilir. Ajan, bu komutu yorumlayacak, taray\u0131c\u0131y\u0131 a\u00e7acak (e\u011fer a\u00e7\u0131k de\u011filse), belirtilen adrese gidecek, arama kutusunu bulacak, metni girecek ve arama i\u015flemini ba\u015flatacakt\u0131r.<\/p>\npython agent_example.py<\/code><\/pre>\n<\/p><\/div>\n
\n Bu komutu \u00e7al\u0131\u015ft\u0131rd\u0131\u011f\u0131n\u0131zda, UI-TARS-Desktop'\u0131n ekran\u0131n\u0131z\u0131 g\u00f6zlemledi\u011fini, taray\u0131c\u0131da gezinmeye ba\u015flad\u0131\u011f\u0131n\u0131 ve belirtilen arama i\u015flemini ger\u00e7ekle\u015ftirdi\u011fini g\u00f6receksiniz. Bu, multimodal bir GUI ajan\u0131n\u0131n g\u00fcc\u00fcn\u00fc deneyimlemenin ilk ad\u0131m\u0131d\u0131r.<\/p>\nGer\u00e7ek D\u00fcnya Uygulamalar\u0131: UI-TARS-Desktop Hangi Senaryolarda Fark Yarat\u0131r?<\/h3>\n
\n * Senaryo:<\/strong> Bir e-ticaret uygulamas\u0131n\u0131n mobil ve web s\u00fcr\u00fcmlerinde, \"sepete \u00fcr\u00fcn ekleme\", \"\u00f6deme yapma\" veya \"sipari\u015f ge\u00e7mi\u015fini g\u00f6r\u00fcnt\u00fcleme\" gibi u\u00e7tan uca kullan\u0131c\u0131 ak\u0131\u015flar\u0131n\u0131n test edilmesi. Geleneksel test betikleri, UI de\u011fi\u015fikliklerinde s\u0131k\u00e7a bozulur.
\n * UI-TARS-Desktop Fark\u0131:<\/strong> Ajan, test senaryolar\u0131n\u0131 do\u011fal dil komutlar\u0131 olarak al\u0131r (\u00f6rne\u011fin, \"iPhone 15 Pro Max'i sepete ekle ve \u00f6deme sayfas\u0131na git\"). Ekran\u0131 g\u00f6rsel olarak analiz ederek, do\u011fru \u00fcr\u00fcn kart\u0131n\u0131, \"sepete ekle\" d\u00fc\u011fmesini ve \u00f6deme formunu bulur. UI elementlerinin ID'leri veya konumlar\u0131 de\u011fi\u015fse bile, g\u00f6rsel ve anlamsal ba\u011flam sayesinde testi ba\u015far\u0131yla tamamlayabilir. Bu, test betiklerinin bak\u0131m maliyetini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r ve testlerin daha sa\u011flam olmas\u0131n\u0131 sa\u011flar. Ayr\u0131ca, farkl\u0131 ekran boyutlar\u0131 ve \u00e7\u00f6z\u00fcn\u00fcrl\u00fckleri i\u00e7in adaptif testler y\u00fcr\u00fctme yetene\u011fi sunar.<\/p>\n
\n * Senaryo:<\/strong> Bir \u015firketin finans departman\u0131nda, farkl\u0131 sistemlerden (\u00f6rne\u011fin, ERP yaz\u0131l\u0131m\u0131, banka portallar\u0131, eski bir muhasebe uygulamas\u0131) veri toplay\u0131p birle\u015ftirerek ayl\u0131k raporlar olu\u015fturmak veya faturalar\u0131 i\u015flemek. Bu s\u00fcre\u00e7ler genellikle tekrarlay\u0131c\u0131 ve manueldir, ancak her sistemin kendine \u00f6zg\u00fc bir UI'\u0131 vard\u0131r.
\n * UI-TARS-Desktop Fark\u0131:<\/strong> Ajan, \"X sisteminden Y raporunu indir, Z sistemine giri\u015f yap ve bu veriyi ilgili alana yap\u0131\u015ft\u0131r\" gibi karma\u015f\u0131k komutlar\u0131 yerine getirebilir. Eski (legacy) sistemlerin API'lar\u0131 olmad\u0131\u011f\u0131nda veya entegrasyon \u00e7ok maliyetli oldu\u011funda, UI-TARS-Desktop, ekran\u0131 do\u011frudan bir insan gibi kullanarak veri giri\u015fini, veri \u00e7ekmeyi ve i\u015f ak\u0131\u015flar\u0131n\u0131 otomatikle\u015ftirebilir. Bu, insan hatas\u0131n\u0131 azalt\u0131r, s\u00fcre\u00e7leri h\u0131zland\u0131r\u0131r ve \u00e7al\u0131\u015fanlar\u0131n daha stratejik g\u00f6revlere odaklanmas\u0131n\u0131 sa\u011flar.<\/p>\n
\n * Senaryo:<\/strong> Bir kullan\u0131c\u0131n\u0131n bir web sitesinde veya masa\u00fcst\u00fc uygulamas\u0131nda belirli bir ayar\u0131 bulmakta zorlanmas\u0131 veya karma\u015f\u0131k bir i\u015flemi ger\u00e7ekle\u015ftirmek istemesi. Geleneksel chatbot'lar genellikle sadece metin tabanl\u0131 yan\u0131tlara sahiptir.
\n * UI-TARS-Desktop Fark\u0131:<\/strong> Bir multimodal ajan, kullan\u0131c\u0131n\u0131n \"hesab\u0131m\u0131n gizlilik ayarlar\u0131n\u0131 nerede de\u011fi\u015ftirebilirim?\" gibi bir sorusunu al\u0131p, do\u011frudan ilgili men\u00fcy\u00fc a\u00e7abilir ve kullan\u0131c\u0131y\u0131 do\u011fru yere y\u00f6nlendirebilir. Hatta kullan\u0131c\u0131n\u0131n onay\u0131yla bu de\u011fi\u015fikli\u011fi kendisi yapabilir. Bu, m\u00fc\u015fteri hizmetleri etkile\u015fimlerini ki\u015fiselle\u015ftirir, kullan\u0131c\u0131 deneyimini iyile\u015ftirir ve destek personelinin y\u00fck\u00fcn\u00fc hafifletir.<\/p>\n
\n * Senaryo:<\/strong> Belirli bir sekt\u00f6rdeki rakip fiyatlar\u0131n\u0131 takip etmek, \u00fcr\u00fcn \u00f6zelliklerini toplamak veya haber sitelerinden belirli anahtar kelimelerle ilgili makaleleri \u00e7ekmek. Web sitelerinin yap\u0131s\u0131 s\u00fcrekli de\u011fi\u015febilir ve geleneksel kaz\u0131y\u0131c\u0131lar bozulabilir.
\n * UI-TARS-Desktop Fark\u0131:<\/strong> Ajan, \"\u015fu e-ticaret sitesindeki t\u00fcm 'ak\u0131ll\u0131 telefon' fiyatlar\u0131n\u0131 ve \u00f6zelliklerini topla\" gibi bir komutla, sitenin g\u00f6rsel yap\u0131s\u0131n\u0131 anlayarak dinamik olarak verileri \u00e7ekebilir. CSS se\u00e7icileri veya XPath'ler de\u011fi\u015fse bile, g\u00f6rsel ba\u011flam sayesinde do\u011fru elementleri bulabilir. Bu, daha dayan\u0131kl\u0131 ve az bak\u0131m gerektiren veri toplama \u00e7\u00f6z\u00fcmleri sunar.<\/p>\n
\n * Senaryo:<\/strong> Yeni bir yaz\u0131l\u0131m\u0131n veya sistemin kullan\u0131m\u0131n\u0131 \u00f6\u011fretmek. Kullan\u0131c\u0131lar\u0131n ad\u0131m ad\u0131m belirli g\u00f6revleri nas\u0131l yapaca\u011f\u0131n\u0131 g\u00f6stermek.
\n * UI-TARS-Desktop Fark\u0131:<\/strong> Ajan, bir kullan\u0131c\u0131n\u0131n ekran\u0131nda belirli bir i\u015flemi nas\u0131l ger\u00e7ekle\u015ftirece\u011fini canl\u0131 olarak g\u00f6sterebilir, hatta kullan\u0131c\u0131n\u0131n yanl\u0131\u015f bir ad\u0131m att\u0131\u011f\u0131nda do\u011fru yolu i\u015faret edebilir. Bu, interaktif e\u011fitim mod\u00fclleri olu\u015fturmak i\u00e7in kullan\u0131labilir ve \u00f6\u011frenme s\u00fcrecini h\u0131zland\u0131r\u0131r.<\/p>\nGeli\u015fmi\u015f Kullan\u0131m \u0130pu\u00e7lar\u0131 ve Entegrasyon Stratejileri<\/h3>\n
\n * \u00d6zel Veri K\u00fcmeleri:<\/strong> UI-TARS-Desktop, genellikle genel ama\u00e7l\u0131 modellerle gelir. Ancak, ajan\u0131 belirli bir uygulama veya i\u015f ak\u0131\u015f\u0131 i\u00e7in daha verimli hale getirmek istiyorsan\u0131z, o uygulamaya \u00f6zel ekran g\u00f6r\u00fcnt\u00fcleri ve etkile\u015fim kay\u0131tlar\u0131 (kullan\u0131c\u0131lar\u0131n o uygulamada ger\u00e7ekle\u015ftirdi\u011fi eylemler) ile ince ayar yapmay\u0131 d\u00fc\u015f\u00fcnebilirsiniz. Bu, ajan\u0131n o uygulaman\u0131n benzersiz UI elementlerini ve etkile\u015fim desenlerini daha iyi tan\u0131mas\u0131n\u0131 sa\u011flar.
\n * Geri Bildirim D\u00f6ng\u00fcleri:<\/strong> Ajan\u0131n ba\u015far\u0131s\u0131z oldu\u011fu durumlar\u0131 kaydetmek ve bu durumlar\u0131 analiz ederek modelin e\u011fitim verisine eklemek, performans\u0131n\u0131 s\u00fcrekli olarak art\u0131rman\u0131n anahtar\u0131d\u0131r. Hata durumlar\u0131nda kullan\u0131c\u0131dan veya geli\u015ftiriciden geri bildirim alarak ajan\u0131n \u00f6\u011frenme s\u00fcrecini zenginle\u015ftirebilirsiniz.<\/p>\n
\n * A\u00e7\u0131k ve Spesifik Prompt'lar:<\/strong> Multimodal ajanlar, do\u011fal dil komutlar\u0131n\u0131 yorumlad\u0131\u011f\u0131 i\u00e7in, verdi\u011finiz komutlar\u0131n (prompt'lar\u0131n) ne kadar a\u00e7\u0131k ve spesifik oldu\u011fu performans\u0131 do\u011frudan etkiler. \"\u015eu anki sipari\u015fimi iptal et\"<\/p>\n","protected":false},"excerpt":{"rendered":"UI-TARS-Desktop: ByteDance’\u0131n A\u00e7\u0131k Kaynak Multimodal GUI Ajan Stack’i Neleri De\u011fi\u015ftiriyor?","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-41702","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n