G\u00f6r\u00fcnt\u00fc i\u015fleme ve bilgisayar g\u00f6r\u00fc\u015f\u00fc alan\u0131nda, g\u00f6rsel verileri anlamland\u0131rmak ve yorumlamak temel hedeflerden biridir. Bu hedefe ula\u015fmak i\u00e7in geli\u015ftirilen \u00e7e\u015fitli teknikler aras\u0131nda segmentasyon, g\u00f6r\u00fcnt\u00fcdeki her pikseli belirli bir kategoriye atayarak sahnenin ayr\u0131nt\u0131l\u0131 bir yap\u0131s\u0131n\u0131 ortaya koyar. G\u00f6r\u00fcnt\u00fc segmentasyonu, pikselleri anlaml\u0131 b\u00f6lgelere ay\u0131rma i\u015flemidir ve genel olarak iki ana kategoriye ayr\u0131l\u0131r: semantik segmentasyon ve \u00f6rnek (instance) segmentasyon. Her iki yakla\u015f\u0131m da kendi i\u00e7inde \u00f6nemli ilerlemeler kaydetmi\u015f olsa da, her birinin kendine \u00f6zg\u00fc s\u0131n\u0131rlamalar\u0131 bulunmaktad\u0131r. Semantik segmentasyon, g\u00f6r\u00fcnt\u00fcdeki her piksele bir s\u0131n\u0131f etiketi atarken (“yol”, “g\u00f6ky\u00fcz\u00fc”, “insan” gibi), farkl\u0131 “insan” nesnelerini birbirinden ay\u0131rt edemez. \u00d6rnek segmentasyon ise her bir nesne \u00f6rne\u011fini (“insan_1”, “insan_2”) ay\u0131rt etme yetene\u011fine sahiptir, ancak genellikle “\u015feyler” (things) olarak adland\u0131r\u0131lan say\u0131labilir nesnelere odaklan\u0131r ve “madde” (stuff) olarak adland\u0131r\u0131lan say\u0131s\u0131z, \u015fekilsiz b\u00f6lgeleri (g\u00f6ky\u00fcz\u00fc, yol, \u00e7im) g\u00f6z ard\u0131 edebilir veya yanl\u0131\u015f i\u015fleyebilir.<\/p>\n
Bu iki segmentasyon paradigmas\u0131n\u0131n g\u00fc\u00e7l\u00fc y\u00f6nlerini birle\u015ftirerek, hem her piksel i\u00e7in semantik bir etiket atayan hem de say\u0131labilir nesneler i\u00e7in benzersiz \u00f6rnek kimlikleri sa\u011flayan yeni bir yakla\u015f\u0131m ortaya \u00e7\u0131km\u0131\u015ft\u0131r: Panoptik Segmentasyon. Panoptik segmentasyon, bir g\u00f6r\u00fcnt\u00fcdeki her piksele tek ve tutarl\u0131 bir etiket atamay\u0131 ama\u00e7lar; bu etiket, pikselin ait oldu\u011fu semantik s\u0131n\u0131f\u0131 ve e\u011fer bir “\u015fey” kategorisine aitse, o nesnenin benzersiz \u00f6rne\u011fini belirtir. Bu sayede, bir sahnenin hem genel ba\u011flamsal anlay\u0131\u015f\u0131 hem de bireysel nesnelerin ayr\u0131nt\u0131l\u0131 ayr\u0131m\u0131 tek birle\u015fik bir \u00e7er\u00e7evede sunulur. Bu makale, panoptik segmentasyonun temel kavramlar\u0131n\u0131, motivasyonunu, geli\u015ftirilen yakla\u015f\u0131mlar\u0131, de\u011ferlendirme metriklerini, zorluklar\u0131n\u0131 ve gelecek y\u00f6nelimlerini derinlemesine inceleyecektir.<\/p>\n
Panoptik segmentasyonu anlamak i\u00e7in, \u00f6ncelikle semantik ve \u00f6rnek segmentasyonun temel prensiplerini ve “\u015feyler” ile “madde” aras\u0131ndaki ayr\u0131m\u0131 kavramak \u00f6nemlidir.<\/p>\n
Semantik segmentasyon, bir g\u00f6r\u00fcnt\u00fcdeki her pikseli \u00f6nceden tan\u0131mlanm\u0131\u015f bir kategoriye (\u00f6rne\u011fin, insan, araba, yol, a\u011fa\u00e7, g\u00f6ky\u00fcz\u00fc) s\u0131n\u0131fland\u0131rma g\u00f6revidir. \u00c7\u0131kt\u0131, genellikle ayn\u0131 boyutlarda bir maske veya harita olup, her pikselin ait oldu\u011fu s\u0131n\u0131f\u0131 g\u00f6sterir. Bu g\u00f6revde ama\u00e7, bir s\u0131n\u0131f\u0131n t\u00fcm piksellerini do\u011fru bir \u015fekilde tan\u0131mlamakt\u0131r. \u00d6rne\u011fin, bir g\u00f6r\u00fcnt\u00fcdeki t\u00fcm “insan” pikselleri ayn\u0131 etiketle i\u015faretlenir. Semantik segmentasyon modelleri genellikle tam evri\u015fimli a\u011flar (FCN), U-Net, DeepLab gibi mimarileri kullan\u0131r ve derin \u00f6\u011frenmenin yayg\u0131nla\u015fmas\u0131yla b\u00fcy\u00fck ba\u015far\u0131lar elde etmi\u015ftir. Bu y\u00f6ntemler, ba\u011flam\u0131 anlamak ve geni\u015f alanlar\u0131 s\u0131n\u0131fland\u0131rmak i\u00e7in etkilidir, ancak farkl\u0131 nesne \u00f6rneklerini (\u00f6rne\u011fin, iki farkl\u0131 insan\u0131) birbirinden ay\u0131rt etme yetene\u011fine sahip de\u011fildir.<\/p>\n
\u00d6rnek segmentasyon, g\u00f6r\u00fcnt\u00fcdeki her bir nesne \u00f6rne\u011fini alg\u0131lama ve maskeleme g\u00f6revidir. Semantik segmentasyondan farkl\u0131 olarak, \u00f6rnek segmentasyon sadece piksellerin ait oldu\u011fu s\u0131n\u0131f\u0131 belirlemekle kalmaz, ayn\u0131 zamanda ayn\u0131 s\u0131n\u0131fa ait farkl\u0131 nesneleri de birbirinden ay\u0131r\u0131r. \u00d6rne\u011fin, bir g\u00f6r\u00fcnt\u00fcdeki be\u015f farkl\u0131 insan\u0131 “insan_1”, “insan_2”, …, “insan_5” olarak ayr\u0131 ayr\u0131 maskeleyebilir. Bu g\u00f6rev genellikle Mask R-CNN, YOLACT, SOLOv2 gibi iki a\u015famal\u0131 veya tek a\u015famal\u0131 mimarilerle ger\u00e7ekle\u015ftirilir. \u00d6rnek segmentasyon, otonom s\u00fcr\u00fc\u015f, robotik ve art\u0131r\u0131lm\u0131\u015f ger\u00e7eklik gibi uygulamalar i\u00e7in kritik \u00f6neme sahiptir, \u00e7\u00fcnk\u00fc bu uygulamalar bireysel nesnelerin konumunu ve \u015feklini bilmeyi gerektirir. Ancak, \u00f6rnek segmentasyon genellikle “\u015feyler” olarak adland\u0131r\u0131lan say\u0131labilir nesnelere odaklan\u0131r ve “madde” kategorilerini (g\u00f6ky\u00fcz\u00fc, yol, \u00e7im vb.) genellikle g\u00f6z ard\u0131 eder veya bunlar\u0131 tek bir arka plan s\u0131n\u0131f\u0131 olarak ele al\u0131r.<\/p>\n
Panoptik segmentasyonun temelinde yatan en \u00f6nemli ayr\u0131m, g\u00f6r\u00fcnt\u00fcdeki nesnelerin “\u015feyler” ve “madde” olarak kategorize edilmesidir:<\/p>\n
* “\u015eeyler” (Things):<\/strong> Bunlar, say\u0131labilir, iyi tan\u0131mlanm\u0131\u015f s\u0131n\u0131rlara sahip ve genellikle belirli bir \u015fekle sahip nesnelerdir. \u00d6rnekler aras\u0131nda insanlar, arabalar, hayvanlar, a\u011fa\u00e7lar, bisikletler vb. bulunur. Her “\u015fey” \u00f6rne\u011finin benzersiz bir kimli\u011fe sahip olmas\u0131 beklenir (\u00f6rne\u011fin, “araba_1”, “araba_2”). Bu ayr\u0131m, panoptik segmentasyonun hem semantik hem de \u00f6rnek segmentasyonun gereksinimlerini tek bir tutarl\u0131 \u00e7er\u00e7evede nas\u0131l birle\u015ftirdi\u011fini a\u00e7\u0131klar. “\u015eeyler” i\u00e7in hem s\u0131n\u0131f etiketi hem de \u00f6rnek kimli\u011fi gerekirken, “madde” i\u00e7in sadece s\u0131n\u0131f etiketi yeterlidir.<\/p>\n Panoptik segmentasyon, bir g\u00f6r\u00fcnt\u00fcdeki her piksele benzersiz bir etiket atayarak, hem semantik segmentasyonun ba\u011flamsal anlay\u0131\u015f\u0131n\u0131 hem de \u00f6rnek segmentasyonun bireysel nesne ayr\u0131m\u0131n\u0131 birle\u015ftiren kapsaml\u0131 bir bilgisayar g\u00f6r\u00fc\u015f\u00fc g\u00f6revidir. Formal olarak, panoptik segmentasyon, bir g\u00f6r\u00fcnt\u00fcdeki her piksel Bu tan\u0131m, a\u015fa\u011f\u0131daki temel hedefleri ve gereksinimleri beraberinde getirir:<\/p>\n 1. Kapsay\u0131c\u0131l\u0131k:<\/strong> G\u00f6r\u00fcnt\u00fcdeki her piksel, bir semantik s\u0131n\u0131fa atanmal\u0131d\u0131r. Bo\u015fluk veya tan\u0131ms\u0131z alan olmamal\u0131d\u0131r. Panoptik segmentasyonun temel amac\u0131, bir sahnenin b\u00fct\u00fcnsel ve ayr\u0131nt\u0131l\u0131 bir anlay\u0131\u015f\u0131n\u0131 sa\u011flamakt\u0131r. Bu, otonom ara\u00e7lar (yolu, yayalar\u0131, di\u011fer ara\u00e7lar\u0131 ve trafik i\u015faretlerini ayn\u0131 anda ve tutarl\u0131 bir \u015fekilde anlamak), robotik (\u00e7evresindeki nesneleri manip\u00fcle etmek ve gezinmek i\u00e7in), art\u0131r\u0131lm\u0131\u015f ger\u00e7eklik (sanal nesneleri ger\u00e7ek d\u00fcnya sahnesine do\u011fru bir \u015fekilde yerle\u015ftirmek) ve geli\u015fmi\u015f g\u00f6r\u00fcnt\u00fc d\u00fczenleme gibi bir\u00e7ok ileri d\u00fczey uygulama i\u00e7in hayati \u00f6neme sahiptir. Bu birle\u015fik \u00e7\u0131kt\u0131, tek ba\u015f\u0131na semantik veya \u00f6rnek segmentasyonun sa\u011flayamayaca\u011f\u0131 zengin bir bilgi katman\u0131 sunar.<\/p>\n Panoptik segmentasyonun performans\u0131n\u0131 de\u011ferlendirmek i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015f bir metrik olan Panoptik Kalite (Panoptic Quality – PQ) kullan\u0131l\u0131r. PQ, hem segmentasyon kalitesini hem de tan\u0131ma kalitesini hesaba katarak, bir modelin panoptik segmentasyon g\u00f6revindeki ba\u015far\u0131s\u0131n\u0131 kapsaml\u0131 bir \u015fekilde \u00f6l\u00e7er.<\/p>\n Panoptik Kalite (PQ) \u00fc\u00e7 ana bile\u015fenden olu\u015fur:<\/p>\n 1. Tan\u0131ma Kalitesi (Recognition Quality – RQ):<\/strong> Bu bile\u015fen, modelin do\u011fru nesneleri ve “madde” b\u00f6lgelerini ne kadar iyi alg\u0131lad\u0131\u011f\u0131n\u0131 ve e\u015fle\u015ftirdi\u011fini \u00f6l\u00e7er. Temel olarak, do\u011fru pozitifler (True Positives – TP), yanl\u0131\u015f pozitifler (False Positives – FP) ve yanl\u0131\u015f negatifler (False Negatives – FN) \u00fczerinden bir F1-skoru gibi hesaplan\u0131r. 2. Segmentasyon Kalitesi (Segmentation Quality – SQ):<\/strong> Bu bile\u015fen, do\u011fru bir \u015fekilde e\u015fle\u015ftirilmi\u015f segmentlerin ne kadar iyi maskelendi\u011fini \u00f6l\u00e7er. E\u015fle\u015fen her bir tahmin edilen segment ile yer zemin segmenti aras\u0131ndaki Kesi\u015fim \u00dczerinden Birle\u015fim (Intersection over Union – IoU) de\u011ferlerinin ortalamas\u0131d\u0131r. 3. Panoptik Kalite (PQ):<\/strong> RQ ve SQ’nun birle\u015fimidir. PQ metri\u011fi, modelin hem do\u011fru nesneleri ve b\u00f6lgeleri bulma (RQ) hem de bunlar\u0131 do\u011fru bir \u015fekilde maskeleme (SQ) yetene\u011fini dengeli bir \u015fekilde de\u011ferlendirir. Bu, panoptik segmentasyonun iki y\u00f6n\u00fcn\u00fc de kapsayan kapsaml\u0131 bir de\u011ferlendirme sa\u011flar. Genellikle “\u015feyler” ve “madde” kategorileri i\u00e7in ayr\u0131 ayr\u0131 PQ de\u011ferleri de hesaplan\u0131r (PQ_things ve PQ_stuff), bu da modelin farkl\u0131 t\u00fcrdeki segmentler \u00fczerindeki performans\u0131n\u0131 daha detayl\u0131 bir \u015fekilde anlamaya yard\u0131mc\u0131 olur.<\/p>\n Panoptik segmentasyon g\u00f6revini ele almak i\u00e7in \u00e7e\u015fitli mimariler ve stratejiler geli\u015ftirilmi\u015ftir. Bu yakla\u015f\u0131mlar genellikle iki ana kategoriye ayr\u0131labilir: iki ak\u0131\u015fl\u0131 (two-stream) yakla\u015f\u0131mlar ve tek ak\u0131\u015fl\u0131 (single-stream) veya birle\u015fik yakla\u015f\u0131mlar. Son zamanlarda, Transformer tabanl\u0131 yakla\u015f\u0131mlar da \u00f6nemli bir etki yaratm\u0131\u015ft\u0131r.<\/p>\n Bu yakla\u015f\u0131mlar, panoptik segmentasyon g\u00f6revini iki ayr\u0131, ancak ili\u015fkili alt g\u00f6reve b\u00f6lerek \u00e7\u00f6zer: semantik segmentasyon ve \u00f6rnek segmentasyon. Her alt g\u00f6rev i\u00e7in ayr\u0131 bir a\u011f veya a\u011f kolu kullan\u0131l\u0131r ve daha sonra bu kollardan gelen \u00e7\u0131kt\u0131lar birle\u015ftirilir.<\/p>\n 1. Mimari:<\/strong> Bu yakla\u015f\u0131mlar, panoptik segmentasyon \u00e7\u0131kt\u0131s\u0131n\u0131 do\u011frudan tek bir a\u011fdan tahmin etmeyi ama\u00e7lar. Ama\u00e7, mimariyi basitle\u015ftirmek ve iki ayr\u0131 kol aras\u0131ndaki potansiyel tutars\u0131zl\u0131klar\u0131 azaltmakt\u0131r.<\/p>\n 1. Mimari:<\/strong> Genellikle ortak bir omurga (backbone) a\u011f\u0131na sahiptirler ve bu omurga \u00fczerinden tek birle\u015fik bir ba\u015fl\u0131k (head) veya birden fazla ancak s\u0131k\u0131ca entegre edilmi\u015f ba\u015fl\u0131klar ile panoptik \u00e7\u0131kt\u0131 \u00fcretirler. Son y\u0131llarda, do\u011fal dil i\u015flemedeki ba\u015far\u0131lar\u0131yla \u00f6ne \u00e7\u0131kan Transformer mimarisi, bilgisayar g\u00f6r\u00fc\u015f\u00fcnde de b\u00fcy\u00fck bir etki yaratm\u0131\u015ft\u0131r. \u00d6zellikle DETR (Detection Transformer) ve onun uzant\u0131lar\u0131, g\u00f6r\u00fcnt\u00fcdeki nesneleri do\u011frudan tahmin etme yetene\u011fi ile panoptik segmentasyona yeni bir boyut getirmi\u015ftir.<\/p>\n 1. Mimari:<\/strong> Bu farkl\u0131 yakla\u015f\u0131mlar\u0131n her biri, panoptik segmentasyonun zorlu\u011funu a\u015fmak i\u00e7in kendi stratejilerini sunar. Se\u00e7ilen yakla\u015f\u0131m, genellikle uygulaman\u0131n gereksinimlerine (h\u0131z, do\u011fruluk, karma\u015f\u0131kl\u0131k) ve mevcut hesaplama kaynaklar\u0131na ba\u011fl\u0131d\u0131r.<\/p>\n Panoptik segmentasyon modellerinin e\u011fitilmesi ve de\u011ferlendirilmesi i\u00e7in \u00f6zel olarak etiketlenmi\u015f b\u00fcy\u00fck \u00f6l\u00e7ekli veri k\u00fcmeleri kritik \u00f6neme sahiptir. Bu veri k\u00fcmeleri, her piksel i\u00e7in hem semantik s\u0131n\u0131f etiketlerini hem de “\u015feyler” kategorisindeki nesneler i\u00e7in benzersiz \u00f6rnek kimliklerini i\u00e7ermelidir.<\/p>\n Ba\u015fl\u0131ca panoptik segmentasyon veri k\u00fcmeleri \u015funlard\u0131r:<\/p>\n 1. COCO Panoptic:<\/strong> Ortak Nesneler Ba\u011flam\u0131nda (Common Objects in Context – COCO) veri k\u00fcmesinin bir uzant\u0131s\u0131d\u0131r. COCO, zaten nesne alg\u0131lama ve \u00f6rnek segmentasyon i\u00e7in yayg\u0131n olarak kullan\u0131lan bir veri k\u00fcmesidir. COCO Panoptic, bu veri k\u00fcmesindeki g\u00f6r\u00fcnt\u00fclere “madde” kategorileri i\u00e7in ek etiketler ekleyerek ve t\u00fcm piksellerin tutarl\u0131 bir \u015fekilde etiketlenmesini sa\u011flayarak olu\u015fturulmu\u015ftur. 133 kategoriyi (80 “\u015fey” ve 53 “madde”) kapsar ve binlerce g\u00f6r\u00fcnt\u00fc i\u00e7erir. Panoptik segmentasyon ara\u015ft\u0131rmalar\u0131nda en yayg\u0131n kullan\u0131lan veri k\u00fcmelerinden biridir.<\/p>\n 2. Cityscapes:<\/strong> \u00d6zellikle otonom s\u00fcr\u00fc\u015f ve kentsel sahneler i\u00e7in tasarlanm\u0131\u015f bir veri k\u00fcmesidir. \u00c7e\u015fitli \u015fehirlerden al\u0131nan yol sahnelerinin y\u00fcksek \u00e7\u00f6z\u00fcn\u00fcrl\u00fckl\u00fc g\u00f6r\u00fcnt\u00fclerini i\u00e7erir. Cityscapes, hem semantik hem de \u00f6rnek segmentasyon i\u00e7in etiketlere sahiptir ve panoptik segmentasyon i\u00e7in de uyarlanm\u0131\u015ft\u0131r. 19 semantik s\u0131n\u0131f\u0131 (8 “\u015fey” ve 11 “madde”) kapsar ve otonom ara\u00e7lar i\u00e7in ger\u00e7ek d\u00fcnya performans\u0131n\u0131 de\u011ferlendirmek i\u00e7in \u00e7ok \u00f6nemlidir.<\/p>\n 3. ADE20K:<\/strong> MIT taraf\u0131ndan olu\u015fturulan bu veri k\u00fcmesi, \u00e7ok \u00e7e\u015fitli sahneler ve nesneler i\u00e7eren geni\u015f bir kapsam sunar. 150’den fazla semantik s\u0131n\u0131f\u0131 (\u00e7o\u011fu “madde” ve baz\u0131 “\u015feyler”) kapsar ve her piksel i\u00e7in yo\u011fun etiketlemeye sahiptir. Panoptik segmentasyon i\u00e7in de kullan\u0131labilir, ancak COCO ve Cityscapes kadar do\u011frudan “\u015feyler” ve “madde” ayr\u0131m\u0131 i\u00e7in optimize edilmemi\u015ftir.<\/p>\n 4. Mapillary Vistas:<\/strong> \u00c7ok b\u00fcy\u00fck \u00f6l\u00e7ekli ve \u00e7e\u015fitli bir veri k\u00fcmesidir. Farkl\u0131 co\u011frafi b\u00f6lgelerden ve hava ko\u015fullar\u0131ndan toplanan y\u00fcksek \u00e7\u00f6z\u00fcn\u00fcrl\u00fckl\u00fc g\u00f6r\u00fcnt\u00fcleri i\u00e7erir. 66 “\u015fey” ve 37 “madde” olmak \u00fczere toplam 124 semantik kategoriye sahiptir. Boyutu ve \u00e7e\u015fitlili\u011fi sayesinde, modellerin genellenebilirlik yetene\u011fini test etmek i\u00e7in idealdir.<\/p>\n Bu veri k\u00fcmeleri, panoptik segmentasyon modellerinin e\u011fitilmesi, kar\u015f\u0131la\u015ft\u0131r\u0131lmas\u0131 ve geli\u015ftirilmesi i\u00e7in temel bir altyap\u0131 sa\u011flar. Panoptik etiketlemenin karma\u015f\u0131kl\u0131\u011f\u0131 nedeniyle, bu veri k\u00fcmelerinin olu\u015fturulmas\u0131 b\u00fcy\u00fck \u00e7aba gerektirmi\u015ftir ve gelecekte daha fazla ve daha \u00e7e\u015fitli panoptik veri k\u00fcmelerine ihtiya\u00e7 duyulacakt\u0131r.<\/p>\n Panoptik segmentasyon, bilgisayar g\u00f6r\u00fc\u015f\u00fcnde \u00f6nemli bir ilerlemeyi temsil etse de, hala ele al\u0131nmas\u0131 gereken bir\u00e7ok zorluk ve ke\u015ffedilmeyi bekleyen gelecek y\u00f6nelimleri bulunmaktad\u0131r.<\/p>\n 1. Hesaplama Karma\u015f\u0131kl\u0131\u011f\u0131 ve Ger\u00e7ek Zamanl\u0131 Performans:<\/strong> Panoptik segmentasyon, hem semantik hem de \u00f6rnek segmentasyonun g\u00f6revlerini birle\u015ftirdi\u011finden, genellikle y\u00fcksek hesaplama maliyetine sahiptir. \u00d6zellikle y\u00fcksek \u00e7\u00f6z\u00fcn\u00fcrl\u00fckl\u00fc g\u00f6r\u00fcnt\u00fclerde ve ger\u00e7ek zamanl\u0131 uygulamalarda (otonom s\u00fcr\u00fc\u015f gibi) modellerin h\u0131z\u0131n\u0131 ve verimlili\u011fini art\u0131rmak b\u00fcy\u00fck bir zorluktur. 1. Daha H\u0131zl\u0131 ve Verimli Modeller:<\/strong> \u00d6zellikle mobil ve g\u00f6m\u00fcl\u00fc sistemler i\u00e7in, hesaplama a\u00e7\u0131s\u0131ndan daha hafif ve daha h\u0131zl\u0131 panoptik segmentasyon modelleri geli\u015ftirmek temel bir ara\u015ft\u0131rma alan\u0131d\u0131r. Model s\u0131k\u0131\u015ft\u0131rma, niceleme ve daha verimli mimarilerin ke\u015ffi bu y\u00f6nde ilerlemeyi sa\u011flayacakt\u0131r. Panoptik segmentasyon, bilgisayar g\u00f6r\u00fc\u015f\u00fc alan\u0131nda, semantik ve \u00f6rnek segmentasyonun en iyi y\u00f6nlerini bir araya getirerek sahne anlay\u0131\u015f\u0131n\u0131 devrim niteli\u011finde bir \u015fekilde geli\u015ftiren bir g\u00f6revdir. Her piksele hem bir semantik s\u0131n\u0131f etiketi hem de (say\u0131labilir nesneler i\u00e7in) benzersiz bir \u00f6rnek kimli\u011fi atayarak, bir sahnenin b\u00fct\u00fcnsel ve ayr\u0131nt\u0131l\u0131 bir temsilini sunar. Bu birle\u015fik \u00e7\u0131kt\u0131, otonom ara\u00e7lar, robotik, art\u0131r\u0131lm\u0131\u015f ger\u00e7eklik ve geli\u015fmi\u015f g\u00f6r\u00fcnt\u00fc d\u00fczenleme gibi bir\u00e7ok ileri d\u00fczey uygulama i\u00e7in vazge\u00e7ilmezdir.<\/p>\n \u0130ki ak\u0131\u015fl\u0131, tek ak\u0131\u015fl\u0131 ve Transformer tabanl\u0131 yakla\u015f\u0131mlar gibi \u00e7e\u015fitli metodolojiler geli\u015ftirilmi\u015f ve Panoptik Kalite (PQ) gibi \u00f6zel metriklerle performanslar\u0131 de\u011ferlendirilmi\u015ftir. COCO Panoptic ve Cityscapes gibi b\u00fcy\u00fck \u00f6l\u00e7ekli ve \u00f6zenle etiketlenmi\u015f veri k\u00fcmeleri, bu alandaki ara\u015ft\u0131rmalar\u0131n ilerlemesi i\u00e7in temel bir platform sa\u011flam\u0131\u015ft\u0131r.<\/p>\n Ancak, panoptik segmentasyon hala ger\u00e7ek zamanl\u0131 performans, k\u00fc\u00e7\u00fck nesnelerin hassas segmentasyonu, s\u0131n\u0131r belirsizlikleri ve y\u00fcksek veri etiketleme maliyeti gibi \u00f6nemli zorluklarla kar\u015f\u0131 kar\u015f\u0131yad\u0131r. Gelecekteki ara\u015ft\u0131rmalar, daha h\u0131zl\u0131 ve verimli modeller, zay\u0131f denetimli \u00f6\u011frenme, \u00e7ok modlu ve 3D uzant\u0131lar, zamansal segmentasyon ve a\u00e7\u0131klanabilir yapay zeka gibi alanlara odaklanarak bu zorluklar\u0131n \u00fcstesinden gelmeyi hedefleyecektir. Panoptik segmentasyon, yapay zekan\u0131n g\u00f6rsel d\u00fcnyay\u0131 daha kapsaml\u0131 ve tutarl\u0131 bir \u015fekilde anlamas\u0131 yolunda at\u0131lm\u0131\u015f kritik bir ad\u0131md\u0131r ve gelecekteki bilgisayar g\u00f6r\u00fc\u015f\u00fc uygulamalar\u0131n\u0131n temelini olu\u015fturmaya devam edecektir.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"Panoptik Segmentasyon: Semantik ve \u00d6rnek Segmentasyonun Birle\u015ftirilmesi\nG\u00f6r\u00fcnt\u00fc i\u015fleme ve bilgisayar g\u00f6r\u00fc\u015f\u00fc alan\u0131nda, g\u00f6rsel verileri anl","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-33809","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n* “Madde” (Stuff):<\/strong> Bunlar, say\u0131s\u0131z, \u015fekilsiz, amorf ve genellikle geni\u015f alanlar\u0131 kaplayan b\u00f6lgelerdir. \u00d6rnekler aras\u0131nda g\u00f6ky\u00fcz\u00fc, yol, \u00e7im, su, duvar, orman vb. bulunur. “Madde” kategorileri i\u00e7in bireysel \u00f6rnekleri ay\u0131rt etmek anlams\u0131zd\u0131r; sadece genel s\u0131n\u0131fland\u0131rma \u00f6nemlidir.<\/p>\nPanoptik Segmentasyonun Tan\u0131m\u0131 ve Hedefleri<\/h3>\n
(x,y)<\/code> i\u00e7in bir (c, i)<\/code> \u00e7ifti atar; burada c<\/code> pikselin ait oldu\u011fu semantik s\u0131n\u0131f\u0131, i<\/code> ise pikselin ait oldu\u011fu \u00f6rnek kimli\u011fini temsil eder.<\/p>\n
\n2. Tutarl\u0131l\u0131k:<\/strong> Her piksel sadece bir semantik s\u0131n\u0131fa atanabilir. \u00c7ak\u0131\u015fan semantik etiketler olmamal\u0131d\u0131r.
\n3. \u00d6rnek Ayr\u0131m\u0131:<\/strong> “\u015eeyler” kategorilerine ait pikseller i\u00e7in, her bir nesne \u00f6rne\u011fine benzersiz bir kimlik atanmal\u0131d\u0131r. \u00d6rne\u011fin, bir g\u00f6r\u00fcnt\u00fcdeki \u00fc\u00e7 farkl\u0131 insan, “insan_1”, “insan_2”, “insan_3” olarak ayr\u0131 ayr\u0131 tan\u0131mlanmal\u0131d\u0131r.
\n4. “Madde” \u0130\u015fleme:<\/strong> “Madde” kategorilerine ait pikseller i\u00e7in \u00f6rnek kimli\u011fi anlams\u0131zd\u0131r veya genellikle t\u00fcm pikseller i\u00e7in ortak bir kimlik (\u00f6rne\u011fin, 0 veya -1) atan\u0131r. Bu, \u00f6rneksiz bir b\u00f6lge oldu\u011funu belirtir.
\n5. \u00c7ak\u0131\u015fmama:<\/strong> Farkl\u0131 “\u015fey” \u00f6rneklerinin maskeleri birbirini \u00f6rt\u00fc\u015fmemelidir. Her piksel en fazla bir “\u015fey” \u00f6rne\u011fine ait olabilir.<\/p>\nPanoptik Segmentasyon Metrikleri<\/h3>\n
\n * TP:<\/strong> Modelin do\u011fru bir \u015fekilde alg\u0131lad\u0131\u011f\u0131 ve yer zemin (ground truth) segmentiyle y\u00fcksek bir \u00f6rt\u00fc\u015fmeye (genellikle %50 IoU e\u015fi\u011fi) sahip olan tahmin edilen segmentler.
\n * FP:<\/strong> Modelin alg\u0131lad\u0131\u011f\u0131 ancak yer zemin segmentiyle e\u015fle\u015fmeyen tahmin edilen segmentler.
\n * FN:<\/strong> Yer zemin segmentlerinde bulunan ancak model taraf\u0131ndan alg\u0131lanamayan segmentler.
\n RQ = TP \/ (TP + 0.5 <\/em> FP + 0.5 * FN)<\/code><\/p>\n
\n * SQ = (\u03a3_{p \u2208 TP} IoU(p, g_p)) \/ TP<\/code> (Burada p<\/code> tahmin edilen segment, g_p<\/code> ise e\u015fle\u015fen yer zemin segmentidir.)<\/p>\n
\n PQ = SQ <\/em> RQ<\/code>
\n Alternatif olarak, PQ = (\u03a3_{p \u2208 TP} IoU(p, g_p)) \/ (TP + 0.5 <\/em> FP + 0.5 * FN)<\/code> \u015feklinde de ifade edilebilir.<\/p>\nPanoptik Segmentasyon Yakla\u015f\u0131mlar\u0131<\/h3>\n
\u0130ki Ak\u0131\u015fl\u0131 (Two-Stream) Yakla\u015f\u0131mlar<\/h4>\n
\n * Semantik Segmentasyon Kolu:<\/strong> Genellikle FCN, DeepLab veya PSPNet gibi standart semantik segmentasyon a\u011flar\u0131ndan olu\u015fur. Bu kol, g\u00f6r\u00fcnt\u00fcdeki her piksel i\u00e7in bir s\u0131n\u0131f etiketi tahmin eder.
\n * \u00d6rnek Segmentasyon Kolu:<\/strong> Genellikle Mask R-CNN veya benzeri bir mimariyi kullan\u0131r. Bu kol, “\u015feyler” kategorisindeki her bir nesne \u00f6rne\u011fini alg\u0131lar ve maskeler.
\n2. Birle\u015ftirme Stratejisi:<\/strong> \u0130ki kolun \u00e7\u0131kt\u0131lar\u0131n\u0131 birle\u015ftirmek, bu yakla\u015f\u0131mlar\u0131n kritik bir par\u00e7as\u0131d\u0131r.
\n * \u00d6nceliklendirme:<\/strong> Genellikle “\u015feyler” kategorileri, “madde” kategorilerine g\u00f6re \u00f6nceliklendirilir. Yani, bir piksel hem bir “\u015fey” \u00f6rne\u011finin maskesiyle hem de bir “madde” s\u0131n\u0131f\u0131n\u0131n maskesiyle \u00f6rt\u00fc\u015f\u00fcyorsa, “\u015fey” \u00f6rne\u011fi bask\u0131n \u00e7\u0131kar. Bu, “\u015fey” nesnelerinin genellikle daha k\u00fc\u00e7\u00fck ve daha \u00f6nemli ayr\u0131nt\u0131lar olmas\u0131 varsay\u0131m\u0131na dayan\u0131r.
\n * \u00c7ak\u0131\u015fmalar\u0131n \u00c7\u00f6z\u00fcm\u00fc:<\/strong> \u00d6rnek segmentasyon kolundan gelen \u00e7ak\u0131\u015fan \u00f6rnek maskeleri, genellikle g\u00fcven skorlar\u0131na dayal\u0131 olarak NMS (Non-Maximum Suppression) veya benzeri y\u00f6ntemlerle \u00e7\u00f6z\u00fcl\u00fcr.
\n * Bo\u015fluklar\u0131n Doldurulmas\u0131:<\/strong> \u00d6rnek maskeleri taraf\u0131ndan kapsanmayan pikseller (yani, t\u00fcm “madde” b\u00f6lgeleri ve “\u015fey” \u00f6rnekleri aras\u0131ndaki bo\u015fluklar), semantik segmentasyon kolunun \u00e7\u0131kt\u0131lar\u0131 kullan\u0131larak doldurulur.
\n3. Avantajlar\u0131:<\/strong> Mod\u00fcler yap\u0131lar\u0131 sayesinde, mevcut ba\u015far\u0131l\u0131 semantik ve \u00f6rnek segmentasyon modellerinden faydalanabilirler.
\n4. Dezavantajlar\u0131:<\/strong> \u0130ki ayr\u0131 a\u011f\u0131n \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131, genellikle daha fazla hesaplama maliyeti ve potansiyel olarak daha yava\u015f \u00e7al\u0131\u015fma s\u00fcresi anlam\u0131na gelir. Ayr\u0131ca, iki kolun \u00e7\u0131kt\u0131lar\u0131 aras\u0131nda tutars\u0131zl\u0131klar ortaya \u00e7\u0131kabilir ve bu tutars\u0131zl\u0131klar\u0131 \u00e7\u00f6zmek i\u00e7in karma\u015f\u0131k birle\u015ftirme stratejileri gerekebilir.
\n5. \u00d6rnekler:<\/strong> Panoptic FPN, AUNet.<\/p>\nTek Ak\u0131\u015fl\u0131 (Single-Stream) veya Birle\u015fik Yakla\u015f\u0131mlar<\/h4>\n
\n2. Stratejiler:<\/strong>
\n * Ortak Temsil \u00d6\u011frenimi:<\/strong> Baz\u0131 modeller, hem “\u015feyler” hem de “madde” i\u00e7in ortak bir \u00f6zellik temsili \u00f6\u011frenir ve bu temsilden do\u011frudan panoptik maskeler ve etiketler \u00fcretir.
\n * Merkez Tabanl\u0131 Yakla\u015f\u0131mlar:<\/strong> Nesne merkezlerini tahmin edip, bu merkezlerden piksellere ofset vekt\u00f6rleri \u00f6\u011frenerek \u00f6rnek maskeleri olu\u015ftururken, ayn\u0131 zamanda semantik segmentasyon yapar.
\n * G\u00f6mme \u00d6\u011frenimi:<\/strong> Her piksel i\u00e7in bir g\u00f6mme (embedding) vekt\u00f6r\u00fc tahmin edilir. Ayn\u0131 nesneye veya “madde” b\u00f6lgesine ait piksellerin g\u00f6mme vekt\u00f6rleri birbirine yak\u0131n olurken, farkl\u0131 nesnelerin g\u00f6mme vekt\u00f6rleri birbirinden uzakla\u015f\u0131r. Daha sonra k\u00fcmeleme algoritmalar\u0131 ile \u00f6rnekler ayr\u0131l\u0131r.
\n3. Avantajlar\u0131:<\/strong> Daha basit ve zarif mimariler, potansiyel olarak daha h\u0131zl\u0131 \u00e7\u0131kar\u0131m, iki kol aras\u0131ndaki tutars\u0131zl\u0131klar\u0131n azalmas\u0131.
\n4. Dezavantajlar\u0131:<\/strong> Tek bir a\u011f\u0131n her iki g\u00f6revi de ayn\u0131 anda etkili bir \u015fekilde \u00f6\u011frenmesi daha zor olabilir, \u00f6zellikle “\u015feyler” ve “madde” kategorilerinin do\u011fas\u0131 gere\u011fi farkl\u0131 olmas\u0131ndan dolay\u0131.
\n5. \u00d6rnekler:<\/strong> UPSNet, AdaptIS, PanopticNet, MaX-DeepLab.<\/p>\nTransformer Tabanl\u0131 Yakla\u015f\u0131mlar<\/h4>\n
\n * Omurga:<\/strong> Genellikle bir Evri\u015fimli Sinir A\u011f\u0131 (CNN) veya bir G\u00f6rsel Transformer (ViT) omurgas\u0131 kullan\u0131l\u0131r.
\n * Encoder-Decoder Transformer:<\/strong> Omurga \u00e7\u0131kt\u0131s\u0131, bir Transformer encoder-decoder yap\u0131s\u0131na beslenir. Decoder, \u00f6\u011frenilebilir nesne sorgular\u0131 (object queries) kullanarak do\u011frudan nesneleri ve onlar\u0131n maskelerini tahmin eder.
\n2. Panoptik Adaptasyon:<\/strong>
\n * DETR tabanl\u0131:<\/strong> DETR, nesne alg\u0131lama ve \u00f6rnek segmentasyon i\u00e7in tasarlanm\u0131\u015ft\u0131r. Panoptik segmentasyon i\u00e7in, “\u015fey” sorgular\u0131na ek olarak “madde” sorgular\u0131 da eklenebilir. “Madde” sorgular\u0131, belirli bir nesne \u00f6rne\u011fine ba\u011fl\u0131 olmayan, daha genel anlamsal b\u00f6lgeleri hedef al\u0131r.
\n * Mask2Former:<\/strong> Bu mimari, Transformer’\u0131n g\u00fc\u00e7l\u00fc yanlar\u0131n\u0131 kullanarak hem semantik hem de \u00f6rnek segmentasyon i\u00e7in birle\u015fik bir \u00f6\u011frenme stratejisi sunar. Mask2Former, t\u00fcm pikseller i\u00e7in bir s\u0131n\u0131f etiketi ve bir maske tahmin eden bir sorgu tabanl\u0131 yakla\u015f\u0131m kullan\u0131r. “\u015eeyler” i\u00e7in ayr\u0131 ayr\u0131 maskeler ve kimlikler \u00fcretirken, “madde” i\u00e7in tek bir maske ve s\u0131n\u0131f etiketi sa\u011flar. Bu model, hem “\u015feyler” hem de “madde” i\u00e7in benzer bir \u00f6\u011frenme mekanizmas\u0131 kullanarak tutarl\u0131 ve y\u00fcksek kaliteli panoptik \u00e7\u0131kt\u0131lar elde eder.
\n3. Avantajlar\u0131:<\/strong> U\u00e7tan uca \u00f6\u011frenme, el yap\u0131m\u0131 bile\u015fenlerin azalmas\u0131, k\u00fcresel ba\u011flam\u0131 yakalama yetene\u011fi, potansiyel olarak daha iyi performans.
\n4. Dezavantajlar\u0131:<\/strong> Genellikle daha fazla hesaplama kayna\u011f\u0131 gerektirir, b\u00fcy\u00fck veri k\u00fcmelerine ihtiya\u00e7 duyabilir.
\n5. \u00d6rnekler:<\/strong> DETR’\u0131n panoptik uzant\u0131lar\u0131, Panoptic SegFormer, Mask2Former.<\/p>\nVeri K\u00fcmeleri<\/h3>\n
Zorluklar ve Gelecek Y\u00f6nelimleri<\/h3>\n
Zorluklar<\/h4>\n
\n2. S\u0131n\u0131r Belirsizli\u011fi ve Hassasiyet:<\/strong> \u00d6zellikle birbirine yak\u0131n veya \u00f6rt\u00fc\u015fen nesnelerin s\u0131n\u0131rlar\u0131n\u0131 do\u011fru bir \u015fekilde ay\u0131rt etmek zordur. K\u00fc\u00e7\u00fck nesnelerin do\u011fru bir \u015fekilde maskelenmesi ve “madde” kategorilerinin amorf do\u011fas\u0131 nedeniyle kesin s\u0131n\u0131rlar \u00e7izilmesi de ayr\u0131 bir problemdir.
\n3. K\u00fc\u00e7\u00fck Nesnelerin Segmentasyonu:<\/strong> G\u00f6r\u00fcnt\u00fclerdeki \u00e7ok k\u00fc\u00e7\u00fck “\u015fey” \u00f6rneklerini (uzaktaki insanlar, k\u00fc\u00e7\u00fck trafik i\u015faretleri) g\u00fcvenilir bir \u015fekilde alg\u0131lamak ve maskelemek, alg\u0131lama ve segmentasyon modelleri i\u00e7in hala \u00f6nemli bir zorluktur.
\n4. Genellenebilirlik ve Alan Adaptasyonu:<\/strong> Modellerin, e\u011fitim verilerinden farkl\u0131 ayd\u0131nlatma ko\u015fullar\u0131, kamera a\u00e7\u0131lar\u0131, sahne d\u00fczenleri veya tamamen farkl\u0131 alanlardaki g\u00f6r\u00fcnt\u00fclere iyi genellenebilmesi zorludur. Alan adaptasyonu teknikleri, bu sorunu hafifletmek i\u00e7in \u00f6nemlidir.
\n5. Veri Etiketleme Maliyeti:<\/strong> Panoptik etiketleme, semantik veya \u00f6rnek segmentasyondan \u00e7ok daha karma\u015f\u0131kt\u0131r. Her pikselin hem s\u0131n\u0131f\u0131n\u0131 hem de \u00f6rnek kimli\u011fini (\u015feyler i\u00e7in) do\u011fru bir \u015fekilde belirlemek yo\u011fun insan g\u00fcc\u00fc ve zaman gerektirir, bu da b\u00fcy\u00fck veri k\u00fcmeleri olu\u015fturmay\u0131 maliyetli hale getirir.
\n6. “Madde” Kategorilerinin \u0130\u015flenmesi:<\/strong> “Madde” kategorileri, “\u015feyler” gibi net s\u0131n\u0131rlara ve \u00f6rneklere sahip olmad\u0131\u011f\u0131ndan, modellerin bunlar\u0131 tutarl\u0131 ve anlaml\u0131 bir \u015fekilde segmentlemesi zor olabilir. \u00d6rne\u011fin, “g\u00f6ky\u00fcz\u00fc” veya “\u00e7im” gibi kategorilerin nerede ba\u015flay\u0131p nerede bitti\u011fini kesin olarak tan\u0131mlamak bazen insan g\u00f6z\u00fc i\u00e7in bile belirsiz olabilir.<\/p>\nGelecek Y\u00f6nelimleri<\/h4>\n
\n2. Zay\u0131f ve Yar\u0131 Denetimli \u00d6\u011frenme:<\/strong> Panoptik etiketlemenin y\u00fcksek maliyeti g\u00f6z \u00f6n\u00fcne al\u0131nd\u0131\u011f\u0131nda, daha az etiketli veriyle veya farkl\u0131 t\u00fcrde (\u00f6rne\u011fin, sadece kutu veya nokta etiketleri) etiketlerle y\u00fcksek performansl\u0131 modeller e\u011fitebilen zay\u0131f denetimli veya yar\u0131 denetimli \u00f6\u011frenme y\u00f6ntemleri b\u00fcy\u00fck ilgi g\u00f6rmektedir.
\n3. \u00c7ok Modlu Panoptik Segmentasyon:<\/strong> Sadece RGB g\u00f6r\u00fcnt\u00fclerden de\u011fil, ayn\u0131 zamanda derinlik bilgisi (LiDAR, stereo kameralar), termal g\u00f6r\u00fcnt\u00fcler veya di\u011fer sens\u00f6r verileri gibi farkl\u0131 modaliteleri birle\u015ftirerek daha sa\u011flam ve do\u011fru panoptik segmentasyon elde etmek. Bu, \u00f6zellikle robotik ve otonom ara\u00e7lar i\u00e7in kritiktir.
\n4. 3D Panoptik Segmentasyon:<\/strong> 2D g\u00f6r\u00fcnt\u00fclerdeki panoptik segmentasyonun \u00f6tesine ge\u00e7erek, 3D nokta bulutlar\u0131 veya voksel \u0131zgaralar\u0131 \u00fczerinde panoptik segmentasyon yapmak. Bu, 3D sahne anlay\u0131\u015f\u0131, robotik navigasyon ve art\u0131r\u0131lm\u0131\u015f\/sanal ger\u00e7eklik uygulamalar\u0131 i\u00e7in temeldir.
\n5. Zamansal Panoptik Segmentasyon (Video):<\/strong> Tek bir g\u00f6r\u00fcnt\u00fc yerine video ak\u0131\u015flar\u0131nda panoptik segmentasyon yapmak, nesnelerin zaman i\u00e7indeki hareketlerini ve de\u011fi\u015fimlerini takip etmeyi gerektirir. Bu, video analizi, olay tespiti ve dinamik sahne anlay\u0131\u015f\u0131 i\u00e7in \u00e7ok \u00f6nemlidir.
\n6. A\u00e7\u0131klanabilir Yapay Zeka (XAI):<\/strong> Panoptik segmentasyon modellerinin neden belirli bir segmentasyon \u00e7\u0131kt\u0131s\u0131 \u00fcretti\u011fini anlamak, \u00f6zellikle kritik uygulamalarda (otonom s\u00fcr\u00fc\u015f gibi) g\u00fcven olu\u015fturmak ve hatalar\u0131 ay\u0131klamak i\u00e7in \u00f6nemlidir.
\n7. Yeni Mimari Ke\u015fifleri:<\/strong> Transformer tabanl\u0131 modellerin ba\u015far\u0131s\u0131, yeni ve yenilik\u00e7i a\u011f mimarilerinin panoptik segmentasyon performans\u0131n\u0131 daha da ileri ta\u015f\u0131yabilece\u011fini g\u00f6stermektedir. Hibrit yakla\u015f\u0131mlar veya tamamen yeni paradigmalar gelecekteki ara\u015ft\u0131rmalara y\u00f6n verebilir.<\/p>\nSonu\u00e7<\/h3>\n