Boyut İndirgeme: İzometrik Haritalama (IsoMap)

Boyut İndirgeme: İzometrik Haritalama (IsoMap)

Boyut indirgeme, modern veri analizinin temel taşlarından biridir ve yüksek boyutlu veri kümelerinin karmaşıklığıyla başa çıkmak için vazgeçilmez bir araçtır. Günümüz dünyasında, biyoinformatikten görüntü işlemeye, finansal analizden doğal dil işlemeye kadar pek çok alanda toplanan veriler genellikle binlerce, hatta milyonlarca özelliğe (boyuta) sahip olabilir. Bu kadar yüksek boyutluluk, “boyutluluk laneti” (curse of dimensionality) olarak bilinen bir dizi sorunu beraberinde getirir. Bu sorunlar arasında, makine öğrenimi modellerinin performansının düşmesi, hesaplama maliyetlerinin artması, veri görselleştirmenin imkansız hale gelmesi ve verideki gürültünün artması sayılabilir. Boyut indirgeme teknikleri, verinin temel yapısını ve önemli bilgisini koruyarak bu yüksek boyutlu uzayı daha düşük boyutlu bir temsiline dönüştürmeyi amaçlar.

Boyut indirgeme yöntemleri genel olarak iki ana kategoriye ayrılır: doğrusal (linear) ve doğrusal olmayan (non-linear) yöntemler. Temel Bileşen Analizi (PCA) gibi doğrusal yöntemler, verinin bir hiperdüzlem üzerine doğrusal bir projeksiyonunu bulmaya çalışır. Ancak, gerçek dünya verilerinin çoğu zaman karmaşık, doğrusal olmayan yapılar sergilemesi nedeniyle, bu tür yöntemler verinin içsel geometrisini yeterince iyi yakalayamayabilir. İşte bu noktada, verinin altında yatan doğrusal olmayan manifold yapısını keşfetmeyi amaçlayan doğrusal olmayan boyut indirgeme veya manifold öğrenme (manifold learning) teknikleri devreye girer. IsoMap (Isometric Mapping), bu doğrusal olmayan tekniklerin öncülerinden ve en bilinenlerinden biridir.

Manifold Öğrenme ve IsoMap’in Temelleri

Manifold öğrenme, yüksek boyutlu uzayda gözlemlediğimiz verilerin aslında çok daha düşük boyutlu bir “manifold” üzerinde yer aldığı varsayımına dayanır. Bir manifold, yerel olarak Öklid uzayına benzeyen, ancak küresel olarak karmaşık bir eğri veya yüzey olabilen matematiksel bir yapıdır. Örneğin, bir kağıt parçası iki boyutlu bir Öklid uzayıdır. Ancak bu kağıdı büküp bir silindir haline getirdiğimizde, hala iki boyutlu bir içsel yapıya sahip olmasına rağmen, üç boyutlu bir uzayda yer alır ve yüzey üzerindeki iki nokta arasındaki en kısa mesafe artık düz bir çizgi değildir. Manifold öğrenme algoritmaları, bu içsel düşük boyutlu yapıyı “açmaya” ve veriyi daha anlamlı bir şekilde düşük boyutlu bir uzaya gömmeye çalışır.

IsoMap, 2000 yılında Joshua Tenenbaum, Vin de Silva ve John Langford tarafından tanıtılan ve manifold öğrenme alanında önemli bir çığır açan bir algoritmadır. Adından da anlaşılacağı gibi, “İzometrik Haritalama” (Isometric Mapping), verinin içsel yapısındaki “izometrik” özellikleri korumayı hedefler. İzometri, iki uzay arasındaki mesafelerin korunması anlamına gelir. Yani, IsoMap, yüksek boyutlu uzaydaki iki veri noktası arasındaki “jeodezik mesafeleri” (manifold üzerindeki en kısa yol) koruyarak bu noktaları düşük boyutlu bir Öklid uzayına yerleştirmeye çalışır. Bu, özellikle verinin bir “swiss roll” (İsviçre rulosu) gibi karmaşık, eğrisel bir yapıya sahip olduğu durumlarda PCA gibi doğrusal yöntemlerin yetersiz kaldığı yerlerde büyük avantaj sağlar.

IsoMap Algoritmasının Çalışma Prensibi

IsoMap algoritması, üç temel adımdan oluşur:

Komşuluk Grafiğinin Oluşturulması

IsoMap’in ilk adımı, yüksek boyutlu veri noktaları arasında yerel bağlantıları temsil eden bir komşuluk grafiği (neighborhood graph) oluşturmaktır. Bu adım, verinin manifold üzerindeki yerel yapısını yakalamak için kritik öneme sahiptir. İki yaygın yöntem kullanılır:

1. k-En Yakın Komşu (k-Nearest Neighbors – k-NN): Her veri noktası için, Öklid mesafesine göre en yakın k komşusu bulunur. Bu komşular arasında bir kenar (edge) çizilir ve kenarın ağırlığı, iki nokta arasındaki Öklid mesafesi olarak ayarlanır. Bu yöntem, grafın yoğunluğunu kontrol etmek için ‘k’ parametresinin dikkatli seçilmesini gerektirir.
2. ε-Topu (ε-Ball): Her veri noktası için, belirli bir ε (epsilon) yarıçapı içindeki tüm noktalar komşu olarak kabul edilir. Bu komşular arasında kenarlar oluşturulur ve ağırlıklar yine Öklid mesafesi olur. Bu yöntem, verinin yerel yoğunluğuna daha duyarlıdır.

Bu adımın sonunda, veri noktalarını düğüm (node) ve yerel mesafeleri kenar ağırlıkları olarak içeren bir ağırlıklı graf elde edilir. Bu grafın bağlı (connected) olması, algoritmanın sonraki adımları için esastır. Eğer graf bağlı değilse, bazı noktalar arasındaki jeodezik mesafeler hesaplanamaz.

Jeodezik Mesafelerin Hesaplanması

Komşuluk grafiği oluşturulduktan sonra, IsoMap’in ikinci ve en önemli adımı, graf üzerindeki tüm nokta çiftleri arasındaki jeodezik mesafeleri tahmin etmektir. Jeodezik mesafe, manifold üzerinde iki nokta arasındaki en kısa yoldur. Yüksek boyutlu uzayda doğrudan Öklid mesafesi, verinin eğrisel yapısı nedeniyle yanıltıcı olabilir; ancak manifold üzerinde bu mesafe, gerçek içsel uzaklığı temsil eder.

Bu adımda, graf üzerindeki en kısa yolları bulmak için standart graf algoritmaları kullanılır. En yaygın kullanılan algoritma Dijkstra algoritmasıdır. Dijkstra algoritması, her bir düğümden diğer tüm düğümlere olan en kısa yolları bulur. Tüm nokta çiftleri arasındaki en kısa yolların hesaplanmasıyla, yüksek boyutlu uzaydaki tüm veri noktaları arasındaki jeodezik mesafeleri içeren bir mesafe matrisi (D_G) elde edilir. Bu matris, IsoMap’in temel çıktılarından biridir ve verinin küresel yapısını yansıtır.

Çok Boyutlu Ölçekleme (Multidimensional Scaling – MDS) Uygulaması

IsoMap’in son adımı, hesaplanan jeodezik mesafe matrisini kullanarak veriyi düşük boyutlu bir Öklid uzayına gömmektir. Bu işlem için Klasik Çok Boyutlu Ölçekleme (Classical Multidimensional Scaling – CMDS) kullanılır. CMDS, bir mesafe matrisi verildiğinde, bu mesafeleri en iyi şekilde koruyan düşük boyutlu bir nokta kümesi bulmaya çalışan bir tekniktir.

CMDS, aşağıdaki adımları izler:

1. Merkezleme: Jeodezik mesafe matrisi D_G kullanılarak bir benzerlik matrisi (kernel matrix) B oluşturulur. Bu benzerlik matrisi, mesafelerin karelerinin merkezlenmiş hali olarak ifade edilir.
2. Özdeğer Ayrışımı: Benzerlik matrisi B’nin özdeğerleri (eigenvalues) ve özvektörleri (eigenvectors) hesaplanır.
3. Düşük Boyutlu Gösterim: En büyük özdeğerlere karşılık gelen özvektörler seçilerek, veri noktalarının düşük boyutlu uzaydaki koordinatları (Y) elde edilir. Seçilen özdeğer sayısı, verinin gömüleceği hedef boyutu belirler.

Bu son adımın çıktısı, orijinal yüksek boyutlu verinin, jeodezik mesafelerini mümkün olduğunca koruyarak düşük boyutlu bir uzayda temsilidir. Bu düşük boyutlu temsil, görselleştirme, kümeleme veya diğer makine öğrenimi görevleri için kullanılabilir.

IsoMap’in Temel Varsayımları ve Kavramları

IsoMap’in etkinliği ve sınırlamaları, altında yatan bazı temel varsayımlar ve kavramlarla yakından ilişkilidir:

* İzometri (Isometry): IsoMap, verinin yattığı manifoldun, düşük boyutlu bir Öklid uzayına izometrik olarak gömülebileceğini varsayar. Bu, manifold üzerindeki jeodezik mesafelerin, düşük boyutlu gömülü uzaydaki Öklid mesafelerine tam olarak karşılık geldiği anlamına gelir. Eğer manifold gerçekte izometrik değilse (yani, farklı bölgelerde farklı eğriliklere veya gerilmelere sahipse), IsoMap’in performansı düşebilir.
* Bağlantılılık (Connectivity): Komşuluk grafiğinin tüm noktalar arasında bağlı olması gerekir. Aksi takdirde, bazı noktalar arasındaki jeodezik mesafeler hesaplanamaz ve algoritma başarısız olur.
* Yeterli Örnekleme (Sufficient Sampling): Veri noktalarının manifold üzerinde yeterince yoğun ve düzgün bir şekilde örneklenmiş olması önemlidir. Seyrek örnekleme, komşuluk grafiğinin yanlış oluşturulmasına veya jeodezik yolların hatalı tahmin edilmesine yol açabilir.
* İçsel Boyut (Intrinsic Dimensionality): IsoMap, verinin altında yatan düşük içsel bir boyuta sahip olduğunu varsayar. Algoritma, bu içsel boyutu otomatik olarak belirlemez; kullanıcının hedef boyutu önceden seçmesi gerekir.

IsoMap’in Avantajları

IsoMap, manifold öğrenme teknikleri arasında önemli bir yere sahiptir ve bir dizi avantaj sunar:

* Doğrusal Olmayan Yapıları Yakalama: PCA gibi doğrusal yöntemlerin başarısız olduğu, “Swiss roll” gibi karmaşık, eğrisel veri yapılarını etkili bir şekilde işleyebilir. Manifold üzerindeki gerçek jeodezik mesafeleri koruyarak verinin doğal geometrisini ortaya çıkarır.
* Küresel Yapıyı Koruma: Yerel komşulukları dikkate almanın yanı sıra, jeodezik mesafeler aracılığıyla verinin küresel yapısını da korur. Bu, uzaktaki noktalar arasındaki ilişkilerin de doğru bir şekilde temsil edilmesini sağlar.
* Görselleştirme İçin İdeal: Düşük boyutlu (özellikle 2 veya 3 boyutlu) bir gömme ürettiği için, yüksek boyutlu verileri anlamlı bir şekilde görselleştirmek için çok güçlü bir araçtır.
* Sezgisel Anlaşılabilirlik: Temel prensipleri (graf oluşturma, en kısa yol bulma, MDS uygulama) kavramsal olarak nispeten kolay anlaşılır.
* Deterministik Yapı: Rastgelelik içermediği için, belirli bir parametre setiyle her zaman aynı çıktıyı verir (komşuluk grafiği deterministik olarak oluşturulursa).

IsoMap’in Sınırlamaları

Her algoritma gibi, IsoMap’in de belirli sınırlamaları ve zorlukları vardır:

* Hesaplama Maliyeti: Özellikle büyük veri kümeleri için IsoMap’in hesaplama maliyeti önemli olabilir. Jeodezik mesafeleri hesaplamak için kullanılan Dijkstra algoritması, tüm nokta çiftleri için çalıştırıldığında O(N^3) veya daha optimize edilmiş versiyonlarda O(N^2 log N) karmaşıklığa sahip olabilir (N veri noktası sayısıdır). Bu, milyonlarca veri noktası için pratik olmayabilir.
* Komşuluk Seçimine Duyarlılık (k veya ε): ‘k’ (k-NN için) veya ‘ε’ (ε-ball için) parametresinin seçimi IsoMap’in performansını derinden etkiler.
* Çok küçük ‘k’ veya ‘ε’: Grafın parçalanmasına veya yanlış yerel bağlantılara yol açabilir, bu da jeodezik yolların hatalı hesaplanmasına neden olur.
* Çok büyük ‘k’ veya ‘ε’: “Topolojik kısa devre” (topological shortcut) sorununa yol açabilir. Bu durumda, manifold üzerindeki eğrilikler göz ardı edilerek, yüksek boyutlu Öklid mesafeleri jeodezik mesafelere çok yakın hale gelir ve algoritma doğrusal yöntemlere benzer sonuçlar üretir, yani manifoldun doğrusal olmayan yapısını yakalayamaz.
* İzometri Varsayımı: Manifoldun gerçekten izometrik olmadığı durumlarda (örneğin, farklı bölgelerde sıkışmalar veya gerilmeler varsa), IsoMap iyi performans gösteremeyebilir.
* Delikli veya Karmaşık Topolojiler: Manifoldun delikler, döngüler veya çok karmaşık topolojik yapılar içerdiği durumlarda, IsoMap bu yapıları doğru bir şekilde temsil etmekte zorlanabilir.
* Aykırı Değerlere Duyarlılık: Aykırı değerler, yerel komşuluk yapısını bozarak ve dolayısıyla jeodezik yolların hesaplanmasını etkileyerek IsoMap’in sonuçlarını olumsuz etkileyebilir.
* Bellek Tüketimi: Mesafe matrisinin (N x N boyutunda) bellekte tutulması, N’nin büyük olduğu durumlarda önemli bellek gereksinimleri doğurabilir.

Diğer Manifold Öğrenme Yöntemleriyle Karşılaştırma

IsoMap, doğrusal olmayan boyut indirgeme yöntemlerinin ilklerinden biri olsa da, zamanla birçok başka teknik geliştirilmiştir. Bu tekniklerin her birinin kendine özgü güçlü ve zayıf yönleri vardır:

* Yerel Doğrusal Gömme (Locally Linear Embedding – LLE): IsoMap’ten kısa bir süre sonra tanıtılan LLE, her veri noktasının komşularının doğrusal bir kombinasyonu olarak temsil edilebileceği varsayımına dayanır. LLE, bu yerel doğrusal ilişkileri düşük boyutlu uzayda korumaya çalışır. IsoMap küresel mesafeleri korurken, LLE daha çok yerel yapıya odaklanır.
* Laplacian Eigenmaps: Bu yöntem, verinin yerel komşuluk yapısını bir graf Laplacian matrisi aracılığıyla temsil eder ve bu matrisin özvektörlerini kullanarak düşük boyutlu bir gömme elde eder. IsoMap gibi, graf tabanlıdır ancak mesafeleri değil, komşuluk ilişkilerini korumaya odaklanır.
* t-Dağılımlı Stokastik Komşu Gömme (t-SNE): Özellikle görselleştirme için popüler olan t-SNE, yüksek boyutlu uzaydaki olasılık dağılımlarını düşük boyutlu uzaydaki benzer dağılımlarla eşleştirmeye çalışır. Yerel yapıları çok iyi korur ve küme yapılarının belirginleşmesini sağlar, ancak küresel mesafeleri korumakta IsoMap kadar başarılı değildir ve deterministik değildir.
* Tekdüze Manifold Yaklaşımı ve Projeksiyonu (UMAP): t-SNE’ye benzer şekilde, UMAP de görselleştirme ve kümeleme için güçlü bir araçtır. Daha hızlıdır, bellekte daha verimlidir ve hem yerel hem de küresel yapıyı t-SNE’den daha iyi koruduğu iddia edilir.

IsoMap, bu yöntemlerin birçoğunun öncülü olması ve temel bir manifold öğrenme prensibini uygulaması nedeniyle hala önemlidir. Özellikle verinin altında yatan manifoldun gerçekten izometrik olduğu veya küresel mesafelerin korunmasının kritik olduğu durumlarda tercih edilebilir.

Uygulama Alanları ve Pratik Hususlar

IsoMap, çeşitli bilimsel ve mühendislik alanlarında başarıyla uygulanmıştır:

* Görüntü İşleme ve Bilgisayar Görüsü: Yüz tanıma, insan poz tahmini veya hareket analizi gibi alanlarda, görüntülerin yüksek boyutlu pikselleri yerine, altında yatan düşük boyutlu poz veya ifade manifoldunu keşfetmek için kullanılır.
* Biyoinformatik: Gen ifade verileri veya protein yapıları gibi yüksek boyutlu biyolojik verilerin analizinde, karmaşık ilişkileri ve gizli yapıları ortaya çıkarmak için kullanılabilir.
* Robotik: Robotların hareket planlaması veya kontrolünde, karmaşık konfigürasyon uzaylarını daha yönetilebilir düşük boyutlu manifoldlara indirgemek için kullanılır.
* Veri Görselleştirme: En yaygın kullanım alanlarından biridir. Yüksek boyutlu veri kümelerinin 2D veya 3D uzayda anlamlı bir şekilde görselleştirilmesini sağlayarak veri bilimcilerinin içgörü kazanmasına yardımcı olur.
* Özellik Çıkarımı: Makine öğrenimi modelleri için gürültüden arındırılmış ve daha anlamlı düşük boyutlu özellikler oluşturmak amacıyla kullanılabilir.

Pratik Hususlar:

* Parametre Seçimi: ‘k’ komşu sayısı veya ‘ε’ yarıçapı, IsoMap’in performansını büyük ölçüde etkileyen en kritik parametredir. Genellikle farklı ‘k’ değerleri denenerek veya çapraz doğrulama (cross-validation) gibi tekniklerle en uygun değer bulunmaya çalışılır. Manifoldun bağlantılı kalmasını sağlayacak ancak kısa devreleri önleyecek bir ‘k’ değeri hedeflenir.
* Hesaplama Optimizasyonları: Büyük veri kümeleri için, tüm nokta çiftleri arasındaki mesafeleri hesaplamak yerine, yaklaşık en yakın komşu (Approximate Nearest Neighbors – ANN) algoritmaları veya veri örneklemesi gibi teknikler kullanılarak IsoMap’in hesaplama maliyeti düşürülebilir.
* Yazılım Kütüphaneleri: Python’daki scikit-learn kütüphanesi, IsoMap’i kolayca uygulayabileceğiniz Isomap sınıfını sunar. Bu kütüphane, algoritmanın uygulanmasını basitleştirir ve parametre ayarlamaları için kullanıcı dostu bir arayüz sağlar.

Sonuç

IsoMap, doğrusal olmayan boyut indirgeme ve manifold öğrenme alanında önemli bir kilometre taşıdır. Yüksek boyutlu verinin altında yatan düşük boyutlu, eğrisel manifold yapısını keşfetme yeteneği, onu özellikle karmaşık veri setlerinin görselleştirilmesi ve analizinde değerli bir araç haline getirir. Jeodezik mesafeleri koruma prensibi sayesinde, verinin küresel yapısını doğrusal yöntemlere göre çok daha doğru bir şekilde yansıtabilir.

Ancak, hesaplama maliyeti, komşuluk seçimine duyarlılık ve izometri varsayımı gibi sınırlamaları göz ardı edilmemelidir. Bu sınırlamalar, IsoMap’i her zaman en iyi seçenek yapmasa da, temel prensipleri ve sağladığı içgörüler, manifold öğrenme alanındaki diğer birçok gelişmeye zemin hazırlamıştır. Veri bilimcileri ve araştırmacılar için, IsoMap, veri setlerinin gizli yapılarını anlamak ve yüksek boyutluluğun getirdiği zorlukların üstesinden gelmek için güçlü ve kavramsal olarak zarif bir araç olmaya devam etmektedir. Doğru bağlamda ve dikkatli parametre seçimiyle kullanıldığında, IsoMap, yüksek boyutlu veri analizinde paha biçilmez içgörüler sağlayabilir.