Takip et

Veri Ön İşleme: ML’in Başarısı İçin Temel Adımlar

 

Makine öğrenimi modellerinin başarısı, yalnızca seçilen algoritmanın gücüne bağlı değildir; aslında, modelin beslendiği verinin kalitesiyle doğrudan ilişkilidir. Peki, ham ve karmaşık veriler, tahmin yeteneği yüksek, güvenilir bir makine öğrenimi modeline nasıl dönüştürülür? İşte bu sorunun cevabı, “Veri Ön İşleme: Makine Öğreniminin Mutfağı”nda gizli. Bu makalede, veri ön işlemenin temel adımlarından ileri düzey tekniklerine, gerçek dünya senaryolarından pratik kod örneklerine kadar her şeyi adım adım keşfedeceğiz. Hazırsanız, verilerinizi lezzetli bir makine öğrenimi modeline dönüştürme yolculuğumuza başlayalım.

Veri ön işleme, makine öğrenimi modellerini eğitmeden önce ham verileri temizleme, dönüştürme ve optimize etme sürecini ifade eder. Bu süreç, genellikle makine öğrenimi projelerinin en çok zaman alan ve en kritik aşamalarından biridir; zira “çöp içeri, çöp dışarı” (garbage in, garbage out) prensibi, veri biliminde altın bir kuraldır. Yani, ne kadar gelişmiş bir algoritma kullanırsanız kullanın, eğer girdi verileriniz kalitesiz, eksik veya tutarsızsa, elde edeceğiniz modelin performansı ve güvenilirliği de düşecektir. Dolayısıyla, veri ön işleme, modelin “yemek tarifi”ndeki en temel ve lezzeti belirleyen hazırlık aşamaları gibidir.

Bu kritik süreç neden bu kadar önemlidir, gelin yakından inceleyelim. İlk olarak, gerçek dünya verileri nadiren temiz ve kullanıma hazırdır. Genellikle eksik değerler, yanlış girişler, aykırı değerler, gürültü ve tutarsız formatlarla doludur. Örneğin, bir müşteri veri tabanında bazı yaş bilgilerinin eksik olması, gelir alanında hatalı metin girişleri bulunması veya coğrafi verilerin farklı formatlarda kaydedilmiş olması sık karşılaşılan durumlardır. Bu tür sorunlar, doğrudan bir makine öğrenimi algoritmasına verildiğinde ciddi hatalara, modelin sapmasına veya hatta eğitimin tamamen başarısız olmasına yol açabilir.

İkinci olarak, birçok makine öğrenimi algoritması belirli bir veri formatı veya ölçeği bekler. Örneğin, bazı algoritmalar kategorik (metinsel) verileri doğrudan işleyemezken, bazıları sayısal özelliklerin benzer bir ölçekte olmasını tercih eder (aksi takdirde büyük değerli özellikler küçük değerli olanları domine edebilir). Bu nedenle, verileri algoritmaların anlayabileceği ve en verimli şekilde işleyebileceği bir formata dönüştürmek zorunludur. Bu, sadece modelin daha iyi performans göstermesini sağlamakla kalmaz, aynı zamanda eğitim süresini kısaltarak kaynak verimliliği de sağlar. Özetle, veri ön işleme, makine öğrenimi modellerinizin temellerini doğru ve sağlam bir şekilde atmanızı sağlayan vazgeçilmez bir adımdır. Bu süreç, modelinizin daha genellenebilir, daha doğru ve nihayetinde iş kararları için daha güvenilir olmasının anahtarıdır.

Veri Temizleme: Kirli Verilerden Nasıl Kurtuluruz?

Veri temizleme, makine öğrenimi projelerinin en meşakkatli ama bir o kadar da ödüllendirici aşamalarından biridir. Bu adımda, ham verideki hatalar, tutarsızlıklar ve eksiklikler giderilerek verinin kalitesi artırılır. Tıpkı bir şefin yemeğe başlamadan önce tüm malzemeleri titizlikle ayıklaması gibi, veri bilimci de verileri “mutfak tezgahına” almadan önce temizlemelidir. Bu sayede, modelimiz daha sağlıklı ve güvenilir sonuçlar üretebilir.

Eksik Veri Sorunu ve Çözüm Yolları Nelerdir?

Gerçek dünya veri kümelerinde eksik değerlere sıkça rastlanır. Bir anketin bazı sorularının boş bırakılması, sensör arızaları veya veri girişi hataları eksik değerlerin yaygın nedenleridir. Eksik verilerle başa çıkmak için birkaç strateji mevcuttur ve doğru stratejiyi seçmek, veri setinin yapısına ve eksiklik oranına bağlıdır.

  1. Satırları veya Sütunları Silme: Eksik değer oranı çok düşükse veya belirli bir özelliğin eksikliği genelde tüm satırı anlamsız kılıyorsa, ilgili satırları veya hatta tüm sütunu silebiliriz. Ancak bu yöntem, veri kaybına yol açtığı için dikkatli kullanılmalıdır, aksi takdirde değerli bilgileri de kaybetme riskiyle karşı karşıya kalabiliriz.
  2. Değer Atama (Imputation): Bu, eksik değerleri diğer mevcut verilerle tahmin ederek doldurma yöntemidir.
    • Sabit Değerle Doldurma: Eksik değerleri sabit bir sayı (örneğin 0) veya kategori ile doldurmak en basit yöntemdir.
    • Ortalama/Medyan/Mod ile Doldurma: Sayısal veriler için, eksik değerleri ilgili sütunun ortalaması, medyanı veya modunu kullanarak doldurmak yaygın bir yaklaşımdır. Medyan, aykırı değerlerden daha az etkilendiği için tercih edilebilir.
    • Tahmine Dayalı Doldurma: Daha gelişmiş yöntemler, diğer özelliklerden yola çıkarak eksik değerleri tahmin etmek için makine öğrenimi modelleri (örneğin k-NN, regresyon) kullanır. Bu yöntemler daha doğru sonuçlar verebilir ancak daha karmaşıktır.
Uzman İpucu: Eksik veri oranı %5’in altındaysa silme düşünülebilir. Ancak bu oran yükseldikçe, veri kaybını en aza indirmek için ortalama, medyan veya tahmine dayalı doldurma yöntemlerine başvurmak genellikle daha iyi sonuçlar verir.

Vaka Analizi: Müşteri Yaş Bilgileri
Bir e-ticaret şirketinin müşteri veri tabanında ‘yaş’ sütununda birçok eksik değer olduğunu düşünelim. Yaşın müşteri davranışını etkilediği bilindiği için bu sütunu tamamen silmek istemiyoruz. Müşterilerin yaş dağılımı sağa çarpık (genç nüfus fazla) ise, ortalama yerine medyan kullanmak daha temsili bir doldurma sağlayacaktır.


import pandas as pd
import numpy as np

# Örnek veri seti oluşturma
data = {'Müşteri_ID': range(1, 11),
        'Yaş': [25, 30, np.nan, 45, 22, 30, np.nan, 28, 50, 27],
        'Harcama': [100, 150, 80, 200, 120, 160, 90, 130, 250, 110]}
df = pd.DataFrame(data)

print("Eksik değerlerden önceki DataFrame:\n", df)

# 'Yaş' sütunundaki eksik değerleri medyan ile doldurma
medyan_yas = df['Yaş'].median()
df['Yaş'].fillna(medyan_yas, inplace=True)

print("\nMedyan ile doldurulduktan sonraki DataFrame:\n", df)

 

Aykırı Değerleri Tespit Etme ve Yönetme Teknikleri

Aykırı değerler (outliers), veri setindeki diğer gözlemlerden önemli ölçüde farklı olan veri noktalarıdır. Bunlar, ölçüm hatalarından kaynaklanabileceği gibi, gerçekten nadir görülen olayları da temsil edebilir. Aykırı değerler, özellikle ortalama gibi istatistiksel ölçümleri bozarak modelin genelleme yeteneğini olumsuz etkileyebilir.

Tespit Yöntemleri:

  • Z-Skoru: Veri noktalarının ortalamadan kaç standart sapma uzaklıkta olduğunu ölçer. Genellikle |Z-skoru| > 3 olan değerler aykırı kabul edilir.
  • IQR (Interquartile Range – Çeyrekler Arası Aralık): Veriyi sıralayıp Q1 (ilk çeyrek) ve Q3 (üçüncü çeyrek) değerlerini bulduktan sonra, Q1 – 1.5 * IQR alt sınırının altında ve Q3 + 1.5 * IQR üst sınırının üstünde kalan değerler aykırı olarak kabul edilir. Bu yöntem, Z-skoru’na göre aykırı değerlere karşı daha dirençlidir.
  • Kutu Grafikleri (Box Plots): Aykırı değerleri görsel olarak tespit etmek için etkili bir yöntemdir.
  • Makine Öğrenimi Temelli Yöntemler: Isolation Forest, Local Outlier Factor (LOF) gibi algoritmalar, daha karmaşık veri setlerinde aykırı değerleri tespit etmek için kullanılabilir.

Yönetim Stratejileri:

  1. Silme: Aykırı değerler az sayıdaysa ve ölçüm hatası olduğu kesinse, ilgili satırları silmek en basit çözümdür. Ancak veri kaybına dikkat edilmelidir.
  2. Dönüştürme (Transformation): Aykırı değerlerin etkisini azaltmak için logaritmik veya karekök dönüşümleri uygulanabilir.
  3. Capping (Sınırlandırma): Aykırı değerleri belirli bir üst veya alt sınıra sabitlemek. Örneğin, tüm aşırı yüksek değerleri belirli bir persentilin (örn. %99) değeriyle değiştirmek.
  4. Imputation (Doldurma): Aykırı değerleri eksik değerler gibi ele alıp medyan gibi bir değerle doldurmak.

Vaka Analizi: Maaş Verilerindeki Aykırı Değerler
Bir anket sonucunda çalışanların maaş bilgilerinin alındığı bir veri setinde, birkaç kişinin çok yüksek maaş bildirdiği ve bunun veri giriş hatası olduğundan şüphelenildiği bir senaryoyu ele alalım. IQR yöntemini kullanarak bu aykırı değerleri tespit edip sınırlandırabiliriz.


# Örnek DataFrame'e aykırı değer ekleyelim
df_outliers = pd.DataFrame({'Maaş': [5000, 6000, 5500, 7000, 5200, 5800, 100000, 6200, 5300, 4800, 120000]})

Q1 = df_outliers['Maaş'].quantile(0.25)
Q3 = df_outliers['Maaş'].quantile(0.75)
IQR = Q3 - Q1

# Alt ve üst sınırlar
alt_sinir = Q1 - 1.5 * IQR
ust_sinir = Q3 + 1.5 * IQR

print("Alt Sınır:", alt_sinir)
print("Üst Sınır:", ust_sinir)

# Aykırı değerleri tespit etme
aykiri_degerler = df_outliers[(df_outliers['Maaş'] < alt_sinir) | (df_outliers['Maaş'] > ust_sinir)]
print("\nAykırı Değerler:\n", aykiri_degerler)

# Aykırı değerleri sınırlandırma (capping)
df_outliers['Maaş'] = np.where(df_outliers['Maaş'] > ust_sinir, ust_sinir, df_outliers['Maaş'])
df_outliers['Maaş'] = np.where(df_outliers['Maaş'] < alt_sinir, alt_sinir, df_outliers['Maaş'])

print("\nAykırı değerler sınırlandırıldıktan sonra:\n", df_outliers)

 

Gürültülü Veri ve Tutarsızlıkları Giderme

Gürültülü veri, ölçüm hataları veya rastgele varyasyonlar nedeniyle oluşan anlamsız veya yanlış verilerdir. Tutarsızlıklar ise aynı bilginin farklı şekillerde ifade edilmesi durumudur (örneğin “Amerika Birleşik Devletleri”, “ABD”, “US” gibi). Bu sorunlar, veri kalitesini düşürür ve modelin doğru örüntüleri öğrenmesini engeller.

Gürültü Giderme:

  • Binning (Gruplama): Sürekli sayısal verileri belirli aralıklara (bin’lere) bölerek gürültüyü azaltır. Örneğin, yaş aralıklarını (0-10, 11-20 vb.) kullanmak.
  • Regresyon: Veri noktaları arasına bir regresyon doğrusu uydurarak gürültüyü modelleyebilir ve orijinal değerleri tahmini değerlerle değiştirebiliriz.
  • Kümeleme (Clustering): Benzer veri noktalarını gruplayarak, gürültülü olarak kabul edilen grubun dışındaki noktaları tespit edebiliriz.

Tutarsızlıkları Giderme:

  • Manuel İnceleme: Özellikle küçük veri setlerinde ve kategorik verilerdeki yazım hataları veya farklı ifadeler manuel olarak düzeltilebilir.
  • Standartlaştırma: Veri girişi için standart formlar belirlemek ve bunları uygulamak. Örneğin, tüm eyalet isimlerini kısaltmalar yerine tam isimleriyle kaydetmek.
  • Veri Birleştirme: Birden fazla kaynaktan gelen verileri birleştirirken, aynı varlığın farklı temsillerini tek bir standart forma dönüştürmek gerekir.
Uzman İpucu: Metin verilerindeki tutarsızlıklar için, düşük harfe dönüştürme (lowercase), boşlukları kaldırma ve kökleme (stemming/lemmatization) gibi doğal dil işleme (NLP) teknikleri oldukça etkilidir.

Bu temizleme adımları, modelimizin “besleneceği” verinin temel kalitesini garanti altına alır. Unutmayın, ne kadar özenli bir temizlik yaparsanız, modeliniz o kadar parlak sonuçlar sunar.

Veri Dönüştürme: Algoritmalar İçin Verileri Nasıl Hazırlarız?

Veri temizleme adımlarını başarıyla tamamladıktan sonra sıra, verileri makine öğrenimi algoritmalarının “sindirebileceği” ve en verimli şekilde kullanabileceği bir formata dönüştürmeye gelir. Bu aşama, tıpkı sebzeleri yemeğe hazır hale getirmek için doğramak, rendelemek veya haşlamak gibi düşünebilirsiniz. Veri dönüştürme, model performansını doğrudan etkileyen ve eğitim sürecini kolaylaştıran çeşitli teknikleri içerir. Bu sayede, modelimiz verideki örüntüleri daha net bir şekilde görebilir ve daha doğru tahminlerde bulunabilir.

Ölçekleme (Scaling) Neden Gerekli ve Hangi Yöntemler Kullanılır?

Bir veri setinde farklı özelliklerin (sütunların) farklı değer aralıklarına sahip olması oldukça yaygındır. Örneğin, bir veri setinde “yaş” 20-60 aralığındayken, “gelir” 30.000-200.000 TL aralığında olabilir. Bazı makine öğrenimi algoritmaları (örneğin k-En Yakın Komşu, Destek Vektör Makineleri, Sinir Ağları gibi mesafe tabanlı algoritmalar), bu farklı ölçeklerden olumsuz etkilenebilir. Büyük değerli özellikler, küçük değerli özellikler üzerindeki etkilerini domine edebilir, bu da modelin yanlış ağırlıklar öğrenmesine ve hatalı tahminler yapmasına neden olabilir. Ölçekleme, tüm sayısal özelliklerin benzer bir değer aralığına getirilmesini sağlar, böylece her özellik modelin eğitiminde eşit derecede önemli rol oynar.

Başlıca Ölçekleme Yöntemleri:

  1. Normalizasyon (Min-Max Scaling): Verileri belirli bir aralığa (genellikle 0 ile 1 arasına) dönüştürür. Her değer, özellik minimum ve maksimum değeri kullanılarak aşağıdaki formülle ölçeklenir:

    X_scaled = (X - X_min) / (X_max - X_min)

    Bu yöntem, aykırı değerlerden etkilendiği için veri setinde çok fazla aykırı değer varsa dikkatli kullanılmalıdır.

  2. Standardizasyon (Z-Score Normalization): Verileri ortalama 0 ve standart sapma 1 olacak şekilde dönüştürür. Her değer, özellik ortalaması (μ) ve standart sapması (σ) kullanılarak aşağıdaki formülle ölçeklenir:

    X_scaled = (X - μ) / σ

    Standardizasyon, aykırı değerlere karşı normalizasyona göre daha dirençlidir ve genellikle çok sayıda makine öğrenimi algoritması için iyi bir başlangıç noktasıdır. Özellikle veriler normal dağılıma yakınsa etkili olur.

Uzman İpucu: Ölçekleme yaparken eğitim veri seti üzerinde hesaplanan ölçekleme parametrelerinin (min, max, ortalama, standart sapma) test veri seti için de kullanılması kritik öneme sahiptir. Aksi takdirde veri sızıntısı (data leakage) yaşanabilir.

Vaka Analizi: Emlak Fiyat Tahmini
Bir emlak fiyat tahmini modelinde, “alan” (metrekare) ve “oda sayısı” gibi özelliklerin farklı ölçeklerde olduğunu varsayalım. Alan değerleri binlerle ifade edilirken, oda sayısı tek haneli rakamlardır. Destek Vektör Regresyonu gibi mesafe tabanlı bir algoritma kullanıldığında, “alan” özelliği “oda sayısı”nı domine edebilir. Standardizasyon uygulayarak her iki özelliğin de modele eşit katkı sağlamasını sağlayabiliriz.


from sklearn.preprocessing import StandardScaler, MinMaxScaler
import pandas as pd
import numpy as np

# Örnek veri seti
data = {'Alan': [50, 100, 150, 200, 250],
        'Oda_Sayısı': [1, 2, 3, 4, 5],
        'Fiyat': [150000, 250000, 350000, 450000, 550000]}
df_emlak = pd.DataFrame(data)

print("Ölçeklemeden Önce:\n", df_emlak[['Alan', 'Oda_Sayısı']])

# Standardizasyon (Z-score)
scaler_standard = StandardScaler()
df_emlak[['Alan_Standart', 'Oda_Sayısı_Standart']] = scaler_standard.fit_transform(df_emlak[['Alan', 'Oda_Sayısı']])
print("\nStandardizasyon Sonrası:\n", df_emlak[['Alan_Standart', 'Oda_Sayısı_Standart']])

# Normalizasyon (Min-Max)
scaler_minmax = MinMaxScaler()
df_emlak[['Alan_MinMax', 'Oda_Sayısı_MinMax']] = scaler_minmax.fit_transform(df_emlak[['Alan', 'Oda_Sayısı']])
print("\nMin-Max Normalizasyon Sonrası:\n", df_emlak[['Alan_MinMax', 'Oda_Sayısı_MinMax']])

 

Kategorik Değişkenleri Sayısal Hale Getirme Teknikleri

Makine öğrenimi algoritmalarının çoğu, metinsel veya kategorik verileri doğrudan işleyemez. Bu nedenle, ‘renk’ (kırmızı, mavi, yeşil) veya ‘şehir’ (İstanbul, Ankara, İzmir) gibi kategorik özellikleri sayısal bir formata dönüştürmemiz gerekir. Bu dönüşüm, genellikle ‘kodlama’ (encoding) olarak adlandırılır.

Başlıca Kodlama Yöntemleri:

  1. Label Encoding (Etiket Kodlama): Her benzersiz kategorik değere bir tamsayı atar. Örneğin, ‘kırmızı’: 0, ‘mavi’: 1, ‘yeşil’: 2. Bu yöntem, kategoriler arasında doğal bir sıralama (ordinality) varsa uygundur (örn. ‘küçük’, ‘orta’, ‘büyük’). Ancak sıralama yoksa (örn. ‘İstanbul’, ‘Ankara’, ‘İzmir’), model yanlışlıkla 0’ın 1’den küçük, 1’in 2’den küçük olduğu gibi bir ilişki algılayabilir, bu da sorunlara yol açabilir.
  2. One-Hot Encoding (Tek-Sıcak Kodlama): Kategorik değişkenleri ikili (binary) özelliklere dönüştürür. Her benzersiz kategori için yeni bir sütun oluşturulur ve ilgili kategorinin olduğu yerde 1, diğerlerinde 0 değeri yer alır. Örneğin, ‘renk’ özelliği için ‘kırmızı’, ‘mavi’, ‘yeşil’ kategorileri varsa, üç yeni sütun (‘renk_kırmızı’, ‘renk_mavi’, ‘renk_yeşil’) oluşturulur. Bir gözlem kırmızı ise ‘renk_kırmızı’ sütunu 1, diğerleri 0 olur. Bu yöntem, kategoriler arasında sıralama olmayan (nominal) veriler için idealdir ve modelin yanlış ilişkiler öğrenmesini engeller. Dezavantajı ise, çok fazla kategori varsa veri boyutunu (sütun sayısını) önemli ölçüde artırabilmesidir (‘curse of dimensionality’).
  3. Ordinal Encoding: Label Encoding’e benzer ancak kategoriler arasında belirli bir sıralama veya hiyerarşi olduğu durumlarda kullanılır. Kodlama, bu sıralamayı koruyacak şekilde yapılır.

Vaka Analizi: Ürün Renkleri
Bir giyim perakendecisinin ürün veri tabanında ‘Renk’ özelliğinin olduğunu düşünelim. Renkler arasında doğal bir sıralama olmadığından (kırmızı mavidan daha “iyi” değildir), One-Hot Encoding kullanmak en uygun yaklaşımdır.


from sklearn.preprocessing import OneHotEncoder, LabelEncoder
import pandas as pd

# Örnek veri seti
data_urun = {'Ürün_ID': range(1, 6),
             'Renk': ['Kırmızı', 'Mavi', 'Yeşil', 'Kırmızı', 'Mavi'],
             'Boyut': ['S', 'M', 'L', 'S', 'M']}
df_urun = pd.DataFrame(data_urun)

print("Kategorik veriler:\n", df_urun)

# One-Hot Encoding (Renk için)
encoder_onehot = OneHotEncoder(sparse_output=False) # sparse_output=False ile numpy array yerine dense array döndürür
encoded_renk = encoder_onehot.fit_transform(df_urun[['Renk']])
df_encoded_renk = pd.DataFrame(encoded_renk, columns=encoder_onehot.get_feature_names_out(['Renk']))
df_urun_encoded = pd.concat([df_urun.drop('Renk', axis=1), df_encoded_renk], axis=1)

print("\nOne-Hot Encoding Sonrası (Renk):\n", df_urun_encoded)

# Label Encoding (Boyut için - varsayımsal bir sıralama olduğunu düşünelim: S<M<L)
le = LabelEncoder()
df_urun['Boyut_Encoded'] = le.fit_transform(df_urun['Boyut'])
print("\nLabel Encoding Sonrası (Boyut):\n", df_urun[['Boyut', 'Boyut_Encoded']])

 

Veri Ayrıştırma ve Normalleştirme: Detaylı İnceleme

Veri ayrıştırma, birleştirilmiş bilgileri daha anlamlı ve ayrı ayrı kullanılabilir parçalara ayırma işlemidir. Normalleştirme ise, özelliklerin dağılımlarını belirli bir forma (genellikle Gauss dağılımına yakın) dönüştürmeyi amaçlar, bu da bazı algoritmaların (örneğin doğrusal modeller) performansını artırabilir.

Veri Ayrıştırma Örnekleri:

  • Tarih-Saat Ayrıştırma: Bir ‘TarihSaat’ sütunundan ‘Yıl’, ‘Ay’, ‘Gün’, ‘Saat’, ‘Haftanın_Günü’ gibi yeni özellikler çıkarmak, zaman serisi analizi için çok değerlidir.
  • Adres Ayrıştırma: ‘TamAdres’ sütunundan ‘Cadde’, ‘Sokak’, ‘Şehir’, ‘PostaKodu’ gibi ayrı özellikler elde etmek.

Normalleştirme (Dağılım Dönüşümü):

  • Logaritmik Dönüşüm: Veri dağılımı sağa çarpık (skewed right) olduğunda, logaritmik dönüşüm (np.log(), np.log1p()) dağılımı normale yaklaştırabilir ve aykırı değerlerin etkisini azaltabilir. Özellikle finansal verilerde (örn. gelir) sıkça kullanılır.
  • Karekök Dönüşümü: Logaritmik dönüşüme benzer şekilde çarpık dağılımları düzenlemek için kullanılır, ancak daha az agresiftir.
  • Box-Cox Dönüşümü: Verilerin normal dağılıma daha yakın olmasını sağlamak için kullanılan parametrik bir dönüşümdür. Verilerin pozitif olması gerekir.
Uzman İpucu: Dağılım dönüşümleri genellikle modelin varsayımlarına (örn. doğrusal regresyonun normal kalıntı varsayımı) uygun hale getirmek veya modelin performansını artırmak için kullanılır. Dönüşümün etkisini görmek için histogramları incelemek faydalıdır.

Bu dönüşüm teknikleri, ham veriyi algoritmaların daha kolay işleyebileceği, daha anlamlı ve yapılandırılmış bir hale getirir. Her veri setinin kendine özgü ihtiyaçları olduğunu unutmamak ve doğru dönüşüm tekniklerini seçmek, başarılı bir makine öğrenimi projesi için anahtardır.

Özellik Mühendisliği: Model Performansını Artırmanın Sırları Nelerdir?

Veri ön işlemenin belki de en yaratıcı ve etkili aşaması özellik mühendisliğidir (Feature Engineering). Bu aşamada, mevcut ham verilerden veya dönüştürülmüş özelliklerden, modelin daha iyi öğrenmesini sağlayacak yeni ve daha anlamlı özellikler türetilir. Tıpkı bir şefin basit malzemelerden gurme bir lezzet yaratması gibi, özellik mühendisliği de sıradan verilerden modelin içgörülerini artıran “altın özellikler” çıkarır. İyi tasarlanmış özellikler, basit bir modelin bile karmaşık bir modelden daha iyi performans göstermesini sağlayabilir. Bu, makine öğrenimi yarışmalarında sıkça karşılaşılan bir durumdur.

Yeni Özellikler Oluşturma ve Boyut Azaltma Stratejileri

Yeni özellikler oluşturmak, alan bilgisi (domain expertise) ve yaratıcılık gerektiren bir süreçtir. Mevcut özellikler arasındaki ilişkileri, oranları, farkları veya etkileşimleri kullanarak yeni, bilgilendirici özellikler türetmek, modelin problemi daha iyi anlamasına yardımcı olur.

Yeni Özellikler Oluşturma Örnekleri:

  • Birleşik Özellikler: İki veya daha fazla özelliği birleştirerek yeni bir özellik oluşturmak. Örneğin, ‘Genişlik’ ve ‘Yükseklik’ten ‘Alan’ özelliği türetmek.
  • Oranlar ve Farklar: İki özellik arasındaki oranı veya farkı hesaplamak. Örneğin, ‘Borç’ ve ‘Gelir’den ‘Borç/Gelir Oranı’ türetmek.
  • Etkileşim Özellikleri: İki veya daha fazla özelliğin çarpımı veya başka bir fonksiyonu. Örneğin, ‘Yaş’ ve ‘Eğitim_Seviyesi’ arasındaki etkileşim, belirli yaş gruplarında belirli eğitim seviyelerinin etkisinin farklı olduğunu gösterebilir.
  • Dönemsel Özellikler: Tarih-saat verilerinden ‘mevsim’, ‘haftanın_günü_tatil_mi’, ‘ayın_kaçıncı_günü’ gibi döngüsel özellikleri çıkarmak.

Boyut Azaltma (Dimensionality Reduction):

Çok fazla özellik (yüksek boyutluluk), modelin eğitim süresini uzatabilir, aşırı uyuma (overfitting) neden olabilir ve yorumlanabilirliği zorlaştırabilir. Boyut azaltma, önemli bilgi kaybı olmadan özellik sayısını düşürme tekniklerini ifade eder.

  • Özellik Seçimi (Feature Selection): En alakalı özellikleri belirleyerek diğerlerini eleme. Yöntemler arasında filtre yöntemleri (korelasyon, chi-square), sarıcı yöntemler (geriye doğru eleme, ileriye doğru seçim) ve gömülü yöntemler (Lasso, Ridge regresyon) bulunur.
  • Özellik Çıkarımı (Feature Extraction): Mevcut özelliklerin bir kombinasyonundan yeni, daha az sayıda özellik oluşturma. En popüler yöntemler:
    • Temel Bileşen Analizi (PCA – Principal Component Analysis): Verideki varyansın çoğunu koruyan yeni, ortogonal bileşenler oluşturur.
    • Doğrusal Diskriminant Analizi (LDA – Linear Discriminant Analysis): PCA’ya benzer ancak sınıflar arasındaki ayrılabilirliği maksimize etmeye odaklanır, bu yüzden sınıflandırma görevlerinde daha etkilidir.
Uzman İpucu: Özellik mühendisliği, model performansını artırmak için en güçlü araçlardan biridir. İyi bir özellik mühendisi, problem alanını derinlemesine anlayan ve veriler arasındaki gizli ilişkileri keşfeden kişidir.

Metin ve Zaman Serisi Verileri İçin Özel Yaklaşımlar

Farklı veri türleri, kendilerine özgü özellik mühendisliği teknikleri gerektirir. Metin ve zaman serisi verileri, bu bağlamda özel yaklaşımlar gerektiren iki önemli veri türüdür.

Metin Verileri İçin:

  • Tokenizasyon (Tokenization): Metni kelimelere veya alt kelimelere ayırma.
  • Durak Kelime Kaldırma (Stop Word Removal): “ve”, “bir”, “ile” gibi anlamsız kelimeleri kaldırma.
  • Kökleme/Lemmatizasyon (Stemming/Lemmatization): Kelimeleri kök formlarına indirgeme (örn. “koşuyor”, “koştu” -> “koş”).
  • TF-IDF (Term Frequency-Inverse Document Frequency): Bir terimin belgedeki sıklığını ve tüm belgelerdeki nadirliğini ölçerek kelimelerin önemini belirleyen bir vektörleştirme tekniği.
  • Word Embeddings (Kelime Gömme): Kelimelerin anlamsal ilişkilerini koruyarak onları yoğun vektörler halinde temsil etme (örn. Word2Vec, GloVe, FastText).

Zaman Serisi Verileri İçin:

  • Gecikmeli Değerler (Lagged Features): Bir önceki zaman adımlarındaki değerleri yeni özellikler olarak ekleme (örn. dünkü satışlar, geçen haftaki sıcaklık).
  • Hareketli Ortalamalar (Moving Averages): Belirli bir pencere içindeki değerlerin ortalamasını alarak trendleri yakalama.
  • Pencere İstatistikleri: Belirli bir zaman penceresi içindeki minimum, maksimum, standart sapma gibi istatistikleri hesaplama.
  • Mevsimsellik (Seasonality) ve Trend Bileşenleri: Zaman serisindeki periyodik kalıpları ve uzun vadeli eğilimleri özellik olarak çıkarma.

Mobil Uyumluluk ve Performans İpuçları

Makine öğrenimi modellerinin çıktılarının veya bu modellerin kullanıldığı arayüzlerin mobil cihazlarda da sorunsuz çalışması günümüz dünyasında vazgeçilmezdir. Her ne kadar veri ön işleme doğrudan mobil uygulamanın arayüzü ile ilgili olmasa da, işlenmiş verinin boyutu ve modelin çıktı formatı mobil cihazlarda performans açısından önemlidir. Ayrıca, veri görselleştirmeleri ve arayüzler mobil uyumlu olmalıdır.

  • Duyarlı Tasarım (Responsive Design): Modellerinizin sonuçlarını görselleştirdiğiniz web tabanlı arayüzlerin, farklı ekran boyutlarına ve çözünürlüklerine otomatik olarak uyum sağlaması için duyarlı tasarım prensipleri kullanılmalıdır. Bu, CSS medya sorguları (media queries) ve esnek layout’lar (Flexbox, CSS Grid) ile sağlanır.
  • Minimum Veri Transferi: Mobil uygulamalar için, ön işlenmiş verileri veya model çıktılarını sunarken mümkün olduğunca az veri transferi yapılmalıdır. JSON veya kompakt formatlar tercih edilmeli, gereksiz büyük dosyalar kaçınılmalıdır.
  • Performans Odaklı Görselleştirmeler: Mobil cihazlarda karmaşık ve ağır görselleştirmelerden kaçınılmalı, daha sade ve hızlı yüklenebilen grafikler tercih edilmelidir.
  • Model Optimizasyonu: Mobil cihazlarda çalışan modeller için, daha küçük boyutlu ve daha hızlı tahmin yapabilen modeller tercih edilebilir (örn. Lite modeller). Bu, ön işleme sırasında gereksiz özelliklerin elenmesi veya boyut azaltma teknikleri ile desteklenebilir.
Yorumlar
İçeriği beğendiniz mi? Bir tartışma başlatın veya görüşlerinizi paylaşın.
Yorum Yaz

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Gönder

E-posta Bülteni
Yazılım Topluluğuna Katılın
En son güncellemeleri, yaratıcı ipuçlarını ve özel kaynakları doğrudan e-posta kutunuza alın. Tasarım ve inovasyonun geleceğini birlikte keşfedelim.
Mobil sürümden çık