Veri Bilimi Becerilerinizi Geliştirme: 13. Gün Kılavuzu

Veri bilimi yolculuğunuzun 13. gününe ulaştınız mı? Bu kritik aşama, birçok öğrencinin ya motivasyonunu kaybettiği ya da öğrendiklerini pekiştirmekte zorlandığı bir dönemeç olabilir. Ancak endişelenmeyin; bu kapsamlı rehber, bilgi birikiminizi derinleştirmenize ve becerilerinizi daha ileri taşımanıza yardımcı olacak pratik adımlar ve gerçek dünya senaryoları sunuyor. Gelin, veri biliminin karmaşık dünyasında nasıl daha sağlam adımlar atabileceğinizi keşfedelim.

Veri bilimi öğrenme serüveninde, çoğu zaman başlangıçtaki heyecanla hızlı bir ilerleme kaydederiz. İlk birkaç gün temel Python veya R sözdizimi, NumPy ve Pandas gibi kütüphanelerin kullanımı, basit veri görselleştirmeleri gibi konularla geçer. Ancak 13. güne gelindiğinde, karşılaşılan bilgi yoğunluğu veya bazı kavramların karmaşıklığı nedeniyle bir yavaşlama, hatta bir duraksama yaşanması oldukça yaygındır. Bu nokta, tam da bu sebeple kritik bir eşiktir. Peki, neden bu noktada pes etmek yerine devam etmeli ve hatta hızlanmalıyız?

Öncelikle, veri biliminde tutarlılık başarının anahtarıdır. Her gün düzenli olarak pratik yapmak, yeni kavramları öğrenmek ve öğrendiklerinizi uygulamak, bilgilerin beyinde pekişmesini sağlar. 13. gün, temel bilgilerin üzerine inşa etmeye başlamak için mükemmel bir zamandır. Artık syntax’a daha az odaklanıp, veri manipülasyonu ve analizi gibi daha ileri düzey konulara geçiş yapabilirsiniz. Bu, teorik bilginin pratik uygulamaya dönüştüğü ve gerçek değer yarattığı aşamadır. Ayrıca, bu noktada karşılaştığınız zorluklar aslında öğrenme sürecinizin doğal bir parçasıdır. Her zorluk, yeni bir şeyler öğrenme ve problem çözme yeteneklerinizi geliştirme fırsatıdır. Bir problemi çözmek için harcadığınız çaba, gelecekte benzer durumlarla karşılaştığınızda size eşsiz bir avantaj sağlayacaktır. Bu yüzden, karşılaştığınız engelleri birer basamak olarak görmelisiniz.

İkinci olarak, veri bilimi sürekli gelişen bir alandır ve bu alanda rekabetçi kalabilmek için sürekli öğrenme şarttır. 13. gün sadece bir sayıdan ibaret değil, aynı zamanda disiplinli çalışmanızın bir göstergesidir. Bu disiplini sürdürmek, uzun vadede karmaşık veri setleriyle çalışabilen, öngörüler geliştirebilen ve iş kararlarını etkileyebilen yetkin bir veri bilimci olma yolunda sizi önemli ölçüde ileri taşıyacaktır. Örneğin, sadece Pandas’ı öğrenmekle kalmayıp, büyük veri setlerinde performansı optimize etme tekniklerini araştırmaya başlayabilirsiniz. Bu, teorik bilginin ötesine geçerek gerçek dünya uygulamalarında karşılaşılan zorluklara çözüm üretme becerisini kazandırır. Bu süreçte kazanacağınız her yeni beceri, kişisel portföyünüzü zenginleştirecek ve sizi sektörde daha cazip bir aday haline getirecektir. Unutmayın, veri bilimi bir maratondur, sprint değil. Her gün atılan küçük adımlar, zamanla büyük bir sıçramaya dönüşebilir. Bu nedenle, 13. gününüzde motivasyonunuzu yüksek tutarak, hedeflerinize ulaşmak için kararlı bir şekilde ilerlemeye devam edin. Bu, sadece bugünkü değil, gelecekteki başarılarınızın da temelini atacaktır.

Temel Kavramlar Nelerdir ve Neden Tekrar Gözden Geçirmeliyiz?

Veri bilimi alanında ne kadar ilerlemiş olursanız olun, temel kavramlara dönüp onları düzenli olarak gözden geçirmek, sağlam bir zemin oluşturmak açısından kritik öneme sahiptir. 13. gününüzde, belki de zaten Pandas ile veri yüklemeyi ve NumPy ile basit sayısal işlemleri biliyorsunuzdur. Ancak bu bilgilerin derinlemesine anlaşılması ve farklı senaryolara uygulanabilirliği, uzun vadeli başarınız için belirleyicidir. Temel kavramları sadece “bilmek” değil, onları “anlamak” ve “hissederek uygulamak” esastır. Bu temel kavramlar, karmaşık makine öğrenimi modelleri oluştururken veya büyük veri setleriyle çalışırken size yol gösterecek pusula görevi görür. Örneğin, bir veri setindeki aykırı değerleri doğru bir şekilde tanımlamak ve yönetmek, modelinizin performansını doğrudan etkiler. Eğer temel istatistiksel dağılımları veya veri türlerinin özelliklerini gözden kaçırırsanız, bu tür kritik hatalar yapma olasılığınız artar.

Gözden geçirmemiz gereken başlıca temel kavramlar şunlardır:

• Veri Türleri ve Yapıları: Sayısal (continuous, discrete), kategorik (nominal, ordinal) verileri anlamak ve Python’da listeler, demetler, sözlükler, veri çerçeveleri gibi yapıları etkin kullanabilmek. Doğru veri tipini seçmek, bellek kullanımından işlem hızına kadar birçok konuda fark yaratabilir.
• İstatistiksel Temeller: Ortalama, medyan, mod, standart sapma, varyans gibi temel tanımlayıcı istatistikler. Ayrıca korelasyon ve kovaryans gibi ilişkisel ölçütler, hipotez testlerinin temel mantığı. Bu kavramlar, verinizdeki eğilimleri ve ilişkileri anlamanız için olmazsa olmazdır.
• Veri Temizliği ve Ön İşleme: Eksik değerleri (NaN) doldurma veya silme stratejileri, aykırı değer tespiti ve yönetimi, veri dönüşümleri (normalizasyon, standardizasyon), kategorik verilerin sayısal hale getirilmesi (one-hot encoding, label encoding). Kaliteli veri, kaliteli model demektir.
• Keşifçi Veri Analizi (EDA): Veri setinin yapısını, dağılımını ve değişkenler arasındaki ilişkileri görsel ve istatistiksel yöntemlerle anlamak. Histogramlar, kutu grafikleri, saçılım grafikleri gibi görselleştirmelerin doğru yorumlanması. EDA, bir veri bilimcinin dedektiflik sürecidir.
• Temel Programlama Mantığı: Döngüler (for, while), koşullu ifadeler (if-elif-else), fonksiyon yazma. Bu temel programlama yapıları, veri manipülasyonu ve otomasyonunda sıklıkla kullanılır.

Bu kavramları neden tekrar gözden geçirmeliyiz? Çünkü çoğu zaman ileri düzey tekniklere heveslenirken temel prensipleri gözden kaçırırız. Birçok veri bilimi projesinde karşılaşılan hataların veya düşük performansın kökeninde, temel kavramların tam olarak anlaşılamaması yatar. Örneğin, bir regresyon modeli kurarken verilerin normal dağılıp dağılmadığını kontrol etmemek, modelin varsayımlarına aykırı hareket etmenize ve güvenilir olmayan sonuçlar elde etmenize neden olabilir. Bu nedenle, temel kavramlara tekrar odaklanmak, sadece mevcut bilginizi pekiştirmekle kalmaz, aynı zamanda gelecekte daha karmaşık problemleri çözmek için sağlam bir temel oluşturmanızı sağlar. Bu yeniden ziyaret, sizi daha bilinçli ve yetkin bir veri bilimci yapacaktır. Temel kavramları derinlemesine anlamak, veri setlerindeki gizli örüntüleri ortaya çıkarmanız için size bir çerçeve sunar.

Vaka Analizi: Gerçek Dünya Verileriyle Veri Temizliği ve Keşifçi Veri Analizi (EDA) Nasıl Yapılır?

Veri biliminin kalbi, ham veriyi anlamlı içgörülere dönüştürme yeteneğinde yatar. Bu sürecin ilk ve en kritik adımları veri temizliği ve Keşifçi Veri Analizi (EDA)’dır. Bu vaka analizinde, popüler bir veri seti olan “California Konut Fiyatları”nı kullanarak bu adımları adım adım inceleyeceğiz. Amacımız, sadece kod yazmak değil, aynı zamanda her adımın arkasındaki mantığı ve nedenini kavramaktır. Bu sayede, gelecekte farklı veri setleriyle karşılaştığınızda benzer sorunlara çözüm üretebilecek bir düşünce yapısı geliştirebilirsiniz.

Adım 1: Verileri Yükleme ve İlk İnceleme

İlk olarak, gerekli kütüphaneleri içe aktarıp veri setini Pandas DataFrame olarak yükleyeceğiz. Veri setinin ilk beş satırına bakmak, sütun adlarını ve genel veri yapısını anlamak için önemlidir.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# Veri setini yükleme
try:
    df = pd.read_csv('california_housing.csv')
except FileNotFoundError:
    print("california_housing.csv dosyası bulunamadı. Lütfen dosya yolunu kontrol edin.")
    exit()

# İlk 5 satırı görüntüleme
print("Veri setinin ilk 5 satırı:")
print(df.head())

# Veri setinin genel bilgilerini alma
print("\nVeri setinin genel bilgileri:")
print(df.info())

# Temel istatistikleri görüntüleme
print("\nVeri setinin temel istatistikleri:")
print(df.describe())
    

df.info() çıktısı bize eksik değerlerin olup olmadığını ve her sütunun veri tipini gösterir. df.describe() ise sayısal sütunlar için ortalama, standart sapma, min/max değerler gibi temel istatistiksel özetler sunar. Bu çıktılar, veri setimiz hakkında önemli ön bilgiler sağlar ve temizlik adımlarına başlamak için bize yol gösterir.

Adım 2: Eksik Değerleri Yönetme

Gerçek dünya verileri nadiren mükemmeldir. Eksik değerler yaygın bir sorundur ve bunları doğru şekilde ele almak model performansını doğrudan etkiler. df.isnull().sum() kullanarak her sütundaki eksik değer sayısını belirleyebiliriz.

print("\nHer sütundaki eksik değer sayısı:")
print(df.isnull().sum())

# Örneğin, 'total_bedrooms' sütununda eksik değerler olduğunu varsayalım.
# Bu eksik değerleri medyan ile doldurabiliriz.
# Medyan kullanmak, aykırı değerlerden daha az etkilenir.
median_total_bedrooms = df['total_bedrooms'].median()
df['total_bedrooms'].fillna(median_total_bedrooms, inplace=True)

print("\nEksik değerler doldurulduktan sonra:")
print(df.isnull().sum())
    

Eksik değerleri doldururken medyan kullanmak, ortalamaya göre aykırı değerlere karşı daha sağlam bir yöntemdir. Bazı durumlarda, eksik değerleri tamamen silmek de bir seçenek olabilir, ancak bu, veri kaybına yol açabilir ve dikkatli değerlendirilmelidir. Örneğin, eğer eksik değer oranı çok yüksekse (%50'den fazla), o sütunu tamamen bırakmak daha mantıklı olabilir.

Adım 3: Aykırı Değer Tespiti ve Yönetimi

Aykırı değerler, veri setindeki diğer gözlemlerden önemli ölçüde farklı olan veri noktalarıdır ve modelimizin doğruluğunu olumsuz etkileyebilir. Kutu grafikleri (boxplot) aykırı değerleri görsel olarak tespit etmek için harika bir yoldur.

plt.figure(figsize=(12, 6))
sns.boxplot(x=df['median_house_value'])
plt.title('Medyan Ev Değeri Dağılımı ve Aykırı Değerler')
plt.show()

# Aykırı değerleri kaldırma veya dönüştürme (Örnek: Z-skoru veya IQR metodu)
# Basit bir örnek olarak, belirli bir üst eşiğin üzerindeki değerleri sınırlayalım.
# Gerçek uygulamalarda daha sofistike yöntemler kullanılmalıdır.
upper_bound = df['median_house_value'].quantile(0.99)
df['median_house_value'] = np.where(df['median_house_value'] > upper_bound, upper_bound, df['median_house_value'])

plt.figure(figsize=(12, 6))
sns.boxplot(x=df['median_house_value'])
plt.title('Medyan Ev Değeri Dağılımı (Aykırı Değerler Kısıtlandıktan Sonra)')
plt.show()
    

Aykırı değerleri yönetmek için birkaç farklı yaklaşım vardır: onları kaldırmak, dönüştürmek (örneğin logaritmik dönüşüm) veya belirli bir değere sabitlemek (winsorization). Seçim, veri setinize ve domain bilginize bağlıdır. Bu adımda, %99'luk çeyrek değerin üzerindeki tüm ev değerlerini bu çeyrek değere eşitleyerek aykırı değerlerin etkisini azaltmaya çalıştık. Bu, modelin aşırı uç değerlere karşı daha sağlam olmasını sağlayabilir.

Adım 4: Keşifçi Veri Analizi (EDA) ve Görselleştirme

EDA, verilerinizdeki kalıpları, anormallikleri ve ilişkileri ortaya çıkarmak için görsel ve istatistiksel teknikleri kullanır. Bu aşama, hipotezler oluşturmanıza ve özellik mühendisliği için fikirler geliştirmenize yardımcı olur.

# Değişkenlerin dağılımını gösteren histogramlar
df.hist(bins=50, figsize=(20, 15))
plt.suptitle('Tüm Sayısal Sütunların Dağılımı', y=1.02)
plt.show()

# Değişkenler arası korelasyon matrisi
plt.figure(figsize=(10, 8))
sns.heatmap(df.corr(), annot=True, cmap='coolwarm', fmt=".2f")
plt.title('Değişkenler Arası Korelasyon Matrisi')
plt.show()

# Hedef değişken (median_house_value) ile diğer değişkenler arasındaki ilişki
plt.figure(figsize=(12, 6))
sns.scatterplot(x='median_income', y='median_house_value', data=df)
plt.title('Ortalama Gelir ile Medyan Ev Değeri Arasındaki İlişki')
plt.xlabel('Ortalama Gelir')
plt.ylabel('Medyan Ev Değeri')
plt.show()
    

Histogramlar, her bir sayısal değişkenin dağılımını anlamamıza yardımcı olur. Korelasyon matrisi, değişkenler arasındaki doğrusal ilişkileri gösterir; hedef değişkenimizle güçlü korelasyona sahip değişkenleri belirlemek, modelleme için önemlidir. Scatter plot gibi görselleştirmeler, iki değişken arasındaki potansiyel doğrusal veya doğrusal olmayan ilişkileri ortaya çıkarır. Örneğin, 'median_income' ile 'median_house_value' arasında güçlü pozitif bir korelasyon görmek şaşırtıcı değildir; gelir arttıkça ev fiyatlarının da artması beklenir. Bu tür ilişkileri anlamak, daha sonra modelimizde hangi özelliklerin önemli olabileceği konusunda bize ipuçları verir.

Bu adımlar, veri setinizle derinlemesine bir bağ kurmanızı ve modelleme aşamasına geçmeden önce olası sorunları çözmenizi sağlar. Kaliteli bir veri temizliği ve kapsamlı bir EDA, başarılı bir veri bilimi projesinin temelini oluşturur. Bu süreci dikkatle tamamladığınızda, modellerinizin daha doğru, sağlam ve güvenilir olmasını sağlarsınız.

Etkili Özellik Mühendisliği Teknikleri: Model Başarınızı Nasıl Artırırsınız?

Veri biliminde "Çöp girer, çöp çıkar" (Garbage in, garbage out) diye bir tabir vardır. Modelinizin performansı, kullandığınız verinin kalitesi ve temsil gücü ile doğrudan ilişkilidir. Özellik mühendisliği (Feature Engineering), ham veriden makine öğrenimi algoritmalarının daha iyi öğrenebileceği yeni, anlamlı özellikler yaratma sürecidir. Bu, veri bilimcinin yaratıcılığını ve alan bilgisini en çok kullandığı aşamalardan biridir. Sadece mevcut sütunları kullanmak yerine, onlardan yeni perspektifler sunan özellikler türeterek modelinizin tahmin gücünü önemli ölçüde artırabilirsiniz. Örneğin, ev fiyatları tahmininde sadece oda sayısı yerine, "oda başına düşen kişi sayısı" gibi yeni bir özellik, bölgenin yoğunluğunu ve dolayısıyla yaşam kalitesini daha iyi yansıtabilir.

İşte bazı etkili özellik mühendisliği teknikleri:

1. Kombine Özellikler Oluşturma: Mevcut iki veya daha fazla özelliği birleştirerek yeni bir özellik türetmek. Örneğin, California konut verisinde toplam oda sayısını hane halkı sayısına bölerek "oda başına hane halkı" (rooms_per_household) veya "yatak odası oranı" (bedrooms_per_room) gibi özellikler oluşturabiliriz. Bu yeni özellikler, yaşam alanı kullanım verimliliği veya mülkün genel kalitesi hakkında daha derinlemesine bilgi sağlayabilir.

# Örnek: Kombine özellikler oluşturma
df['rooms_per_household'] = df['total_rooms'] / df['households']
df['bedrooms_per_room'] = df['total_bedrooms'] / df['total_rooms']
df['population_per_household'] = df['population'] / df['households']

print("\nYeni oluşturulan özelliklerin ilk 5 satırı:")
print(df[['rooms_per_household', 'bedrooms_per_room', 'population_per_household']].head())
        

2. Kategorik Değişkenleri Sayısala Çevirme (Encoding): Makine öğrenimi algoritmalarının çoğu sayısal veri beklediğinden, 'ocean_proximity' gibi kategorik özellikleri sayısal hale getirmemiz gerekir. En yaygın yöntemlerden ikisi One-Hot Encoding ve Label Encoding'dir. One-Hot Encoding, her kategori için yeni bir sütun oluşturur ve ilgili kategoriye '1', diğerlerine '0' atar. Bu, kategoriler arasında yapay bir sıra ilişkisi oluşturmaktan kaçınır.

# One-Hot Encoding uygulama
df = pd.get_dummies(df, columns=['ocean_proximity'], drop_first=True)

print("\nOne-Hot Encoding sonrası veri setinin ilk 5 satırı:")
print(df.head())
        

3. Sayısal Değişkenleri Gruplama (Binning): Sürekli sayısal değişkenleri belirli aralıklara bölerek kategorik hale getirme. Örneğin, yaş aralıkları veya gelir seviyeleri gibi gruplar oluşturmak. Bu, doğrusal olmayan ilişkileri yakalamaya yardımcı olabilir ve aşırı duyarlılığı azaltabilir. Örneğin, 'median_income' verisini 5 farklı gruba ayırabiliriz.

# Medyan geliri gruplara ayırma
df['income_cat'] = pd.cut(df['median_income'],
                          bins=[0., 1.5, 3.0, 4.5, 6., np.inf],
                          labels=[1, 2, 3, 4, 5])

print("\nGelir kategorisi oluşturulduktan sonra:")
print(df[['median_income', 'income_cat']].head())
        

4. Ölçeklendirme (Scaling): Özelliklerin farklı ölçeklerde olması, gradyan inişi tabanlı algoritmaların (örneğin Destek Vektör Makineleri, K-Means) performansını olumsuz etkileyebilir. Standardizasyon (ortalama 0, standart sapma 1) veya normalizasyon (0 ile 1 arasına ölçekleme) bu sorunu çözer.

from sklearn.preprocessing import StandardScaler

# Hedef değişken ve kategorik olmayan sayısal sütunları seçme
numeric_features = df.select_dtypes(include=np.number).columns.tolist()
numeric_features.remove('median_house_value') # Hedef değişkeni çıkar

# Ölçekleyiciyi tanımla ve uygula
scaler = StandardScaler()
df[numeric_features] = scaler.fit_transform(df[numeric_features])

print("\nÖlçeklendirilmiş sayısal özelliklerin ilk 5 satırı:")
print(df[numeric_features].head())
        

Özellik mühendisliği, sadece modelinizin performansını artırmakla kalmaz, aynı zamanda modelinizin yorumlanabilirliğini de yükseltebilir. Yeni türetilen özellikler, ham verilere kıyasla daha açıklayıcı ve anlamlı olabilir. Örneğin, 'rooms_per_household' özelliği, bir evin lüks veya kalabalık olup olmadığı hakkında doğrudan bir fikir verir. Bu, modelin hangi faktörlere dayalı tahminler yaptığını anlamak için kritik öneme sahiptir.

Sonuç olarak, etkili özellik mühendisliği, ham veriyi değerli bir yakıta dönüştüren sanat ve bilim karışımıdır. Modelinizi besleyecek doğru yakıtı sağlamak, veri bilimi projelerinizde sıradan sonuçlar yerine olağanüstü başarılar elde etmenizin anahtarıdır. Bu teknikler sayesinde, 13. gününüzde sadece öğrenmekle kalmayacak, aynı zamanda veri setlerinizden maksimum değeri nasıl çıkaracağınızı da keşfedeceksiniz.

Makine Öğrenmesi Modelleri Seçimi ve Değerlendirmesi: En İyi Sonuçları Nasıl Elde Ederiz?

Veri temizliği ve özellik mühendisliği adımlarını tamamladıktan sonra sıra, verilerimizden anlamlı tahminler yapacak makine öğrenmesi modellerini seçmeye ve eğitmeye gelir. Bu aşama, veri bilimi projesinin en heyecan verici kısımlarından biridir, ancak aynı zamanda dikkatli bir yaklaşım gerektirir. "En iyi" modeli seçmek, her zaman en karmaşık veya en yeni modeli kullanmak anlamına gelmez; çoğu zaman problem domain'ine, veri setinin özelliklerine ve projenin gereksinimlerine en uygun olanı bulmak demektir. Bu bölümde, model seçimi, eğitimi ve değerlendirmesi süreçlerini ele alacağız, böylece projelerinizde en güvenilir ve etkili sonuçları elde edebilirsiniz.

Adım 1: Veri Setini Ayırma

Modelimizi eğitmeden önce, veri setimizi eğitim (training) ve test (test) kümelerine ayırmak zorunludur. Eğitim kümesi, modelin kalıpları öğrenmek için kullandığı veridir. Test kümesi ise, modelin daha önce hiç görmediği veriler üzerinde ne kadar iyi performans gösterdiğini değerlendirmek için kullanılır. Bu ayrım, modelin genelleme yeteneğini ölçmemizi sağlar ve aşırı öğrenmeyi (overfitting) engellemeye yardımcı olur.

from sklearn.model_selection import train_test_split

# Hedef değişkeni (y) ve özellikleri (X) ayırma
X = df.drop('median_house_value', axis=1) # Hedef sütunu çıkar
y = df['median_house_value']

# Veri setini eğitim ve test kümelerine ayırma
# %80 eğitim, %20 test verisi
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

print(f"Eğitim kümesi boyutu: {X_train.shape}")
print(f"Test kümesi boyutu: {X_test.shape}")
    

random_state parametresi, her çalıştırdığımızda aynı rastgele ayrımı elde etmemizi sağlar, bu da sonuçların tekrar üretilebilirliğini garantiler.

Adım 2: Model Seçimi ve Eğitimi

California konut fiyatları tahmini bir regresyon problemi olduğundan, regresyon algoritmalarını kullanacağız. Başlangıç için, nispeten basit ama güçlü bir algoritma olan RandomForestRegressor'ı tercih edebiliriz. Farklı modellerin farklı avantajları ve dezavantajları vardır. Örneğin, Lineer Regresyon basit ve hızlıyken, Karar Ağaçları ve Rastgele Ormanlar daha karmaşık ilişkileri yakalayabilir.

from sklearn.ensemble import RandomForestRegressor

# RandomForestRegressor modelini tanımlama
model = RandomForestRegressor(n_estimators=100, random_state=42, n_jobs=-1)

# Modeli eğitim verileriyle eğitme
model.fit(X_train, y_train)

print("Model başarıyla eğitildi!")
    

n_estimators parametresi, rastgele ormandaki ağaç sayısını belirtir. Daha fazla ağaç genellikle daha iyi performans anlamına gelir, ancak eğitim süresini de artırır.

Adım 3: Model Değerlendirme

Eğittiğimiz modelin ne kadar iyi performans gösterdiğini anlamak için çeşitli metrikler kullanmamız gerekir. Regresyon problemleri için yaygın kullanılan metrikler şunlardır:

• Ortalama Mutlak Hata (Mean Absolute Error - MAE): Tahmin edilen değerler ile gerçek değerler arasındaki mutlak farkların ortalamasıdır. Birimle aynıdır ve yorumlaması kolaydır.
• Ortalama Kare Hata (Mean Squared Error - MSE): Hataların karelerinin ortalamasıdır. Büyük hataları daha fazla cezalandırır.
• Kök Ortalama Kare Hata (Root Mean Squared Error - RMSE): MSE'nin kareköküdür. Yorumlaması MAE gibi birimle aynıdır ancak büyük hatalara karşı daha duyarlıdır.
• R-kare (R-squared veya R²): Modelin bağımlı değişkendeki varyansı ne kadar iyi açıkladığını gösterir. 0 ile 1 arasında değişir; 1'e yakın değerler daha iyi uyumu gösterir.

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

# Test verileri üzerinde tahminler yapma
y_pred = model.predict(X_test)

# Model performansını değerlendirme
mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
r2 = r2_score(y_test, y_pred)

print(f"\nModel Değerlendirme Sonuçları:")
print(f"Mean Absolute Error (MAE): {mae:.2f}")
print(f"Mean Squared Error (MSE): {mse:.2f}")
print(f"Root Mean Squared Error (RMSE): {rmse:.2f}")
print(f"R-squared (R²): {r2:.2f}")

# Tahmin edilen değerler ile gerçek değerleri görselleştirme
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred, alpha=0.3)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2)
plt.xlabel('Gerçek Değerler')
plt.ylabel('Tahmin Edilen Değerler')
plt.title('Gerçek ve Tahmin Edilen Ev Değerleri')
plt.show()
    

MAE, RMSE ve R² değerleri, modelimizin performansını somut bir şekilde ölçmemizi sağlar. Düşük MAE ve RMSE değerleri, modelimizin tahminlerinin gerçek değerlere yakın olduğunu gösterirken, yüksek bir R² değeri, modelimizin varyansı iyi açıkladığını belirtir. Scatter plot grafiği ise, modelin ne kadar doğru tahmin yaptığını görsel olarak anlamamıza yardımcı olur. Noktaların kırmızı çizgiye ne kadar yakın olduğu, modelin doğruluğunu gösterir. Model değerlendirme, sadece bir sayıya bakmak değil, aynı zamanda bu metriklerin bağlamını anlamak ve modelin neden belirli bir şekilde performans gösterdiğini yorumlamak demektir.

Bu adımlar, veri bilimi projelerinizde doğru modeli seçmenize, eğitmenize ve performansını güvenilir bir şekilde değerlendirmenize yardımcı olacaktır. 13. gününüzde bu bilgileri uygulamaya koymak, sizi sadece bir kod yazan değil, aynı zamanda veri setinden değerli içgörüler çıkarabilen yetkin bir veri bilimcisi haline getirecektir.

İleri Düzey İpuçları: Performansı Artırmak İçin Hangi Teknikleri Kullanmalıyız?

Temel makine öğrenimi modellerini eğitmeyi ve değerlendirmeyi öğrendikten sonra, veri bilimi yolculuğunuzun 13. gününde, modellerinizin performansını daha da ileri taşıyacak ileri düzey tekniklere odaklanabiliriz. Bu teknikler, genellikle daha karmaşık problemlerde daha iyi sonuçlar elde etmek, modelin genelleme yeteneğini artırmak ve hatta modelin neden belirli tahminler yaptığını anlamak için kullanılır. Bu bölümde, hiperparametre optimizasyonu, topluluk öğrenimi (ensemble methods) ve model yorumlanabilirliği gibi kavramlara derinlemesine bakacağız.

Hiperparametre Optimizasyonu

Her makine öğrenimi modelinin, öğrenme sürecini kontrol eden "hiperparametreler"i vardır. Örneğin, RandomForestRegressor'da n_estimators (ağaç sayısı) veya max_depth (ağacın maksimum derinliği) hiperparametrelerdir. Bu hiperparametrelerin doğru kombinasyonunu bulmak, modelinizin performansını önemli ölçüde etkileyebilir. Manuel olarak deneme yanılma yapmak yerine, otomatik optimizasyon tekniklerini kullanabiliriz.

• Grid Search (Izgara Arama): Belirlenen hiperparametreler için tüm olası kombinasyonları dener ve en iyi performansı veren kombinasyonu bulur.
• Random Search (Rastgele Arama): Belirlenen aralıklardan rastgele hiperparametre kombinasyonları seçer. Grid Search'ten genellikle daha hızlıdır ve geniş aralıklarda daha etkili olabilir.

from sklearn.model_selection import GridSearchCV

# Hiperparametreler için bir sözlük tanımlama
param_grid = {
    'n_estimators': [100, 200],
    'max_depth': [10, 20, None],
    'min_samples_leaf': [1, 2, 4]
}

# GridSearchCV nesnesini oluşturma
grid_search = GridSearchCV(RandomForestRegressor(random_state=42), param_grid, cv=3, scoring='neg_mean_squared_error', n_jobs=-1)

# Arama işlemini başlatma
# grid_search.fit(X_train, y_train) # Bu işlem uzun sürebilir!
# print(f"En iyi hiperparametreler: {grid_search.best_params_}")
# print(f"En iyi MSE skoru: {-grid_search.best_score_:.2f}")

# # En iyi modeli kullanma
# best_model = grid_search.best_estimator_
    

Yukarıdaki kod, GridSearchCV kullanarak RandomForestRegressor için hiperparametre araması yapar. cv=3 ifadesi 3 katlı çapraz doğrulama kullanılacağını belirtir, bu da modelin farklı veri alt kümeleri üzerinde değerlendirilmesini sağlar ve daha güvenilir bir performans tahmini sunar. scoring='neg_mean_squared_error' ise en düşük MSE'yi (yani en yüksek negatif MSE'yi) aradığımızı gösterir. Bu tip optimizasyonlar, modelinize ince ayar yapmanın ve potansiyelini maksimize etmenin en iyi yollarından biridir.

Topluluk Öğrenimi (Ensemble Methods)

Topluluk öğrenimi, birden fazla öğrenme algoritmasını bir araya getirerek tek bir modelden daha iyi tahmin performansı elde etme prensibine dayanır. Bu yöntemler, model çeşitliliğini kullanarak genelleme yeteneğini artırır ve aşırı öğrenmeyi azaltabilir. En popüler iki kategori şunlardır:

• Bagging (Örn: RandomForest): Veri setinin farklı alt örnekleri üzerinde birden fazla model eğitir ve tahminlerini birleştirir (ortalama alma veya oylama).
• Boosting (Örn: Gradient Boosting, XGBoost, LightGBM): Ardışık olarak zayıf modelleri eğitir, her yeni model önceki modelin hatalarını düzeltmeye odaklanır. Özellikle XGBoost ve LightGBM gibi modern algoritmalar, büyük veri setlerinde bile yüksek performans ve hız sunar.

from xgboost import XGBRegressor

# XGBoost modelini tanımlama ve eğitme
# Bu adım, daha önce eğitilen RandomForest modeline alternatif bir örnek sunar.
xgb_model = XGBRegressor(n_estimators=100, learning_rate=0.1, random_state=42, n_jobs=-1)
xgb_model.fit(X_train, y_train)

# Tahmin yapma ve değerlendirme (Daha önce gösterilen metrikleri kullanabilirsiniz)
# y_pred_xgb = xgb_model.predict(X_test)
# print(f"XGBoost R-squared: {r2_score(y_test, y_pred_xgb):.2f}")
    

XGBoost, performansı ve ölçeklenebilirliği nedeniyle regresyon ve sınıflandırma görevlerinde oldukça popülerdir. Daha az tahminci (n_estimators) ile bile etkili sonuçlar verebilir ve learning_rate parametresi ile öğrenme hızı kontrol edilebilir.

Model Yorumlanabilirliği (Model Interpretability)

Özellikle iş dünyasında, bir modelin sadece tahmin yapmakla kalmayıp, bu tahminleri neden yaptığını açıklayabilmesi de kritik öneme sahiptir. Model yorumlanabilirliği, modelin iç işleyişini ve tahminlerini anlamamızı sağlar. Bu, güven oluşturur, hataları ayıklamaya yardımcı olur ve iş kararları için değerli içgörüler sunar.

• Feature Importance (Özellik Önemi): Birçok model (örneğin RandomForest, XGBoost), hangi özelliklerin tahminler üzerinde en büyük etkiye sahip olduğunu gösteren bir "özellik önemi" skoru sağlar.
• SHAP (SHapley Additive exPlanations) ve LIME (Local Interpretable Model-agnostic Explanations): Bu araçlar, karmaşık modellerin tahminlerini yerel (tek bir örnek için) ve global (tüm veri seti için) düzeyde açıklayabilir. Hangi özelliklerin belirli bir tahmini yukarı veya aşağı çektiğini görselleştirmemizi sağlarlar.

# Özellik önemini görselleştirme (RandomForestRegressor modelimiz için)
feature_importances = model.feature_importances_
features = X.columns
importance_df = pd.DataFrame({'Feature': features, 'Importance': feature_importances})
importance_df = importance_df.sort_values(by='Importance', ascending=False)

plt.figure(figsize=(10, 7))
sns.barplot(x='Importance', y='Feature', data=importance_df.head(10))
plt.title('Top 10 Özellik Önem Dereceleri')
plt.show()
    

Bu ileri düzey teknikler, veri bilimi becerilerinizi sıradanlıktan çıkarıp sizi daha yetenekli ve aranan bir profesyonel yapacaktır. 13. gününüzde bu konulara dalmak, veri biliminin sadece kod yazmaktan ibaret olmadığını, aynı zamanda derinlemesine analiz ve stratejik düşünme gerektirdiğini gösterir.

Veri Bilimi Projelerinizi Mobil Uyumlu Hale Getirmek: Responsive Tasarım Neden Önemli?

Günümüzde veri bilimi projelerinin çıktısı, genellikle interaktif panolar, raporlar veya web uygulamaları şeklinde sunulur. Bu çıktılar, farklı cihazlar (masaüstü bilgisayarlar, tabletler, akıllı telefonlar) üzerinden erişilebilir olmalıdır. Bu noktada "mobil uyumlu" veya "responsive" tasarım devreye girer. Responsive tasarım, içeriğin ve düzenin ekran boyutuna ve cihaz tipine göre otomatik olarak ayarlanmasını sağlar. Veri bilimi bağlamında, bu özellikle oluşturduğumuz grafiklerin, tabloların ve diğer görselleştirmelerin küçük ekranlarda bile okunabilir ve kullanılabilir kalmasını garantilemek anlamına gelir. Bir dashboard tasarladığınızı düşünün; masaüstünde harika görünen karmaşık bir grafiğin telefonda küçücük ve anlamsız hale gelmesi, kullanıcı deneyimini ciddi şekilde düşürecektir. Bu nedenle, projelerinizin son aşamasında bu tür bir adaptasyonu düşünmek, emeğinizin daha geniş bir kitleye ulaşmasını ve daha etkili olmasını sağlar.

Mobil uyumlu tasarımın veri bilimi projeleri için önemi birkaç başlık altında toplanabilir:

• Erişilebilirlik: Kullanıcılar, nerede olurlarsa olsunlar ve hangi cihazı kullanırlarsa kullansınlar, analizlerinize erişebilirler. Bu, özellikle yöneticilerin veya karar vericilerin hareket halindeyken verilere hızlıca göz atmaları gerektiğinde kritik öneme sahiptir.
• Kullanıcı Deneyimi (UX): İyi bir kullanıcı deneyimi, projenizin değerini artırır. Küçük ekranlarda okunaksız metinler veya kayan grafikler yerine, duyarlı tasarım sayesinde içerik otomatik olarak yeniden düzenlenir, yazı tipleri ölçeklenir ve grafikler daha anlaşılır hale gelir.
• Verimlilik: Analizlerinizin mobil cihazlarda kolayca görüntülenmesi, paydaşların hızlı kararlar almasını sağlar. Karmaşık bir raporun masaüstüne ulaşmayı beklemek yerine, anında mobil cihazdan kontrol edilebilmesi, iş akışlarını hızlandırır.
• Geniş Kitleye Ulaşım: İnternet trafiğinin büyük bir kısmı mobil cihazlardan gelmektedir. Projelerinizin mobil uyumlu olması, potansiyel kullanıcı ve okuyucu kitlenizi genişletir.

Veri Bilimi Çıktıları için Mobil Uyumlu Tasarım Nasıl Yapılır?

Veri bilimi projelerinde genellikle Python'da Plotly, Dash, Streamlit gibi kütüphaneler kullanılarak interaktif panolar oluşturulur. Bu kütüphaneler genellikle responsive özellikleri yerleşik olarak sunar, ancak bazen ek CSS (Cascading Style Sheets) ile ince ayarlar yapmak gerekebilir. Temel bir HTML/CSS bağlamında, mobil uyumluluğu sağlamak için viewport meta etiketi ve medya sorguları (media queries) kullanılır:

Yukarıdaki örnekte:

• etiketi, tarayıcının sayfanın genişliğini cihazın ekran genişliğine göre ayarlamasını söyler.
• .chart-container sınıfı, bir grafik veya veri görselleştirmesini barındıran bir div öğesini temsil eder.
• @media screen and (max-width: 768px) ve @media screen and (max-width: 480px) medya sorguları, belirli ekran genişliklerinin altına düşüldüğünde farklı CSS kurallarının uygulanmasını sağlar. Bu sayede, grafik kapsayıcısının genişliği, kenar boşlukları ve hatta gölgeler gibi görsel özellikler, ekran boyutuna göre otomatik olarak ayarlanır.

Veri bilimi projelerinizi mobil uyumlu hale getirmek, sadece teknik bir gereklilik değil, aynı zamanda projenizin etki alanını genişleten ve elde ettiğiniz içgörülerin daha geniş bir kitleye ulaşmasını sağlayan stratejik bir yatırımdır. 13. gününüzde bu tür bir düşünce yapısını benimsemek, sizi sadece bir veri analizinden fazlası yapacak, aynı zamanda veri ürünleri geliştirebilen ve sunabilen kapsamlı bir profesyonel haline getirecektir.

Sonuç: Veri Bilimi Yolculuğunuzda Sürdürülebilir Başarıya Ulaşmak İçin Neler Yapmalı?

Veri bilimi yolculuğunuzun 13. gününe odaklandığımız bu rehberde, temel kavramların derinlemesine pekiştirilmesinden, gerçek dünya veri setleriyle pratik uygulamalara, etkili özellik mühendisliği tekniklerinden makine öğrenimi modellerinin seçimi ve değerlendirilmesine, hatta mobil uyumlu çıktılar üretmeye kadar geniş bir yelpazeyi ele aldık. Bu yolculuk, sadece teknik beceriler kazanmaktan ibaret değildir; aynı zamanda problem çözme yeteneğinizi geliştirme, analitik düşünme becerilerinizi keskinleştirme ve sürekli öğrenme disiplinini benimseme sürecidir. Her adımda, veriden anlam çıkarmaya çalıştık ve bu anlamı iş kararlarına dönüştürebilecek potansiyeli keşfettik. Unutmayın, veri bilimi sürekli bir öğrenme ve adaptasyon döngüsüdür; bugünün en iyi uygulamaları yarın değişebilir. Bu nedenle, merakınızı canlı tutmak ve kendinizi sürekli güncel tutmak hayati önem taşır. Bu süreklilik, sizi sadece "gün 13"ten çok daha ileriye taşıyacak, aynı zamanda sektörde aranan, değerli bir profesyonel yapacaktır. Karşılaştığınız her zorluk, yeni bir öğrenme fırsatıdır ve her başarılı proje, özgüveninizi ve uzmanlığınızı pekiştirir. Bu yolculukta edindiğiniz her bilgi kırıntısı ve uyguladığınız her teknik, gelecekteki büyük başarılarınızın temelini oluşturacaktır. Dolayısıyla, bu alana olan tutkunuzu asla kaybetmeyin ve her yeni günü bir öğrenme ve gelişim fırsatı olarak görün.

Veri bilimi alanında sürdürülebilir başarıya ulaşmak için:

• Sürekli Pratik Yapın: Öğrendiğiniz her yeni konuyu küçük projelerle uygulamaya koyun. Kaggle gibi platformlardaki yarışmalara katılmak, gerçek dünya problemleriyle karşılaşmak için harika bir yoldur.
• Portföy Oluşturun: Yaptığınız projeleri (GitHub, kişisel blog vb.) bir portföyde sergileyin. Bu, hem öğrenme sürecinizi takip etmenizi sağlar hem de potansiyel işverenlere yeteneklerinizi göstermenin en etkili yoludur.
• Topluluğa Katılın: Veri bilimi topluluklarına (online forumlar, meetup'lar) katılarak diğer veri bilimcileriyle bağlantı kurun. Sorular sorun, cevaplar arayın, deneyimlerinizi paylaşın. Bu, yeni perspektifler kazanmanızı ve motivasyonunuzu yüksek tutmanızı sağlar.
• İş Bilgisini Geliştirin: Sadece teknik becerilere odaklanmak yerine, veri biliminin uygulandığı sektörler hakkında da bilgi edinin. Alan bilgisi (domain expertise), modellerinizi daha anlamlı hale getirmenize yardımcı olur.
• Hatalardan Ders Çıkarın: Her proje mükemmel olmayabilir. Hatalarınızı analiz edin, neden başarısız olduğunu anlamaya çalışın ve bu deneyimlerden ders çıkararak bir sonraki projenizde daha iyi olun.

Bu tavsiyeleri dikkate alarak, veri bilimi yolculuğunuzda sadece 13. günü değil, tüm zorlu ancak ödüllendirici aşamaları başarıyla geçebilir ve bu heyecan verici alanda kalıcı bir yer edinebilirsiniz.

Sıkça Sorulan Sorular (SSS)

1. Veri bilimi öğrenirken motivasyonumu nasıl yüksek tutabilirim?

Motivasyonu yüksek tutmanın anahtarı, küçük, ulaşılabilir hedefler belirlemek, öğrendiklerinizi hemen uygulamaya koymak ve ilginizi çeken gerçek dünya veri setleriyle çalışmaktır. Ayrıca, bir öğrenme topluluğuna katılmak ve başarılarınızı paylaşmak da motivasyonunuzu artıracaktır. Her gün belirli bir süre ayırarak düzenli çalışmak ve kısa aralar vermek de faydalıdır.

2. Hangi programlama dilini öğrenmeliyim: Python mı, R mı?

Her iki dilin de kendine göre avantajları vardır. Python, genel programlama, web geliştirme ve üretim ortamlarına dağıtım için daha yaygın kullanılırken, R istatistiksel analiz ve görselleştirme için güçlü araçlar sunar. Günümüz trendlerinde Python, veri bilimi, makine öğrenimi ve yapay zeka alanlarında daha geniş bir ekosisteme sahip olması nedeniyle genellikle ilk tercih olarak önerilir.

3. Bir portföy projesi için veri setini nerede bulabilirim?

Kaggle, UC Irvine Machine Learning Repository ve Google Dataset Search gibi platformlar, geniş bir veri seti yelpazesi sunar. Ayrıca, hükümetlerin veya araştırma kurumlarının açık veri portallarını da (örneğin, TUİK) inceleyebilirsiniz. Projenizin ilgi alanınıza uygun ve yeterince karmaşık bir veri setine sahip olduğundan emin olun.

4. Makine öğrenimi modelimi neden mobil uyumlu hale getirmeliyim?

Günümüzde birçok kullanıcı internete mobil cihazlar üzerinden erişmektedir. Modelinizin çıktısını (dashboard, tahmin arayüzü vb.) mobil uyumlu hale getirmek, kullanıcı deneyimini artırır, projenizin erişilebilirliğini genişletir ve elde ettiğiniz içgörülerin daha geniş bir kitleye ulaşmasını sağlar. Bu, projenizin etkisini maksimize etmenize yardımcı olur.

5. Veri biliminde uzmanlaşmak ne kadar sürer?

Veri bilimi geniş bir alandır ve uzmanlaşma kişisel çabaya, öğrenme hızına ve önceki deneyimlere bağlı olarak değişir. Genellikle, temelden başlayıp pratik deneyim kazanmak birkaç aydan bir yıla kadar sürebilir. Ancak tam anlamıyla uzmanlaşmak ve sektörde lider konuma gelmek, sürekli öğrenme ve tecrübe birikimi gerektiren ömür boyu süren bir yolculuktur. Her gün attığınız adımlar, bu yolculuğun değerli birer parçasıdır.