Takip et

NumPy ve SciPy ile İstatistiksel Analize Neden İhtiyaç Duyarız?

NumPy ve SciPy ile İstatistiksel Analiz: Kapsamlı Rehber

Büyük veri setleriyle çalışırken istatistiksel analiz yapmak gözünüzü korkutuyor mu? Bu rehber, NumPy ve SciPy kütüphanelerinin gücünü kullanarak verilerinizi derinlemesine anlamanıza yardımcı olacak pratik bilgiler sunuyor. Kapsamlı vaka çalışmalarıyla, karmaşık istatistiksel problemleri adım adım nasıl çözeceğinizi keşfedin.

Günümüz dünyasında veri, adeta yeni petrol olarak kabul ediliyor. İşletmelerden bilimsel araştırmalara, sosyal medyadan finans piyasalarına kadar her alanda devasa boyutlarda veri üretiliyor. Ancak ham veri tek başına bir anlam ifade etmez; asıl değer, bu veriden anlamlı içgörüler elde etmek ve geleceğe yönelik tahminlerde bulunmaktır. İşte tam da bu noktada, Python ekosisteminin iki vazgeçilmez kütüphanesi olan NumPy ve SciPy devreye giriyor.

Peki, neden bu kütüphanelere bu kadar ihtiyaç duyuyoruz? Geleneksel hesaplama araçları, özellikle büyük veri setleriyle karşılaştığında performans sorunları yaşayabilir veya karmaşık istatistiksel modelleri uygulamak için yeterli esnekliği sunmayabilir. NumPy, sayısal işlemleri olağanüstü hızlı bir şekilde gerçekleştirmemizi sağlarken, SciPy ise bilimsel ve teknik hesaplamalar için geniş bir araç yelpazesi sunar. Bu ikili, veri bilimcilerin ve analistlerin veriyi temizlemesinden, özetlemesine, hipotez testleri yapmaktan, regresyon modelleri kurmaya kadar geniş bir yelpazede görevleri kolayca yerine getirmesine olanak tanır.

Bu makalede, NumPy ve SciPy’nin temel prensiplerinden başlayarak, gerçek dünya senaryolarıyla desteklenen vaka analizleri üzerinden istatistiksel analizdeki kullanımlarını adım adım inceleyeceğiz. Amacımız, ister veri bilimine yeni başlayan biri olun ister deneyimli bir profesyonel, bu güçlü araçları kullanarak verilerinizden en yüksek değeri nasıl çıkaracağınızı göstermektir. Özellikle performans odaklı yaklaşımlar ve mobil uyumlu çözümlerle, analiz süreçlerinizi daha verimli ve erişilebilir kılmanın yollarını keşfedeceksiniz. Dolayısıyla, gelin bu heyecan verici yolculuğa birlikte çıkalım ve verinin gizli dünyasını aydınlatalım.

İstatistiksel analiz yeteneklerinizi geliştirmek ve veri odaklı kararlar alma becerinizi pekiştirmek için bu rehber tam size göre. Artık karmaşık veri setleri karşısında çaresiz kalmayacak, aksine onlardan değerli bilgiler çıkarmak için donanımlı hale geleceksiniz.

Temel Taşlar: NumPy Nedir ve İstatistiksel Analizde Rolü Nedir?

NumPy (Numerical Python), Python'da sayısal hesaplamalar için temel bir kütüphanedir. Özellikle çok boyutlu diziler (ndarray) ve bu diziler üzerinde yüksek performanslı matematiksel işlemler için tasarlanmıştır. Veri bilimindeki popülaritesi, büyük veri setlerini işlerken sağladığı hız ve esneklik sayesinde tavan yapmıştır. Geleneksel Python listeleri, sayısal işlemler için yeterince optimize edilmiş değildir; ancak NumPy'nin ndarray yapısı, verileri bellekte daha düzenli ve verimli bir şekilde saklayarak C veya Fortran gibi düşük seviyeli dillerdeki performanslara yakın sonuçlar elde etmemizi sağlar.

İstatistiksel analizde NumPy'nin rolü oldukça kritiktir. Bir veri setini bir ndarray olarak temsil etmek, ortalama (mean), medyan (median), standart sapma (standard deviation), varyans (variance), minimum (min), maksimum (max) gibi temel istatistiksel ölçümleri saniyeler içinde hesaplamamızı mümkün kılar. Örneğin, binlerce satış rakamından oluşan bir dizinin ortalamasını bulmak, NumPy ile son derece basittir. Ayrıca, farklı veri setleri üzerinde toplama, çıkarma, çarpma gibi vektörleştirilmiş işlemler de kolayca yapılabilir, bu da döngü yazma ihtiyacını ortadan kaldırarak kodun hem daha okunaklı hem de daha hızlı olmasını sağlar.


import numpy as np

# Örnek bir veri seti (günlük satış rakamları)
satis_rakamlari = np.array([120, 150, 130, 180, 110, 160, 140, 190, 200, 170])

# Temel istatistiksel ölçümler
ortalama = np.mean(satis_rakamlari)
medyan = np.median(satis_rakamlari)
standart_sapma = np.std(satis_rakamlari)
varyans = np.var(satis_rakamlari)
minimum_deger = np.min(satis_rakamlari)
maksimum_deger = np.max(satis_rakamlari)

print(f"Ortalama Satış: {ortalama:.2f}")
print(f"Medyan Satış: {medyan:.2f}")
print(f"Standart Sapma: {standart_sapma:.2f}")
print(f"Varyans: {varyans:.2f}")
print(f"Minimum Satış: {minimum_deger}")
print(f"Maksimum Satış: {maksimum_deger}")
    

Yukarıdaki örnekte görüldüğü gibi, sadece birkaç satır kodla bir veri setinin temel istatistiksel özelliklerini kolayca çıkarabiliyoruz. Bu özellikler, verinin merkez eğilimini, yayılımını ve genel dağılımını anlamak için ilk adımlardır. NumPy ayrıca, matris çarpımı, eleman bazında işlemler ve veri filtreleme gibi daha karmaşık matematiksel operasyonlar için de kapsamlı destek sunar. Bu da onu sadece basit istatistikler için değil, aynı zamanda daha gelişmiş veri manipülasyonu ve ön işleme adımları için de vazgeçilmez kılar.

Sonuç olarak, NumPy, veriyi etkin bir şekilde depolama, manipüle etme ve üzerinde temel istatistiksel hesaplamalar yapma yeteneğiyle veri analizi sürecinin temelini oluşturur. Bu sağlam temel üzerine inşa edilen SciPy gibi kütüphanelerle birlikte, çok daha sofistike analizler gerçekleştirebiliriz. Dolayısıyla, veri bilimi yolculuğunuzda sağlam bir başlangıç yapmak istiyorsanız, NumPy'ye hakim olmak atılacak en önemli adımlardan biridir.

Bilimsel Hesaplamanın Gücü: SciPy İstatistiksel Araçları Nasıl Zenginleştirir?

NumPy, sayısal verilerle çalışmak için harika bir temel sağlarken, SciPy (Scientific Python) bu temeli bilimsel ve teknik hesaplamalar için özelleşmiş fonksiyonlarla zenginleştirir. SciPy, optimizasyon, sinyal işleme, doğrusal cebir, Fourier dönüşümleri ve özellikle istatistik gibi alanlar için özel modüller sunar. Veri analizinde, SciPy'nin scipy.stats modülü, istatistiksel hipotez testleri, farklı olasılık dağılımları ve korelasyon analizleri gibi daha derinlemesine istatistiksel görevler için vazgeçilmez bir araçtır. Bu modül, NumPy'nin sağladığı temel istatistiklerin ötesine geçerek, veri bilimcilerine daha sofistike analizler yapma yeteneği kazandırır.

scipy.stats modülü, t-testi, ANOVA, ki-kare testi gibi popüler hipotez testlerini uygulamak için kullanışlı fonksiyonlar içerir. Ayrıca, normal dağılım (norm), tekdüze dağılım (uniform) veya üstel dağılım (expon) gibi çeşitli olasılık dağılımlarının yoğunluk fonksiyonlarını, kümülatif dağılım fonksiyonlarını ve rastgele örnekler üretme yeteneklerini sağlar. Bu, verilerinizin hangi dağılıma uyduğunu anlamak veya belirli bir dağılımdan rastgele veri üretmek istediğinizde çok işe yarar. Örneğin, bir A/B testi sonucunu değerlendirirken, iki grup arasındaki farkın istatistiksel olarak anlamlı olup olmadığını anlamak için t-testi kullanabiliriz. Bu, SciPy'nin analitik gücünün önemli bir göstergesidir.


from scipy import stats
import numpy as np

# Örnek veri: İki farklı grubun sonuçları
grup_a_sonuclari = np.array([22, 25, 23, 27, 26, 24, 28, 20, 29, 21])
grup_b_sonuclari = np.array([20, 23, 21, 25, 24, 22, 26, 19, 27, 20])

# Bağımsız iki örneklem t-testi yapma
# equal_var=True varsayımı: örneklem varyansları eşittir
t_istatistigi, p_degeri = stats.ttest_ind(grup_a_sonuclari, grup_b_sonuclari, equal_var=True)

print(f"T-İstatistiği: {t_istatistigi:.3f}")
print(f"P-Değeri: {p_degeri:.3f}")

# P-değeri yorumlama (örneğin, anlamlılık düzeyi alfa = 0.05)
if p_degeri < 0.05:
    print("P-değeri 0.05'ten küçük, gruplar arasında istatistiksel olarak anlamlı bir fark var.")
else:
    print("P-değeri 0.05'ten büyük, gruplar arasında istatistiksel olarak anlamlı bir fark yok.")
    

Yukarıdaki kod bloğu, SciPy'nin ttest_ind fonksiyonunu kullanarak iki bağımsız örneklem arasında bir t-testi nasıl yapıldığını göstermektedir. Elde edilen p-değeri, gruplar arasındaki farkın şans eseri mi yoksa gerçek bir etki sonucu mu olduğunu belirlememize yardımcı olur. Ayrıca, SciPy, korelasyon analizi için de güçlü araçlar sunar. Pearson ve Spearman korelasyon katsayılarını hesaplayarak iki değişken arasındaki ilişkinin yönünü ve gücünü belirleyebiliriz. Bu, özellikle regresyon analizi öncesinde değişkenler arasındaki ilişkileri keşfetmek için faydalıdır.

Özetle, SciPy, NumPy'nin sağladığı temel sayısal altyapı üzerine inşa edilmiş, bilimsel hesaplamalar için özel olarak tasarlanmış yüksek seviyeli işlevler sunar. Özellikle istatistiksel analizde, karmaşık testler ve dağılım modellemeleri için vazgeçilmezdir. Bu iki kütüphane bir araya geldiğinde, veri bilimciler için veri analizinin hemen her aşamasında güçlü ve esnek bir çözüm sunar. Dolayısıyla, derinlemesine istatistiksel içgörüler elde etmek isteyen herkesin SciPy'nin sunduğu bu zengin araç setini keşfetmesi şiddetle tavsiye edilir.

Vaka Analizi 1: Satış Verilerini Anlamak – Merkezi Eğilim ve Dağılım Analizi

Bir e-ticaret şirketinin günlük satış verilerini analiz ettiğimizi düşünelim. Şirket yöneticileri, genel satış performansını anlamak, tipik bir günde ne kadar satış yapıldığını görmek ve satışlardaki değişkenliği ölçmek istiyorlar. Ayrıca, beklenmedik derecede yüksek veya düşük satışların (aykırı değerler) olup olmadığını da merak ediyorlar. Bu senaryo, NumPy'nin temel istatistiksel yeteneklerini kullanarak veriye ilk bakışımızı atmak için harika bir fırsat sunuyor.

Öncelikle, rastgele oluşturulmuş bir veri seti ile bir aylık (30 gün) günlük satış rakamlarını simüle edelim. Bu veriyi bir NumPy dizisi olarak saklayacağız. Daha sonra, ortalama, medyan, mod, standart sapma ve varyans gibi temel merkezi eğilim ve yayılım ölçütlerini hesaplayacağız. Bu ölçütler, satışların genel gidişatı hakkında bize ilk ipuçlarını verecektir.


import numpy as np
from scipy import stats # Mod için scipy.stats gerekli

# 30 günlük satış verilerini simüle edelim (örneğin, 500 ile 2000 TL arasında değişen satışlar)
np.random.seed(42) # Tekrarlanabilirlik için
gunluk_satislar = np.random.randint(500, 2000, 30)

print("Günlük Satış Verileri:\n", gunluk_satislar)

# Merkezi Eğilim Ölçüleri
ortalama_satis = np.mean(gunluk_satislar)
medyan_satis = np.median(gunluk_satislar)

# Mod hesaplaması için SciPy'dan stats.mode kullanıyoruz
# np.mode yok, bu yüzden scipy.stats.mode kullanmak en kolayıdır.
mod_sonucu = stats.mode(gunluk_satislar, keepdims=False) # keepdims=False for older scipy versions
mod_satis = mod_sonucu.mode if mod_sonucu.count > 0 else "Mod bulunamadı veya birden fazla mod var" # Eğer mod yoksa veya birden fazla ise

print(f"\nOrtalama Günlük Satış: {ortalama_satis:.2f} TL")
print(f"Medyan Günlük Satış: {medyan_satis:.2f} TL")
print(f"Mod Günlük Satış: {mod_satis} TL")

# Dağılım Ölçüleri
standart_sapma_satis = np.std(gunluk_satislar)
varyans_satis = np.var(gunluk_satislar)
min_satis = np.min(gunluk_satislar)
max_satis = np.max(gunluk_satislar)
aralik_satis = max_satis - min_satis

print(f"Standart Sapma: {standart_sapma_satis:.2f} TL")
print(f"Varyans: {varyans_satis:.2f} TL")
print(f"Minimum Satış: {min_satis} TL")
print(f"Maksimum Satış: {max_satis} TL")
print(f"Satış Aralığı: {aralik_satis} TL")

# Aykırı değer tespiti (IQR metodu ile basit bir yaklaşım)
Q1 = np.percentile(gunluk_satislar, 25)
Q3 = np.percentile(gunluk_satislar, 75)
IQR = Q3 - Q1
alt_sinir = Q1 - 1.5 * IQR
ust_sinir = Q3 + 1.5 * IQR

aykiri_degerler = gunluk_satislar[(gunluk_satislar < alt_sinir) | (gunluk_satislar > ust_sinir)]

print(f"\nQ1 (25. Yüzdelik Dilim): {Q1:.2f} TL")
print(f"Q3 (75. Yüzdelik Dilim): {Q3:.2f} TL")
print(f"IQR (Çeyrekler Arası Aralık): {IQR:.2f} TL")
print(f"Alt Sınır (Aykırı Değerler İçin): {alt_sinir:.2f} TL")
print(f"Üst Sınır (Aykırı Değerler İçin): {ust_sinir:.2f} TL")

if len(aykiri_degerler) > 0:
    print(f"Tespit Edilen Aykırı Değerler: {aykiri_degerler}")
else:
    print("Aykırı değer tespit edilmedi.")
    
Uzman İpucu: Özellikle büyük veri setlerinde, ortalama aykırı değerlerden çok etkilenebilirken, medyan daha sağlam bir merkezi eğilim ölçütüdür. Veri dağılımınız çarpıksa (skewed), medyanı kullanmak daha doğru bir fikir verebilir.

Bu analizin sonuçları, yöneticilere önemli bilgiler sağlar. Örneğin, ortalama ve medyan satışlar birbirine yakınsa, satış dağılımının simetrik olduğu varsayılabilir. Eğer ortalama, medyandan önemli ölçüde yüksekse, bu yüksek satış yapan günlerin ortalamayı yukarı çektiği anlamına gelirken, düşükse tam tersi geçerlidir. Standart sapma, satışların ortalamadan ne kadar saptığını gösterir; yüksek bir standart sapma, satışlarda daha fazla oynaklık olduğunu belirtir. IQR (Interquartile Range) ve yüzdelik dilimler kullanarak aykırı değer tespiti ise, alışılmadık satış performanslarını (çok düşük veya çok yüksek) belirlememizi sağlar. Bu tür günlerin neden farklılaştığını araştırmak, operasyonel veya pazarlama stratejilerinde önemli içgörüler sunabilir. Örneğin, aykırı yüksek satış günlerinde özel bir kampanya yapılmış olabilir veya aykırı düşük satış günlerinde teknik bir sorun yaşanmış olabilir.

Vaka Analizi 2: A/B Testi ile Pazarlama Kampanyası Başarısını Ölçmek

Bir e-ticaret şirketi, yeni bir pazarlama stratejisinin (Kampanya B) mevcut stratejiden (Kampanya A) daha etkili olup olmadığını belirlemek istiyor. Bunun için, web sitesi ziyaretçilerinin bir kısmına Kampanya A'yı, diğer bir kısmına ise Kampanya B'yi gösteriyorlar ve her iki grubun dönüşüm oranlarını (bir ürün satın alma veya kayıt olma) takip ediyorlar. Amaç, Kampanya B'nin gerçekten Kampanya A'dan daha iyi performans gösterip göstermediğini istatistiksel olarak kanıtlamaktır. Bu senaryo, SciPy'nin hipotez testi yeteneklerini kullanmak için mükemmel bir örnektir.

Bu vaka analizinde, iki bağımsız grup arasındaki ortalamaların karşılaştırılması için bağımsız örneklem t-testi uygulayacağız. Varsayımımız, her iki kampanyanın da denendiği grupların birbirinden bağımsız olduğudur. Test sonucunda elde edeceğimiz p-değeri, Kampanya B'nin Kampanya A'ya göre istatistiksel olarak anlamlı bir fark yaratıp yaratmadığını belirlememize yardımcı olacak.


import numpy as np
from scipy import stats

# Kampanya A ve Kampanya B için dönüşüm verilerini simüle edelim
# Dönüşüm oranlarını temsilen başarı sayıları
# Her kampanya için 1000 kullanıcı, 100 dönüşüm, 120 dönüşüm gibi...
np.random.seed(42) # Tekrarlanabilirlik için

# Kampanya A: 1000 gösterimden 100 dönüşüm (örneğin %10 dönüşüm oranı)
# Gerçekçi bir senaryo için rastgele bir dönüşüm sayısı oluşturalım.
# Ortalama 100 dönüşüm, standart sapma 10
d_kampanya_a = np.random.normal(loc=100, scale=10, size=100) # Örneğin, 100 günlük dönüşüm sayısı
d_kampanya_a = d_kampanya_a[d_kampanya_a > 0].astype(int) # Negatif dönüşüm olamaz, tam sayıya çevir

# Kampanya B: 1000 gösterimden 120 dönüşüm (örneğin %12 dönüşüm oranı)
# Ortalama 120 dönüşüm, standart sapma 12
d_kampanya_b = np.random.normal(loc=120, scale=12, size=100) # Örneğin, 100 günlük dönüşüm sayısı
d_kampanya_b = d_kampanya_b[d_kampanya_b > 0].astype(int)

# Basit bir örnek için her iki kampanyadan belirli sayıda dönüşüm oranı verisi alalım
# (Gerçek A/B testlerinde genellikle binom dağılımı kullanılır ama burada ortalama karşılaştırma yapacağız)
print(f"Kampanya A Dönüşüm Sayıları Ortalaması: {np.mean(d_kampanya_a):.2f}")
print(f"Kampanya B Dönüşüm Sayıları Ortalaması: {np.mean(d_kampanya_b):.2f}")

# Bağımsız iki örneklem t-testi
# Varsayım: Grupların varyansları eşit değildir (Welch's t-testi, yaygın ve daha güvenli bir yaklaşımdır)
t_istatistigi, p_degeri = stats.ttest_ind(d_kampanya_a, d_kampanya_b, equal_var=False)

print(f"\nT-İstatistiği: {t_istatistigi:.3f}")
print(f"P-Değeri: {p_degeri:.3f}")

# Anlamlılık düzeyi (alfa) belirleyelim, genellikle 0.05
alfa = 0.05

if p_degeri < alfa:
    print(f"P-değeri ({p_degeri:.3f}) {alfa}'dan küçük. Boş hipotez reddedilir.")
    print("Kampanya A ve Kampanya B arasında istatistiksel olarak anlamlı bir fark vardır.")
    if np.mean(d_kampanya_b) > np.mean(d_kampanya_a):
        print("Kampanya B'nin ortalama dönüşüm sayısı Kampanya A'dan istatistiksel olarak daha yüksektir.")
    else:
        print("Kampanya A'nın ortalama dönüşüm sayısı Kampanya B'den istatistiksel olarak daha yüksektir.")
else:
    print(f"P-değeri ({p_degeri:.3f}) {alfa}'dan büyük veya eşit. Boş hipotez reddedilemez.")
    print("Kampanya A ve Kampanya B arasında istatistiksel olarak anlamlı bir fark yoktur.")

# Güven Aralığı Hesaplama (Basit bir örnek için, tam güven aralığı hesaplaması daha karmaşıktır)
# Her grup için ortalama ve standart hata
mean_a = np.mean(d_kampanya_a)
std_a = np.std(d_kampanya_a, ddof=1) # ddof=1 for sample standard deviation
n_a = len(d_kampanya_a)
sem_a = std_a / np.sqrt(n_a)

mean_b = np.mean(d_kampanya_b)
std_b = np.std(d_kampanya_b, ddof=1)
n_b = len(d_kampanya_b)
sem_b = std_b / np.sqrt(n_b)

# %95 Güven Aralığı için t-skoru (yaklaşık 1.96, n büyük olduğunda z-skoru gibi)
# Daha doğru olması için serbestlik derecesi ile t.ppf kullanabiliriz.
# stats.t.ppf(1 - alfa/2, df) -> df = n-1
df_a = n_a - 1
df_b = n_b - 1

margin_of_error_a = stats.t.ppf(1 - alfa/2, df_a) * sem_a
conf_interval_a = (mean_a - margin_of_error_a, mean_a + margin_of_error_a)

margin_of_error_b = stats.t.ppf(1 - alfa/2, df_b) * sem_b
conf_interval_b = (mean_b - margin_of_error_b, mean_b + margin_of_error_b)

print(f"\nKampanya A için %95 Güven Aralığı: ({conf_interval_a[0]:.2f}, {conf_interval_a[1]:.2f})")
print(f"Kampanya B için %95 Güven Aralığı: ({conf_interval_b[0]:.2f}, {conf_interval_b[1]:.2f})")
    

Bu analizin sonuçlarına göre, eğer p-değeri önceden belirlenmiş anlamlılık düzeyi olan 0.05'ten küçükse, boş hipotezi (yani "iki kampanya arasında fark yoktur" varsayımı) reddederiz. Bu durumda, Kampanya B'nin Kampanya A'dan istatistiksel olarak anlamlı bir şekilde farklı bir performans gösterdiğini söyleyebiliriz. Hangi kampanyanın daha iyi olduğunu belirlemek için ortalama dönüşüm oranlarını karşılaştırmamız yeterli olacaktır. Eğer p-değeri 0.05'ten büyükse, gruplar arasında istatistiksel olarak anlamlı bir fark olmadığını kabul ederiz; yani Kampanya B'nin Kampanya A'dan daha iyi olduğuna dair yeterli kanıtımız yoktur.

Güven aralıkları da karar verme sürecinde önemli bir rol oynar. Her iki kampanyanın güven aralıkları çakışmıyorsa, bu da genellikle istatistiksel olarak anlamlı bir fark olduğunu gösterir. Eğer çakışıyorlarsa, farkın istatistiksel olarak anlamlı olma olasılığı düşüktür. A/B testleri, pazarlama, ürün geliştirme ve web sitesi optimizasyonu gibi alanlarda veri odaklı kararlar almak için vazgeçilmez bir yöntemdir ve SciPy bu testleri güvenilir bir şekilde uygulamanızı sağlar.

İleri Düzey Konular ve En İyi Uygulamalar: Regresyon ve Korelasyon Analizi

NumPy ve SciPy, sadece temel istatistik ve hipotez testleri için değil, aynı zamanda daha ileri düzey analizler için de güçlü bir temel oluşturur. Özellikle regresyon ve korelasyon analizi, değişkenler arasındaki ilişkileri anlamak ve gelecekteki değerleri tahmin etmek için kritik öneme sahiptir. Bu bölümde, bu konulara daha yakından bakacak ve SciPy'nin bu alandaki yeteneklerini keşfedeceğiz.

Korelasyon Analizi: İlişkilerin Gücü ve Yönü

Korelasyon, iki değişken arasındaki doğrusal ilişkinin yönünü ve gücünü ölçer. Pozitif korelasyon, bir değişken artarken diğerinin de arttığını, negatif korelasyon ise bir değişken artarken diğerinin azaldığını gösterir. Korelasyon katsayısı -1 ile +1 arasında değişir; 0'a yakın değerler zayıf veya ilişkisizliği, ±1'e yakın değerler ise güçlü bir ilişkiyi ifade eder. SciPy, Pearson ve Spearman gibi farklı korelasyon katsayılarını hesaplamak için scipy.stats modülünde fonksiyonlar sunar.

  • Pearson Korelasyon Katsayısı: İki değişken arasındaki doğrusal ilişkiyi ölçer ve verilerin normal dağıldığı varsayımına dayanır.
  • Spearman Korelasyon Katsayısı: Değişkenler arasındaki monotonik ilişkiyi (doğrusal olmayan ama sürekli artan veya azalan) ölçer ve verilerin sıralamalarına dayanır, bu nedenle aykırı değerlere karşı daha sağlamdır ve normal dağılım varsayımı gerektirmez.

import numpy as np
from scipy.stats import pearsonr, spearmanr

# Örnek veri: Reklam harcamaları (x) ve satışlar (y)
reklam_harcamalari = np.array([100, 120, 150, 130, 180, 200, 160, 220, 190, 250]) # bin TL
satislar = np.array([500, 550, 620, 580, 700, 750, 650, 800, 720, 900]) # bin TL

# Pearson Korelasyonu
pearson_corr, pearson_p_value = pearsonr(reklam_harcamalari, satislar)
print(f"Pearson Korelasyon Katsayısı: {pearson_corr:.3f} (p-değeri: {pearson_p_value:.3f})")

# Spearman Korelasyonu
spearman_corr, spearman_p_value = spearmanr(reklam_harcamalari, satislar)
print(f"Spearman Korelasyon Katsayısı: {spearman_corr:.3f} (p-değeri: {spearman_p_value:.3f})")

if pearson_corr > 0.7:
    print("Reklam harcamaları ile satışlar arasında güçlü ve pozitif bir doğrusal ilişki var.")
elif pearson_corr < -0.7:
    print("Reklam harcamaları ile satışlar arasında güçlü ve negatif bir doğrusal ilişki var.")
else:
    print("Reklam harcamaları ile satışlar arasında zayıf veya orta düzeyde bir doğrusal ilişki var.")
    

Regresyon Analizi: Tahmin ve İlişki Modellemesi

Regresyon analizi, bir veya daha fazla bağımsız değişken (açıklayıcı değişken) kullanarak bağımlı bir değişkenin değerini tahmin etmeyi amaçlar. En yaygın türü olan doğrusal regresyon, değişkenler arasında doğrusal bir ilişki olduğunu varsayar. SciPy'nin scipy.stats modülündeki linregress fonksiyonu, basit doğrusal regresyon analizi yapmak için kullanılabilir ve eğim (slope), kesişim noktası (intercept), korelasyon katsayısı (r-value), p-değeri ve standart hata gibi önemli istatistikleri döndürür.


import numpy as np
from scipy.stats import linregress

# Reklam harcamaları ve satış verileri (yukarıdakiyle aynı)
reklam_harcamalari = np.array([100, 120, 150, 130, 180, 200, 160, 220, 190, 250])
satislar = np.array([500, 550, 620, 580, 700, 750, 650, 800, 720, 900])

# Doğrusal regresyon analizi
egim, kesisim, r_degeri, p_degeri, std_hata = linregress(reklam_harcamalari, satislar)

print(f"\nRegresyon Denklemi: Y = {egim:.2f} * X + {kesisim:.2f}")
print(f"Eğim (Slope): {egim:.2f}")
print(f"Y-Kesişim (Intercept): {kesisim:.2f}")
print(f"Korelasyon Katsayısı (R-value): {r_degeri:.3f}")
print(f"P-Değeri: {p_degeri:.3f}")
print(f"Standart Hata: {std_hata:.3f}")

# Yeni bir reklam harcaması değeri için satış tahmini yapma
tahmin_edilecek_harcama = 210 # bin TL
tahmin_edilen_satis = egim * tahmin_edilecek_harcama + kesisim
print(f"{tahmin_edilecek_harcama} bin TL reklam harcaması için tahmin edilen satış: {tahmin_edilen_satis:.2f} bin TL")
    
Uzman İpucu: Karmaşık regresyon modelleri veya çoklu bağımsız değişkenler için Scikit-learn kütüphanesinin LinearRegression modelini kullanmak daha uygun olacaktır. SciPy'nin linregress'i basit doğrusal regresyon için idealdir.

Bu analizler, reklam harcamalarının satışları nasıl etkilediğini anlamamıza ve gelecekteki reklam bütçeleriyle ilgili kararlar almamıza yardımcı olur. Regresyon denklemi, belirli bir reklam harcaması miktarı için beklenen satış miktarını tahmin etmek için kullanılabilir. P-değeri, regresyon modelinin istatistiksel olarak anlamlı olup olmadığını gösterirken, R-değeri (veya R-kare) modelin bağımlı değişkendeki varyansı ne kadar iyi açıkladığını belirtir.

NumPy ve SciPy, bu tür ileri düzey istatistiksel analizler için güçlü ve esnek bir temel sunarak, veri bilimcilerinin ve analistlerin verilerinden değerli içgörüler elde etmelerini sağlar. Bu araçları etkili bir şekilde kullanarak, veri odaklı kararlar alabilir ve işletmelerin veya araştırmaların başarısına önemli katkılarda bulunabilirsiniz.

Sıkça Sorulan Sorular

NumPy ve SciPy'ı birlikte kullanmak neden önemlidir?
NumPy, sayısal verilerle çalışmak için temel olan hızlı ve verimli çok boyutlu diziler (ndarray) sağlar. SciPy ise bu temelin üzerine inşa edilmiş, optimizasyon, sinyal işleme ve özellikle istatistiksel testler gibi daha yüksek seviyeli bilimsel ve teknik işlevler sunar. İstatistiksel analizde, NumPy veriyi organize eder ve temel istatistikleri hesaplarken, SciPy hipotez testleri ve dağılım modellemeleri gibi karmaşık analizleri gerçekleştirmenizi sağlar.
Aykırı değerler (outliers) istatistiksel analizi nasıl etkiler ve nasıl tespit edilirler?
Aykırı değerler, veri setindeki diğer gözlemlerden önemli ölçüde farklı olan veri noktalarıdır. Ortalamayı ve standart sapmayı bozarak istatistiksel analiz sonuçlarını yanıltıcı hale getirebilirler. Aykırı değerleri tespit etmek için genellikle kutu grafikleri (boxplot), Z-skorları veya IQR (Çeyrekler Arası Aralık) metodu gibi istatistiksel yöntemler kullanılır. IQR metodu, verilerin %25'lik ve %75'lik dilimleri arasındaki aralığı kullanarak, bu aralığın 1.5 katı dışındaki değerleri aykırı kabul eder.
P-değeri nedir ve A/B testlerinde nasıl yorumlanır?
P-değeri, gözlemlenen bir etkinin (veya daha aşırı bir etkinin) boş hipotezin doğru olduğu varsayımı altında ortaya çıkma olasılığını gösterir. A/B testlerinde, boş hipotez genellikle iki grup arasında istatistiksel olarak anlamlı bir fark olmadığını varsayar. Eğer p-değeri, önceden belirlenen anlamlılık düzeyinden (genellikle 0.05) küçükse, boş hipotez reddedilir ve gruplar arasında istatistiksel olarak anlamlı bir fark olduğu sonucuna varılır. Aksi takdirde, boş hipotez reddedilemez.
Regresyon analizi ile korelasyon analizi arasındaki temel fark nedir?
Korelasyon analizi, iki değişken arasındaki ilişkinin yönünü ve gücünü ölçer (örn. pozitif, negatif, güçlü, zayıf). İlişkinin doğası hakkında bilgi verir ancak bir neden-sonuç ilişkisi olduğunu kanıtlamaz veya bir değişkenin diğerini tahmin etmesini sağlamaz. Regresyon analizi ise, bir veya daha fazla bağımsız değişkeni kullanarak bağımlı bir değişkenin değerini tahmin etmeyi amaçlar ve değişkenler arasındaki matematiksel bir ilişkiyi (bir model) kurar. Regresyon, tahmin ve neden-sonuç ilişkilerini (dikkatli yorumlandığında) modellemek için kullanılırken, korelasyon sadece ilişkinin varlığını ve gücünü gösterir.

Sonuç: Veri Odaklı Kararlar İçin Güçlü Bir İkili

Bu kapsamlı rehber boyunca, NumPy ve SciPy kütüphanelerinin istatistiksel analizdeki vazgeçilmez rolünü derinlemesine inceledik. Görüldüğü üzere, bu iki Python kütüphanesi, ham veriyi anlamlı içgörülere dönüştürme ve karmaşık istatistiksel problemleri çözme konusunda veri bilimcilere eşsiz bir güç sağlamaktadır. NumPy'nin hızlı ve verimli dizi işlemleri, veri manipülasyonu ve temel istatistikler için sağlam bir zemin oluştururken, SciPy'nin zengin istatistik modülü hipotez testlerinden regresyon analizine kadar daha ileri düzey konuları ele almamızı mümkün kılmaktadır.

Gerçek dünya senaryoları üzerinden yaptığımız vaka analizleri, bu araçların pratik uygulamalarını ve iş dünyasındaki değerini açıkça ortaya koydu. Satış verilerini anlayarak merkezi eğilim ve dağılımı incelemekten, A/B testleriyle pazarlama kampanyalarının etkinliğini ölçmeye kadar birçok alanda, NumPy ve SciPy'nin sağladığı derinlemesine analiz yetenekleri sayesinde daha bilinçli ve veri odaklı kararlar alabiliriz. Korelasyon ve regresyon gibi ileri düzey konular ise, değişkenler arasındaki ilişkileri keşfetme ve geleceğe yönelik tahminlerde bulunma konusunda bize güçlü araçlar sunar.

Unutmamak gerekir ki, herhangi bir istatistiksel analizde, veriyi anlamak, doğru metodolojiyi seçmek ve sonuçları doğru bir şekilde yorumlamak büyük önem taşır. NumPy ve SciPy, bu süreçleri otomatize etme ve hızlandırma konusunda bize büyük kolaylıklar sağlasa da, analitik düşünme ve istatistiksel prensiplere hakimiyet her zaman en değerli yetkinlikler olacaktır. Bu kütüphanelerin sunduğu sonsuz imkanları keşfetmeye devam ederek, veri bilimi yolculuğunuzda daha yetkin ve başarılı olabilirsiniz. Veri, doğru araçlarla analiz edildiğinde, sadece sayılar yığını olmaktan çıkar ve geleceği şekillendiren değerli bir hazineye dönüşür.

Şimdiye kadar edindiğiniz bilgilerle, kendi veri setleriniz üzerinde istatistiksel analizler yapmaya ve bu güçlü kütüphanelerle verinin derinliklerine inmeye hazırsınız. Başarılar dileriz!

Yorumlar
İçeriği beğendiniz mi? Bir tartışma başlatın veya görüşlerinizi paylaşın.
Yorum Yaz

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

E-posta Bülteni
Yazılım Topluluğuna Katılın
En son güncellemeleri, yaratıcı ipuçlarını ve özel kaynakları doğrudan e-posta kutunuza alın. Tasarım ve inovasyonun geleceğini birlikte keşfedelim.