Python 3 ile matplotlib Kullanarak Kelime Sıklığı Grafiği Nasıl Çizilir?
Giriş
Metin analizi, günümüzün veri odaklı dünyasında giderek daha fazla önem kazanan bir alandır. Sosyal medya gönderilerinden akademik makalelere, müşteri geri bildirimlerinden haber metinlerine kadar her türlü yazılı içeriği anlamlandırmak, değerli içgörüler elde etmemizi sağlar. Bu içgörüleri elde etmenin temel yollarından biri de kelime sıklığı analizidir. Kelime sıklığı analizi, bir metinde hangi kelimelerin ne kadar sık kullanıldığını belirleyerek metnin ana temalarını, odak noktalarını ve genel yapısını ortaya koyar. Ancak ham sayısal veriler çoğu zaman anlaşılması zor ve sıkıcı olabilir. İşte bu noktada veri görselleştirme devreye girer. Kelime sıklığı verilerini grafiklere dönüştürmek, bu bilgileri daha anlaşılır, daha çekici ve daha kolay yorumlanabilir hale getirir.
Bu makalede, Python 3 programlama dilini ve güçlü veri görselleştirme kütüphanesi matplotlib’i kullanarak herhangi bir metin verisinden kelime sıklığı grafiklerini nasıl oluşturacağımızı adım adım inceleyeceğiz. Metin verisinin hazırlanmasından, kelimelerin sayılmasına ve sonuçların etkili bir şekilde görselleştirilmesine kadar tüm süreci detaylı bir şekilde ele alacağız. Bu kılavuzun sonunda, kendi metin verileriniz üzerinde kelime sıklığı analizi yapabilecek ve sonuçları profesyonel görünümlü grafiklerle sunabilecek bilgiye sahip olacaksınız.
Ön Koşullar
Bu makaledeki örnekleri takip edebilmek için aşağıdaki ön koşullara sahip olmanız gerekmektedir:
* Python 3 Yüklü Olması: Sisteminizde Python 3’ün kurulu olması gerekmektedir. Python’ın resmi web sitesinden (python.org) indirebilirsiniz.
* Temel Python Bilgisi: Değişkenler, listeler, döngüler ve fonksiyonlar gibi temel Python kavramlarına aşina olmanız beklenmektedir.
* Pip: Python paket yöneticisi pip’in kurulu olması gerekmektedir. Genellikle Python kurulumuyla birlikte gelir.
Gerekli Kütüphanelerin Kurulumu
Kelime sıklığı analizi ve görselleştirme için Python ekosistemindeki bazı popüler ve güçlü kütüphaneleri kullanacağız. Bu kütüphaneleri komut satırı veya terminal üzerinden pip kullanarak kolayca kurabilirsiniz.
* NLTK (Natural Language Toolkit): Metin işleme (tokenization, durak kelime kaldırma vb.) için kullanacağımız temel kütüphanedir.
pip install nltk* matplotlib: Kelime sıklığı verilerini görselleştirmek için kullanacağımız ana grafik kütüphanesidir.
pip install matplotlib* collections: Python’ın standart kütüphanesinin bir parçasıdır ve Counter sınıfını içerir. Bu sınıf, nesnelerin hash edilebilir sayılabilir koleksiyonlarını saymak için son derece verimlidir. Kurulum gerektirmez, doğrudan içe aktarılabilir.
NLTK’nin bazı işlevleri için ek veri setlerinin indirilmesi gerekebilir. Özellikle kelimelere ayırma (punkt) ve durak kelimeler (stopwords) için bu indirmeleri yapmalıyız:
import nltk
nltk.download('punkt')
nltk.download('stopwords')Bu komutları Python etkileşimli kabuğunda veya bir Python betiğinin başında bir kez çalıştırmanız yeterlidir.
Veri Hazırlığı ve Metin İşleme
Ham metin verisi genellikle doğrudan analiz için uygun değildir. Noktalama işaretleri, sayılar, özel karakterler ve metnin anlamını taşımayan yaygın kelimeler (durak kelimeler) analizin doğruluğunu etkileyebilir. Bu bölümde, metni analiz için uygun hale getirme adımlarını ele alacağız.
Metin Verisi Edinme
Analiz edeceğimiz metin verisini bir string olarak tanımlayabilir veya bir dosyadan (örneğin .txt dosyası) okuyabiliriz. Bu örnekte, basitlik adına bir string kullanacağız. Ancak gerçek dünya uygulamalarında genellikle bir dosyadan okuma işlemi tercih edilir.
# Örnek metin verisi
ornek_metin = """
Python, günümüzde en popüler programlama dillerinden biridir. Veri bilimi, yapay zeka, web geliştirme ve otomasyon gibi birçok alanda yaygın olarak kullanılmaktadır. Matplotlib ise Python'ın en güçlü veri görselleştirme kütüphanelerinden biridir. Bu kütüphane sayesinde karmaşık veri setlerini anlaşılır ve estetik grafiklere dönüştürebiliriz. Kelime sıklığı analizi, metin verilerinden anlamlı bilgiler çıkarmak için kullanılan temel bir NLP (Doğal Dil İşleme) tekniğidir. Bu teknik, bir metindeki kelimelerin ne kadar sık geçtiğini sayarak metnin ana temalarını belirlememize yardımcı olur. Python ile NLTK ve Counter gibi kütüphaneleri kullanarak bu analizi kolayca yapabiliriz. Sonrasında Matplotlib ile sonuçları görselleştirmek, elde ettiğimiz bilgileri daha etkili bir şekilde sunmamızı sağlar.
"""
Bir dosyadan metin okumak isterseniz:
with open('metin.txt', 'r', encoding='utf-8') as f:
ornek_metin = f.read()
Metni Küçük Harfe Çevirme
“Python” ve “python” kelimeleri, kelime sıklığı analizinde genellikle aynı kelime olarak kabul edilmelidir. Büyük/küçük harf duyarlılığını ortadan kaldırmak için tüm metni küçük harfe çeviririz.
metin_kucuk_harf = ornek_metin.lower()
print(f"Küçük harfe çevrilmiş metnin ilk 100 karakteri: {metin_kucuk_harf[:100]}...")Metni Kelimelere Ayırma (Tokenization)
Tokenization (kelimelere ayırma), metni anlamlı birimlere, yani kelimelere veya token’lara bölme işlemidir. NLTK’nin word_tokenize fonksiyonu bu işlem için oldukça etkilidir.
from nltk.tokenize import word_tokenize
kelimeler = word_tokenize(metin_kucuk_harf)
print(f"Tokenize edilmiş kelimelerden bazıları: {kelimeler[:20]}")Bu adımda, noktalama işaretleri de ayrı birer token olarak kabul edilebilir. Bir sonraki adımda bunları kaldıracağız.
Noktalama İşaretlerini ve Sayıları Kaldırma
Kelime sıklığı analizinde noktalama işaretleri (virgül, nokta, soru işareti vb.) ve sayılar genellikle ilgi çekici değildir. Bu karakterleri kelime listesinden çıkarmamız gerekir. str.isalpha() metodunu kullanarak yalnızca alfabetik karakterlerden oluşan kelimeleri filtreleyebiliriz.
kelimeler_temiz = [kelime for kelime in kelimeler if kelime.isalpha()]
print(f"Noktalama ve sayılar kaldırıldıktan sonraki kelimelerden bazıları: {kelimeler_temiz[:20]}")Durak Kelimeleri (Stop Words) Kaldırma
Durak kelimeler (stop words), “ve”, “bir”, “ile”, “bu” gibi metnin genel anlamını taşımayan, ancak cümle yapısı için gerekli olan yaygın kelimelerdir. Bu kelimeler, metnin ana temalarını belirlemede gürültü oluşturabilir ve analiz sonuçlarını yanıltabilir. NLTK, birçok dil için durak kelime listeleri sağlar. Türkçe durak kelimeleri için nltk.corpus.stopwords modülünü kullanabiliriz.
from nltk.corpus import stopwords
Türkçe durak kelimelerini al
turkce_durak_kelimeler = set(stopwords.words('turkish'))
Durak kelimeleri kaldır
filtrelenmis_kelimeler = [kelime for kelime in kelimeler_temiz if kelime not in turkce_durak_kelimeler]
print(f"Durak kelimeler kaldırıldıktan sonraki kelimelerden bazıları: {filtrelenmis_kelimeler[:20]}")
print(f"Toplam kelime sayısı (durak kelimeler sonrası): {len(filtrelenmis_kelimeler)}")Bu adımlarla, analiz için temiz ve anlamlı bir kelime listesi elde etmiş oluyoruz.
Kelime Sıklığını Hesaplama
Metin işleme adımlarını tamamladıktan sonra, sırada her kelimenin metinde kaç kez geçtiğini sayma işlemi var. Python’ın collections modülündeki Counter sınıfı, bu görevi oldukça verimli ve basit bir şekilde yerine getirir.
collections.Counter Kullanımı
Counter, bir liste veya başka bir yinelenebilir nesne içindeki elemanların sıklığını saymak için özel olarak tasarlanmış bir sözlük (dictionary) alt sınıfıdır.
from collections import Counter
Filtrelenmiş kelimelerin sıklığını hesapla
kelime_sikliklari = Counter(filtrelenmis_kelimeler)
print(f"Hesaplanan kelime sıklıklarından bazıları: {kelime_sikliklari.most_common(10)}")Counter nesnesi artık her bir benzersiz kelimenin metinde kaç kez geçtiğini içeren bir harita tutar.
En Sık Geçen Kelimeleri Bulma
Genellikle tüm kelimelerin sıklığını görselleştirmek yerine, en sık geçen ilk N kelimeyi görselleştirmek daha anlamlıdır. Counter sınıfının most_common() metodu bu işlemi kolayca yapar. Bu metod, sıklığına göre azalan sırada sıralanmış N adet (kelime, sıklık) çiftinden oluşan bir liste döndürür.
# En sık geçen 15 kelimeyi al
en_sik_kelimeler = kelime_sikliklari.most_common(15)
print("\nEn sık geçen 15 kelime:")
for kelime, sayi in en_sik_kelimeler:
print(f"'{kelime}': {sayi} kez")Bu adımda, görselleştireceğimiz temel veri setini elde etmiş oluyoruz.
Kelime Sıklığı Grafiği Çizimi
Artık kelime sıklığı verilerimiz hazır olduğuna göre, bu verileri matplotlib kullanarak görselleştirebiliriz. Çubuk grafikler (bar charts), kategorik verilerin sıklığını veya miktarını göstermek için idealdir.
Matplotlib’e Giriş
Matplotlib, Python için 2D grafik çizim kütüphanesidir. Bilimsel ve mühendislik alanlarında yaygın olarak kullanılır ve statik, animasyonlu veya interaktif görseller oluşturmak için esnek bir platform sunar. Genellikle pyplot modülü aracılığıyla kullanılır ve plt kısaltmasıyla içe aktarılır.
import matplotlib.pyplot as pltGrafik İçin Veri Hazırlığı
en_sik_kelimeler listemiz [(kelime1, sayi1), (kelime2, sayi2), ...] formatındadır. Matplotlib’in çubuk grafik fonksiyonu için kelimeleri ayrı bir liste (x ekseni etiketleri) ve sayıları ayrı bir liste (y ekseni değerleri) olarak ayırmamız gerekir. zip(*...) fonksiyonu bu işlemi kolayca yapar.
# Kelimeleri ve sıklıklarını ayrı listelere ayır
kelimeler_etiketleri = [kelime for kelime, sayi in en_sik_kelimeler]
siklik_degerleri = [sayi for kelime, sayi in en_sik_kelimeler]
Alternatif ve daha kısa yol:
kelimeler_etiketleri, siklik_degerleri = zip(*en_sik_kelimeler)
Temel Çubuk Grafik (Bar Chart)
İlk olarak, en temel çubuk grafiği oluşturalım.
plt.figure(figsize=(12, 7)) # Grafiğin boyutunu ayarla (genişlik, yükseklik)
plt.bar(kelimeler_etiketleri, siklik_degerleri, color='skyblue') # Çubuk grafiği çiz
plt.xlabel("Kelimeler", fontsize=12) # X ekseni etiketi
plt.ylabel("Sıklık", fontsize=12) # Y ekseni etiketi
plt.title("En Sık Geçen Kelimeler ve Sıklıkları", fontsize=14) # Grafik başlığı
X ekseni etiketlerinin okunabilirliğini artırmak için döndürme
plt.xticks(rotation=45, ha='right', fontsize=10) # ha='right' etiketin sağa hizalanmasını sağlar
plt.tight_layout() # Etiketlerin ve başlıkların grafiğin dışına taşmasını engeller
plt.show() # Grafiği gösterBu kod parçası, en sık geçen kelimelerin sıklığını gösteren basit ama anlaşılır bir çubuk grafik oluşturacaktır. figsize ile grafiğin boyutunu, color ile çubukların rengini belirleyebiliriz. xticks(rotation=45, ha='right') uzun kelime etiketlerinin üst üste binmesini engellemek için önemlidir.
Grafiği Özelleştirme ve Geliştirme
Matplotlib, grafiklerinizi görsel olarak daha çekici ve bilgilendirici hale getirmek için geniş özelleştirme seçenekleri sunar.
* Grafik Boyutu: plt.figure(figsize=(genişlik, yükseklik)) ile grafiğin piksel veya inç cinsinden boyutunu ayarlayabilirsiniz.
* Renkler: color parametresi ile tek bir renk veya her çubuk için farklı renkler belirleyebilirsiniz. Örneğin, color=['red', 'green', 'blue', ...] veya color=plt.cm.viridis(siklik_degerleri / max(siklik_degerleri)) gibi renk haritaları kullanabilirsiniz.
* Kenar Çizgileri: Çubuklara edgecolor='black' ve linewidth=1 gibi parametrelerle kenar çizgileri ekleyebilirsiniz.
* Başlık ve Etiketlerin Font Boyutu: fontsize parametresi ile başlıkların ve eksen etiketlerinin boyutunu ayarlayabilirsiniz.
* Izgaralar (Grids): plt.grid(axis='y', linestyle='--', alpha=0.7) ile grafiğe yatay veya dikey ızgaralar ekleyerek değerleri daha kolay okuyabilirsiniz. axis='y' sadece yatay ızgaraları gösterir.
* Yatay Çubuk Grafik (Horizontal Bar Chart): Uzun kelime etiketleriniz varsa, yatay çubuk grafik (plt.barh()) daha iyi bir okuma deneyimi sunabilir. Bu durumda xlabel ve ylabel yer değiştirecektir.
plt.figure(figsize=(12, 8))
plt.barh(kelimeler_etiketleri, siklik_degerleri, color='lightgreen', edgecolor='black')
plt.xlabel("Sıklık", fontsize=12)
plt.ylabel("Kelimeler", fontsize=12)
plt.title("En Sık Geçen Kelimeler ve Sıklıkları (Yatay)", fontsize=14)
plt.gca().invert_yaxis() # En sık geçen kelimeyi en üste almak için y eksenini ters çevir
plt.tight_layout()
plt.show()* Değer Etiketleri Ekleme: Her çubuğun üzerine veya yanına sayısal değerleri eklemek, grafiği daha bilgilendirici hale getirir.
plt.figure(figsize=(14, 8))
bars = plt.bar(kelimeler_etiketleri, siklik_degerleri, color='teal', edgecolor='black')
plt.xlabel("Kelimeler", fontsize=12)
plt.ylabel("Sıklık", fontsize=12)
plt.title("En Sık Geçen Kelimeler ve Sıklıkları (Değer Etiketli)", fontsize=16, color='darkblue')
plt.xticks(rotation=45, ha='right', fontsize=10)
plt.yticks(fontsize=10)
plt.grid(axis='y', linestyle='--', alpha=0.6) # Yatay ızgara çizgileri
Her çubuğun üzerine değer etiketleri ekleme
for bar in bars:
yval = bar.get_height()
plt.text(bar.get_x() + bar.get_width()/2, yval + 0.5, round(yval), ha='center', va='bottom', fontsize=9)
plt.tight_layout()
plt.show()Bu özelleştirmeler, grafiğinizin amacına ve hedef kitlenize göre uyarlanabilmesini sağlar.
Tam Bir Örnek Kod
Şimdiye kadar ele aldığımız tüm adımları bir araya getiren eksiksiz bir Python betiği oluşturalım.
import nltk
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from collections import Counter
import matplotlib.pyplot as plt
Gerekli NLTK veri setlerini indir (bir kez çalıştırmak yeterlidir)
try:
nltk.data.find('tokenizers/punkt')
except nltk.downloader.DownloadError:
nltk.download('punkt')
try:
nltk.data.find('corpora/stopwords')
except nltk.downloader.DownloadError:
nltk.download('stopwords')
1. Örnek metin verisi
ornek_metin = """
Python, günümüzde en popüler programlama dillerinden biridir. Veri bilimi, yapay zeka, web geliştirme ve otomasyon gibi birçok alanda yaygın olarak kullanılmaktadır. Matplotlib ise Python'ın en güçlü veri görselleştirme kütüphanelerinden biridir. Bu kütüphane sayesinde karmaşık veri setlerini anlaşılır ve estetik grafiklere dönüştürebiliriz. Kelime sıklığı analizi, metin verilerinden anlamlı bilgiler çıkarmak için kullanılan temel bir NLP (Doğal Dil İşleme) tekniğidir. Bu teknik, bir metindeki kelimelerin ne kadar sık geçtiğini sayarak metnin ana temalarını belirlememize yardımcı olur. Python ile NLTK ve Counter gibi kütüphaneleri kullanarak bu analizi kolayca yapabiliriz. Sonrasında Matplotlib ile sonuçları görselleştirmek, elde ettiğimiz bilgileri daha etkili bir şekilde sunmamızı sağlar.
"""
2. Metni küçük harfe çevirme
metin_kucuk_harf = ornek_metin.lower()
3. Metni kelimelere ayırma (Tokenization)
kelimeler = word_tokenize(metin_kucuk_harf)
4. Noktalama işaretlerini ve sayıları kaldırma
kelimeler_temiz = [kelime for kelime in kelimeler if kelime.isalpha()]
5. Durak kelimeleri (Stop Words) kaldırma (Türkçe için)
turkce_durak_kelimeler = set(stopwords.words('turkish'))
filtrelenmis_kelimeler = [kelime for kelime in kelimeler_temiz if kelime not in turkce_durak_kelimeler]
6. Kelime sıklığını hesaplama
kelime_sikliklari = Counter(filtrelenmis_kelimeler)
7. En sık geçen N kelimeyi seçme
N = 15 # Görselleştireceğimiz kelime sayısı
en_sik_kelimeler = kelime_sikliklari.most_common(N)
8. Grafik için veri hazırlığı
kelimeler_etiketleri, siklik_degerleri = zip(*en_sik_kelimeler)
9. Kelime sıklığı grafiği çizimi (Yatay Çubuk Grafik)
plt.figure(figsize=(14, 8)) # Grafiğin boyutunu ayarla
Çubuk grafiği çiz
bars = plt.barh(kelimeler_etiketleri, siklik_degerleri, color='teal', edgecolor='black', height=0.7)
Başlık ve eksen etiketleri
plt.xlabel("Sıklık", fontsize=13, color='darkred')
plt.ylabel("Kelimeler", fontsize=13, color='darkred')
plt.title(f"Metindeki En Sık Geçen {N} Kelime ve Sıklıkları", fontsize=16, color='navy', fontweight='bold')
Y eksenini ters çevir (en sık kelime en üstte görünsün)
plt.gca().invert_yaxis()
X ve Y ekseni tik etiketlerinin font boyutunu ayarla
plt.xticks(fontsize=10)
plt.yticks(fontsize=11)
Izgara ekle
plt.grid(axis='x', linestyle='--', alpha=0.6) # Yatay çubuk grafikte dikey ızgara
Her çubuğun üzerine değer etiketleri ekleme
for bar in bars:
width = bar.get_width()
plt.text(width + 0.5, bar.get_y() + bar.get_height()/2, f'{int(width)}',
ha='left', va='center', fontsize=9, color='black')
plt.tight_layout() # Etiketlerin ve başlıkların düzenli görünmesini sağlar
plt.show() # Grafiği gösterİleri Düzey Konular ve Alternatifler
Kelime sıklığı analizi ve görselleştirmesi, daha karmaşık metin analizi görevleri için bir başlangıç noktasıdır. İşte bu alanda keşfedebileceğiniz bazı ileri düzey konular ve alternatifler:
Daha Karmaşık Metin Temizleme: Stemming ve Lemmatization
“Programlama”, “programcı”, “programlar” gibi kelimeler aynı kökten gelir. Stemming (kelime köküne indirgeme) ve Lemmatization (kelimeyi sözlük biçimine getirme) teknikleri, farklı çekimlenmiş veya türetilmiş kelimeleri tek bir temel forma indirgeyerek daha doğru bir sıklık analizi yapmanızı sağlar. NLTK ve spaCy gibi kütüphaneler bu işlemleri destekler. Örneğin, programlama ve programlar kelimeleri program köküne indirgenebilir.
N-gram Analizi
Kelime sıklığı tek tek kelimelere odaklanırken, N-gram analizi ikişerli (bigram), üçerli (trigram) veya daha fazla kelime grubunun sıklığını inceler. Örneğin, “veri bilimi” veya “yapay zeka” gibi kelime öbeklerinin birlikte ne kadar sık kullanıldığını bulmak, metnin daha derin anlamlarını ortaya çıkarabilir.
Diğer Görselleştirme Kütüphaneleri
Matplotlib güçlü ve esnek olsa da, daha estetik veya interaktif grafikler için başka kütüphaneler de mevcuttur:
* Seaborn: Matplotlib üzerine inşa edilmiş olup, daha çekici ve istatistiksel grafikler oluşturmayı kolaylaştırır.
* Plotly: Etkileşimli web tabanlı grafikler oluşturmak için mükemmeldir. Grafikler üzerinde yakınlaştırma, kaydırma ve detaylı bilgi görüntüleme gibi özellikler sunar.
* Altair: Deklaratif bir görselleştirme kütüphanesidir ve veri odaklı görselleştirmeler için temiz bir API sağlar.
Word Cloud (Kelime Bulutu)
Kelime sıklığı verilerini görselleştirmenin popüler ve çekici bir yolu da kelime bulutlarıdır. wordcloud kütüphanesi, en sık geçen kelimeleri daha büyük fontlarla göstererek metnin ana temalarını bir bakışta anlamanızı sağlar.
Büyük Veri Setleri ile Çalışma
Çok büyük metin veri setleriyle çalışırken performans sorunları yaşanabilir. Bu durumlarda, metinleri parçalar halinde (chunking) işlemek, bellek optimizasyonu yapmak veya Spark gibi dağıtık işlem çerçevelerini kullanmak gerekebilir.
Duygu Analizi (Sentiment Analysis) ile Entegrasyon
Kelime sıklığı analizi, metindeki pozitif veya negatif kelimelerin sıklığını belirleyerek duygu analiziyle birleştirilebilir. Bu, müşteri geri bildirimleri veya sosyal medya gönderileri gibi metinlerdeki genel ruh halini anlamak için kullanılabilir.
Sonuç
Bu makalede, Python 3 ve matplotlib kütüphanelerini kullanarak metin verilerinden kelime sıklığı grafiklerini nasıl oluşturacağımızı detaylı bir şekilde inceledik. Metin verisinin ön işleme adımlarından (küçük harfe çevirme, tokenization, noktalama işaretlerini ve durak kelimeleri kaldırma) kelime sıklığını hesaplamaya ve elde edilen verileri anlamlı ve estetik çubuk grafiklere dönüştürmeye kadar tüm süreci adım adım ele aldık.
Kelime sıklığı analizi, metin verilerinden hızlı ve etkili bir şekilde bilgi çıkarmanın temel bir yoludur. Bu bilgileri görselleştirmek ise, elde edilen içgörülerin daha kolay anlaşılmasını ve sunulmasını sağlar. Bu kılavuzda edindiğiniz bilgilerle, kendi metin analizi projelerinizde kelime sıklığı grafiklerini başarıyla uygulayabilir ve metinlerinizdeki gizli anlamları ortaya çıkarabilirsiniz. İleri düzey konular ve alternatif kütüphanelerle bu alandaki yeteneklerinizi daha da geliştirebilirsiniz.