NHK Haber Web Easy’i Python ile Kazıma: Adım Adım Kılavuz
Merhaba! Ben Fatih Soysal ve bu yazıda sizlere NHK News Web Easy sitesinden Python kullanarak haberleri nasıl kazıyabileceğinizi adım adım göstereceğim. NHK News Web Easy, Japonca haberleri basitleştirilmiş bir dille sunan harika bir kaynak. Bu nedenle, buradan veri çekmek özellikle dil öğrenimi veya haber analizleri için oldukça faydalı olabilir. Öncelikle, gerekli kütüphaneleri kuracağız. Sonrasında, requests kütüphanesi ile web sayfasını indireceğiz ve BeautifulSoup kütüphanesi ile HTML içeriğini işleyeceğiz.
Gerekli Kütüphanelerin Kurulumu
İlk adımımız, requests ve BeautifulSoup4 kütüphanelerini kurmak. Bunun için terminal veya komut satırınızı açın ve aşağıdaki komutları çalıştırın:
pip install requests beautifulsoup4
Bu komutlar, gerekli kütüphaneleri Python ortamınıza kuracaktır. Kurulum başarılı olursa, artık kodumuza geçebiliriz.
Web Sayfasından Veri Çekme
Şimdi, requests kütüphanesini kullanarak NHK News Web Easy’den bir web sayfasını indirelim. Aşağıdaki kod bloğu, NHK News Web Easy’nin ana sayfasını indirir:
import requests
url = "https://www3.nhk.or.jp/news/easy/"
response = requests.get(url)
response.raise_for_status() # Hata durumunda istisna fırlatır.
html_icerik = response.content
Bu kod parçasında, öncelikle requests kütüphanesini içe aktarıyoruz. Daha sonra, NHK News Web Easy’nin URL’sini tanımlıyoruz. requests.get() fonksiyonu ile URL’den içeriği indiriyoruz. response.raise_for_status() fonksiyonu ise olası hata durumlarını kontrol etmek için kullanılır. Son olarak, indirilen HTML içeriğini html_icerik değişkenine atıyoruz.
BeautifulSoup ile HTML’in Parse Edilmesi
İndirdiğimiz HTML içeriğini BeautifulSoup ile parse edelim. Bu sayede, HTML etiketlerini kolayca seçip, istediğimiz verileri çıkarabiliriz.
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_icerik, "html.parser")
Bu kod, BeautifulSoup sınıfını kullanarak HTML içeriğini parse eder. “html.parser” argümanı, HTML’i parse etmek için kullanılacak parser’ı belirtir. Artık soup objesi ile HTML yapısını gezinebilir ve verileri çıkarabiliriz.
Haber Başlıklarını Çıkarma
Örneğin, haber başlıklarını çıkarmak için aşağıdaki kodu kullanabiliriz. Bu, her haberin başlığını içeren bir liste oluşturur:
basliklar = [baslik.text.strip() for baslik in soup.select(".news-list-item__title")]
print(basliklar)
Burada, soup.select(“.news-list-item__title”) ile .news-list-item__title sınıfına sahip tüm öğeleri seçiyoruz. Daha sonra, liste kavraması ile her bir öğenin metin içeriğini alıp, boşlukları temizleyerek bir liste oluşturuyoruz. Bu liste, her bir haberin başlığını içerecektir. Bu kod, NHK News Web Easy’nin yapısına göre değişebilir. Site yapısında bir değişiklik olması durumunda, seçiciyi güncellemeniz gerekebilir.
Daha Fazla Veri Çekme
Benzer şekilde, haberlerin özetlerini, tarihlerini veya linklerini de BeautifulSoup’un güçlü seçicileri kullanarak kolayca çıkarabilirsiniz. İhtiyacınıza göre farklı CSS seçicileri kullanarak istediğiniz verileri alabilirsiniz. Unutmayın ki, web sitelerinin yapısı zaman zaman değişebildiği için, kodunuzun doğru çalışması için düzenli olarak kontrol etmeniz faydalı olacaktır.
Umarım bu adım adım kılavuz, NHK News Web Easy’den veri çekmenize yardımcı olur. Web scraping ile ilgili daha fazla bilgi edinmek için fatihsoysal.com adresini ziyaret edebilirsiniz. Ayrıca, Python kütüphaneleri hakkında daha fazla bilgi için Python resmi dökümanlarına göz atabilirsiniz.
Not: Web scraping yaparken, web sitesinin robots.txt dosyasını kontrol etmeyi ve site sahibinin kurallarına uymayı unutmayın. Aşırı veri çekimi siteye zarar verebilir.
#Etiketler: NHK News Web Easy, Python, Web Scraping, Kazıma, Haber Kazıma, BeautifulSoup, Requests, Python Kütüphaneleri, Web Veri Çekme, HTML Parse, Veri Analizi, Japonca Haberler