Python ile Web Scraping: Baştan Sona Tam Bir Rehber
Merhaba! Ben Fatih Soysal ve bugün sizlere Python programlama dili kullanarak web scraping (web veri kazıma) yapmayı adım adım anlatacağım. Web scraping, web sitelerinden veri toplamak için kullanılan bir tekniktir. Bu veri daha sonra analiz edilebilir, görselleştirilebilir veya başka amaçlar için kullanılabilir. Python, güçlü kütüphaneleri sayesinde bu işlem için ideal bir dildir.
Gerekli Kütüphaneler
Öncelikle, web scraping için gerekli olan kütüphaneleri kuracağız. Bunun için pip paket yöneticisini kullanacağız. Aşağıdaki komutları terminalinize veya komut isteminize yazabilirsiniz:
pip install requests beautifulsoup4 selenium
Bu komutlar sırasıyla requests, beautifulsoup4 ve selenium kütüphanelerini kuracaktır. requests kütüphanesi web sitelerinden veri çekmek için kullanılır. beautifulsoup4 kütüphanesi ise alınan verileri parse etmek (ayırmak ve düzenlemek) için kullanılır. Son olarak, selenium kütüphanesi JavaScript ile oluşturulmuş web sitelerinden veri çekmek için kullanılır.
Basit Bir Örnek: Requests ve BeautifulSoup ile Veri Çekme
Şimdi, basit bir örnek ile başlayalım. Bir web sitesinden tüm başlıkları (h1, h2 vb.) çekelim. Öncelikle requests kütüphanesi ile web sayfasının içeriğini alıyoruz. Ardından, BeautifulSoup ile HTML içeriğini parse edip başlıkları buluyoruz:
import requests
from bs4 import BeautifulSoup
url = "https://www.örnekwebsitem.com" # Örnek web sitesi adresi
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
basliklar = soup.find_all(["h1", "h2", "h3"])
for baslik in basliklar:
print(baslik.text)
Bu kodda, öncelikle ilgili web sitesinin içeriğini çekiyoruz. Sonrasında BeautifulSoup kütüphanesini kullanarak HTML içeriğini parse ediyoruz ve tüm h1, h2 ve h3 etiketlerini bulup içeriklerini yazdırıyoruz. Burada dikkat etmeniz gereken nokta, örnek web sitesi adresini kendi seçtiğiniz bir adresle değiştirmeniz gerektiğidir. Ayrıca, web sitesinin yapısına bağlı olarak kodun biraz değişmesi gerekebilir.
Selenium ile JavaScript İçeriklerinin Çekilmesi
Bazı web siteleri JavaScript ile dinamik olarak oluşturulur. Bu tür sitelerden veri çekmek için Selenium kütüphanesini kullanmamız gerekir. Selenium, bir web tarayıcısını kontrol ederek sayfayı yükleyip, JavaScript kodlarının çalışmasını sağlar ve ardından içeriği alır. Bu sayede, dinamik olarak yüklenen içeriklere de ulaşabiliriz.
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome() # Chrome sürücüsünü başlatır. Diğer sürücüler için de benzer komutlar kullanılabilir.
driver.get("https://www.örnekwebsitem.com") # Web sitesini açar
basliklar = driver.find_elements(By.TAG_NAME, "h1") # Tüm h1 etiketlerini bulur
for baslik in basliklar:
print(baslik.text)
driver.quit() # Sürücüyü kapatır
Bu örnekte, Selenium kullanarak bir web sitesinin h1 etiketlerini çekiyoruz. Kodu çalıştırmadan önce, sisteminize uygun bir web tarayıcısı sürücüsünü indirmeniz gerekecektir. Örneğin, Chrome için ChromeDriver’ı indirmeniz gerekir. Daha sonra, ChromeDriver’ın yolunu doğru şekilde belirtmeniz önemlidir.
Web Scraping Etik Kuralları
Web scraping yaparken bazı etik kurallara uymak önemlidir. Örneğin, çok sık istek göndermemek, robots.txt dosyasına uymak ve web sitesinin kullanım koşullarını dikkate almak gerekir. Aksi takdirde, web sitesinin sunucusuna aşırı yüklenmesine veya hesabınızın engellenmesine neden olabilirsiniz. Bu yüzden, sorumlu bir şekilde web scraping yapmanız çok önemlidir.
İleri Seviye Teknikler
Bu makalede, web scraping’in temellerini ele aldık. Ancak, daha ileri seviye teknikler de mevcuttur. Örneğin, veri temizleme, veri analizi ve veri görselleştirme gibi konular web scraping’in önemli bir parçasıdır. Bu konular hakkında daha fazla bilgi edinmek için, fatihsoysal.com sitesini ziyaret edebilirsiniz veya diğer kaynakları inceleyebilirsiniz. Örneğin, detaylı bir kaynak olan bu ingilizce makale işinize yarayabilir. Ayrıca, farklı kütüphaneleri ve teknikleri öğrenerek, daha karmaşık web sitelerinden veri çekebilirsiniz.
Umarım bu makale, Python ile web scraping yapmaya başlamanız için size yardımcı olmuştur. Unutmayın ki, web scraping’in sadece teknik bir konu değil, aynı zamanda etik bir konu olduğunu da unutmayın. Soru ve önerilerinizi bekliyorum!
#Etiketler: web scraping, python, beautifulsoup, requests, selenium, web veri kazıma, veri madenciliği, veri analizi, python tutorial, web scraping python, fatihsoysal.com