Python 3 ile Web Sayfalarını Kazıma ve Twitter’a İçerik Gönderme

Giriş

Günümüz dijital dünyasında bilgiye erişim ve bu bilgiyi anlamlı şekillerde kullanma yeteneği, hem bireyler hem de işletmeler için kritik bir öneme sahiptir. Web sayfaları, sınırsız bir veri kaynağı sunar; ancak bu verilere programatik olarak erişmek ve onları işlemek çoğu zaman manuel yöntemlerle mümkün değildir. İşte bu noktada “web kazıma” (web scraping) devreye girer. Web kazıma, web sitelerinden otomatik olarak veri çekme işlemidir. Toplanan bu veriler, piyasa analizi, rakip takibi, içerik toplama veya kişisel projeler gibi birçok farklı amaç için kullanılabilir.

Bu makalede, Python 3 programlama dilini kullanarak web sayfalarından nasıl veri kazıyacağımızı ve bu kazınan verileri Twitter gibi popüler bir sosyal medya platformunda nasıl paylaşacağımızı ayrıntılı bir şekilde inceleyeceğiz. Süreç boyunca, requests ve BeautifulSoup gibi temel kütüphanelerden Selenium gibi daha gelişmiş araçlara, Twitter API’si ile etkileşim kurmak için Tweepy kütüphanesine kadar birçok aracı ele alacağız. Amacımız, okuyuculara uçtan uca, pratik ve teknik bir rehber sunmaktır.

Web Kazıma Temelleri

Web Kazıma Nedir ve Neden Önemlidir?

Web kazıma, bir web sitesinden yapılandırılmamış verileri alıp, bunları yapılandırılmış bir formata (örneğin, CSV, JSON veya bir veritabanı) dönüştürme işlemidir. Bu işlem, genellikle HTTP istekleri göndererek web sayfasının HTML içeriğini almayı ve ardından bu HTML içeriğini ayrıştırarak (parse ederek) istenen verileri çıkarmayı içerir.

Web kazıma, birçok alanda büyük faydalar sağlar:
* Piyasa Araştırması: Rakiplerin fiyatlarını, ürün özelliklerini veya müşteri yorumlarını takip etmek.
* İçerik Toplama: Belirli bir konu hakkındaki makaleleri, haberleri veya blog yazılarını toplamak.
* Otomasyon: Sürekli güncellenen verileri otomatik olarak çekmek ve işlemek.
* Veri Bilimi ve Makine Öğrenimi: Büyük veri setleri oluşturmak için hammadde sağlamak.

Yasal ve Etik Boyutlar

Web kazıma yapmadan önce, yasal ve etik boyutları anlamak hayati öneme sahiptir.
* robots.txt: Çoğu web sitesi, sitenin kök dizininde robots.txt adında bir dosya bulundurur. Bu dosya, arama motoru botlarının (ve genellikle diğer botların) hangi bölümlere erişip erişemeyeceğini belirtir. Bu kurallara uymak, iyi bir bot davranışının bir göstergesidir.
* Kullanım Şartları (Terms of Service): Birçok web sitesinin kullanım şartları, sitelerinden otomatik veri toplama konusunda kısıtlamalar veya yasaklar içerebilir. Bu şartları ihlal etmek, yasal sonuçlara yol açabilir.
* Aşırı Yükleme: Bir web sitesine çok sık veya çok fazla istek göndermek, sitenin sunucularını aşırı yükleyebilir ve hizmet kesintilerine neden olabilir. Bu, sitenin sahibine zarar verebilir ve etik dışıdır. İstekler arasına gecikmeler eklemek önemlidir.
* Telif Hakkı: Kazıdığınız içeriğin telif hakları, orijinal sahibine aittir. Bu içeriği izinsiz olarak yeniden yayınlamak veya ticari amaçlarla kullanmak yasa dışı olabilir.

Her zaman sorumlu ve etik bir şekilde hareket etmek, kazıma yaparken göz önünde bulundurmanız gereken en önemli ilkedir.

Gerekli Python Kütüphaneleri: requests ve BeautifulSoup4

Web kazıma için Python’da en sık kullanılan iki kütüphane requests ve BeautifulSoup4‘tür.
* requests: HTTP istekleri göndermek ve web sayfalarının HTML içeriğini almak için kullanılır.
* BeautifulSoup4 (bs4): Alınan HTML veya XML içeriğini ayrıştırmak (parse etmek) ve istenen verileri (metin, bağlantılar, resim URL’leri vb.) çekmek için güçlü ve kullanıcı dostu bir araçtır.

Bu kütüphaneleri yüklemek için terminalinizde aşağıdaki komutları çalıştırın:

pip install requests beautifulsoup4

Basit Bir Web Sayfası Kazıma Örneği

Şimdi basit bir web sayfasından başlık ve birkaç paragraf metni kazıyalım. Örnek olarak, bir blog sayfasının içeriğini alabiliriz.

import requests
from bs4 import BeautifulSoup

def simple_scrape(url):
    try:
        # HTTP GET isteği gönder
        response = requests.get(url)
        response.raise_for_status() # Hata durumunda istisna fırlat

        # HTML içeriğini BeautifulSoup ile ayrıştır
        soup = BeautifulSoup(response.text, 'html.parser')

        # Sayfanın başlığını al
        title = soup.find('h1')
        if title:
            print(f"Başlık: {title.get_text().strip()}")
        else:
            print("Başlık bulunamadı.")

        # İlk birkaç paragrafı al
        paragraphs = soup.find_all('p')
        print("\nParagraflar:")
        for i, p in enumerate(paragraphs[:3]): # İlk 3 paragrafı al
            print(f"{i+1}. {p.get_text().strip()}")

    except requests.exceptions.RequestException as e:
        print(f"İstek hatası: {e}")
    except Exception as e:
        print(f"Bir hata oluştu: {e}")

Örnek bir URL
target_url = "https://www.python.org/doc/essays/blurb/" # Kendi test URL'nizi buraya yazabilirsiniz.

simple_scrape(target_url)

Bu örnekte, requests.get() ile URL’den HTML içeriğini çektik. Ardından BeautifulSoup kullanarak bu içeriği ayrıştırdık. soup.find('h1') ile ilk

etiketini, soup.find_all('p') ile tüm

etiketlerini bulduk ve get_text().strip() ile etiketlerin içindeki metni alıp boşlukları temizledik.

Gelişmiş Web Kazıma Teknikleri

Dinamik İçerik (JavaScript ile Yüklenen) Kazıma: Selenium Kullanımı

Günümüzde birçok web sitesi, içeriğini JavaScript kullanarak dinamik olarak yükler. requests ve BeautifulSoup gibi araçlar, sadece sunucudan gelen ilk HTML yanıtını görür. JavaScript tarafından oluşturulan veya değiştirilen içeriği göremezler. Bu tür dinamik siteleri kazımak için “headless browser” (başsız tarayıcı) adı verilen araçlara ihtiyaç duyarız. Selenium bu iş için popüler bir çözümdür.

Selenium, web tarayıcılarını otomatize etmek için tasarlanmış bir kütüphanedir. Bir web tarayıcısını (Chrome, Firefox vb.) gerçek bir kullanıcı gibi açar, JavaScript’i çalıştırır ve sayfa yüklendikten sonra DOM (Belge Nesne Modeli) üzerinde işlem yapmamızı sağlar.

Selenium‘u yüklemek için:

pip install selenium

Ayrıca, kullanacağınız tarayıcıya uygun bir “WebDriver” indirmeniz gerekir (örneğin, Chrome için chromedriver, Firefox için geckodriver). Bu sürücüyü PATH’inize eklemeli veya Python betiğinizde yolunu belirtmelisiniz.

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time

def dynamic_scrape(url):
    # Chrome seçeneklerini ayarla (headless modu, yani tarayıcı arayüzü görünmez)
    chrome_options = Options()
    chrome_options.add_argument("--headless") # Tarayıcıyı gizli modda çalıştır
    chrome_options.add_argument("--no-sandbox")
    chrome_options.add_argument("--disable-dev-shm-usage")

    # WebDriver'ı başlat (chromedriver'ın yolunu belirtmelisiniz)
    # service = Service('/path/to/your/chromedriver') # Kendi chromedriver yolunuzu buraya yazın
    # driver = webdriver.Chrome(service=service, options=chrome_options)

    # Eğer chromedriver PATH'te ise:
    driver = webdriver.Chrome(options=chrome_options)

    try:
        driver.get(url)
        time.sleep(3) # Sayfanın tamamen yüklenmesi için bekle

        # Sayfa başlığını al
        title = driver.find_element(By.TAG_NAME, 'h1')
        print(f"Başlık (Selenium): {title.text.strip()}")

        # Belirli bir div içindeki metni al (örneğin, dinamik yüklenmiş bir içerik)
        content_div = driver.find_element(By.ID, 'content') # Örnek bir ID
        print(f"\nİçerik Div Metni (Selenium):\n{content_div.text[:200]}...") # İlk 200 karakter

    except Exception as e:
        print(f"Selenium ile hata oluştu: {e}")
    finally:
        driver.quit() # Tarayıcıyı kapat

Örnek bir URL (JavaScript ile dinamik içerik yükleyen bir site olabilir)
Bu örnek için yine python.org kullanıldı, ancak gerçek dinamik sitelerde daha faydalı olacaktır.
target_url_dynamic = "https://www.python.org/doc/essays/blurb/"
dynamic_scrape(target_url_dynamic)

Bu örnek, Selenium ile bir web sayfasını nasıl ziyaret edeceğinizi, JavaScript’in çalışmasını bekleyeceğinizi ve ardından sayfanın içeriğine nasıl erişeceğinizi gösterir. time.sleep() fonksiyonu, sayfanın yüklenmesi ve JavaScript’in çalışması için yeterli zaman tanımak amacıyla kullanılır. Daha sağlam bir çözüm için WebDriverWait ve expected_conditions kullanılabilir.

Veri Temizleme ve İşleme

Kazınan veriler genellikle ham ve dağınık haldedir. İhtiyaç duyulan formata getirmek için temizleme ve işleme adımları gereklidir. Bu adımlar şunları içerebilir:
* Metin Temizleme: Gereksiz boşlukları, özel karakterleri, HTML etiketlerini kaldırma.
* Veri Tipi Dönüşümü: Sayısal verileri string’den int veya float’a çevirme.
* Tarih/Saat Biçimlendirme: Tarih ve saat bilgilerini standart bir formata getirme.
* Yapılandırma: Verileri listeler, sözlükler veya Pandas DataFrame’leri gibi yapılandırılmış formatlara dönüştürme.

Hata Yönetimi ve Gecikmeler

Web kazıma yaparken çeşitli hatalarla karşılaşmak kaçınılmazdır:
* Ağ Hataları: Bağlantı sorunları, DNS çözünürlük hataları.
* HTTP Hataları: 404 Not Found, 403 Forbidden, 500 Internal Server Error.
* Kazıma Hataları: Beklenen elemanların bulunamaması, sayfa yapısı değişiklikleri.

Bu hataları try-except blokları kullanarak yakalamak ve uygun şekilde ele almak önemlidir. Ayrıca, web sitesi sunucularını aşırı yüklememek ve IP adresinizin engellenmesini önlemek için istekler arasına time.sleep() ile gecikmeler eklemek iyi bir uygulamadır.

import time
import random

... (önceki scraping kodları)

for i in range(5):
    try:
        # scraping işlemi
        print(f"Kazıma denemesi {i+1}...")
        # response = requests.get(url)
        # ...
        break # Başarılı olursa döngüden çık
    except requests.exceptions.RequestException as e:
        print(f"Hata oluştu: {e}. Yeniden deniyor...")
        time.sleep(random.randint(5, 15)) # 5-15 saniye rastgele bekle

Twitter API ve Geliştirici Hesabı

Twitter API’ye Genel Bakış

Twitter API (Uygulama Programlama Arayüzü), geliştiricilerin Twitter platformuyla programatik olarak etkileşim kurmasını sağlar. Bu sayede tweet gönderebilir, zaman tünelini okuyabilir, kullanıcı bilgilerini alabilir, takipçi listelerini yönetebilir ve çok daha fazlasını yapabilirsiniz. Twitter API’si, belirli kullanım limitleri ve kurallarla birlikte gelir.

Geliştirici Hesabı Oluşturma ve Uygulama Kaydı

Twitter API’sini kullanabilmek için bir Twitter Geliştirici Hesabına sahip olmanız ve bir uygulama kaydetmeniz gerekir.
1. Twitter Geliştirici Portalı’na Git: developer.twitter.com adresine gidin ve hesabınızla giriş yapın.
2. Geliştirici Hesabı Başvurusu: Henüz bir geliştirici hesabınız yoksa, bir başvuru formu doldurmanız gerekecektir. Twitter’ı neden kullanmak istediğinizi, projenizin amacını ve API’yi nasıl kullanmayı planladığınızı açıklamanız istenir. Bu süreç birkaç gün sürebilir.
3. Proje ve Uygulama Oluşturma: Geliştirici hesabınız onaylandıktan sonra, bir “Proje” oluşturabilir ve bu proje altında bir “Uygulama” (App) kaydedebilirsiniz. Uygulamanıza bir isim verin ve amacını açıklayın.
4. API Anahtarları Alımı: Uygulamanızı oluşturduktan sonra, “Keys and tokens” (Anahtarlar ve jetonlar) bölümüne gidin. Burada aşağıdaki anahtarları bulacaksınız:
* API Key (Consumer Key)
* API Secret Key (Consumer Secret)
* Access Token
* Access Token Secret

Bu anahtarlar, uygulamanızın Twitter API’sine kimlik doğrulaması yapması için gereklidir. Bu anahtarları asla açıkça kodunuzda tutmamalı veya başkalarıyla paylaşmamalısınız. Güvenli bir şekilde saklanmaları (ortam değişkenleri, yapılandırma dosyaları gibi) önemlidir.

API Anahtarları ve Güvenlik

API anahtarları, uygulamanızın kimliğini doğrular ve Twitter API’sine erişim izni verir. Bu anahtarların güvenliği son derece önemlidir.
* Ortam Değişkenleri: Anahtarları işletim sisteminizin ortam değişkenleri olarak saklamak, kodunuzdan ayrı tutmanın en güvenli yollarından biridir.
* .env Dosyaları: python-dotenv kütüphanesi ile .env dosyaları kullanarak anahtarları projenizden ayrı tutabilirsiniz. Bu dosyaları .gitignore‘a eklemeyi unutmayın.
* Asla Git’e Yüklemeyin: API anahtarlarınızı içeren dosyaları veya kodları bir sürüm kontrol sistemine (Git gibi) asla yüklemeyin.

Python ile Twitter’a İçerik Gönderme

Gerekli Python Kütüphanesi: Tweepy

Twitter API’si ile Python üzerinden etkileşim kurmak için en popüler kütüphane Tweepy‘dir. Tweepy, Twitter API’sinin karmaşıklığını soyutlayarak daha basit bir arayüz sunar.

Tweepy‘yi yüklemek için:

pip install tweepy

Kimlik Doğrulama

Twitter API’sine istek göndermeden önce kimlik doğrulama yapmanız gerekir. Tweepy ile bu işlem oldukça basittir.

import tweepy
import os

API anahtarlarınızı ortam değişkenlerinden alın (güvenlik için önerilir)
consumer_key = os.getenv("TWITTER_CONSUMER_KEY")
consumer_secret = os.getenv("TWITTER_CONSUMER_SECRET")
access_token = os.getenv("TWITTER_ACCESS_TOKEN")
access_token_secret = os.getenv("TWITTER_ACCESS_TOKEN_SECRET")

Eğer ortam değişkeni kullanmıyorsanız, doğrudan buraya yazabilirsiniz (tavsiye edilmez)
consumer_key = "YOUR_CONSUMER_KEY"
consumer_secret = "YOUR_CONSUMER_SECRET"
access_token = "YOUR_ACCESS_TOKEN"
access_token_secret = "YOUR_ACCESS_TOKEN_SECRET"

Kimlik doğrulama nesnesi oluştur
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)

API nesnesini oluştur
api = tweepy.API(auth, wait_on_rate_limit=True)

try:
    # Kimlik doğrulamasını doğrula (isteğe bağlı)
    user = api.verify_credentials()
    print(f"Twitter'a '{user.screen_name}' olarak başarıyla bağlandı.")
except tweepy.TweepyException as e:
    print(f"Twitter kimlik doğrulama hatası: {e}")
except Exception as e:
    print(f"Genel hata: {e}")

Yukarıdaki kodda, os.getenv() fonksiyonu ile anahtarların ortam değişkenlerinden alınması gösterilmiştir. Bu, güvenlik için en iyi uygulamadır.

Basit Bir Tweet Gönderme Örneği

Kimlik doğrulama başarılı olduktan sonra, tweet göndermek çok kolaydır.

def post_simple_tweet(text):
    try:
        api.update_status(text)
        print(f"Tweet başarıyla gönderildi: '{text}'")
    except tweepy.TweepyException as e:
        print(f"Tweet gönderme hatası: {e}")

post_simple_tweet("Merhaba Dünya! Bu bir Python ve Tweepy deneme tweetidir. #Python #Tweepy")

Medya (Resim) ile Tweet Gönderme

Sadece metin değil, resimler de tweetlerinize ekleyebilirsiniz.

def post_tweet_with_media(text, image_path):
    try:
        # Medyayı yükle
        media = api.media_upload(image_path)
        # Medya kimliği ile tweet gönder
        api.update_status(status=text, media_ids=[media.media_id])
        print(f"Resimli tweet başarıyla gönderildi: '{text}' (Resim: {image_path})")
    except tweepy.TweepyException as e:
        print(f"Resimli tweet gönderme hatası: {e}")
    except FileNotFoundError:
        print(f"Hata: Resim dosyası bulunamadı: {image_path}")

Örnek bir resim dosyası oluşturduğunuzu varsayalım
with open("test_image.png", "w") as f:
f.write("dummy content") # Gerçek bir resim dosyası olmalı

post_tweet_with_media("Bu da resimli bir tweet! #PythonOtomasyon", "test_image.png")

Tweet Uzunluğu ve Kısıtlamaları

Twitter’ın tweet uzunluğu sınırı 280 karakterdir. Bağlantılar ve medya ekleri de bu sınıra dahil edilir (ancak bağlantılar genellikle kısaltılır ve sabit bir karakter sayısına denk gelir). API’yi kullanırken bu kısıtlamalara dikkat etmelisiniz. Tweepy genellikle bu tür hataları otomatik olarak yakalar ve uygun istisnaları fırlatır.

Web Kazıdığınız İçeriği Twitter’da Paylaşma

Şimdiye kadar öğrendiklerimizi birleştirerek, bir web sayfasından veri kazıyıp bu veriyi Twitter’da nasıl paylaşacağımızı gösteren bir senaryo oluşturalım. Örnek olarak, bir haber sitesinden en son makalelerin başlıklarını ve bağlantılarını kazıyıp bunları tweet olarak paylaşabiliriz.

Kazınan Verinin Formatlanması

Kazıdığınız verileri Twitter’da paylaşmadan önce, tweet formatına uygun hale getirmeniz gerekir. Bu, metni kısaltmayı, hashtag eklemeyi ve bağlantıları düzgün bir şekilde yerleştirmeyi içerebilir.

import requests
from bs4 import BeautifulSoup
import tweepy
import os
import time
import random

--- Twitter API Kimlik Doğrulama (Yukarıdaki koddan kopyala) ---
consumer_key = os.getenv("TWITTER_CONSUMER_KEY")
consumer_secret = os.getenv("TWITTER_CONSUMER_SECRET")
access_token = os.getenv("TWITTER_ACCESS_TOKEN")
access_token_secret = os.getenv("TWITTER_ACCESS_TOKEN_SECRET")

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth, wait_on_rate_limit=True)

try:
    user = api.verify_credentials()
    print(f"Twitter'a '{user.screen_name}' olarak başarıyla bağlandı.")
except tweepy.TweepyException as e:
    print(f"Twitter kimlik doğrulama hatası: {e}")
    exit() # Bağlantı kurulamadıysa çık

--- Web Kazıma ve Twitter'a Gönderme Fonksiyonu ---
def scrape_and_tweet_news(news_url, max_tweets=3):
    print(f"\n{news_url} adresinden haberler kazınıyor...")
    try:
        response = requests.get(news_url)
        response.raise_for_status()
        soup = BeautifulSoup(response.text, 'html.parser')

        # Haber başlıkları ve bağlantıları için örnek bir seçici
        # Bu kısım, hedef web sitesinin HTML yapısına göre değişecektir.
        # Örneğin, bir blogdaki makale başlıkları 
 etiketleri içinde ve bağlantıları  etiketleri olabilir.
        # Bu örnekte, Python.org'daki haber benzeri bir yapıya odaklanalım.
        # Gerçek bir haber sitesi için daha spesifik CSS seçiciler kullanmanız gerekebilir.
        articles = soup.select('div.blog-widget > ul.list-recent-posts > li > a') # Python.org blog widget'ı için örnek

        tweets_sent = 0
        for article in articles:
            if tweets_sent >= max_tweets:
                break

            title = article.get_text().strip()
            link = article['href']
            
            # Eğer link tam URL değilse, base URL ile birleştir
            if not link.startswith('http'):
                link = requests.compat.urljoin(news_url, link)

            # Tweet metnini oluştur
            # Tweet uzunluğunu 280 karakteri aşmayacak şekilde ayarla
            tweet_text = f"Yeni Makale: {title} - {link} #Haberler #Python"
            
            # Karakter sınırını kontrol et ve kısalt
            if len(tweet_text) > 280:
                # Bağlantı URL'sinin uzunluğunu tahmin et (t.co kısaltması sonrası 23 karakter)
                # ve başlığı buna göre kısalt
                link_length = 23 # t.co kısaltması sonrası
                fixed_part_length = len("Yeni Makale:  -  #Haberler #Python") # Sabit metinler ve boşluklar
                available_for_title = 280 - link_length - fixed_part_length

                if available_for_title < 0:
                    available_for_title = 0 # En kötü senaryoda başlık hiç sığmayabilir

                if len(title) > available_for_title:
                    title = title[:available_for_title - 3] + "..." # Başlığı kısalt

                tweet_text = f"Yeni Makale: {title} - {link} #Haberler #Python"


            print(f"Hazırlanan Tweet: {tweet_text}")

            try:
                api.update_status(tweet_text)
                print(f"Tweet başarıyla gönderildi: {title}")
                tweets_sent += 1
                time.sleep(random.randint(30, 90)) # Tweetler arası bekleme süresi
            except tweepy.TweepyException as e:
                print(f"Tweet gönderme hatası: {e}")
                if "Status is a duplicate" in str(e): # Aynı tweeti tekrar göndermeyi engelle
                    print("Bu tweet zaten gönderilmiş gibi görünüyor, atlanıyor.")
                time.sleep(random.randint(10, 30)) # Hata durumunda da bekle
            
        if tweets_sent == 0:
            print("Hiç yeni tweet gönderilmedi.")

    except requests.exceptions.RequestException as e:
        print(f"Web kazıma hatası: {e}")
    except Exception as e:
        print(f"Genel bir hata oluştu: {e}")

Örnek kullanım:
Haberleri kazıyacağınız URL (örneğin, bir blog veya haber sitesinin ana sayfası)
news_website_url = "https://www.python.org/blogs/" # Python blogları
scrape_and_tweet_news(news_website_url, max_tweets=2) # En fazla 2 tweet gönder