Python ve Playwright ile Güvenilir FMCSA Veri Kazıyıcı Oluşturma

Python ve Playwright ile Güvenilir FMCSA Veri Kazıyıcı Oluşturma

Amerika Birleşik Devletleri’nde faaliyet gösteren nakliye şirketlerinin güvenilirliği ve performansını anlamak, sektördeki birçok paydaş için kritik öneme sahiptir. Ancak, bu bilgilere ulaşmak genellikle zahmetli ve zaman alıcı olabilir. Federal Motor Taşıyıcı Güvenlik İdaresi (FMCSA) web sitesi, bu verilerin önemli bir kaynağıdır. Peki, bu verileri programatik olarak nasıl çekebilir ve analiz edebiliriz? Bu makalede, Python ve Playwright kullanarak FMCSA verilerini güvenilir bir şekilde kazıyacak bir sistem kurmanın inceliklerini adım adım ele alacağız. Otomotiv sektöründen sigorta şirketlerine, finans kuruluşlarından lojistik firmalarına kadar geniş bir yelpazede bu verilere ihtiyaç duyanlar için bu rehber, veri toplama süreçlerini otomatikleştirmelerine yardımcı olacaktır. Karmaşık web sitelerinden veri çekme ihtiyacınız olduğunda, Playwright gibi modern araçlar size güçlü bir çözüm sunar.

FMCSA Veri Kazıma Neden Önemli?

FMCSA, Amerika’daki ticari motorlu taşıtların güvenliği ve uyumluluğu hakkında kapsamlı bilgiler sunan bir devlet kurumudur. Bu veriler, nakliye şirketlerinin güvenlik kayıtları, denetim sonuçları, kaza istatistikleri ve sürücü bilgilerini içerir. Bu tür bilgilere erişim, iş dünyası için bir dizi stratejik avantaj sağlar. Örneğin, bir sigorta şirketi, potansiyel müşterilerinin risk profilini değerlendirmek için FMCSA verilerini kullanabilir. Bir finans kurumu, nakliye şirketlerine kredi verirken onların finansal ve operasyonel sağlığını anlamak için bu verilere başvurabilir. Lojistik firmaları ise tedarik zinciri ortaklarının performansını izleyerek daha bilinçli kararlar alabilir. Ancak, FMCSA web sitesi gibi büyük ve dinamik veri setlerine sahip platformlardan bilgi toplamak, manuel olarak yapıldığında inanılmaz derecede yorucu ve hataya açık olabilir. Bu noktada, otomatik veri kazıma (data scraping) devreye girer. Python’un esnekliği ve Playwright’in sunduğu modern tarayıcı otomasyon yetenekleri ile bu süreci hem verimli hem de güvenilir hale getirebiliriz. Bu süreç, sadece veri toplamakla kalmaz, aynı zamanda büyük veri setlerini analiz ederek değerli içgörüler elde etme kapısını da aralar. Bu nedenle, FMCSA verilerini etkin bir şekilde kazımak, rekabet avantajı elde etmek ve riskleri minimize etmek için stratejik bir adımdır. Otomatikleştirilmiş bir sistem, sürekli güncellenen verilere hızlıca erişmenizi sağlayarak piyasa değişikliklerine daha çabuk adapte olmanıza olanak tanır.

Neden Python ve Playwright?

Python, veri bilimi, web geliştirme ve otomasyon alanlarındaki popülerliği sayesinde veri kazıma projeleri için mükemmel bir seçimdir. Geniş kütüphane ekosistemi (örneğin, requests, BeautifulSoup, pandas) veri işleme ve analizini kolaylaştırır. Ancak, modern web siteleri genellikle JavaScript ile dinamik olarak yüklenen içeriklere sahiptir. Bu tür sitelerde geleneksel kütüphaneler yetersiz kalabilir. İşte tam bu noktada Playwright devreye girer. Playwright, Chromium, Firefox ve WebKit gibi modern tarayıcıları kontrol etmenizi sağlayan bir Node.js kütüphanesidir ve Python için de güçlü bir API sunar. Playwright’in en büyük avantajları şunlardır:

• Gerçek Tarayıcı Otomasyonu: Playwright, gerçek tarayıcılar üzerinde çalışır. Bu, JavaScript’in yürütüldüğü, sayfa öğelerinin dinamik olarak yüklendiği ve kullanıcı etkileşimlerinin simüle edildiği karmaşık web sitelerini sorunsuz bir şekilde kazımanıza olanak tanır.
• Hız ve Performans: Playwright, paralel tarayıcı örnekleri çalıştırma yeteneği sayesinde oldukça hızlıdır. Bu, büyük veri setlerini toplarken süreyi önemli ölçüde kısaltır.
• Güvenilirlik: Dinamik içeriklerin yüklenmesini bekleyebilmesi, öğelerin görünür olmasını kontrol edebilmesi gibi özellikleri sayesinde Playwright, daha güvenilir veri kazıma sonuçları elde etmenizi sağlar.
• Çok Yönlülük: Sadece veri kazıma değil, aynı zamanda web otomasyonu, test otomasyonu gibi birçok farklı senaryo için de kullanılabilir.
• Kolay Kullanım: Python API’si, Python geliştiricileri için öğrenmesi ve uygulaması kolay bir yapı sunar.

Bu özellikler, FMCSA gibi karmaşık ve dinamik web sitelerinden veri çekerken Playwright’i vazgeçilmez kılar. Python’un veri işleme yetenekleri ile Playwright’in tarayıcı otomasyon gücünü birleştirdiğimizde, son derece güçlü ve esnek bir veri kazıyıcı oluşturabiliriz. Bu kombinasyon, sadece veri toplama işlemini otomatikleştirmekle kalmaz, aynı zamanda elde edilen verilerin doğruluğunu ve bütünlüğünü de garanti altına alır. Örneğin, bir web sayfasının yüklenmesi birkaç saniye sürebilir ve bu süre zarfında JavaScript kodları çalışarak içeriği oluşturur. Playwright, bu bekleme sürelerini akıllıca yöneterek, sayfanın tamamen hazır olduğundan emin olur ve ardından verileri çeker. Bu, geleneksel yöntemlerle elde edilemeyecek bir güvenilirlik seviyesi sunar.

Kurulum ve Gerekli Araçlar

Bu projeye başlamadan önce bilgisayarınızda bazı temel araçların kurulu olması gerekmektedir. İlk adım olarak, Python’un en son sürümünü resmi web sitesinden indirip kurmanız önemlidir. Python kurulumu sırasında, “Add Python to PATH” seçeneğini işaretlemeyi unutmayın. Bu, komut istemcisinden (Command Prompt veya Terminal) Python komutlarını çalıştırabilmeniz için gereklidir. Kurulum tamamlandıktan sonra, bir sanal ortam (virtual environment) oluşturmak iyi bir pratiktir. Sanal ortamlar, projenize özel kütüphaneleri izole etmenizi sağlar ve farklı projeler arasında kütüphane çakışmalarını önler. Komut istemcisini açıp projenizin olmasını istediğiniz dizine gidin ve şu komutları çalıştırın:

python -m venv venv
    

Bu komut, venv adında bir sanal ortam oluşturacaktır. Ardından, bu sanal ortamı etkinleştirmeniz gerekir:

Windows için:

venv\Scripts\activate
    

macOS ve Linux için:

source venv/bin/activate
    

Sanal ortam etkinleştirildikten sonra, komut istemcisinin başında (venv) ifadesini göreceksiniz. Şimdi Playwright ve diğer gerekli kütüphaneleri kurabiliriz. Komut istemcisinde aşağıdaki komutu çalıştırın:

pip install playwright pandas
    

Bu komut, Playwright ve veri işleme için kullanacağımız Pandas kütüphanesini kuracaktır. Playwright’in tarayıcıları indirmesi için ek bir adıma ihtiyacımız var:

playwright install
    

Bu komut, Playwright’in desteklediği tarayıcıların (Chromium, Firefox, WebKit) en son sürümlerini indirir. Artık projeniz için gerekli tüm altyapı hazır. Bu kurulum adımları, projenizin temiz ve organize bir şekilde başlamasını sağlar. Sanal ortam kullanımı, gelecekte karşılaşabileceğiniz potansiyel bağımlılık sorunlarını da engeller. Ayrıca, pandas kütüphanesinin kurulması, topladığınız verileri daha sonra kolayca analiz etmenize ve raporlamanıza olanak tanıyacaktır.

FMCSA Web Sitesini Anlamak ve Veri Yapısı

FMCSA web sitesi, nakliye şirketleri hakkında detaylı bilgiler barındıran zengin bir kaynaktır. Ancak, bu verilerin yapısal olarak anlaşılması, etkili bir kazıyıcı (scraper) geliştirmek için ilk adımdır. Genellikle, FMCSA’nın sunduğu temel bilgiler şunları içerir:

• USDOT Numarası: Her nakliye şirketine verilen benzersiz bir tanımlayıcıdır.
• Şirket Adı ve Adresi: Şirketin yasal adı ve kayıtlı adresi.
• Operasyon Türü: Taşımacılık türü (örneğin, uluslararası, eyaletler arası, yerel).
• Taşıma Türü: Taşınan malların türü (örneğin, tehlikeli madde, genel kargo, canlı hayvan).
• Güvenlik Derecelendirmesi: Şirketin güvenlik performansı (genellikle “Satisfactory”, “Unsatisfactory” gibi).
• Denetim Kayıtları: Yapılan denetimlerin tarihleri, sonuçları ve ihlaller.
• Kaza Kayıtları: Şirketle ilişkilendirilen kazaların detayları.
• Sürücü Bilgileri: Sürücülerin lisans durumu ve geçmişi (bu bilgilere erişim, gizlilik politikaları nedeniyle daha kısıtlı olabilir).

Bu verileri kazımak için öncelikle FMCSA web sitesinin nasıl çalıştığını anlamak gerekir. Genellikle, belirli bir USDOT numarası veya şirket adı ile arama yapıldığında, ilgili bilgiler bir tablo veya ayrıntılı bir profil sayfasında sunulur. Bu sayfaların HTML yapısını incelemek, hangi öğelerin hangi veriyi içerdiğini belirlemek açısından kritiktir. Tarayıcınızın geliştirici araçlarını (Developer Tools) kullanarak sayfanın kaynak kodunu inceleyebilirsiniz. Özellikle, arama formlarının nasıl çalıştığı, sonuçların hangi HTML etiketleri (div, table, tr, td, span vb.) içinde sunulduğu ve bu öğelerin benzersiz kimlikleri (ID) veya sınıfları (class) olup olmadığına dikkat edin. FMCSA web sitesi, zaman zaman güncellenebileceği için, kazıyıcınızın esnek olması ve olası yapısal değişikliklere uyum sağlayabilmesi önemlidir. Veri kazıma işlemi sırasında, sayfa numaralandırma, filtreleme veya sıralama gibi özelliklerin nasıl çalıştığını da anlamak, tüm verilere erişim sağlamak için gereklidir. Örneğin, bir arama sonucunda onlarca sayfa varsa, kazıyıcınızın bu sayfalar arasında otomatik olarak gezinmesi gerekebilir. Bu, genellikle “Sonraki Sayfa” düğmesini bulup tıklayarak veya sayfa numarası parametrelerini URL’ye ekleyerek yapılır. Bu yapısal analiz, kodlama aşamasında karşılaşılacak zorlukları öngörmenize ve daha sağlam bir çözüm geliştirmenize yardımcı olur.

İlk Kazıyıcıyı Oluşturma: Temel Adımlar

Artık temel kurulumları tamamladık ve FMCSA web sitesinin yapısını anladık. Şimdi ilk basit Playwright tabanlı kazıyıcımızı oluşturmaya başlayabiliriz. Bu örnekte, belirli bir USDOT numarasına sahip bir şirketin temel bilgilerini çekeceğiz. Önce, Python dosyanızı oluşturun (örneğin, fmcsa_scraper.py). Ardından, Playwright’i kullanarak bir tarayıcı örneği başlatacak ve FMCSA web sitesine gideceğiz.

from playwright.sync_api import sync_playwright
import pandas as pd

def scrape_company_info(usdot_number):
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True) # headless=True arka planda çalıştırır
        page = browser.new_page()
        
        # FMCSA arama sayfasının URL'si (Bu URL zamanla değişebilir, güncel URL'yi kontrol edin)
        search_url = "https://safer.fmcsa.dot.gov/CompanySearch/AdvCtrl_Query.asp" 
        page.goto(search_url)

        # USDOT numarası alanını bulup değeri giriyoruz
        # Sayfa yapısını inceleyerek doğru selector'ı bulmalısınız.
        # Bu selector örnek amaçlıdır ve güncel web sitesi yapısına göre değişebilir.
        page.fill("input[name='query_USDOF_NUMBER']", usdot_number) 

        # Arama butonunu bulup tıklıyoruz
        # Button selector'ı da sayfa yapısına göre değişebilir.
        page.click("input[value='Search']")

        # Arama sonuçlarının yüklenmesini bekliyoruz
        # Sayfada belirli bir öğenin görünür olmasını beklemek güvenlidir.
        # Örneğin, sonuç tablosunun ilk satırını bekleyebiliriz.
        page.wait_for_selector("table.table-bordered tr") 

        # Şirket bilgilerini içeren tabloyu buluyoruz
        # Bu selector da web sitesinin yapısına göre değişebilir.
        company_table = page.query_selector("table.table-bordered")

        if company_table:
            # Tablo satırlarını alıyoruz
            rows = company_table.query_selector_all("tr")
            company_data = {}
            
            for row in rows:
                cells = row.query_selector_all("td")
                if len(cells) == 2:
                    key = cells[0].text_content().strip()
                    value = cells[1].text_content().strip()
                    company_data[key] = value
            
            browser.close()
            return company_data
        else:
            print(f"USDOT Numarası {usdot_number} için sonuç bulunamadı.")
            browser.close()
            return None

# Örnek kullanım
if __name__ == "__main__":
    # Gerçek bir USDOT numarası ile test edin
    test_usdot = "1234567" 
    info = scrape_company_info(test_usdot)

    if info:
        print(f"Şirket Bilgileri ({test_usdot}):")
        for key, value in info.items():
            print(f"- {key}: {value}")
        
        # Bilgileri Pandas DataFrame'e dönüştürmek isterseniz:
        df = pd.DataFrame([info])
        print("\nPandas DataFrame:")
        print(df)
    else:
        print(f"USDOT Numarası {test_usdot} için bilgi çekilemedi.")
    

Bu kod, Playwright ile bir tarayıcı başlatır, FMCSA arama sayfasına gider, USDOT numarası alanını bulur, değeri girer, arama butonuna tıklar ve sonuç sayfasındaki tabloyu kazır. headless=True parametresi, tarayıcının arka planda görünmez bir şekilde çalışmasını sağlar. Bu, otomasyon görevleri için idealdir. Ancak, hata ayıklama sırasında headless=False yaparak tarayıcının görsel olarak çalışmasını sağlayabilirsiniz. page.wait_for_selector() fonksiyonu, sayfanın belirli bir öğeyi yüklemesini beklemek için kullanılır, bu da kazıma işleminin kararlılığını artırır. query_selector ve query_selector_all metodları, CSS selector’ları kullanarak sayfa öğelerini seçmek için kullanılır. Bu selector’ların doğru bir şekilde belirlenmesi, projenin başarısı için hayati önem taşır. FMCSA web sitesinin HTML yapısı değiştiğinde bu selector’ların güncellenmesi gerekebilir. Elde edilen veriler bir Python sözlüğü olarak saklanır ve isteğe bağlı olarak bir Pandas DataFrame’e dönüştürülerek daha ileri analizler için hazır hale getirilir. Bu temel yapı, daha karmaşık veri kazıma senaryoları için bir başlangıç noktasıdır.

Birden Fazla Şirket Bilgisini Toplama ve Veri Yapılandırma

Tek bir şirketin bilgisini çekmek iyi bir başlangıç olsa da, gerçek dünya senaryolarında genellikle yüzlerce hatta binlerce şirketin verisine ihtiyaç duyarız. Bu durumda, kazıyıcımızı birden fazla şirket bilgisini toplamak ve bu verileri anlamlı bir yapıda saklamak üzere geliştirmemiz gerekir. Bunun için, işlenecek USDOT numaralarının bir listesini oluşturabilir ve bu liste üzerinde döngü kurarak her bir şirket için scrape_company_info fonksiyonunu çağırabiliriz. Elde edilen verileri bir liste içinde saklayıp, sonunda bu listeyi tek bir Pandas DataFrame’e dönüştürmek, verileri yapılandırmanın en etkili yollarından biridir.

from playwright.sync_api import sync_playwright
import pandas as pd
import time # Bekleme süreleri için

def scrape_company_info(page, usdot_number):
    """Belirli bir sayfa nesnesi ve USDOT numarası ile şirket bilgisi çeker."""
    try:
        # FMCSA arama sayfasının URL'si
        search_url = "https://safer.fmcsa.dot.gov/CompanySearch/AdvCtrl_Query.asp" 
        page.goto(search_url, wait_until="networkidle") # Sayfanın tamamen yüklenmesini bekle

        # USDOT numarası alanını bulup değeri giriyoruz
        page.fill("input[name='query_USDOF_NUMBER']", usdot_number) 

        # Arama butonunu bulup tıklıyoruz
        page.click("input[value='Search']")

        # Arama sonuçlarının yüklenmesini bekliyoruz
        page.wait_for_selector("table.table-bordered", timeout=30000) # 30 saniye bekle

        # Şirket bilgilerini içeren tabloyu buluyoruz
        company_table = page.query_selector("table.table-bordered")

        if company_table:
            rows = company_table.query_selector_all("tr")
            company_data = {"USDOT": usdot_number} # USDOT numarasını da ekleyelim
            
            for row in rows:
                cells = row.query_selector_all("td")
                if len(cells) == 2:
                    key = cells[0].text_content().strip()
                    value = cells[1].text_content().strip()
                    # Anahtar isimlerini daha anlaşılır hale getirebiliriz
                    if "USDOT Number" in key: key = "USDOT"
                    elif "Legal Name" in key: key = "LegalName"
                    elif "Doing Business As (DBA)" in key: key = "DBA"
                    elif "Street" in key: key = "Street"
                    elif "City" in key: key = "City"
                    elif "State" in key: key = "State"
                    elif "ZIP Code" in key: key = "ZIPCode"
                    elif "Country" in key: key = "Country"
                    elif "Name of Controlling Company" in key: key = "ControllingCompany"
                    elif "Physical Address" in key: key = "PhysicalAddress" # Bu alan bazen farklılık gösterebilir
                    elif "Mailing Address" in key: key = "MailingAddress" # Bu alan bazen farklılık gösterebilir
                    # Diğer alanları da benzer şekilde düzenleyebilirsiniz.

                    company_data[key] = value
            
            return company_data
        else:
            print(f"USDOT Numarası {usdot_number} için sonuç tablosu bulunamadı.")
            return None
            
    except Exception as e:
        print(f"USDOT Numarası {usdot_number} işlenirken hata oluştu: {e}")
        return None

def scrape_multiple_companies(usdot_list):
    all_company_data = []
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()

        for usdot in usdot_list:
            print(f"İşleniyor: {usdot}")
            company_info = scrape_company_info(page, usdot)
            if company_info:
                all_company_data.append(company_info)
            
            # FMCSA'nın botlara karşı korumalarını tetiklememek için rastgele bekleme süreleri ekleyelim
            time.sleep(random.uniform(2, 5)) 

        browser.close()
    
    return pd.DataFrame(all_company_data)

# Örnek kullanım
if __name__ == "__main__":
    import random # Rastgele bekleme süreleri için

    # İşlenecek USDOT numaralarının listesi (gerçek numaralarla değiştirin)
    usdot_numbers_to_scrape = [
        "1000001", "1000002", "1000003", "1000004", "1000005", 
        "1000006", "1000007", "1000008", "1000009", "1000010"
    ]

    print("Birden fazla şirket bilgisi çekiliyor...")
    df_companies = scrape_multiple_companies(usdot_numbers_to_scrape)

    if not df_companies.empty:
        print("\n--- Toplanan Şirket Bilgileri (İlk 5 Satır) ---")
        print(df_companies.head())
        
        # Verileri CSV dosyasına kaydetmek için
        df_companies.to_csv("fmcsa_company_data.csv", index=False)
        print("\nVeriler 'fmcsa_company_data.csv' dosyasına kaydedildi.")
    else:
        print("Hiçbir şirket bilgisi çekilemedi.")
    

Bu kodda, scrape_multiple_companies fonksiyonu, bir USDOT numaraları listesi alır ve her biri için scrape_company_info fonksiyonunu çağırır. scrape_company_info fonksiyonu artık tek başına bir tarayıcı başlatmak yerine, bir sayfa nesnesi alır. Bu, aynı tarayıcı oturumunda birden fazla sayfayı yöneterek daha verimli olmamızı sağlar. Ayrıca, FMCSA’nın bot algılamasını tetikleyebilecek hızlı istekleri önlemek için time.sleep(random.uniform(2, 5)) ile rastgele bekleme süreleri ekledik. wait_until="networkidle" parametresi, sayfanın tüm ağ isteklerinin tamamlanmasını bekler, bu da dinamik içeriğin yüklenmesi için daha güvenilir bir yöntemdir. Elde edilen tüm şirket verileri bir liste içinde toplanır ve sonunda tek bir Pandas DataFrame’e dönüştürülür. Bu DataFrame, daha sonra CSV, Excel gibi formatlarda kolayca kaydedilebilir veya doğrudan veri analizi için kullanılabilir. Anahtar isimlerinin daha anlaşılır hale getirilmesi, verinin okunabilirliğini ve kullanımını artırır. Bu yapı, büyük veri setlerini yönetmek ve analiz etmek için sağlam bir temel oluşturur.

Gelişmiş Teknikler: Sayfalama, Hata Yönetimi ve Proxy Kullanımı

FMCSA web sitesi gibi büyük veri setleri sunan platformlarda, veriler genellikle birden fazla sayfaya yayılmış olabilir (sayfalama). Ayrıca, ağ sorunları, web sitesi değişiklikleri veya geçici engellemeler gibi beklenmedik durumlarla karşılaşabiliriz. Bu tür senaryolarla başa çıkmak için kazıyıcımıza daha gelişmiş yetenekler eklememiz gerekir. Bu bölümde, sayfalama ile başa çıkmayı, hata yönetimini iyileştirmeyi ve anonimliği artırmak için proxy kullanmayı ele alacağız.

Sayfalama (Pagination) ile Başa Çıkma

Bir arama sonucunda yüzlerce kayıt varsa, bu kayıtlar genellikle sayfalara bölünür. Kazıyıcımızın tüm bu sayfalardaki verileri çekebilmesi için sayfalama mekanizmasını anlaması ve bu sayfalar arasında gezinmesi gerekir. FMCSA sitesinde bu genellikle “Next” düğmesi, sayfa numaraları veya belirli URL parametreleri aracılığıyla yapılır. Bir “Next” düğmesini tıklayarak sayfalama yapmak için şu adımları izleyebiliriz:

1. Mevcut sayfadaki verileri topla.
2. “Next” düğmesini bul.
3. Eğer “Next” düğmesi varsa, tıkla ve yeni sayfanın yüklenmesini bekle.
4. Bu işlemi “Next” düğmesi kalmayana kadar tekrarla.

Bu mantığı scrape_company_info fonksiyonumuzun içine veya ayrı bir fonksiyon olarak entegre edebiliriz. Örneğin, arama sonuçları sayfasında table.table-bordered gibi bir tabloyu kazıdıktan sonra, sayfa numaralarını veya “Next” düğmesini arayabiliriz.

Sağlam Hata Yönetimi

Web kazıma projelerinde hatalar kaçınılmazdır. Ağ bağlantısı kesintileri, web sitesi yapısındaki değişiklikler, CAPTCHA’lar veya IP engellemeleri gibi durumlar kazıma işlemini durdurabilir. Bu nedenle, kodumuza kapsamlı hata yönetimi eklemeliyiz. try-except bloklarını kullanarak potansiyel hataları yakalayabilir ve bunları kaydedebiliriz. Örneğin, bir öğe bulunamadığında veya bir sayfa yüklenmediğinde programın çökmesini engellemek önemlidir. Hatalı USDOT numaralarını veya işlenemeyen kayıtları ayrı bir listede toplayarak daha sonra bu kayıtlara tekrar bakabiliriz.

Proxy Kullanımı

Büyük miktarda veri çekerken, IP adresinizin FMCSA tarafından engellenme riski vardır. Bu riski azaltmak ve anonimliği artırmak için proxy sunucuları kullanabiliriz. Playwright, proxy sunucuları üzerinden tarayıcı başlatmayı destekler. Bir proxy sunucusu kullanmak için, tarayıcıyı başlatırken proxy argümanını belirtmeniz gerekir.

browser = p.chromium.launch(
    headless=True,
    proxy={
        "server": "http://your_proxy_server:port", # Proxy sunucu adresiniz ve portunuz
        "username": "your_username", # Proxy kullanıcı adınız (varsa)
        "password": "your_password" # Proxy şifreniz (varsa)
    }
)
    

Proxy sunucularını yönetmek, özellikle rotasyonlu proxy’ler (her istekte farklı bir IP adresi kullanan) kullanmak, karmaşık bir konu olabilir. Ücretli proxy hizmetleri bu konuda daha iyi çözümler sunar. Proxy kullanmak, kazıma işleminin sürekliliğini sağlamak ve IP engellemelerinden kaçınmak için etkili bir yöntemdir. Ancak, proxy’lerin de bir maliyeti vardır ve ücretsiz proxy’ler genellikle güvenilir değildir. Bu nedenle, projenizin ölçeğine ve bütçenize uygun bir proxy stratejisi belirlemek önemlidir. Bu gelişmiş teknikler, FMCSA verilerini daha büyük ölçekte, daha güvenilir ve daha sağlam bir şekilde çekmenizi sağlar.

Vaka Analizi: Sigorta Şirketi İçin Risk Değerlendirmesi

Bir sigorta şirketi, yeni müşterilerinden biri olan büyük bir nakliye firması için risk değerlendirmesi yapmak istiyor. Bu firmanın güvenlik kayıtları, geçmiş kazaları ve denetim sonuçları, sigorta primlerinin belirlenmesinde kritik rol oynuyor. Manuel olarak FMCSA web sitesinden bu bilgileri toplamak günler sürebilir ve eksik veya güncel olmayan bilgilere dayanarak yanlış kararlar alınabilir. Bu noktada, Python ve Playwright ile geliştirilmiş bir FMCSA veri kazıyıcı devreye giriyor.

Senaryo:

1. Sigorta şirketi, potansiyel müşterisi olan nakliye firmasının USDOT numaralarını bir listeye toplar.
2. Bu USDOT numaraları listesi, daha önce geliştirilen scrape_multiple_companies fonksiyonuna verilir.
3. Kazıyıcı, FMCSA web sitesine bağlanarak her bir USDOT numarası için temel bilgileri (şirket adı, adresi, operasyon türü), güvenlik derecelendirmesini, son 2 yıllık denetim sonuçlarını ve kaza istatistiklerini çeker.
4. Elde edilen veriler, bir Pandas DataFrame’e dönüştürülür.
5. DataFrame üzerinde analizler yapılır:

• Son iki yılda kaç denetim yapıldığı ve bunların kaçının ihlalle sonuçlandığı hesaplanır.
• Yapılan kaza sayısı ve bu kazaların ciddiyet dereceleri incelenir.
• Şirketin güvenlik derecelendirmesi kontrol edilir.
• Belirlenen kriterlere göre (örneğin, belirli bir sayıda ciddi ihlal veya kaza varsa) şirketin “yüksek riskli” olarak işaretlenmesi sağlanır.

Sonuç: Bu vaka analizi, otomatik veri kazımanın sadece veri toplama işlemini hızlandırmakla kalmayıp, aynı zamanda daha derinlemesine analizler yapılmasına ve iş kararlarının iyileştirilmesine nasıl olanak tanıdığını göstermektedir. Playwright’in dinamik web siteleriyle başa çıkma yeteneği ve Python’un veri analizi ekosistemi, bu tür karmaşık sorunlara pratik ve etkili çözümler sunar. Sigorta şirketi, bu otomatik sistemi kullanarak hem zaman tasarrufu sağlar hem de risk yönetimi yeteneklerini önemli ölçüde geliştirir.

Sonuç ve Sıkça Sorulan Sorular

Bu makalede, Python ve Playwright kullanarak güvenilir bir FMCSA veri kazıyıcı oluşturmanın temel adımlarını, ileri tekniklerini ve gerçek dünya uygulamalarını inceledik. FMCSA gibi devlet kurumlarının sunduğu değerli verilere erişim, iş süreçlerini optimize etmek ve daha bilinçli kararlar almak için büyük önem taşımaktadır. Playwright’in modern tarayıcı otomasyon yetenekleri sayesinde, JavaScript ile dinamik olarak yüklenen karmaşık web sitelerinden bile etkili bir şekilde veri çekebiliriz. Python’un geniş kütüphane desteği ile birleştiğinde, bu araçlar veri toplama ve analiz projeleri için güçlü bir kombinasyon oluşturur.

Unutulmamalıdır ki, web kazıma işlemleri, hedef web sitesinin kullanım koşullarına ve yasal düzenlemelere uygun olarak yapılmalıdır. Aşırı yüklenmekten kaçınmak, sayfa yükleme sürelerini beklemek ve mümkünse web sitesinin sunduğu API’ları kullanmak her zaman en iyi yaklaşımdır. Bu rehber, teknik bir başlangıç noktası sunmaktadır ve her projenin kendine özgü gereksinimlerine göre uyarlanması gerekebilir.

Sıkça Sorulan Sorular (SSS)

• Soru: FMCSA web sitesinden veri çekerken yasal sorunlarla karşılaşır mıyım?
  Cevap: Web kazıma yaparken her zaman hedef web sitesinin kullanım koşullarını (Terms of Service) kontrol etmelisiniz. FMCSA’nın verileri genellikle kamuya açık olsa da, aşırı istek göndermek veya bot gibi davranmak kullanım koşullarını ihlal edebilir. Kazıyıcınızı yavaşlatmak, robots.txt dosyasını kontrol etmek ve mümkünse resmi API’ları kullanmak yasal uyumluluğu artırır.
• Soru: Playwright ile çekerken web sitesi engellerse ne yapmalıyım?
  Cevap: Engellemelerle başa çıkmak için IP rotasyonu (proxy sunucuları kullanmak), daha yavaş ve insan benzeri davranışlar sergilemek (rastgele beklemeler, fare hareketleri simülasyonu gibi) ve tarayıcı parmak izini (browser fingerprinting) karıştırmak gibi teknikler kullanılabilir. CAPTCHA çözümleri entegre etmek de bir seçenek olabilir ancak bu genellikle daha karmaşıktır.
• Soru: Topladığım verileri nasıl daha iyi analiz edebilirim?
  Cevap: Pandas kütüphanesi, verileri temizlemek, dönüştürmek ve analiz etmek için çok güçlüdür. Verilerinizi bir CSV dosyasına kaydedip Excel, Google Sheets gibi araçlarla da analiz edebilirsiniz. Daha ileri analizler için NumPy, SciPy veya makine öğrenmesi kütüphaneleri (Scikit-learn, TensorFlow) kullanılabilir.
• Soru: FMCSA web sitesinin yapısı değişirse kazıyıcım ne olur?
  Cevap: Web sitelerinin yapısı zamanla değişebilir. Bu durumda, kazıyıcınızın kullandığı CSS selector’ları veya XPath ifadeleri geçersiz hale gelebilir. Bu tür değişiklikler olduğunda, kazıyıcınızı güncellemeniz gerekecektir. Bu nedenle, kodunuzu modüler tutmak ve selector’ları kolayca güncelleyebileceğiniz bir yapıda tasarlamak önemlidir.
• Soru: Headless modda çalışırken hata ayıklama yapmak zor mu?
  Cevap: Headless modda hata ayıklama biraz daha zorlayıcı olabilir. Hata ayıklama sırasında headless=False yaparak tarayıcının görsel olarak çalışmasını sağlayabilirsiniz. Ayrıca, Playwright’in sağladığı loglama ve ekran görüntüsü alma özelliklerini kullanarak sorunları tespit edebilirsiniz.

#Python #WebScraping #Playwright #FMCSA #DataEngineering #Automation