Python’\u0131n asyncio k\u00fct\u00fcphanesi ile y\u00fczlerce web scraper’\u0131 etkili bir \u015fekilde y\u00f6netmek art\u0131k hayal de\u011fil. Geleneksel yakla\u015f\u0131mlar\u0131n darbo\u011fazlar\u0131n\u0131 a\u015farak, veri toplama projelerinizi nas\u0131l h\u0131zland\u0131raca\u011f\u0131n\u0131z\u0131 ve optimize edece\u011finizi ad\u0131m ad\u0131m ke\u015ffedin. Bu makale, e\u015fzamanl\u0131 programlaman\u0131n g\u00fcc\u00fcn\u00fc kullanarak b\u00fcy\u00fck \u00f6l\u00e7ekli scraping i\u015flemlerinde kar\u015f\u0131la\u015faca\u011f\u0131n\u0131z zorluklara pratik \u00e7\u00f6z\u00fcmler sunuyor.<\/p>\n

\n Uzman \u0130pucu: Web scraping projelerinde do\u011fru ara\u00e7lar\u0131 se\u00e7mek, performans\u0131 ve s\u00fcrd\u00fcr\u00fclebilirli\u011fi do\u011frudan etkiler. asyncio, bu ba\u011flamda oyunun kurallar\u0131n\u0131 de\u011fi\u015ftiren bir teknolojidir.\n<\/div>\n

G\u00fcn\u00fcm\u00fcz\u00fcn rekabet\u00e7i d\u00fcnyas\u0131nda, \u015firketler ve ara\u015ft\u0131rmac\u0131lar i\u00e7in veri toplama kritik bir \u00f6neme sahip. Web scraping, bu veriye ula\u015fman\u0131n en g\u00fc\u00e7l\u00fc yollar\u0131ndan biri. Ancak, y\u00fczlerce veya hatta binlerce web sitesinden ayn\u0131 anda veri \u00e7ekmeye kalkt\u0131\u011f\u0131n\u0131zda, geleneksel y\u00f6ntemlerle ciddi zorluklarla kar\u015f\u0131la\u015fman\u0131z ka\u00e7\u0131n\u0131lmazd\u0131r. \u0130lk olarak, en b\u00fcy\u00fck sorunlardan biri “bloklama” i\u015flemleridir. Python’\u0131n pop\u00fcler requests<\/code> k\u00fct\u00fcphanesi gibi ara\u00e7lar senkron \u00e7al\u0131\u015ft\u0131\u011f\u0131 i\u00e7in, bir web sitesine istek g\u00f6nderdi\u011finizde, yan\u0131t gelene kadar program\u0131n\u0131z beklemek zorunda kal\u0131r. Bu durum, tek bir istek i\u00e7in belki birka\u00e7 y\u00fcz milisaniye olsa da, y\u00fczlerce veya binlerce istek s\u00f6z konusu oldu\u011funda toplam bekleme s\u00fcresi saatlere, hatta g\u00fcnlere \u00e7\u0131kabilir. Bu, hem zaman hem de kaynak a\u00e7\u0131s\u0131ndan inan\u0131lmaz derecede verimsiz bir yakla\u015f\u0131md\u0131r.<\/p>\n

Bununla birlikte, yaln\u0131zca h\u0131z problemiyle s\u0131n\u0131rl\u0131 de\u011filiz. \u00d6l\u00e7eklenebilirlik de ciddi bir engel te\u015fkil eder. Geleneksel senkron d\u00f6ng\u00fclerle y\u00fczlerce siteyi tararken, her bir istek i\u00e7in ayr\u0131 bir i\u015flem veya i\u015f par\u00e7ac\u0131\u011f\u0131 (thread) a\u00e7maya \u00e7al\u0131\u015fmak sistem kaynaklar\u0131n\u0131 a\u015f\u0131r\u0131 derecede t\u00fcketir. Her yeni i\u015f par\u00e7ac\u0131\u011f\u0131 veya i\u015flem, kendi belle\u011fine ve i\u015flemci y\u00fck\u00fcne sahiptir, bu da k\u0131sa s\u00fcrede makinenizi yava\u015flat\u0131r veya \u00e7\u00f6kertir. Dahas\u0131, modern web siteleri bot trafi\u011fine kar\u015f\u0131 giderek daha diren\u00e7li hale gelmi\u015ftir. IP adresinizin kara listeye al\u0131nmas\u0131, reCAPTCHA’larla kar\u015f\u0131la\u015fma, dinamik i\u00e7eriklerin (JavaScript ile y\u00fcklenen) i\u015flenememesi gibi sorunlar, veri toplama operasyonlar\u0131n\u0131 daha da karma\u015f\u0131kla\u015ft\u0131r\u0131r. Bu engeller, sadece teknik de\u011fil, ayn\u0131 zamanda operasyonel maliyetleri de art\u0131ran unsurlard\u0131r. Dolay\u0131s\u0131yla, bu zorluklar\u0131 a\u015fabilmek i\u00e7in daha modern, daha verimli ve daha ak\u0131ll\u0131 \u00e7\u00f6z\u00fcmlere ihtiyac\u0131m\u0131z var. Asenkron programlama ve \u00f6zellikle Python’\u0131n asyncio k\u00fct\u00fcphanesi, bu noktada devreye girerek t\u00fcm bu sorunlara g\u00fc\u00e7l\u00fc ve \u00f6l\u00e7eklenebilir bir yan\u0131t sunar.<\/p>\n

\u00d6zellikle e-ticaret sitelerinden fiyat kar\u015f\u0131la\u015ft\u0131rmas\u0131 yapmak, haber sitelerinden i\u00e7erik analizi i\u00e7in veri toplamak veya sosyal medya platformlar\u0131ndan halka a\u00e7\u0131k bilgileri \u00e7ekmek gibi senaryolarda, binlerce sayfan\u0131n taranmas\u0131 gerekebilir. Geleneksel y\u00f6ntemlerle bu t\u00fcr bir g\u00f6revi \u00fcstlenmek, \u00e7o\u011fu zaman g\u00fcnler s\u00fcren bir i\u015flem haline gelebilir. Ayr\u0131ca, web sitelerinin h\u0131z s\u0131n\u0131rlamalar\u0131 (rate limiting) da \u00f6nemli bir fakt\u00f6rd\u00fcr. Bir siteye \u00e7ok h\u0131zl\u0131 art arda istek g\u00f6nderdi\u011finizde, genellikle bir s\u00fcre engellenirsiniz. Senkron bir yap\u0131 bu duruma adapte olmakta zorlan\u0131r \u00e7\u00fcnk\u00fc istekler aras\u0131 dinamik bekleme s\u00fcreleri eklemek program\u0131n daha da yava\u015flamas\u0131na neden olur. Son olarak, toplanan verinin kalitesi ve tutarl\u0131l\u0131\u011f\u0131 da \u00f6nemlidir. \u0130stekler esnas\u0131nda ya\u015fanabilecek a\u011f hatalar\u0131, sunucu yan\u0131t s\u00fcreleri veya sitenin yap\u0131s\u0131ndaki anl\u0131k de\u011fi\u015fiklikler, verinin b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc bozabilir. T\u00fcm bu nedenlerle, web scraping projelerinde yaln\u0131zca do\u011fru veriyi toplamak de\u011fil, ayn\u0131 zamanda bunu h\u0131zl\u0131, verimli ve hata toleransl\u0131 bir \u015fekilde yapmak i\u00e7in ileri d\u00fczey tekniklere ba\u015fvurmak hayati \u00f6nem ta\u015f\u0131r. \u0130\u015fte tam da bu noktada Python’\u0131n asenkron yetenekleri devreye giriyor.<\/p>\n

Python asyncio ile Asenkron Programlaman\u0131n G\u00fcc\u00fcn\u00fc Ke\u015ffedin: Neden \u00d6nemli?<\/h2>\nPython’da y\u00fczlerce web scraper’\u0131 ayn\u0131 anda y\u00f6netme fikri kula\u011fa karma\u015f\u0131k gelse de, asyncio<\/code> k\u00fct\u00fcphanesi bu karma\u015f\u0131kl\u0131\u011f\u0131 b\u00fcy\u00fck \u00f6l\u00e7\u00fcde basitle\u015ftiriyor. Peki, nedir bu asyncio<\/code> ve neden bu kadar \u00f6nemli? Temelde, asyncio<\/code> Python’\u0131n e\u015fzamanl\u0131 programlama (concurrency) i\u00e7in standart k\u00fct\u00fcphanesidir. Geleneksel programlama, kodun yukar\u0131dan a\u015fa\u011f\u0131ya do\u011fru ad\u0131m ad\u0131m y\u00fcr\u00fct\u00fclmesi prensibine dayan\u0131r. Bir i\u015flem ba\u015flamadan di\u011feri bitmez. Bu “bloklama” yakla\u015f\u0131m\u0131, \u00f6zellikle I\/O (giri\u015f\/\u00e7\u0131k\u0131\u015f) yo\u011fun i\u015flemlerde \u2013 ki web scraping tam da b\u00f6yledir \u2013 b\u00fcy\u00fck bir performans darbo\u011faz\u0131 yarat\u0131r.<\/p>\n
Asenkron programlama ise, bir g\u00f6revin ba\u015fka bir g\u00f6revi beklerken i\u015flem yapmaya devam edebilmesini sa\u011flar. Bir web iste\u011fi g\u00f6nderdi\u011finizde, yan\u0131t\u0131n gelmesini beklemek yerine, asyncio<\/code> o arada ba\u015fka bir iste\u011fi g\u00f6nderebilir veya ba\u015fka bir hesaplama yapabilir. Bu, tek bir i\u015f par\u00e7ac\u0131\u011f\u0131 (thread) \u00fczerinde birden fazla g\u00f6revin “e\u015fzamanl\u0131” olarak y\u00fcr\u00fct\u00fclmesini sa\u011flar. Burada \u00f6nemli bir ayr\u0131m, “e\u015fzamanl\u0131l\u0131k” (concurrency) ile “paralellik” (parallelism) aras\u0131ndad\u0131r. Paralellik, birden fazla g\u00f6revin ayn\u0131 anda (genellikle birden fazla CPU \u00e7ekirde\u011fi \u00fczerinde) ger\u00e7ek anlamda \u00e7al\u0131\u015fmas\u0131 anlam\u0131na gelirken, e\u015fzamanl\u0131l\u0131k, g\u00f6revlerin h\u0131zl\u0131 bir \u015fekilde aras\u0131nda ge\u00e7i\u015f yaparak hepsinin ilerlemesi yan\u0131lsamas\u0131n\u0131 yarat\u0131r. asyncio<\/code> tek bir i\u015f par\u00e7ac\u0131\u011f\u0131nda \u00e7al\u0131\u015f\u0131r, bu da onu hafif ve verimli k\u0131lar.<\/p>\n
Web scraping ba\u011flam\u0131nda bu ne anlama geliyor? Y\u00fczlerce farkl\u0131 URL’den veri \u00e7ekerken, her bir HTTP iste\u011fi a\u011fdan yan\u0131t bekler. Bu bekleme s\u00fcreleri, asenkron programlama ile di\u011fer istekleri g\u00f6ndermek veya zaten d\u00f6nen verileri i\u015flemek i\u00e7in kullan\u0131labilir. Sonu\u00e7 olarak, ayn\u0131 s\u00fcre i\u00e7inde \u00e7ok daha fazla i\u015f yapabilir, dolay\u0131s\u0131yla scraper’\u0131n\u0131z\u0131n genel verimlili\u011fini ve h\u0131z\u0131n\u0131 katlayarak art\u0131rabilirsiniz. asyncio<\/code>‘nun temel yap\u0131 ta\u015flar\u0131 olan async<\/code> ve await<\/code> anahtar kelimeleri, bu ak\u0131\u015f\u0131 y\u00f6netmek i\u00e7in kullan\u0131l\u0131r. async<\/code> ile asenkron fonksiyonlar\u0131 (coroutine) tan\u0131mlar\u0131z ve await<\/code> ile bir asenkron i\u015flemin tamamlanmas\u0131n\u0131 bekleriz, ancak bu bekleyi\u015f s\u0131ras\u0131nda program di\u011fer asenkron g\u00f6revlere ge\u00e7ebilir. Bu mekanizma, geleneksel bloklama d\u00f6ng\u00fclerinde kar\u015f\u0131la\u015f\u0131lan yava\u015flamalar\u0131 ortadan kald\u0131r\u0131r ve scraping operasyonlar\u0131n\u0131z\u0131 yeni bir boyuta ta\u015f\u0131r.<\/p>\n
asyncio Nas\u0131l \u00c7al\u0131\u015f\u0131r? Pratik Bir Bak\u0131\u015f<\/h3>\nasyncio<\/code>‘nun kalbinde “event loop” (olay d\u00f6ng\u00fcs\u00fc) ad\u0131 verilen bir mekanizma yatar. Bu olay d\u00f6ng\u00fcs\u00fc, asenkron g\u00f6revlerin ne zaman \u00e7al\u0131\u015faca\u011f\u0131n\u0131, ne zaman duraklayaca\u011f\u0131n\u0131 ve ne zaman devam edece\u011fini planlar ve y\u00f6netir. Siz bir async def<\/code> ile bir fonksiyon tan\u0131mlad\u0131\u011f\u0131n\u0131zda, asl\u0131nda bir “coroutine” olu\u015fturmu\u015f olursunuz. Coroutine’ler, klasik fonksiyonlar\u0131n aksine, belirli noktalarda (genellikle bir await<\/code> ifadesiyle) y\u00fcr\u00fct\u00fclmesini duraklat\u0131p daha sonra kald\u0131\u011f\u0131 yerden devam edebilen \u00f6zel fonksiyonlard\u0131r. \u0130\u015fte bu esneklik, asyncio<\/code>‘nun g\u00fcc\u00fcn\u00fc olu\u015fturur.<\/p>\n
\u00d6rne\u011fin, basit bir asenkron gecikme fonksiyonuna g\u00f6z atal\u0131m:<\/p>\n
\nimport asyncio\n\nasync def bekleme_gorevi(gorev_ad\u0131, sure):\n    print(f\"{gorev_ad\u0131} ba\u015fl\u0131yor, {sure} saniye beklenecek.\")\n    await asyncio.sleep(sure)  # Non-blocking gecikme\n    print(f\"{gorev_ad\u0131} bitti.\")\n\nasync def ana_program():\n    # \u00dc\u00e7 g\u00f6revi e\u015fzamanl\u0131 olarak ba\u015flat\n    await asyncio.gather(\n        bekleme_gorevi(\"G\u00f6rev A\", 3),\n        bekleme_gorevi(\"G\u00f6rev B\", 1),\n        bekleme_gorevi(\"G\u00f6rev C\", 2)\n    )\n    print(\"T\u00fcm g\u00f6revler tamamland\u0131.\")\n\nif __name__ == \"__main__\":\n    asyncio.run(ana_program())\n\n<\/pre>\n<\/code><\/p>\n
Bu kodda, ana_program<\/code> fonksiyonu asyncio.gather()<\/code> kullanarak \u00fc\u00e7 farkl\u0131 bekleme_gorevi<\/code>'ni ba\u015flat\u0131r. Her bir g\u00f6rev, kendi bekleme s\u00fcresi boyunca bloklama yapmaz; yani \"G\u00f6rev A\" 3 saniye beklerken, \"G\u00f6rev B\" 1 saniye sonra bitebilir ve \"G\u00f6rev C\" 2 saniye sonra. asyncio.run()<\/code> fonksiyonu, olay d\u00f6ng\u00fcs\u00fcn\u00fc ba\u015flat\u0131r ve ana_program<\/code> coroutine'ini \u00e7al\u0131\u015ft\u0131r\u0131r. Sonu\u00e7 olarak, t\u00fcm g\u00f6revler neredeyse ayn\u0131 anda ba\u015flar ve biti\u015f s\u00fcreleri kendi ba\u011f\u0131ms\u0131z s\u00fcrelerine ba\u011fl\u0131 olur, bu da toplam s\u00fcrenin en uzun g\u00f6revin s\u00fcresine yakla\u015fmas\u0131n\u0131 sa\u011flar, her bir g\u00f6revin s\u0131rayla tamamlanmas\u0131n\u0131 beklemez. Bu, I\/O yo\u011fun web scraping g\u00f6revleri i\u00e7in m\u00fckemmel bir modeldir. aiohttp<\/code> gibi asenkron HTTP k\u00fct\u00fcphaneleri, bu async\/await<\/code> yap\u0131s\u0131n\u0131 kullanarak web isteklerini non-blocking bir \u015fekilde yapmam\u0131z\u0131 sa\u011flar ve b\u00f6ylece ayn\u0131 anda y\u00fczlerce iste\u011fi verimli bir \u015fekilde y\u00f6netebiliriz.<\/p>\n
Y\u00fczlerce Scraper'\u0131 E\u015fzamanl\u0131 \u00c7al\u0131\u015ft\u0131rmak: Ad\u0131m Ad\u0131m Uygulama Rehberi<\/h2>\nY\u00fczlerce web sitesinden e\u015fzamanl\u0131 veri \u00e7ekme fikri, asyncio<\/code> ile hayat bulur. Ancak, asyncio<\/code> tek ba\u015f\u0131na HTTP isteklerini yapmaz; bunun i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015f asenkron HTTP istemcilerine ihtiyac\u0131m\u0131z var. Bu alanda en pop\u00fcler ve g\u00fc\u00e7l\u00fc se\u00e7eneklerden biri aiohttp<\/code> k\u00fct\u00fcphanesidir. \u015eimdi, ad\u0131m ad\u0131m bu g\u00fcc\u00fc nas\u0131l kullanaca\u011f\u0131m\u0131za bakal\u0131m.<\/p>\n
aiohttp ile Asenkron HTTP \u0130stekleri Nas\u0131l Yap\u0131l\u0131r?<\/h3>\naiohttp<\/code> k\u00fct\u00fcphanesi, asyncio<\/code> \u00fczerinde \u00e7al\u0131\u015facak \u015fekilde tasarlanm\u0131\u015f bir HTTP istemcisi ve sunucusu sa\u011flar. Bu sayede, senkron requests<\/code> k\u00fct\u00fcphanesinin aksine, non-blocking HTTP istekleri yapabiliriz. \u0130lk ad\u0131m olarak, aiohttp<\/code>'yi kurmam\u0131z gerekir:<\/p>\n
\npip install aiohttp\n\n<\/pre>\n<\/code><\/p>\n
Kurulumdan sonra, basit bir asenkron GET iste\u011fi yapmak olduk\u00e7a kolayd\u0131r. \u0130\u015fte bir \u00f6rnek:<\/p>\n
\nimport asyncio\nimport aiohttp\n\nasync def fetch_url(session, url):\n    async with session.get(url) as response:\n        return await response.text() # response.text() de asenkron bir i\u015flemdir\n\nasync def main():\n    async with aiohttp.ClientSession() as session:\n        html = await fetch_url(session, \"https:\/\/www.example.com\")\n        print(f\"URL i\u00e7eri\u011fi ba\u015far\u0131yla \u00e7ekildi. \u0130lk 100 karakter: {html[:100]}...\")\n\nif __name__ == \"__main__\":\n    asyncio.run(main())\n\n<\/pre>\n<\/code><\/p>\n
Bu \u00f6rnekte, aiohttp.ClientSession()<\/code> kullanarak bir oturum olu\u015fturuyoruz. Bu oturum, ayn\u0131 hedefe yap\u0131lan birden fazla iste\u011fi daha verimli hale getirir (\u00f6rne\u011fin, TCP ba\u011flant\u0131lar\u0131n\u0131 yeniden kullan\u0131r). async with<\/code> ifadesi, oturumun ve yan\u0131t nesnesinin do\u011fru bir \u015fekilde y\u00f6netilmesini, yani kaynaklar\u0131n otomatik olarak a\u00e7\u0131l\u0131p kapanmas\u0131n\u0131 sa\u011flar. fetch_url<\/code> fonksiyonu, belirli bir URL'ye GET iste\u011fi g\u00f6nderir ve yan\u0131t\u0131n metin i\u00e7eri\u011fini asenkron olarak okur.<\/p>\n
G\u00f6rev Y\u00f6netimi ve E\u015fzamanl\u0131l\u0131k Havuzu (Concurrency Pool) Olu\u015fturma<\/h3>\nTek bir URL \u00e7ekmek basittir, ancak y\u00fczlerce URL'yi ayn\u0131 anda ele almak i\u00e7in g\u00f6revleri nas\u0131l y\u00f6netece\u011fiz? asyncio.gather()<\/code> ve asyncio.Semaphore<\/code> gibi ara\u00e7lar burada devreye girer. asyncio.gather()<\/code>, birden fazla coroutine'i e\u015fzamanl\u0131 olarak \u00e7al\u0131\u015ft\u0131r\u0131r ve hepsi tamamland\u0131\u011f\u0131nda sonu\u00e7lar\u0131n\u0131 bir liste olarak d\u00f6nd\u00fcr\u00fcr. Ancak, y\u00fczlerce g\u00f6revi do\u011frudan gather<\/code>'a vermek, hedef sunucu \u00fczerinde a\u015f\u0131r\u0131 y\u00fck olu\u015fturabilir veya sistem kaynaklar\u0131n\u0131z\u0131 zorlayabilir. Bu nedenle, ayn\u0131 anda ka\u00e7 g\u00f6revin \u00e7al\u0131\u015faca\u011f\u0131n\u0131 s\u0131n\u0131rlamak i\u00e7in bir e\u015fzamanl\u0131l\u0131k havuzu olu\u015fturmak ak\u0131ll\u0131ca bir yakla\u015f\u0131md\u0131r. asyncio.Semaphore<\/code> tam da bu i\u015f i\u00e7in tasarlanm\u0131\u015ft\u0131r.<\/p>\n
\nimport asyncio\nimport aiohttp\nimport time\n\n# E\u015fzamanl\u0131 olarak \u00e7al\u0131\u015facak maksimum g\u00f6rev say\u0131s\u0131\nMAX_CONCURRENT_REQUESTS = 10\n\nasync def fetch_url_with_semaphore(session, url, semaphore):\n    async with semaphore:  # Semaforu al, bo\u015f yer yoksa bekle\n        try:\n            async with session.get(url, timeout=10) as response:\n                response.raise_for_status() # HTTP hatalar\u0131 i\u00e7in istisna f\u0131rlat\n                html_content = await response.text()\n                print(f\"[{time.time():.2f}] URL '{url}' \u00e7ekildi. Boyut: {len(html_content)} karakter.\")\n                return url, html_content\n        except aiohttp.ClientError as e:\n            print(f\"[{time.time():.2f}] URL '{url}' \u00e7ekilirken hata olu\u015ftu: {e}\")\n            return url, None\n        except asyncio.TimeoutError:\n            print(f\"[{time.time():.2f}] URL '{url}' zaman a\u015f\u0131m\u0131na u\u011frad\u0131.\")\n            return url, None\n\nasync def bulk_scrape(urls):\n    semaphore = asyncio.Semaphore(MAX_CONCURRENT_REQUESTS)\n    async with aiohttp.ClientSession() as session:\n        tasks = []\n        for url in urls:\n            task = asyncio.create_task(fetch_url_with_semaphore(session, url, semaphore))\n            tasks.append(task)\n        \n        # T\u00fcm g\u00f6revlerin tamamlanmas\u0131n\u0131 bekle\n        results = await asyncio.gather(*tasks, return_exceptions=True) # Hatalar\u0131n yakalanmas\u0131n\u0131 sa\u011flar\n        return results\n\nif __name__ == \"__main__\":\n    test_urls = [\n        \"https:\/\/www.google.com\",\n        \"https:\/\/www.bing.com\",\n        \"https:\/\/www.yahoo.com\",\n        \"https:\/\/www.duckduckgo.com\",\n        \"https:\/\/www.example.com\",\n        \"https:\/\/httpbin.org\/delay\/5\", # 5 saniye gecikme\n        \"https:\/\/httpbin.org\/status\/500\", # Hata durumu\n        \"https:\/\/www.nasa.gov\",\n        \"https:\/\/www.amazon.com\",\n        \"https:\/\/www.microsoft.com\",\n        \"https:\/\/www.apple.com\",\n        \"https:\/\/www.github.com\",\n        \"https:\/\/www.wikipedia.org\",\n        \"https:\/\/www.reddit.com\",\n        \"https:\/\/www.stackoverflow.com\",\n        \"https:\/\/httpbin.org\/delay\/2\",\n        \"https:\/\/httpbin.org\/delay\/3\"\n    ] * 5 # Toplamda 85 URL yapmak i\u00e7in 5 ile \u00e7arp\u0131yoruz\n\n    print(f\"Toplam {len(test_urls)} URL taranacak, e\u015fzamanl\u0131 limit: {MAX_CONCURRENT_REQUESTS}\")\n    start_time = time.monotonic()\n    all_results = asyncio.run(bulk_scrape(test_urls))\n    end_time = time.monotonic()\n    print(f\"T\u00fcm i\u015flemler {end_time - start_time:.2f} saniyede tamamland\u0131.\")\n\n    successful_scrapes = [r for r in all_results if r[1] is not None]\n    failed_scrapes = [r for r in all_results if r[1] is None]\n\n    print(f\"Ba\u015far\u0131l\u0131 \u00e7ekilen URL say\u0131s\u0131: {len(successful_scrapes)}\")\n    print(f\"Ba\u015far\u0131s\u0131z\/Hatal\u0131 URL say\u0131s\u0131: {len(failed_scrapes)}\")\n\n<\/pre>\n<\/code><\/p>\n
Bu geni\u015fletilmi\u015f \u00f6rnekte, fetch_url_with_semaphore<\/code> fonksiyonu bir asyncio.Semaphore<\/code> nesnesi al\u0131r. async with semaphore:<\/code> ifadesi, semaforun sayac\u0131n\u0131 bir azalt\u0131r. Saya\u00e7 s\u0131f\u0131rsa (yani maksimum e\u015fzamanl\u0131 istek say\u0131s\u0131na ula\u015f\u0131ld\u0131ysa), g\u00f6rev semaforun a\u00e7\u0131lmas\u0131n\u0131 bekler. \u0130stek tamamland\u0131\u011f\u0131nda, semafor otomatik olarak serbest b\u0131rak\u0131l\u0131r ve ba\u015fka bir g\u00f6rev ba\u015flat\u0131labilir. bulk_scrape<\/code> fonksiyonu ise t\u00fcm URL'ler i\u00e7in g\u00f6revler olu\u015fturur ve asyncio.gather()<\/code> ile bu g\u00f6revlerin bitmesini bekler. return_exceptions=True<\/code> parametresi sayesinde, bir g\u00f6rev hata verse bile di\u011fer g\u00f6revlerin tamamlanmas\u0131na izin verilir ve hatay\u0131 sonu\u00e7 listesinde g\u00f6rebiliriz. Bu yap\u0131, hem performans hem de hata tolerans\u0131 a\u00e7\u0131s\u0131ndan y\u00fczlerce scraper'\u0131 y\u00f6netmek i\u00e7in sa\u011flam bir temel sunar.<\/p>\n
B\u00fcy\u00fck \u00d6l\u00e7ekli Scraping Projelerinde Performans ve Dayan\u0131kl\u0131l\u0131k \u0130pu\u00e7lar\u0131<\/h2>\nWeb scraping projeleri b\u00fcy\u00fcd\u00fck\u00e7e, sadece h\u0131z de\u011fil, ayn\u0131 zamanda operasyonel dayan\u0131kl\u0131l\u0131k ve anonimlik de kritik hale gelir. Y\u00fczlerce siteyi tararken kar\u015f\u0131la\u015faca\u011f\u0131n\u0131z engelleri a\u015fmak i\u00e7in baz\u0131 ileri d\u00fczey tekniklere ba\u015fvurmak gerekebilir.<\/p>\n
Proxy Y\u00f6netimi ve IP Engellemelerini A\u015fma<\/h3>\nS\u00fcrekli olarak ayn\u0131 IP adresinden y\u00fczlerce veya binlerce istek g\u00f6ndermek, \u00e7o\u011fu web sitesi taraf\u0131ndan \u015f\u00fcpheli aktivite olarak alg\u0131lan\u0131r ve IP adresinizin ge\u00e7ici veya kal\u0131c\u0131 olarak engellenmesine yol a\u00e7abilir. Bu durumu a\u015fmak i\u00e7in proxy'ler kullan\u0131l\u0131r. Proxy'ler, isteklerin sizin bilgisayar\u0131n\u0131z yerine ba\u015fka bir sunucu \u00fczerinden ge\u00e7mesini sa\u011flar, b\u00f6ylece her istek farkl\u0131 bir IP adresinden geliyormu\u015f gibi g\u00f6r\u00fcn\u00fcr.<\/p>\n
\nProxy Rotasyonu:<\/b> Birden fazla proxy sunucusu kullanarak her istek i\u00e7in farkl\u0131 bir proxy se\u00e7mek, IP engelleme riskini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r. aiohttp<\/code> ile proxy kullan\u0131m\u0131 olduk\u00e7a basittir:<\/li>\n\nasync def fetch_with_proxy(session, url, proxy_url):\n    try:\n        async with session.get(url, proxy=proxy_url, timeout=10) as response:\n            return await response.text()\n    except aiohttp.ClientError as e:\n        print(f\"Proxy {proxy_url} ile URL {url} \u00e7ekilirken hata: {e}\")\n        return None\n    <\/pre>\n<\/code><\/p>\n
Proxy Havuzlar\u0131:<\/b> \u00dccretsiz proxy'ler genellikle g\u00fcvenilmez ve yava\u015ft\u0131r. Profesyonel projeler i\u00e7in \u00fccretli, y\u00fcksek kaliteli proxy havuzlar\u0131 (\u00f6rne\u011fin, Luminati, Oxylabs, Smartproxy) tercih edilmelidir. Bu hizmetler genellikle kendi API'leriyle kolay entegrasyon sunar ve otomatik proxy rotasyonu, co\u011frafi hedefleme gibi \u00f6zelliklere sahiptir.<\/li>\n<\/ul>\n\n  Uzman \u0130pucu: Proxy kullan\u0131rken, sadece IP adresini de\u011fil, ayn\u0131 zamanda User-Agent ve di\u011fer HTTP ba\u015fl\u0131klar\u0131n\u0131 da de\u011fi\u015ftirmeyi unutmay\u0131n. Bu, bot tespiti mekanizmalar\u0131n\u0131 atlatman\u0131za yard\u0131mc\u0131 olabilir.\n<\/div>\nH\u0131z S\u0131n\u0131rlamalar\u0131 (Rate Limiting) ve Nazik Scraping<\/h3>\nWeb sitelerinin bir\u00e7o\u011fu, sunucular\u0131n\u0131 a\u015f\u0131r\u0131 y\u00fckten korumak i\u00e7in h\u0131z s\u0131n\u0131rlamalar\u0131 (rate limiting) uygular. Bu, belirli bir s\u00fcre i\u00e7inde bir IP adresinden veya kullan\u0131c\u0131dan kabul edilecek maksimum istek say\u0131s\u0131n\u0131 belirler. Bu s\u0131n\u0131rlamalara uymamak, engellenmenize neden olur. \"Nazik scraping\" uygulamak, hem etik a\u00e7\u0131dan do\u011frudur hem de scraper'\u0131n\u0131z\u0131n uzun \u00f6m\u00fcrl\u00fc olmas\u0131n\u0131 sa\u011flar.<\/p>\n
\nKendi Rate Limiter'\u0131n\u0131z\u0131 Olu\u015fturma:<\/b> asyncio.Semaphore<\/code>'a ek olarak, istekler aras\u0131na dinamik gecikmeler ekleyebilirsiniz.<\/li>\n\nimport random\n\nclass RateLimiter:\n    def __init__(self, requests_per_second):\n        self.interval = 1 \/ requests_per_second\n        self.last_request_time = 0\n\n    async def __aenter__(self):\n        current_time = time.monotonic()\n        elapsed = current_time - self.last_request_time\n        if elapsed < self.interval:\n            await asyncio.sleep(self.interval - elapsed)\n        self.last_request_time = time.monotonic()\n\n    async def __aexit__(self, exc_type, exc_val, exc_tb):\n        pass\n\n# Kullan\u0131m \u00f6rne\u011fi\nasync def fetch_with_rate_limit(session, url, limiter):\n    async with limiter:\n        # \u0130stek kodunuz buraya\n        pass\n\n# Ana programda\n# rate_limiter = RateLimiter(requests_per_second=2)\n# await fetch_with_rate_limit(session, url, rate_limiter)\n    <\/pre>\n<\/code><\/p>\n
Rastgele Gecikmeler:<\/b> \u0130stekler aras\u0131na sabit bir gecikme yerine, minimum ve maksimum de\u011ferler aras\u0131nda rastgele bir gecikme eklemek, bot aktivitesini taklit etmenizi zorla\u015ft\u0131r\u0131r. \u00d6rne\u011fin, await asyncio.sleep(random.uniform(0.5, 2.0))<\/code> gibi bir kullan\u0131m.<\/li>\n
robots.txt<\/code> Dosyas\u0131:<\/b> Her web sitesinin k\u00f6k dizininde bulunan robots.txt<\/code> dosyas\u0131n\u0131 kontrol edin. Bu dosya, hangi dizinlere eri\u015fimin izinli olup olmad\u0131\u011f\u0131n\u0131 veya botlar\u0131n hangi h\u0131zda siteyi taramas\u0131 gerekti\u011fini belirtir. Bu kurallara uymak, yasal ve etik sorunlardan ka\u00e7\u0131nman\u0131z\u0131 sa\u011flar.<\/li>\n<\/ul>\nHata Y\u00f6netimi ve Loglama Stratejileri<\/h3>\nB\u00fcy\u00fck \u00f6l\u00e7ekli scraping projelerinde hatalar ka\u00e7\u0131n\u0131lmazd\u0131r: a\u011f kesintileri, sunucu hatalar\u0131 (404, 500), zaman a\u015f\u0131mlar\u0131, banlamalar. Bu hatalar\u0131 etkili bir \u015fekilde y\u00f6netmek, projenizin dayan\u0131kl\u0131l\u0131\u011f\u0131n\u0131 art\u0131r\u0131r.<\/p>\n
\nRetry Mekanizmalar\u0131:<\/b> Ba\u015far\u0131s\u0131z olan istekleri belirli bir gecikmeyle (backoff stratejisi ile, \u00f6rne\u011fin \u00fcstel artan gecikme) tekrar denemek, ge\u00e7ici a\u011f sorunlar\u0131 veya sunucu yo\u011funlu\u011fu nedeniyle ka\u00e7\u0131r\u0131lan verileri toplaman\u0131za olanak tan\u0131r. tenacity<\/code> gibi k\u00fct\u00fcphaneler asenkron retry mekanizmalar\u0131 sunar.<\/li>\n\n# \u00d6rnek tenacity kullan\u0131m\u0131 (basit bir yakla\u015f\u0131m)\n# from tenacity import retry, wait_exponential, stop_after_attempt, AsyncRetrying\n\n# @retry(wait=wait_exponential(multiplier=1, min=4, max=10), stop=stop_after_attempt(5))\n# async def robust_fetch(session, url):\n#     async with session.get(url, timeout=10) as response:\n#         response.raise_for_status()\n#         return await response.text()\n    <\/pre>\n<\/code><\/p>\n
Asenkron Loglama:<\/b> Hatalar\u0131, ba\u015far\u0131l\u0131 istekleri ve di\u011fer \u00f6nemli olaylar\u0131 kaydetmek, sorun giderme ve scraper'\u0131n\u0131z\u0131n performans\u0131n\u0131 izlemek i\u00e7in hayati \u00f6neme sahiptir. Python'\u0131n standart logging<\/code> mod\u00fcl\u00fc asenkron olarak da kullan\u0131labilir veya aio_log<\/code> gibi asenkron uyumlu k\u00fct\u00fcphaneler tercih edilebilir.<\/li>\n
\u00d6zg\u00fcn Hata \u0130\u015fleme:<\/b> aiohttp.ClientResponseError<\/code> gibi belirli istisnalar\u0131 yakalay\u0131p bunlara \u00f6zel olarak yan\u0131t vermek (\u00f6rne\u011fin, 404 durumunda URL'yi atlamak, 429 durumunda daha uzun beklemek) scraper'\u0131n\u0131z\u0131n daha ak\u0131ll\u0131 olmas\u0131n\u0131 sa\u011flar.<\/li>\n<\/ul>\n\u0130leri D\u00fczey Optimizasyonlar ve Da\u011f\u0131t\u0131k Sistemler Entegrasyonu<\/h2>\nWeb scraping projeleriniz y\u00fczlerce siteyi a\u015farak binlere, on binlere ula\u015ft\u0131\u011f\u0131nda, tek bir makine \u00fczerindeki asyncio<\/code> bile s\u0131n\u0131rlar\u0131na ula\u015fabilir. Bu noktada, daha ileri d\u00fczey optimizasyonlar ve da\u011f\u0131t\u0131k sistem mimarileri devreye girer. Bu yakla\u015f\u0131mlar, veri toplama operasyonlar\u0131n\u0131z\u0131 daha da \u00f6l\u00e7eklenebilir ve sa\u011flam hale getirir.<\/p>\n
Veri Depolama Stratejileri<\/h3>\nToplanan verileri h\u0131zl\u0131 ve g\u00fcvenilir bir \u015fekilde depolamak, b\u00fcy\u00fck \u00f6l\u00e7ekli projelerin ayr\u0131lmaz bir par\u00e7as\u0131d\u0131r. Geleneksel olarak, veritaban\u0131 i\u015flemleri de bloklama yapabilir. Ancak, asenkron veritaban\u0131 s\u00fcr\u00fcc\u00fcleri bu sorunu \u00e7\u00f6zer:<\/p>\n
\nAsenkron SQL Veritabanlar\u0131:<\/b> PostgreSQL gibi ili\u015fkisel veritabanlar\u0131 i\u00e7in asyncpg<\/code> k\u00fct\u00fcphanesi, asyncio<\/code> ile uyumlu asenkron bir s\u00fcr\u00fcc\u00fc sunar. Bu, y\u00fczlerce scrape sonucunu ayn\u0131 anda veritaban\u0131na yazarken performans\u0131 koruman\u0131z\u0131 sa\u011flar.<\/li>\n
Asenkron NoSQL Veritabanlar\u0131:<\/b> MongoDB gibi NoSQL veritabanlar\u0131 i\u00e7in motor<\/code> k\u00fct\u00fcphanesi, PyMongo'nun asenkron bir sarmalay\u0131c\u0131s\u0131d\u0131r ve asyncio<\/code> uygulamalar\u0131yla sorunsuz \u00e7al\u0131\u015f\u0131r. JSON benzeri verileri depolamak i\u00e7in idealdir.<\/li>\n\n# asyncpg ile \u00f6rnek veri kaydetme (basitle\u015ftirilmi\u015f)\n# import asyncpg\n# async def save_to_db(data):\n#     conn = await asyncpg.connect(user='user', password='password',\n#                                  database='db_name', host='127.0.0.1')\n#     await conn.execute('INSERT INTO scrapes(url, content) VALUES($1, $2)',\n#                        data['url'], data['content'])\n#     await conn.close()\n    <\/pre>\n<\/code>\n<\/ul>\n
Mesaj Kuyruklar\u0131 ile G\u00f6rev Da\u011f\u0131t\u0131m\u0131<\/h3>\nScraper'lar\u0131n\u0131z\u0131n tek bir makinede \u00e7al\u0131\u015fmas\u0131 yerine, g\u00f6revleri birden fazla sunucuya veya i\u015f\u00e7iye da\u011f\u0131tarak \u00f6l\u00e7eklenebilirli\u011fi art\u0131rabilirsiniz. Mesaj kuyruklar\u0131, bu t\u00fcr da\u011f\u0131t\u0131k sistemler i\u00e7in m\u00fckemmel bir omurga olu\u015fturur:<\/p>\n
\nCelery veya RabbitMQ:<\/b> G\u00f6revleri bir merkezi kuyru\u011fa (\u00f6rne\u011fin RabbitMQ veya Redis) g\u00f6nderirsiniz ve birden fazla i\u015f\u00e7i (worker) bu kuyruktan g\u00f6revleri \u00e7ekip i\u015fler. Her i\u015f\u00e7i, kendi asyncio<\/code> event loop'unu \u00e7al\u0131\u015ft\u0131rarak birden fazla scraping g\u00f6revini e\u015fzamanl\u0131 olarak y\u00fcr\u00fctebilir. Bu mimari, sistem ar\u0131zalar\u0131na kar\u015f\u0131 daha dayan\u0131kl\u0131d\u0131r ve kaynak kullan\u0131m\u0131n\u0131 optimize eder.<\/li>\n<\/ul>\nHeadless Browser Entegrasyonu ve Dinamik \u0130\u00e7erik<\/h3>\nBir\u00e7ok modern web sitesi, i\u00e7eri\u011fini JavaScript kullanarak dinamik olarak y\u00fckler. aiohttp<\/code> gibi basit HTTP istemcileri bu t\u00fcr i\u00e7eri\u011fi do\u011frudan alamaz. Bu durumda, headless browser'lara ihtiyac\u0131m\u0131z vard\u0131r:<\/p>\n
\nPlaywright veya Selenium (Asenkron Versiyonlar\u0131):<\/b> Playwright<\/code> (Microsoft taraf\u0131ndan geli\u015ftirilen) ve Selenium<\/code> (\u00f6zellikle async_selenium<\/code> gibi k\u00fct\u00fcphanelerle) gibi headless browser otomasyon k\u00fct\u00fcphaneleri, web sayfalar\u0131n\u0131 ger\u00e7ek bir taray\u0131c\u0131 gibi y\u00fckleyebilir, JavaScript'i \u00e7al\u0131\u015ft\u0131rabilir ve dinamik i\u00e7eri\u011fi bekleyebilir. Playwright<\/code>'\u0131n yerle\u015fik asenkron API'leri, asyncio<\/code> ile sorunsuz bir \u015fekilde entegre olur ve y\u00fczlerce dinamik sayfay\u0131 e\u015fzamanl\u0131 olarak taraman\u0131z\u0131 sa\u011flar.<\/li>\n<\/ul>\nMobil Uyumlu HTML Geli\u015ftirme \u0130\u00e7in \u0130pu\u00e7lar\u0131<\/h3>\nScraper'\u0131n\u0131z\u0131n mobil cihazlardan geliyormu\u015f gibi g\u00f6r\u00fcnmesi veya mobil siteleri do\u011fru \u015fekilde i\u015flemesi gerekti\u011finde, HTML ve CSS taraf\u0131nda da baz\u0131 de\u011fi\u015fiklikler yapman\u0131z gerekebilir. Her ne kadar bu makale a\u011f\u0131rl\u0131kl\u0131 olarak backend ve scraping mant\u0131\u011f\u0131na odaklansa da, web'in mobil uyumlu yap\u0131s\u0131, scraping stratejilerini de etkiler. \u00d6rne\u011fin, mobil cihazlara \u00f6zel olarak tasarlanm\u0131\u015f responsive bir siteyi tararken, taray\u0131c\u0131n\u0131z\u0131n User-Agent<\/code> ba\u015fl\u0131\u011f\u0131n\u0131 mobil bir taray\u0131c\u0131 olarak ayarlamak ve hatta viewport boyutlar\u0131n\u0131 taklit etmek gerekebilir. \u0130\u015fte basit bir CSS media query \u00f6rne\u011fi, mobil uyumlulu\u011fun bir par\u00e7as\u0131d\u0131r ve scraper'\u0131n\u0131z\u0131n bu tarz kurallar\u0131 fark etmesi \u00f6nemlidir:<\/p>\n
\n