{"id":8564,"date":"2025-01-04T04:15:14","date_gmt":"2025-01-04T01:15:14","guid":{"rendered":"https:\/\/fatihsoysal.com\/blog\/beautiful-soup-ve-scrapy-ile-veri-cikarma-etkin-ve-sorumlu-web-scraping\/"},"modified":"2025-01-04T04:15:14","modified_gmt":"2025-01-04T01:15:14","slug":"beautiful-soup-ve-scrapy-ile-veri-cikarma-etkin-ve-sorumlu-web-scraping","status":"publish","type":"post","link":"https:\/\/fatihsoysal.com\/blog\/beautiful-soup-ve-scrapy-ile-veri-cikarma-etkin-ve-sorumlu-web-scraping\/","title":{"rendered":"Beautiful Soup ve Scrapy ile Veri \u00c7\u0131karma: Etkin ve Sorumlu Web Scraping"},"content":{"rendered":"

Beautiful Soup ve Scrapy ile Veri \u00c7\u0131karma: Etkin ve Sorumlu Web Scraping<\/p>\n

Merhaba! Fatih Soysal olarak, web scraping d\u00fcnyas\u0131na ad\u0131m atmak isteyenler i\u00e7in bu kapsaml\u0131 makalede Beautiful Soup ve Scrapy k\u00fct\u00fcphanelerini kullanarak verileri nas\u0131l etkin ve sorumlu bir \u015fekilde \u00e7\u0131karabilece\u011finizi anlataca\u011f\u0131m. Web scraping, internet sitelerinden otomatik olarak veri toplama s\u00fcrecidir. Ancak, bu s\u00fcreci ger\u00e7ekle\u015ftirirken etik kurallara ve sitelerin robot.txt dosyalar\u0131na uymak son derece \u00f6nemlidir. Aksi takdirde, sitelerin \u00e7al\u0131\u015fmas\u0131na engel olabilir ve hatta yasal sorunlarla kar\u015f\u0131la\u015fabilirsiniz.<\/p>\n

\u00d6ncelikle, Beautiful Soup’un ne oldu\u011funu ve nas\u0131l kullan\u0131ld\u0131\u011f\u0131n\u0131 ele alal\u0131m. Beautiful Soup, Python’da HTML ve XML verilerini ayr\u0131\u015ft\u0131rmak i\u00e7in kullan\u0131lan g\u00fc\u00e7l\u00fc bir k\u00fct\u00fcphanedir. Karma\u015f\u0131k HTML yap\u0131lar\u0131n\u0131 kolayca ayr\u0131\u015ft\u0131rarak, istedi\u011finiz verileri hedeflemenizi sa\u011flar. \u00d6rne\u011fin, bir haber sitesinden t\u00fcm haber ba\u015fl\u0131klar\u0131n\u0131 veya bir e-ticaret sitesinden \u00fcr\u00fcn fiyatlar\u0131n\u0131 kolayca alabilirsiniz.<\/p>\n

Beautiful Soup ile Ba\u015flarken<\/h2>\n

Beautiful Soup’u kullanmaya ba\u015flamak olduk\u00e7a basittir. \u00d6ncelikle, pip install beautifulsoup4 komutu ile k\u00fct\u00fcphaneyi kurman\u0131z gerekmektedir. Ard\u0131ndan, a\u015fa\u011f\u0131daki gibi basit bir \u00f6rnek ile ba\u015flayabiliriz:<\/p>\n

\nfrom bs4 import BeautifulSoup\nimport requests\n\nurl = \"https:\/\/www.orneksite.com\" # \u00d6rnek site adresi\nresponse = requests.get(url)\nsoup = BeautifulSoup(response.content, \"html.parser\")\n\nbasliklar = soup.find_all(\"h2\") # T\u00fcm h2 etiketlerini bul\n\nfor baslik in basliklar:\n    print(baslik.text)\n<\/code><\/pre>\n
Bu kod, belirtilen URL’den HTML i\u00e7eri\u011fini \u00e7eker, Beautiful Soup ile ayr\u0131\u015ft\u0131r\u0131r ve t\u00fcm “h2” etiketlerinin metin i\u00e7eri\u011fini ekrana yazd\u0131r\u0131r.  Elbette, daha karma\u015f\u0131k se\u00e7iciler kullanarak daha spesifik verileri elde edebilirsiniz.  Daha detayl\u0131 bilgi i\u00e7in Beautiful Soup d\u00f6k\u00fcmantasyonuna<\/a> g\u00f6z atabilirsiniz.<\/p>\n
Scrapy ile Veri \u00c7\u0131karmay\u0131 Optimize Etmek<\/h2>\n
Beautiful Soup, tekil sayfalar i\u00e7in verimli bir \u00e7\u00f6z\u00fcm sunarken,  birden \u00e7ok sayfadan veri toplamak i\u00e7in Scrapy daha uygun bir se\u00e7enektir.  Scrapy, Python tabanl\u0131 bir web scraping framework’\u00fcd\u00fcr.  Paralel istekler g\u00f6ndererek ve verileri veritaban\u0131na kaydederek performans\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r.  Dahas\u0131, Scrapy’nin sa\u011flad\u0131\u011f\u0131 spider yap\u0131s\u0131 sayesinde, verileri yap\u0131land\u0131r\u0131lm\u0131\u015f bir \u015fekilde \u00e7\u0131karabilirsiniz.<\/p>\n
Scrapy’i kurmak i\u00e7in pip install scrapy komutunu kullanabilirsiniz.  Ard\u0131ndan, bir spider olu\u015fturarak ba\u015flayabilirsiniz.  Spiderlar, belirli bir web sitesinden veri toplamak i\u00e7in kullan\u0131lan \u00f6zel kodlard\u0131r.  Bu spiderlar, hangi sayfalar\u0131 ziyaret edece\u011fini, hangi verileri \u00e7\u0131karaca\u011f\u0131n\u0131 ve bu verileri nas\u0131l i\u015fleyece\u011fini tan\u0131mlar.<\/p>\n
\nimport scrapy\n\nclass MySpider(scrapy.Spider):\n    name = \"ornek_spider\"\n    start_urls = [\"https:\/\/www.orneksite.com\"]\n\n    def parse(self, response):\n        for baslik in response.css(\"h2::text\").extract():\n            yield {\"baslik\": baslik}\n<\/code><\/pre>\n
Bu \u00f6rnekte, Scrapy’nin CSS se\u00e7icilerini kullanarak t\u00fcm “h2” etiketlerinin metin i\u00e7eri\u011fini \u00e7\u0131kar\u0131yoruz.  Daha fazla bilgi i\u00e7in Scrapy d\u00f6k\u00fcmantasyonunu<\/a> inceleyebilirsiniz.  Ayr\u0131ca, verimlili\u011fi art\u0131rmak i\u00e7in proxy kullan\u0131m\u0131n\u0131 ve hata y\u00f6netimini de g\u00f6z \u00f6n\u00fcnde bulundurmal\u0131s\u0131n\u0131z. <\/p>\n
Sorumlu Web Scraping<\/h2>\n
Web scraping yaparken, sitelerin robot.txt dosyalar\u0131na uyman\u0131z ve a\u015f\u0131r\u0131 istek g\u00f6ndermemeniz \u00e7ok \u00f6nemlidir.  Sitenin sunucular\u0131n\u0131 a\u015f\u0131r\u0131 y\u00fcklememek i\u00e7in istekler aras\u0131nda bekleme s\u00fcreleri eklemeniz gerekebilir. Ayr\u0131ca,  \u00e7\u0131kard\u0131\u011f\u0131n\u0131z verileri nas\u0131l kullanaca\u011f\u0131n\u0131z\u0131 ve bu verilerin gizlili\u011fini nas\u0131l koruyaca\u011f\u0131n\u0131z\u0131 dikkatlice d\u00fc\u015f\u00fcnmelisiniz.<\/p>\n
Unutmay\u0131n ki, sorumlu bir \u015fekilde web scraping yapmak, hem sizin hem de sitelerin iyili\u011fi i\u00e7in gereklidir.  Sayg\u0131l\u0131 ve etik bir \u015fekilde veri toplamak, uzun vadede daha iyi sonu\u00e7lar alman\u0131z\u0131 sa\u011flar.  Web scraping d\u00fcnyas\u0131nda ba\u015far\u0131l\u0131 olmak i\u00e7in hem teknik becerilere hem de etik ilkelere hakim olman\u0131z \u015fartt\u0131r.<\/p>\n
Umar\u0131m bu makale size Beautiful Soup ve Scrapy ile web scraping yapman\u0131n temellerini anlatmada yard\u0131mc\u0131 olmu\u015ftur.  Daha fazla bilgi edinmek veya web geli\u015ftirmeyle ilgili di\u011fer konular\u0131 \u00f6\u011frenmek i\u00e7in web sitemi<\/a> ziyaret edebilirsiniz.  Sorular\u0131n\u0131z veya yorumlar\u0131n\u0131z varsa, l\u00fctfen payla\u015fmaktan \u00e7ekinmeyin!<\/p>\n
Kaynaklar:<\/b><\/p>\n