G\u00fcn\u00fcm\u00fcz dijital d\u00fcnyas\u0131nda bilgiye eri\u015fim ve bu bilgiyi anlaml\u0131 \u015fekillerde kullanma yetene\u011fi, hem bireyler hem de i\u015fletmeler i\u00e7in kritik bir \u00f6neme sahiptir. Web sayfalar\u0131, s\u0131n\u0131rs\u0131z bir veri kayna\u011f\u0131 sunar; ancak bu verilere programatik olarak eri\u015fmek ve onlar\u0131 i\u015flemek \u00e7o\u011fu zaman manuel y\u00f6ntemlerle m\u00fcmk\u00fcn de\u011fildir. \u0130\u015fte bu noktada “web kaz\u0131ma” (web scraping) devreye girer. Web kaz\u0131ma, web sitelerinden otomatik olarak veri \u00e7ekme i\u015flemidir. Toplanan bu veriler, piyasa analizi, rakip takibi, i\u00e7erik toplama veya ki\u015fisel projeler gibi bir\u00e7ok farkl\u0131 ama\u00e7 i\u00e7in kullan\u0131labilir.<\/p>\n
Bu makalede, Python 3 programlama dilini kullanarak web sayfalar\u0131ndan nas\u0131l veri kaz\u0131yaca\u011f\u0131m\u0131z\u0131 ve bu kaz\u0131nan verileri Twitter gibi pop\u00fcler bir sosyal medya platformunda nas\u0131l payla\u015faca\u011f\u0131m\u0131z\u0131 ayr\u0131nt\u0131l\u0131 bir \u015fekilde inceleyece\u011fiz. S\u00fcre\u00e7 boyunca, Web kaz\u0131ma, bir web sitesinden yap\u0131land\u0131r\u0131lmam\u0131\u015f verileri al\u0131p, bunlar\u0131 yap\u0131land\u0131r\u0131lm\u0131\u015f bir formata (\u00f6rne\u011fin, CSV, JSON veya bir veritaban\u0131) d\u00f6n\u00fc\u015ft\u00fcrme i\u015flemidir. Bu i\u015flem, genellikle HTTP istekleri g\u00f6ndererek web sayfas\u0131n\u0131n HTML i\u00e7eri\u011fini almay\u0131 ve ard\u0131ndan bu HTML i\u00e7eri\u011fini ayr\u0131\u015ft\u0131rarak (parse ederek) istenen verileri \u00e7\u0131karmay\u0131 i\u00e7erir.<\/p>\n Web kaz\u0131ma, bir\u00e7ok alanda b\u00fcy\u00fck faydalar sa\u011flar: Web kaz\u0131ma yapmadan \u00f6nce, yasal ve etik boyutlar\u0131 anlamak hayati \u00f6neme sahiptir. Her zaman sorumlu ve etik bir \u015fekilde hareket etmek, kaz\u0131ma yaparken g\u00f6z \u00f6n\u00fcnde bulundurman\u0131z gereken en \u00f6nemli ilkedir.<\/p>\n Web kaz\u0131ma i\u00e7in Python’da en s\u0131k kullan\u0131lan iki k\u00fct\u00fcphane Bu k\u00fct\u00fcphaneleri y\u00fcklemek i\u00e7in terminalinizde a\u015fa\u011f\u0131daki komutlar\u0131 \u00e7al\u0131\u015ft\u0131r\u0131n:<\/p>\n \u015eimdi basit bir web sayfas\u0131ndan ba\u015fl\u0131k ve birka\u00e7 paragraf metni kaz\u0131yal\u0131m. \u00d6rnek olarak, bir blog sayfas\u0131n\u0131n i\u00e7eri\u011fini alabiliriz.<\/p>\n Bu \u00f6rnekte, <\/code> etiketlerini bulduk ve G\u00fcn\u00fcm\u00fczde bir\u00e7ok web sitesi, i\u00e7eri\u011fini JavaScript kullanarak dinamik olarak y\u00fckler. Ayr\u0131ca, kullanaca\u011f\u0131n\u0131z taray\u0131c\u0131ya uygun bir “WebDriver” indirmeniz gerekir (\u00f6rne\u011fin, Chrome i\u00e7in Bu \u00f6rnek, Selenium ile bir web sayfas\u0131n\u0131 nas\u0131l ziyaret edece\u011finizi, JavaScript’in \u00e7al\u0131\u015fmas\u0131n\u0131 bekleyece\u011finizi ve ard\u0131ndan sayfan\u0131n i\u00e7eri\u011fine nas\u0131l eri\u015fece\u011finizi g\u00f6sterir. Kaz\u0131nan veriler genellikle ham ve da\u011f\u0131n\u0131k haldedir. \u0130htiya\u00e7 duyulan formata getirmek i\u00e7in temizleme ve i\u015fleme ad\u0131mlar\u0131 gereklidir. Bu ad\u0131mlar \u015funlar\u0131 i\u00e7erebilir: Web kaz\u0131ma yaparken \u00e7e\u015fitli hatalarla kar\u015f\u0131la\u015fmak ka\u00e7\u0131n\u0131lmazd\u0131r: Bu hatalar\u0131 Twitter API (Uygulama Programlama Aray\u00fcz\u00fc), geli\u015ftiricilerin Twitter platformuyla programatik olarak etkile\u015fim kurmas\u0131n\u0131 sa\u011flar. Bu sayede tweet g\u00f6nderebilir, zaman t\u00fcnelini okuyabilir, kullan\u0131c\u0131 bilgilerini alabilir, takip\u00e7i listelerini y\u00f6netebilir ve \u00e7ok daha fazlas\u0131n\u0131 yapabilirsiniz. Twitter API’si, belirli kullan\u0131m limitleri ve kurallarla birlikte gelir.<\/p>\n Twitter API’sini kullanabilmek i\u00e7in bir Twitter Geli\u015ftirici Hesab\u0131na sahip olman\u0131z ve bir uygulama kaydetmeniz gerekir. Bu anahtarlar, uygulaman\u0131z\u0131n Twitter API’sine kimlik do\u011frulamas\u0131 yapmas\u0131 i\u00e7in gereklidir. Bu anahtarlar\u0131 asla a\u00e7\u0131k\u00e7a kodunuzda tutmamal\u0131 veya ba\u015fkalar\u0131yla payla\u015fmamal\u0131s\u0131n\u0131z.<\/strong> G\u00fcvenli bir \u015fekilde saklanmalar\u0131 (ortam de\u011fi\u015fkenleri, yap\u0131land\u0131rma dosyalar\u0131 gibi) \u00f6nemlidir.<\/p>\n API anahtarlar\u0131, uygulaman\u0131z\u0131n kimli\u011fini do\u011frular ve Twitter API’sine eri\u015fim izni verir. Bu anahtarlar\u0131n g\u00fcvenli\u011fi son derece \u00f6nemlidir. Twitter API’si ile Python \u00fczerinden etkile\u015fim kurmak i\u00e7in en pop\u00fcler k\u00fct\u00fcphane Twitter API’sine istek g\u00f6ndermeden \u00f6nce kimlik do\u011frulama yapman\u0131z gerekir. Yukar\u0131daki kodda, Kimlik do\u011frulama ba\u015far\u0131l\u0131 olduktan sonra, tweet g\u00f6ndermek \u00e7ok kolayd\u0131r.<\/p>\n Sadece metin de\u011fil, resimler de tweetlerinize ekleyebilirsiniz.<\/p>\n Twitter’\u0131n tweet uzunlu\u011fu s\u0131n\u0131r\u0131 280 karakterdir. Ba\u011flant\u0131lar ve medya ekleri de bu s\u0131n\u0131ra dahil edilir (ancak ba\u011flant\u0131lar genellikle k\u0131salt\u0131l\u0131r ve sabit bir karakter say\u0131s\u0131na denk gelir). API’yi kullan\u0131rken bu k\u0131s\u0131tlamalara dikkat etmelisiniz. \u015eimdiye kadar \u00f6\u011frendiklerimizi birle\u015ftirerek, bir web sayfas\u0131ndan veri kaz\u0131y\u0131p bu veriyi Twitter’da nas\u0131l payla\u015faca\u011f\u0131m\u0131z\u0131 g\u00f6steren bir senaryo olu\u015ftural\u0131m. \u00d6rnek olarak, bir haber sitesinden en son makalelerin ba\u015fl\u0131klar\u0131n\u0131 ve ba\u011flant\u0131lar\u0131n\u0131 kaz\u0131y\u0131p bunlar\u0131 tweet olarak payla\u015fabiliriz.<\/p>\n Kaz\u0131d\u0131\u011f\u0131n\u0131z verileri Twitter’da payla\u015fmadan \u00f6nce, tweet format\u0131na uygun hale getirmeniz gerekir. Bu, metni k\u0131saltmay\u0131, hashtag eklemeyi ve ba\u011flant\u0131lar\u0131 d\u00fczg\u00fcn bir \u015fekilde yerle\u015ftirmeyi i\u00e7erebilir.<\/p>\n Bu \u00f6rnek, Bu t\u00fcr bir beti\u011fi d\u00fczenli aral\u0131klarla \u00e7al\u0131\u015ft\u0131rmak isterseniz, i\u015fletim sisteminizin zamanlama ara\u00e7lar\u0131n\u0131 kullanabilirsiniz: Bir web sitesi, ayn\u0131 IP adresinden gelen \u00e7ok say\u0131da iste\u011fi fark etti\u011finde, bu IP adresini ge\u00e7ici veya kal\u0131c\u0131 olarak engelleyebilir. Baz\u0131 siteler, otomatik botlar\u0131 engellemek i\u00e7in CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans Apart) kullan\u0131r. Web sitesi sahipleri, sitelerinin HTML yap\u0131s\u0131n\u0131 de\u011fi\u015ftirebilirler. Bu, kaz\u0131ma beti\u011finizdeki CSS se\u00e7icilerin veya XPath ifadelerinin \u00e7al\u0131\u015fmamas\u0131na neden olabilir. Twitter gibi API’ler, belirli bir zaman diliminde yapabilece\u011finiz istek say\u0131s\u0131n\u0131 s\u0131n\u0131rlar. Bu s\u0131n\u0131rlara “rate limits” denir. Bu makalede, Python 3 kullanarak web sayfalar\u0131n\u0131 kaz\u0131man\u0131n temellerinden ileri tekniklere, Twitter API’si ile etkile\u015fim kurmaktan kaz\u0131nan i\u00e7eri\u011fi Twitter’da payla\u015fmaya kadar geni\u015f bir yelpazeyi ele ald\u0131k. Unutulmamal\u0131d\u0131r ki web kaz\u0131ma ve API kullan\u0131m\u0131, etik ve yasal sorumluluklarla birlikte gelir. Her zaman kaz\u0131ma yapt\u0131\u011f\u0131n\u0131z sitenin \u0130leri Ad\u0131mlar:<\/strong> Python’\u0131n esnekli\u011fi ve zengin k\u00fct\u00fcphane ekosistemi sayesinde, veri toplama ve otomasyon projelerinizde s\u0131n\u0131r tan\u0131mayan imkanlara sahipsiniz. Bu makaledeki bilgileri kullanarak kendi yarat\u0131c\u0131 projelerinizi geli\u015ftirmeye ba\u015flayabilirsiniz.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"Python 3 ile Web Sayfalar\u0131n\u0131 Kaz\u0131ma ve Twitter’a \u0130\u00e7erik G\u00f6nderme\nGiri\u015f\nG\u00fcn\u00fcm\u00fcz dijital d\u00fcnyas\u0131nda bilgiye eri\u015fim ve bu bilgiyi anlaml\u0131","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1403],"tags":[],"class_list":{"0":"post-32463","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-python","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\nrequests<\/code> ve BeautifulSoup<\/code> gibi temel k\u00fct\u00fcphanelerden Selenium<\/code> gibi daha geli\u015fmi\u015f ara\u00e7lara, Twitter API’si ile etkile\u015fim kurmak i\u00e7in Tweepy<\/code> k\u00fct\u00fcphanesine kadar bir\u00e7ok arac\u0131 ele alaca\u011f\u0131z. Amac\u0131m\u0131z, okuyuculara u\u00e7tan uca, pratik ve teknik bir rehber sunmakt\u0131r.<\/p>\nWeb Kaz\u0131ma Temelleri<\/h3>\n
Web Kaz\u0131ma Nedir ve Neden \u00d6nemlidir?<\/h4>\n
\n* Piyasa Ara\u015ft\u0131rmas\u0131:<\/strong> Rakiplerin fiyatlar\u0131n\u0131, \u00fcr\u00fcn \u00f6zelliklerini veya m\u00fc\u015fteri yorumlar\u0131n\u0131 takip etmek.
\n* \u0130\u00e7erik Toplama:<\/strong> Belirli bir konu hakk\u0131ndaki makaleleri, haberleri veya blog yaz\u0131lar\u0131n\u0131 toplamak.
\n* Otomasyon:<\/strong> S\u00fcrekli g\u00fcncellenen verileri otomatik olarak \u00e7ekmek ve i\u015flemek.
\n* Veri Bilimi ve Makine \u00d6\u011frenimi:<\/strong> B\u00fcy\u00fck veri setleri olu\u015fturmak i\u00e7in hammadde sa\u011flamak.<\/p>\nYasal ve Etik Boyutlar<\/h4>\n
\n* robots.txt<\/code>:<\/strong> \u00c7o\u011fu web sitesi, sitenin k\u00f6k dizininde robots.txt<\/code> ad\u0131nda bir dosya bulundurur. Bu dosya, arama motoru botlar\u0131n\u0131n (ve genellikle di\u011fer botlar\u0131n) hangi b\u00f6l\u00fcmlere eri\u015fip eri\u015femeyece\u011fini belirtir. Bu kurallara uymak, iyi bir bot davran\u0131\u015f\u0131n\u0131n bir g\u00f6stergesidir.
\n* Kullan\u0131m \u015eartlar\u0131 (Terms of Service):<\/strong> Bir\u00e7ok web sitesinin kullan\u0131m \u015fartlar\u0131, sitelerinden otomatik veri toplama konusunda k\u0131s\u0131tlamalar veya yasaklar i\u00e7erebilir. Bu \u015fartlar\u0131 ihlal etmek, yasal sonu\u00e7lara yol a\u00e7abilir.
\n* A\u015f\u0131r\u0131 Y\u00fckleme:<\/strong> Bir web sitesine \u00e7ok s\u0131k veya \u00e7ok fazla istek g\u00f6ndermek, sitenin sunucular\u0131n\u0131 a\u015f\u0131r\u0131 y\u00fckleyebilir ve hizmet kesintilerine neden olabilir. Bu, sitenin sahibine zarar verebilir ve etik d\u0131\u015f\u0131d\u0131r. \u0130stekler aras\u0131na gecikmeler eklemek \u00f6nemlidir.
\n* Telif Hakk\u0131:<\/strong> Kaz\u0131d\u0131\u011f\u0131n\u0131z i\u00e7eri\u011fin telif haklar\u0131, orijinal sahibine aittir. Bu i\u00e7eri\u011fi izinsiz olarak yeniden yay\u0131nlamak veya ticari ama\u00e7larla kullanmak yasa d\u0131\u015f\u0131 olabilir.<\/p>\nGerekli Python K\u00fct\u00fcphaneleri:
requests<\/code> ve BeautifulSoup4<\/code><\/h4>\nrequests<\/code> ve BeautifulSoup4<\/code>‘t\u00fcr.
\n* requests<\/code>:<\/strong> HTTP istekleri g\u00f6ndermek ve web sayfalar\u0131n\u0131n HTML i\u00e7eri\u011fini almak i\u00e7in kullan\u0131l\u0131r.
\n* BeautifulSoup4<\/code> (bs4):<\/strong> Al\u0131nan HTML veya XML i\u00e7eri\u011fini ayr\u0131\u015ft\u0131rmak (parse etmek) ve istenen verileri (metin, ba\u011flant\u0131lar, resim URL’leri vb.) \u00e7ekmek i\u00e7in g\u00fc\u00e7l\u00fc ve kullan\u0131c\u0131 dostu bir ara\u00e7t\u0131r.<\/p>\npip install requests beautifulsoup4<\/code><\/pre>\nBasit Bir Web Sayfas\u0131 Kaz\u0131ma \u00d6rne\u011fi<\/h4>\n
import requests\nfrom bs4 import BeautifulSoup\n\ndef simple_scrape(url):\n try:\n # HTTP GET iste\u011fi g\u00f6nder\n response = requests.get(url)\n response.raise_for_status() # Hata durumunda istisna f\u0131rlat\n\n # HTML i\u00e7eri\u011fini BeautifulSoup ile ayr\u0131\u015ft\u0131r\n soup = BeautifulSoup(response.text, 'html.parser')\n\n # Sayfan\u0131n ba\u015fl\u0131\u011f\u0131n\u0131 al\n title = soup.find('h1')\n if title:\n print(f\"Ba\u015fl\u0131k: {title.get_text().strip()}\")\n else:\n print(\"Ba\u015fl\u0131k bulunamad\u0131.\")\n\n # \u0130lk birka\u00e7 paragraf\u0131 al\n paragraphs = soup.find_all('p')\n print(\"\\nParagraflar:\")\n for i, p in enumerate(paragraphs[:3]): # \u0130lk 3 paragraf\u0131 al\n print(f\"{i+1}. {p.get_text().strip()}\")\n\n except requests.exceptions.RequestException as e:\n print(f\"\u0130stek hatas\u0131: {e}\")\n except Exception as e:\n print(f\"Bir hata olu\u015ftu: {e}\")\n\n\u00d6rnek bir URL<\/h2>\ntarget_url = \"https:\/\/www.python.org\/doc\/essays\/blurb\/\" # Kendi test URL'nizi buraya yazabilirsiniz.\n\nsimple_scrape(target_url)<\/code><\/pre>\n
requests.get()<\/code> ile URL’den HTML i\u00e7eri\u011fini \u00e7ektik. Ard\u0131ndan BeautifulSoup<\/code> kullanarak bu i\u00e7eri\u011fi ayr\u0131\u015ft\u0131rd\u0131k. soup.find('h1')<\/code> ile ilk <\/p>\n<\/code> etiketini,
soup.find_all('p')<\/code> ile t\u00fcm <\/p>\nget_text().strip()<\/code> ile etiketlerin i\u00e7indeki metni al\u0131p bo\u015fluklar\u0131 temizledik.<\/p>\nGeli\u015fmi\u015f Web Kaz\u0131ma Teknikleri<\/h3>\n
Dinamik \u0130\u00e7erik (JavaScript ile Y\u00fcklenen) Kaz\u0131ma:
Selenium<\/code> Kullan\u0131m\u0131<\/h4>\nrequests<\/code> ve BeautifulSoup<\/code> gibi ara\u00e7lar, sadece sunucudan gelen ilk HTML yan\u0131t\u0131n\u0131 g\u00f6r\u00fcr. JavaScript taraf\u0131ndan olu\u015fturulan veya de\u011fi\u015ftirilen i\u00e7eri\u011fi g\u00f6remezler. Bu t\u00fcr dinamik siteleri kaz\u0131mak i\u00e7in “headless browser” (ba\u015fs\u0131z taray\u0131c\u0131) ad\u0131 verilen ara\u00e7lara ihtiya\u00e7 duyar\u0131z. Selenium<\/code> bu i\u015f i\u00e7in pop\u00fcler bir \u00e7\u00f6z\u00fcmd\u00fcr.<\/p>\nSelenium<\/code>, web taray\u0131c\u0131lar\u0131n\u0131 otomatize etmek i\u00e7in tasarlanm\u0131\u015f bir k\u00fct\u00fcphanedir. Bir web taray\u0131c\u0131s\u0131n\u0131 (Chrome, Firefox vb.) ger\u00e7ek bir kullan\u0131c\u0131 gibi a\u00e7ar, JavaScript’i \u00e7al\u0131\u015ft\u0131r\u0131r ve sayfa y\u00fcklendikten sonra DOM (Belge Nesne Modeli) \u00fczerinde i\u015flem yapmam\u0131z\u0131 sa\u011flar.<\/p>\nSelenium<\/code>‘u y\u00fcklemek i\u00e7in:<\/p>\npip install selenium<\/code><\/pre>\nchromedriver<\/code>, Firefox i\u00e7in geckodriver<\/code>). Bu s\u00fcr\u00fcc\u00fcy\u00fc PATH’inize eklemeli veya Python beti\u011finizde yolunu belirtmelisiniz.<\/p>\nfrom selenium import webdriver\nfrom selenium.webdriver.chrome.service import Service\nfrom selenium.webdriver.common.by import By\nfrom selenium.webdriver.chrome.options import Options\nimport time\n\ndef dynamic_scrape(url):\n # Chrome se\u00e7eneklerini ayarla (headless modu, yani taray\u0131c\u0131 aray\u00fcz\u00fc g\u00f6r\u00fcnmez)\n chrome_options = Options()\n chrome_options.add_argument(\"--headless\") # Taray\u0131c\u0131y\u0131 gizli modda \u00e7al\u0131\u015ft\u0131r\n chrome_options.add_argument(\"--no-sandbox\")\n chrome_options.add_argument(\"--disable-dev-shm-usage\")\n\n # WebDriver'\u0131 ba\u015flat (chromedriver'\u0131n yolunu belirtmelisiniz)\n # service = Service('\/path\/to\/your\/chromedriver') # Kendi chromedriver yolunuzu buraya yaz\u0131n\n # driver = webdriver.Chrome(service=service, options=chrome_options)\n\n # E\u011fer chromedriver PATH'te ise:\n driver = webdriver.Chrome(options=chrome_options)\n\n try:\n driver.get(url)\n time.sleep(3) # Sayfan\u0131n tamamen y\u00fcklenmesi i\u00e7in bekle\n\n # Sayfa ba\u015fl\u0131\u011f\u0131n\u0131 al\n title = driver.find_element(By.TAG_NAME, 'h1')\n print(f\"Ba\u015fl\u0131k (Selenium): {title.text.strip()}\")\n\n # Belirli bir div i\u00e7indeki metni al (\u00f6rne\u011fin, dinamik y\u00fcklenmi\u015f bir i\u00e7erik)\n content_div = driver.find_element(By.ID, 'content') # \u00d6rnek bir ID\n print(f\"\\n\u0130\u00e7erik Div Metni (Selenium):\\n{content_div.text[:200]}...\") # \u0130lk 200 karakter\n\n except Exception as e:\n print(f\"Selenium ile hata olu\u015ftu: {e}\")\n finally:\n driver.quit() # Taray\u0131c\u0131y\u0131 kapat\n\n\u00d6rnek bir URL (JavaScript ile dinamik i\u00e7erik y\u00fckleyen bir site olabilir)<\/h2>\n
Bu \u00f6rnek i\u00e7in yine python.org kullan\u0131ld\u0131, ancak ger\u00e7ek dinamik sitelerde daha faydal\u0131 olacakt\u0131r.<\/h2>\ntarget_url_dynamic = \"https:\/\/www.python.org\/doc\/essays\/blurb\/\"\ndynamic_scrape(target_url_dynamic)<\/code><\/pre>\n
time.sleep()<\/code> fonksiyonu, sayfan\u0131n y\u00fcklenmesi ve JavaScript’in \u00e7al\u0131\u015fmas\u0131 i\u00e7in yeterli zaman tan\u0131mak amac\u0131yla kullan\u0131l\u0131r. Daha sa\u011flam bir \u00e7\u00f6z\u00fcm i\u00e7in WebDriverWait<\/code> ve expected_conditions<\/code> kullan\u0131labilir.<\/p>\nVeri Temizleme ve \u0130\u015fleme<\/h4>\n
\n* Metin Temizleme:<\/strong> Gereksiz bo\u015fluklar\u0131, \u00f6zel karakterleri, HTML etiketlerini kald\u0131rma.
\n* Veri Tipi D\u00f6n\u00fc\u015f\u00fcm\u00fc:<\/strong> Say\u0131sal verileri string’den int veya float’a \u00e7evirme.
\n* Tarih\/Saat Bi\u00e7imlendirme:<\/strong> Tarih ve saat bilgilerini standart bir formata getirme.
\n* Yap\u0131land\u0131rma:<\/strong> Verileri listeler, s\u00f6zl\u00fckler veya Pandas DataFrame’leri gibi yap\u0131land\u0131r\u0131lm\u0131\u015f formatlara d\u00f6n\u00fc\u015ft\u00fcrme.<\/p>\nHata Y\u00f6netimi ve Gecikmeler<\/h4>\n
\n* A\u011f Hatalar\u0131:<\/strong> Ba\u011flant\u0131 sorunlar\u0131, DNS \u00e7\u00f6z\u00fcn\u00fcrl\u00fck hatalar\u0131.
\n* HTTP Hatalar\u0131:<\/strong> 404 Not Found, 403 Forbidden, 500 Internal Server Error.
\n* Kaz\u0131ma Hatalar\u0131:<\/strong> Beklenen elemanlar\u0131n bulunamamas\u0131, sayfa yap\u0131s\u0131 de\u011fi\u015fiklikleri.<\/p>\ntry-except<\/code> bloklar\u0131 kullanarak yakalamak ve uygun \u015fekilde ele almak \u00f6nemlidir. Ayr\u0131ca, web sitesi sunucular\u0131n\u0131 a\u015f\u0131r\u0131 y\u00fcklememek ve IP adresinizin engellenmesini \u00f6nlemek i\u00e7in istekler aras\u0131na time.sleep()<\/code> ile gecikmeler eklemek iyi bir uygulamad\u0131r.<\/p>\nimport time\nimport random\n\n... (\u00f6nceki scraping kodlar\u0131)<\/h2>\n\nfor i in range(5):\n try:\n # scraping i\u015flemi\n print(f\"Kaz\u0131ma denemesi {i+1}...\")\n # response = requests.get(url)\n # ...\n break # Ba\u015far\u0131l\u0131 olursa d\u00f6ng\u00fcden \u00e7\u0131k\n except requests.exceptions.RequestException as e:\n print(f\"Hata olu\u015ftu: {e}. Yeniden deniyor...\")\n time.sleep(random.randint(5, 15)) # 5-15 saniye rastgele bekle<\/code><\/pre>\n
Twitter API ve Geli\u015ftirici Hesab\u0131<\/h3>\n
Twitter API’ye Genel Bak\u0131\u015f<\/h4>\n
Geli\u015ftirici Hesab\u0131 Olu\u015fturma ve Uygulama Kayd\u0131<\/h4>\n
\n1. Twitter Geli\u015ftirici Portal\u0131’na Git:<\/strong> developer.twitter.com<\/code> adresine gidin ve hesab\u0131n\u0131zla giri\u015f yap\u0131n.
\n2. Geli\u015ftirici Hesab\u0131 Ba\u015fvurusu:<\/strong> Hen\u00fcz bir geli\u015ftirici hesab\u0131n\u0131z yoksa, bir ba\u015fvuru formu doldurman\u0131z gerekecektir. Twitter’\u0131 neden kullanmak istedi\u011finizi, projenizin amac\u0131n\u0131 ve API’yi nas\u0131l kullanmay\u0131 planlad\u0131\u011f\u0131n\u0131z\u0131 a\u00e7\u0131klaman\u0131z istenir. Bu s\u00fcre\u00e7 birka\u00e7 g\u00fcn s\u00fcrebilir.
\n3. Proje ve Uygulama Olu\u015fturma:<\/strong> Geli\u015ftirici hesab\u0131n\u0131z onayland\u0131ktan sonra, bir “Proje” olu\u015fturabilir ve bu proje alt\u0131nda bir “Uygulama” (App) kaydedebilirsiniz. Uygulaman\u0131za bir isim verin ve amac\u0131n\u0131 a\u00e7\u0131klay\u0131n.
\n4. API Anahtarlar\u0131 Al\u0131m\u0131:<\/strong> Uygulaman\u0131z\u0131 olu\u015fturduktan sonra, “Keys and tokens” (Anahtarlar ve jetonlar) b\u00f6l\u00fcm\u00fcne gidin. Burada a\u015fa\u011f\u0131daki anahtarlar\u0131 bulacaks\u0131n\u0131z:
\n * API Key (Consumer Key)<\/strong>
\n * API Secret Key (Consumer Secret)<\/strong>
\n * Access Token<\/strong>
\n * Access Token Secret<\/strong><\/p>\nAPI Anahtarlar\u0131 ve G\u00fcvenlik<\/h4>\n
\n* Ortam De\u011fi\u015fkenleri:<\/strong> Anahtarlar\u0131 i\u015fletim sisteminizin ortam de\u011fi\u015fkenleri olarak saklamak, kodunuzdan ayr\u0131 tutman\u0131n en g\u00fcvenli yollar\u0131ndan biridir.
\n* .env Dosyalar\u0131:<\/strong> python-dotenv<\/code> k\u00fct\u00fcphanesi ile .env<\/code> dosyalar\u0131 kullanarak anahtarlar\u0131 projenizden ayr\u0131 tutabilirsiniz. Bu dosyalar\u0131 .gitignore<\/code>‘a eklemeyi unutmay\u0131n.
\n* Asla Git’e Y\u00fcklemeyin:<\/strong> API anahtarlar\u0131n\u0131z\u0131 i\u00e7eren dosyalar\u0131 veya kodlar\u0131 bir s\u00fcr\u00fcm kontrol sistemine (Git gibi) asla y\u00fcklemeyin.<\/p>\nPython ile Twitter’a \u0130\u00e7erik G\u00f6nderme<\/h3>\n
Gerekli Python K\u00fct\u00fcphanesi:
Tweepy<\/code><\/h4>\nTweepy<\/code>‘dir. Tweepy<\/code>, Twitter API’sinin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 soyutlayarak daha basit bir aray\u00fcz sunar.<\/p>\nTweepy<\/code>‘yi y\u00fcklemek i\u00e7in:<\/p>\npip install tweepy<\/code><\/pre>\nKimlik Do\u011frulama<\/h4>\n
Tweepy<\/code> ile bu i\u015flem olduk\u00e7a basittir.<\/p>\nimport tweepy\nimport os\n\nAPI anahtarlar\u0131n\u0131z\u0131 ortam de\u011fi\u015fkenlerinden al\u0131n (g\u00fcvenlik i\u00e7in \u00f6nerilir)<\/h2>\nconsumer_key = os.getenv(\"TWITTER_CONSUMER_KEY\")\nconsumer_secret = os.getenv(\"TWITTER_CONSUMER_SECRET\")\naccess_token = os.getenv(\"TWITTER_ACCESS_TOKEN\")\naccess_token_secret = os.getenv(\"TWITTER_ACCESS_TOKEN_SECRET\")\n\n
E\u011fer ortam de\u011fi\u015fkeni kullanm\u0131yorsan\u0131z, do\u011frudan buraya yazabilirsiniz (tavsiye edilmez)<\/h2>\n
consumer_key = \"YOUR_CONSUMER_KEY\"<\/h2>\n
consumer_secret = \"YOUR_CONSUMER_SECRET\"<\/h2>\n
access_token = \"YOUR_ACCESS_TOKEN\"<\/h2>\n
access_token_secret = \"YOUR_ACCESS_TOKEN_SECRET\"<\/h2>\n\n
Kimlik do\u011frulama nesnesi olu\u015ftur<\/h2>\nauth = tweepy.OAuthHandler(consumer_key, consumer_secret)\nauth.set_access_token(access_token, access_token_secret)\n\n
API nesnesini olu\u015ftur<\/h2>\napi = tweepy.API(auth, wait_on_rate_limit=True)\n\ntry:\n # Kimlik do\u011frulamas\u0131n\u0131 do\u011frula (iste\u011fe ba\u011fl\u0131)\n user = api.verify_credentials()\n print(f\"Twitter'a '{user.screen_name}' olarak ba\u015far\u0131yla ba\u011fland\u0131.\")\nexcept tweepy.TweepyException as e:\n print(f\"Twitter kimlik do\u011frulama hatas\u0131: {e}\")\nexcept Exception as e:\n print(f\"Genel hata: {e}\")<\/code><\/pre>\n
os.getenv()<\/code> fonksiyonu ile anahtarlar\u0131n ortam de\u011fi\u015fkenlerinden al\u0131nmas\u0131 g\u00f6sterilmi\u015ftir. Bu, g\u00fcvenlik i\u00e7in en iyi uygulamad\u0131r.<\/p>\nBasit Bir Tweet G\u00f6nderme \u00d6rne\u011fi<\/h4>\n
def post_simple_tweet(text):\n try:\n api.update_status(text)\n print(f\"Tweet ba\u015far\u0131yla g\u00f6nderildi: '{text}'\")\n except tweepy.TweepyException as e:\n print(f\"Tweet g\u00f6nderme hatas\u0131: {e}\")\n\npost_simple_tweet(\"Merhaba D\u00fcnya! Bu bir Python ve Tweepy deneme tweetidir. #Python #Tweepy\")<\/code><\/pre>\n<\/h2>\n
Medya (Resim) ile Tweet G\u00f6nderme<\/h4>\n
def post_tweet_with_media(text, image_path):\n try:\n # Medyay\u0131 y\u00fckle\n media = api.media_upload(image_path)\n # Medya kimli\u011fi ile tweet g\u00f6nder\n api.update_status(status=text, media_ids=[media.media_id])\n print(f\"Resimli tweet ba\u015far\u0131yla g\u00f6nderildi: '{text}' (Resim: {image_path})\")\n except tweepy.TweepyException as e:\n print(f\"Resimli tweet g\u00f6nderme hatas\u0131: {e}\")\n except FileNotFoundError:\n print(f\"Hata: Resim dosyas\u0131 bulunamad\u0131: {image_path}\")\n\n\u00d6rnek bir resim dosyas\u0131 olu\u015fturdu\u011funuzu varsayal\u0131m<\/h2>\n
with open(\"test_image.png\", \"w\") as f:<\/h2>\n
f.write(\"dummy content\") # Ger\u00e7ek bir resim dosyas\u0131 olmal\u0131<\/h2>\n\n
post_tweet_with_media(\"Bu da resimli bir tweet! #PythonOtomasyon\", \"test_image.png\")<\/code><\/pre>\n<\/h2>\n
Tweet Uzunlu\u011fu ve K\u0131s\u0131tlamalar\u0131<\/h4>\n
Tweepy<\/code> genellikle bu t\u00fcr hatalar\u0131 otomatik olarak yakalar ve uygun istisnalar\u0131 f\u0131rlat\u0131r.<\/p>\nWeb Kaz\u0131d\u0131\u011f\u0131n\u0131z \u0130\u00e7eri\u011fi Twitter’da Payla\u015fma<\/h3>\n
Kaz\u0131nan Verinin Formatlanmas\u0131<\/h4>\n
import requests\nfrom bs4 import BeautifulSoup\nimport tweepy\nimport os\nimport time\nimport random\n\n--- Twitter API Kimlik Do\u011frulama (Yukar\u0131daki koddan kopyala) ---<\/h2>\nconsumer_key = os.getenv(\"TWITTER_CONSUMER_KEY\")\nconsumer_secret = os.getenv(\"TWITTER_CONSUMER_SECRET\")\naccess_token = os.getenv(\"TWITTER_ACCESS_TOKEN\")\naccess_token_secret = os.getenv(\"TWITTER_ACCESS_TOKEN_SECRET\")\n\nauth = tweepy.OAuthHandler(consumer_key, consumer_secret)\nauth.set_access_token(access_token, access_token_secret)\napi = tweepy.API(auth, wait_on_rate_limit=True)\n\ntry:\n user = api.verify_credentials()\n print(f\"Twitter'a '{user.screen_name}' olarak ba\u015far\u0131yla ba\u011fland\u0131.\")\nexcept tweepy.TweepyException as e:\n print(f\"Twitter kimlik do\u011frulama hatas\u0131: {e}\")\n exit() # Ba\u011flant\u0131 kurulamad\u0131ysa \u00e7\u0131k\n\n
--- Web Kaz\u0131ma ve Twitter'a G\u00f6nderme Fonksiyonu ---<\/h2>\ndef scrape_and_tweet_news(news_url, max_tweets=3):\n print(f\"\\n{news_url} adresinden haberler kaz\u0131n\u0131yor...\")\n try:\n response = requests.get(news_url)\n response.raise_for_status()\n soup = BeautifulSoup(response.text, 'html.parser')\n\n # Haber ba\u015fl\u0131klar\u0131 ve ba\u011flant\u0131lar\u0131 i\u00e7in \u00f6rnek bir se\u00e7ici\n # Bu k\u0131s\u0131m, hedef web sitesinin HTML yap\u0131s\u0131na g\u00f6re de\u011fi\u015fecektir.\n # \u00d6rne\u011fin, bir blogdaki makale ba\u015fl\u0131klar\u0131
etiketleri i\u00e7inde ve ba\u011flant\u0131lar\u0131 etiketleri olabilir.\n # Bu \u00f6rnekte, Python.org'daki haber benzeri bir yap\u0131ya odaklanal\u0131m.\n # Ger\u00e7ek bir haber sitesi i\u00e7in daha spesifik CSS se\u00e7iciler kullanman\u0131z gerekebilir.\n articles = soup.select('div.blog-widget > ul.list-recent-posts > li > a') # Python.org blog widget'\u0131 i\u00e7in \u00f6rnek\n\n tweets_sent = 0\n for article in articles:\n if tweets_sent >= max_tweets:\n break\n\n title = article.get_text().strip()\n link = article['href']\n \n # E\u011fer link tam URL de\u011filse, base URL ile birle\u015ftir\n if not link.startswith('http'):\n link = requests.compat.urljoin(news_url, link)\n\n # Tweet metnini olu\u015ftur\n # Tweet uzunlu\u011funu 280 karakteri a\u015fmayacak \u015fekilde ayarla\n tweet_text = f\"Yeni Makale: {title} - {link} #Haberler #Python\"\n \n # Karakter s\u0131n\u0131r\u0131n\u0131 kontrol et ve k\u0131salt\n if len(tweet_text) > 280:\n # Ba\u011flant\u0131 URL'sinin uzunlu\u011funu tahmin et (t.co k\u0131saltmas\u0131 sonras\u0131 23 karakter)\n # ve ba\u015fl\u0131\u011f\u0131 buna g\u00f6re k\u0131salt\n link_length = 23 # t.co k\u0131saltmas\u0131 sonras\u0131\n fixed_part_length = len(\"Yeni Makale: - #Haberler #Python\") # Sabit metinler ve bo\u015fluklar\n available_for_title = 280 - link_length - fixed_part_length\n\n if available_for_title < 0:\n available_for_title = 0 # En k\u00f6t\u00fc senaryoda ba\u015fl\u0131k hi\u00e7 s\u0131\u011fmayabilir\n\n if len(title) > available_for_title:\n title = title[:available_for_title - 3] + \"...\" # Ba\u015fl\u0131\u011f\u0131 k\u0131salt\n\n tweet_text = f\"Yeni Makale: {title} - {link} #Haberler #Python\"\n\n\n print(f\"Haz\u0131rlanan Tweet: {tweet_text}\")\n\n try:\n api.update_status(tweet_text)\n print(f\"Tweet ba\u015far\u0131yla g\u00f6nderildi: {title}\")\n tweets_sent += 1\n time.sleep(random.randint(30, 90)) # Tweetler aras\u0131 bekleme s\u00fcresi\n except tweepy.TweepyException as e:\n print(f\"Tweet g\u00f6nderme hatas\u0131: {e}\")\n if \"Status is a duplicate\" in str(e): # Ayn\u0131 tweeti tekrar g\u00f6ndermeyi engelle\n print(\"Bu tweet zaten g\u00f6nderilmi\u015f gibi g\u00f6r\u00fcn\u00fcyor, atlan\u0131yor.\")\n time.sleep(random.randint(10, 30)) # Hata durumunda da bekle\n \n if tweets_sent == 0:\n print(\"Hi\u00e7 yeni tweet g\u00f6nderilmedi.\")\n\n except requests.exceptions.RequestException as e:\n print(f\"Web kaz\u0131ma hatas\u0131: {e}\")\n except Exception as e:\n print(f\"Genel bir hata olu\u015ftu: {e}\")\n\n
\u00d6rnek kullan\u0131m:<\/h2>\n
Haberleri kaz\u0131yaca\u011f\u0131n\u0131z URL (\u00f6rne\u011fin, bir blog veya haber sitesinin ana sayfas\u0131)<\/h2>\nnews_website_url = \"https:\/\/www.python.org\/blogs\/\" # Python bloglar\u0131\nscrape_and_tweet_news(news_website_url, max_tweets=2) # En fazla 2 tweet g\u00f6nder<\/code><\/pre>\n
BeautifulSoup<\/code> kullanarak bir web sayfas\u0131ndan makale ba\u015fl\u0131klar\u0131n\u0131 ve ba\u011flant\u0131lar\u0131n\u0131 nas\u0131l \u00e7ekece\u011finizi ve ard\u0131ndan bunlar\u0131 Tweepy<\/code> kullanarak Twitter’a nas\u0131l g\u00f6nderece\u011finizi g\u00f6sterir. Tweet uzunlu\u011fu kontrol\u00fc, tweetlerin Twitter’\u0131n karakter s\u0131n\u0131r\u0131n\u0131 a\u015fmamas\u0131n\u0131 sa\u011flar. Ayr\u0131ca, ayn\u0131 tweetin tekrar g\u00f6nderilmesini \u00f6nlemek i\u00e7in basit bir kontrol ve API k\u0131s\u0131tlamalar\u0131na uymak i\u00e7in rastgele gecikmeler eklenmi\u015ftir.<\/p>\nZamanlama ve Otomasyon<\/h4>\n
\n* Linux\/macOS:<\/strong> cron<\/code> job’lar\u0131 kullanabilirsiniz. crontab -e<\/code> komutu ile cron tablosunu d\u00fczenleyebilir ve Python beti\u011finizin belirli zamanlarda \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flayabilirsiniz.
\n* Windows:<\/strong> G\u00f6rev Zamanlay\u0131c\u0131’y\u0131 (Task Scheduler) kullanarak beti\u011finizi belirli aral\u0131klarla \u00e7al\u0131\u015facak \u015fekilde ayarlayabilirsiniz.
\n* Bulut Fonksiyonlar\u0131:<\/strong> AWS Lambda, Google Cloud Functions veya Azure Functions gibi sunucusuz platformlar, beti\u011finizi olay tabanl\u0131 veya zamanlanm\u0131\u015f bir \u015fekilde \u00e7al\u0131\u015ft\u0131rmak i\u00e7in harika se\u00e7eneklerdir.<\/p>\nS\u0131k Kar\u015f\u0131la\u015f\u0131lan Sorunlar ve \u00c7\u00f6z\u00fcmleri<\/h3>\n
IP Engellemeleri<\/h4>\n
\n* \u00c7\u00f6z\u00fcm:<\/strong> \u0130stekler aras\u0131na yeterli gecikmeler ekleyin (time.sleep()<\/code>). Proxy sunucular\u0131 veya VPN kullanarak IP adresinizi de\u011fi\u015ftirebilirsiniz. requests<\/code> k\u00fct\u00fcphanesi proxy deste\u011fi sunar.<\/p>\nCAPTCHA’lar<\/h4>\n
\n* \u00c7\u00f6z\u00fcm:<\/strong> CAPTCHA’lar\u0131 a\u015fmak zordur ve genellikle insan m\u00fcdahalesi gerektirir. Selenium<\/code> ile CAPTCHA \u00e7\u00f6zme servislerini (\u00f6rne\u011fin, 2Captcha) entegre edebilirsiniz, ancak bu ek maliyet ve karma\u015f\u0131kl\u0131k getirir.<\/p>\nWeb Sitesi Yap\u0131s\u0131 De\u011fi\u015fiklikleri<\/h4>\n
\n* \u00c7\u00f6z\u00fcm:<\/strong> Betiklerinizi d\u00fczenli olarak test edin ve web sitesi yap\u0131s\u0131ndaki de\u011fi\u015fikliklere uyacak \u015fekilde g\u00fcncelleyin. Daha esnek se\u00e7iciler kullanmaya \u00e7al\u0131\u015f\u0131n (\u00f6rne\u011fin, bir ID’ye g\u00f6re se\u00e7im yapmak, bir s\u0131n\u0131fa g\u00f6re se\u00e7im yapmaktan daha sa\u011flam olabilir).<\/p>\nAPI K\u0131s\u0131tlamalar\u0131 (Rate Limits)<\/h4>\n
\n* \u00c7\u00f6z\u00fcm:<\/strong> Tweepy<\/code>‘nin wait_on_rate_limit=True<\/code> parametresi, API k\u0131s\u0131tlamalar\u0131na ula\u015f\u0131ld\u0131\u011f\u0131nda otomatik olarak bekleyip yeniden denemesini sa\u011flar. Kendi manuel gecikmelerinizi de ekleyebilirsiniz. API dok\u00fcmantasyonunu okuyarak limitleri anlamak \u00f6nemlidir.<\/p>\nSonu\u00e7 ve \u0130leri Ad\u0131mlar<\/h3>\n
requests<\/code>, BeautifulSoup<\/code>, Selenium<\/code> ve Tweepy<\/code> gibi g\u00fc\u00e7l\u00fc k\u00fct\u00fcphaneler sayesinde, veri toplama ve sosyal medya otomasyonu projelerinizi hayata ge\u00e7irmek i\u00e7in sa\u011flam bir temel olu\u015fturduk.<\/p>\nrobots.txt<\/code> dosyas\u0131n\u0131 ve kullan\u0131m \u015fartlar\u0131n\u0131 kontrol edin ve API sa\u011flay\u0131c\u0131s\u0131n\u0131n kurallar\u0131na uyun. A\u015f\u0131r\u0131ya ka\u00e7maktan ve sitelerin sunucular\u0131n\u0131 yormaktan ka\u00e7\u0131n\u0131n.<\/p>\n
\n* Veritaban\u0131 Entegrasyonu:<\/strong> Kaz\u0131d\u0131\u011f\u0131n\u0131z verileri bir veritaban\u0131na (SQLite, PostgreSQL, MongoDB vb.) kaydederek daha kal\u0131c\u0131 ve sorgulanabilir hale getirin.
\n* Kullan\u0131c\u0131 Aray\u00fcz\u00fc:<\/strong> Bir web aray\u00fcz\u00fc (Flask, Django ile) veya masa\u00fcst\u00fc uygulamas\u0131 (PyQt, Kivy ile) olu\u015fturarak kaz\u0131ma ve tweetleme s\u00fcrecini daha kullan\u0131c\u0131 dostu hale getirin.
\n* Daha Karma\u015f\u0131k Senaryolar:<\/strong> Birden fazla sayfay\u0131 gezme (pagination), form doldurma, oturum y\u00f6netimi gibi daha karma\u015f\u0131k kaz\u0131ma senaryolar\u0131n\u0131 deneyin.
\n* Di\u011fer Sosyal Medya API’leri:<\/strong> Facebook, Instagram, LinkedIn gibi di\u011fer platformlar\u0131n API’lerini inceleyerek i\u00e7erik payla\u015f\u0131m\u0131n\u0131z\u0131 geni\u015fletin.
\n* Hata Yakalama ve Loglama:<\/strong> Betiklerinizi daha sa\u011flam hale getirmek i\u00e7in kapsaml\u0131 hata yakalama ve loglama mekanizmalar\u0131 ekleyin.<\/p>\n