G\u00fcn\u00fcm\u00fcz dijital \u00e7a\u011f\u0131nda, i\u015fletmeler ve bireyler, internetin ve \u00e7e\u015fitli dijital belgelerin sundu\u011fu muazzam veri okyanusunda y\u00fczmektedir. Peki, bu devasa veri y\u0131\u011f\u0131n\u0131ndan anlaml\u0131, i\u015flenebilir ve de\u011ferli bilgiyi nas\u0131l \u00e7\u0131karabiliriz? \u0130\u015fte tam da bu noktada belge kaz\u0131ma (document scraping) ve ayr\u0131\u015ft\u0131rma (parsing) \u00e7\u00f6z\u00fcmleri devreye giriyor. Bu makale, web sayfalar\u0131ndan PDF’lere, Word belgelerinden e-postalara kadar farkl\u0131 kaynaklardan veriyi nas\u0131l toplayaca\u011f\u0131n\u0131z\u0131, temizleyece\u011finizi ve anlaml\u0131 hale getirece\u011finizi ad\u0131m ad\u0131m a\u00e7\u0131klayacak. Amac\u0131m\u0131z, size bu karma\u015f\u0131k gibi g\u00f6r\u00fcnen s\u00fcreci basitle\u015ftirerek, kendi veri projelerinizi ba\u015flatman\u0131z i\u00e7in gerekli bilgi ve ara\u00e7lar\u0131 sunmakt\u0131r.<\/p>\n
Dijital d\u00fcnyada her ge\u00e7en g\u00fcn daha fazla veri \u00fcretiliyor ve bu verilerin b\u00fcy\u00fck bir k\u0131sm\u0131 yap\u0131sal olmayan veya yar\u0131 yap\u0131sal formatlarda kar\u015f\u0131m\u0131za \u00e7\u0131k\u0131yor. Bu durum, bilgiye eri\u015fimi ve bu bilgiyi analiz etmeyi zorla\u015ft\u0131rabiliyor. \u0130\u015fte bu zorlu\u011fun \u00fcstesinden gelmek i\u00e7in belge kaz\u0131ma ve ayr\u0131\u015ft\u0131rma teknikleri geli\u015ftirilmi\u015ftir. Peki, bu iki kavram tam olarak ne anlama geliyor ve neden bu kadar \u00f6nemliler?<\/p>\n
Belge kaz\u0131ma, genellikle “veri kaz\u0131ma” veya “web kaz\u0131ma” (web scraping) olarak da bilinen, internet siteleri veya dijital belgeler \u00fczerindeki insan taraf\u0131ndan okunabilir veriyi otomatik olarak toplama i\u015flemidir. Temel olarak, bir web sitesini veya belgeyi bir insan gibi ziyaret eder, ancak bunu programatik olarak, \u00e7ok daha h\u0131zl\u0131 ve b\u00fcy\u00fck \u00f6l\u00e7ekte yapar. Kaz\u0131ma i\u015flemi, HTML kodlar\u0131n\u0131, metinleri, resim ba\u011flant\u0131lar\u0131n\u0131, tablolar\u0131 ve di\u011fer t\u00fcm g\u00f6rsel veya metinsel i\u00e7eri\u011fi hedefleyebilir. \u00d6rne\u011fin, bir e-ticaret sitesinden \u00fcr\u00fcn fiyatlar\u0131n\u0131, bir haber sitesinden makale ba\u015fl\u0131klar\u0131n\u0131 veya bir emlak sitesinden ilan detaylar\u0131n\u0131 toplamak, belge kaz\u0131ma faaliyetlerine \u00f6rnek te\u015fkil eder.<\/p>\n
Kaz\u0131ma, genellikle bir web taray\u0131c\u0131s\u0131n\u0131n veya \u00f6zel bir yaz\u0131l\u0131m\u0131n (crawler\/spider) web sayfalar\u0131n\u0131 gezmesi ve belirli kriterlere uyan verileri \u00e7ekmesiyle ger\u00e7ekle\u015fir. Bu s\u00fcre\u00e7, manuel olarak saatler s\u00fcrecek bir g\u00f6revi dakikalara indirebilir ve b\u00fcy\u00fck veri setlerinin olu\u015fturulmas\u0131na olanak tan\u0131r. Ancak, kaz\u0131ma i\u015flemi sadece web sayfalar\u0131yla s\u0131n\u0131rl\u0131 de\u011fildir; PDF dosyalar\u0131, Word belgeleri, Excel tablolar\u0131 ve hatta e-postalar gibi di\u011fer dijital belge t\u00fcrlerinden de veri \u00e7ekilebilir. Bu t\u00fcr belgelerden veri \u00e7ekme s\u00fcreci de geni\u015f anlamda belge kaz\u0131ma olarak adland\u0131r\u0131labilir.<\/p>\n
Ayr\u0131\u015ft\u0131rma, kaz\u0131ma i\u015flemiyle elde edilen ham veriyi anlaml\u0131, yap\u0131sal ve i\u015flenebilir bir formata d\u00f6n\u00fc\u015ft\u00fcrme s\u00fcrecidir. Kaz\u0131ma genellikle ham HTML kodu veya metin y\u0131\u011f\u0131nlar\u0131 \u00fcretirken, ayr\u0131\u015ft\u0131rma bu ham verinin i\u00e7indeki belirli bilgi par\u00e7ac\u0131klar\u0131n\u0131 bulur, ay\u0131klar ve d\u00fczenler. \u00d6rne\u011fin, bir web sayfas\u0131ndan kaz\u0131nan HTML kodundan sadece \u00fcr\u00fcn ad\u0131n\u0131, fiyat\u0131n\u0131 ve a\u00e7\u0131klamas\u0131n\u0131 ay\u0131klamak bir ayr\u0131\u015ft\u0131rma i\u015flemidir. Ayr\u0131\u015ft\u0131rma, genellikle belirli kurallar, kal\u0131plar (patternler) veya algoritmalar kullan\u0131larak yap\u0131l\u0131r. Bu kurallar, verinin nerede ba\u015flad\u0131\u011f\u0131n\u0131, nerede bitti\u011fini ve hangi tipte oldu\u011funu tan\u0131mlar.<\/p>\n
Ayr\u0131\u015ft\u0131rma, genellikle d\u00fczenli ifadeler (regular expressions), CSS se\u00e7iciler (CSS selectors) veya XPath gibi tekniklerle ger\u00e7ekle\u015ftirilir. Bu teknikler sayesinde, karma\u015f\u0131k bir metin veya kod blo\u011funun i\u00e7inden istenilen veri par\u00e7ac\u0131klar\u0131 hassas bir \u015fekilde hedeflenebilir. Ayr\u0131\u015ft\u0131rma, verinin kalitesini art\u0131rmak ve onu daha sonraki analizler veya veritaban\u0131 depolama i\u00e7in haz\u0131r hale getirmek a\u00e7\u0131s\u0131ndan kritik \u00f6neme sahiptir. Kaz\u0131ma ve ayr\u0131\u015ft\u0131rma, genellikle birlikte kullan\u0131lan iki tamamlay\u0131c\u0131 s\u00fcre\u00e7tir. Ham veriyi toplamak (kaz\u0131ma) ve bu ham veriyi i\u015flenebilir bilgiye d\u00f6n\u00fc\u015ft\u00fcrmek (ayr\u0131\u015ft\u0131rma) birbirini takip eden ad\u0131mlard\u0131r.<\/p>\n
Bu teknikler, g\u00fcn\u00fcm\u00fcz i\u015f d\u00fcnyas\u0131nda ve ara\u015ft\u0131rma alanlar\u0131nda bir\u00e7ok kritik ihtiyaca cevap vermektedir:<\/p>\n
Belge kaz\u0131ma ve ayr\u0131\u015ft\u0131rma g\u00fc\u00e7l\u00fc ara\u00e7lar olsa da, etik ve yasal s\u0131n\u0131rlamalara dikkat etmek hayati \u00f6nem ta\u015f\u0131r. Her \u015feyden \u00f6nce, bir web sitesinden veri kaz\u0131madan \u00f6nce sitenin Web sayfalar\u0131ndan veri kaz\u0131ma, belge kaz\u0131ma denince akla ilk gelen uygulamalardan biridir. \u0130nternet, devasa bir bilgi kayna\u011f\u0131d\u0131r ve bu bilgiyi yap\u0131land\u0131r\u0131lm\u0131\u015f bir \u015fekilde elde etmek, bir\u00e7ok proje i\u00e7in temel bir ad\u0131md\u0131r. Bu b\u00f6l\u00fcmde, web sayfalar\u0131ndan veri kaz\u0131man\u0131n temel prensiplerini, kullan\u0131lan ara\u00e7lar\u0131 ve ad\u0131m ad\u0131m bir \u00f6rnek \u00fczerinden nas\u0131l yap\u0131ld\u0131\u011f\u0131n\u0131 inceleyece\u011fiz.<\/p>\n Bir web sayfas\u0131ndan veri kaz\u0131mak i\u00e7in \u00f6ncelikle o sayfan\u0131n temel yap\u0131s\u0131n\u0131 anlamak gerekir. Web sayfalar\u0131 genellikle HTML (HyperText Markup Language) kullan\u0131larak olu\u015fturulur. HTML, i\u00e7eri\u011fi (metin, resim, ba\u011flant\u0131 vb.) yap\u0131land\u0131ran etiketlerden olu\u015fur. \u00d6rne\u011fin, bir ba\u015fl\u0131k Bir web taray\u0131c\u0131s\u0131, HTML kodunu okur ve onu bir Belge Nesne Modeli (DOM – Document Object Model) olarak temsil eder. DOM, bir web sayfas\u0131n\u0131n mant\u0131ksal yap\u0131s\u0131n\u0131 ve i\u00e7eri\u011fini g\u00f6steren a\u011fa\u00e7 benzeri bir yap\u0131d\u0131r. Her HTML etiketi (element) bu a\u011fa\u00e7ta bir d\u00fc\u011f\u00fcm (node) olarak temsil edilir. Veri kaz\u0131ma s\u0131ras\u0131nda, bu DOM yap\u0131s\u0131 \u00fczerinde gezinerek istedi\u011fimiz elementleri bulmaya \u00e7al\u0131\u015f\u0131r\u0131z. Taray\u0131c\u0131n\u0131z\u0131n geli\u015ftirici ara\u00e7lar\u0131n\u0131 (genellikle F12 tu\u015fuyla a\u00e7\u0131l\u0131r) kullanarak bir web sayfas\u0131n\u0131n HTML yap\u0131s\u0131n\u0131 ve DOM’unu kolayca inceleyebilirsiniz. Bu ara\u00e7lar, belirli bir elementin hangi etiketlere, s\u0131n\u0131flara (class) veya ID’lere sahip oldu\u011funu g\u00f6rmenizi sa\u011flar, bu da kaz\u0131ma i\u00e7in hedefleri belirlemede \u00e7ok yard\u0131mc\u0131 olur.<\/p>\n Web kaz\u0131ma i\u00e7in bir\u00e7ok programlama dilinde zengin k\u00fct\u00fcphaneler ve ara\u00e7lar bulunmaktad\u0131r. En pop\u00fcler olanlardan baz\u0131lar\u0131 \u015funlard\u0131r:<\/p>\n \u015eimdi, Python ve Beautiful Soup kullanarak basit bir web sayfas\u0131ndan veri kaz\u0131ma \u00f6rne\u011fi yapal\u0131m. Diyelim ki, bir blog sayfas\u0131ndaki makale ba\u015fl\u0131klar\u0131n\u0131 ve ba\u011flant\u0131lar\u0131n\u0131 toplamak istiyoruz. \u0130lk olarak, gerekli k\u00fct\u00fcphaneleri y\u00fcklememiz gerekir:<\/p>\n Ard\u0131ndan, a\u015fa\u011f\u0131daki Python kodunu kullanarak i\u015flemi ger\u00e7ekle\u015ftirebiliriz:<\/p>\n Bu \u00f6rnekte, Veri ayr\u0131\u015ft\u0131rma s\u0131ras\u0131nda, hedef elementleri belirlemek i\u00e7in iki g\u00fc\u00e7l\u00fc y\u00f6ntem daha vard\u0131r:<\/p>\n Modern web sitelerinin \u00e7o\u011fu, sayfa y\u00fcklendikten sonra JavaScript kullanarak i\u00e7eriklerini dinamik olarak olu\u015fturur. Bu t\u00fcr sitelerde sadece HTML i\u00e7eri\u011fini indirmek ( Bu ara\u00e7lar, web kaz\u0131may\u0131 daha karma\u015f\u0131k hale getirse de, modern web sitelerinden veri \u00e7ekmek i\u00e7in vazge\u00e7ilmezdirler. \u00d6rne\u011fin, bir hisse senedi takip sitesindeki canl\u0131 grafik verilerini veya bir sosyal medya ak\u0131\u015f\u0131ndaki yeni g\u00f6nderileri \u00e7ekmek i\u00e7in dinamik i\u00e7erik kaz\u0131ma teknikleri kullan\u0131labilir.<\/p>\n Bir e-ticaret fiyat kar\u015f\u0131la\u015ft\u0131rma platformu olu\u015fturmak istedi\u011finizi varsayal\u0131m. Bu platform, farkl\u0131 perakendecilerin ayn\u0131 \u00fcr\u00fcn i\u00e7in sundu\u011fu fiyatlar\u0131 toplay\u0131p kar\u015f\u0131la\u015ft\u0131r\u0131r. Bu proje, yukar\u0131da bahsedilen bir\u00e7ok tekni\u011fi bir araya getiren harika bir vaka analizidir:<\/p>\n Bu vaka analizi, web kaz\u0131man\u0131n sadece teknik bir s\u00fcre\u00e7 olmad\u0131\u011f\u0131n\u0131, ayn\u0131 zamanda dikkatli planlama, etik kurallara uyum ve s\u00fcrekli bak\u0131m gerektiren kapsaml\u0131 bir proje oldu\u011funu g\u00f6stermektedir.<\/p>\n Web sayfalar\u0131 d\u0131\u015f\u0131ndaki belgelerden veri \u00e7ekmek, genellikle farkl\u0131 zorluklar ve farkl\u0131 ara\u00e7lar gerektirir. PDF’ler, Word belgeleri ve e-postalar gibi yap\u0131sal olmayan veya yar\u0131 yap\u0131sal belgeler, bilgi madencili\u011fi i\u00e7in zengin kaynaklar olabilir ancak i\u00e7lerindeki veriye eri\u015fmek \u00f6zel teknikler gerektirir. Bu b\u00f6l\u00fcmde, bu belge t\u00fcrlerinden veri ayr\u0131\u015ft\u0131rman\u0131n inceliklerini ve kullan\u0131lan pop\u00fcler ara\u00e7lar\u0131 inceleyece\u011fiz.<\/p>\n PDF (Portable Document Format) dosyalar\u0131, bilgiyi platformdan ba\u011f\u0131ms\u0131z olarak sunmak i\u00e7in harikad\u0131r, ancak i\u00e7lerindeki veriyi programatik olarak ay\u0131klamak genellikle zordur. Bunun ba\u015fl\u0131ca nedenleri \u015funlard\u0131r:<\/p>\n PDF’lerden veri \u00e7\u0131karmak i\u00e7in Python’da kullanabilece\u011finiz pop\u00fcler k\u00fct\u00fcphaneler \u015funlard\u0131r:<\/p>\n \u00d6rnek: PyPDF2 ile Metin \u00c7\u0131karma<\/strong><\/p>\n Bu kod, verilen bir PDF dosyas\u0131ndaki t\u00fcm sayfalar\u0131n metin i\u00e7eri\u011fini \u00e7\u0131kar\u0131r. Karma\u015f\u0131k tablolar veya g\u00f6rsel tabanl\u0131 PDF’ler i\u00e7in daha geli\u015fmi\u015f k\u00fct\u00fcphaneler veya OCR kullanmak gerekebilir.<\/p>\n Microsoft Word ( Bu \u00f6rnek, bir Word belgesindeki t\u00fcm paragraflar\u0131 okur ve metinlerini birle\u015ftirir. Tablolar, resimler veya di\u011fer \u00f6zel elementler i\u00e7in E-postalar, genellikle hem yap\u0131sal (ba\u015fl\u0131klar, g\u00f6nderen, al\u0131c\u0131) hem de yap\u0131sal olmayan (mesaj g\u00f6vdesi) veriler i\u00e7erir. Python’\u0131n yerle\u015fik Bu kod, bir Daha \u00f6nce de belirtildi\u011fi gibi, taranm\u0131\u015f PDF’ler veya resim format\u0131ndaki belgelerden metin \u00e7\u0131karmak i\u00e7in OCR teknolojisi vazge\u00e7ilmezdir. OCR, bir resimdeki karakterleri tan\u0131r ve onlar\u0131 d\u00fczenlenebilir metne d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Bu, eski fiziksel belgelerin dijitalle\u015ftirilmesi ve aranabilir hale getirilmesi i\u00e7in kritik bir ad\u0131md\u0131r.<\/p>\n Pop\u00fcler OCR ara\u00e7lar\u0131 ve servisleri:<\/p>\n OCR, \u00f6zellikle finans, hukuk ve sa\u011fl\u0131k sekt\u00f6rlerinde, eski belgelerden veya taranm\u0131\u015f formlardan bilgi \u00e7ekmek i\u00e7in yo\u011fun bir \u015fekilde kullan\u0131lmaktad\u0131r. \u00d6rne\u011fin, bir bankan\u0131n eski kredi ba\u015fvuru formlar\u0131ndan m\u00fc\u015fteri bilgilerini otomatik olarak \u00e7\u0131karmas\u0131, OCR sayesinde m\u00fcmk\u00fcnd\u00fcr.<\/p>\n Bir muhasebe yaz\u0131l\u0131m\u0131 geli\u015ftirdi\u011finizi ve m\u00fc\u015fterilerinizin sisteme y\u00fckledi\u011fi faturalardan otomatik olarak bilgi (fatura numaras\u0131, tarih, toplam tutar, sat\u0131c\u0131 ad\u0131 vb.) \u00e7ekmek istedi\u011finizi d\u00fc\u015f\u00fcnelim. Bu, yap\u0131sal olmayan belgeleri ayr\u0131\u015ft\u0131rman\u0131n harika bir \u00f6rne\u011fidir:<\/p>\n Bu s\u00fcre\u00e7, manuel veri giri\u015fini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r, hata oranlar\u0131n\u0131 d\u00fc\u015f\u00fcr\u00fcr ve i\u015f s\u00fcre\u00e7lerini h\u0131zland\u0131r\u0131r. \u00d6zellikle finans, hukuk ve sa\u011fl\u0131k sekt\u00f6rleri gibi belge yo\u011fun alanlarda b\u00fcy\u00fck verimlilik art\u0131\u015flar\u0131 sa\u011flar.<\/p>\n Veri kaz\u0131ma ve ayr\u0131\u015ft\u0131rma s\u00fcre\u00e7leri, ham veriyi toplamak ve ilk d\u00fczeyde i\u015flemek i\u00e7in harika ara\u00e7lard\u0131r. Ancak, bu a\u015famadan sonra elde edilen verinin do\u011frudan kullan\u0131ma haz\u0131r oldu\u011funu varsaymak b\u00fcy\u00fck bir hata olur. Kaz\u0131nan veriler genellikle g\u00fcr\u00fclt\u00fcl\u00fc, eksik, tutars\u0131z veya yanl\u0131\u015f formatta olabilir. Bu nedenle, veriyi anlaml\u0131, g\u00fcvenilir ve analiz edilebilir hale getirmek i\u00e7in kapsaml\u0131 bir veri temizli\u011fi ve kalitesi s\u00fcreci \u015fartt\u0131r.<\/p>\n Veri kalitesi, herhangi bir veri projesinin temelidir. “\u00c7\u00f6p girdi, \u00e7\u00f6p \u00e7\u0131kt\u0131” (Garbage in, garbage out – GIGO) prensibi, veri analizi ve makine \u00f6\u011frenimi projelerinde s\u0131k\u00e7a kar\u015f\u0131m\u0131za \u00e7\u0131kar. K\u00f6t\u00fc kaliteli veri, yanl\u0131\u015f analizlere, hatal\u0131 kararlara ve sonu\u00e7 olarak i\u015f s\u00fcre\u00e7lerinde ciddi aksakl\u0131klara yol a\u00e7abilir. \u00d6rne\u011fin, bir fiyat kar\u015f\u0131la\u015ft\u0131rma sitesinde yanl\u0131\u015f fiyatlar veya \u00fcr\u00fcn adlar\u0131, m\u00fc\u015fteri g\u00fcvenini sarsabilir ve i\u015f kayb\u0131na neden olabilir. Veri temizli\u011fi ve kalitesi, bu t\u00fcr riskleri minimize etmek ve verinin ger\u00e7ek de\u011ferini ortaya \u00e7\u0131karmak i\u00e7in kritik bir ad\u0131md\u0131r.<\/p>\n Veri temizli\u011fi s\u00fcreci, genellikle a\u015fa\u011f\u0131daki ad\u0131mlar\u0131 ve teknikleri i\u00e7erir:<\/p>\n Python’daki Pandas k\u00fct\u00fcphanesi, veri temizli\u011fi ve manip\u00fclasyonu i\u00e7in en g\u00fc\u00e7l\u00fc ve yayg\u0131n olarak kullan\u0131lan ara\u00e7lardan biridir. DataFrame ad\u0131 verilen tablo benzeri veri yap\u0131lar\u0131 sayesinde, b\u00fcy\u00fck veri setlerini kolayca y\u00fckleyebilir, i\u015fleyebilir ve temizleyebilirsiniz. Pandas ile yukar\u0131da bahsedilen t\u00fcm temizleme tekniklerini kolayca uygulayabilirsiniz:<\/p>\n Bu \u00f6rnek, Pandas’\u0131n veri temizli\u011fi i\u00e7in ne kadar esnek ve g\u00fc\u00e7l\u00fc oldu\u011funu g\u00f6stermektedir. Ger\u00e7ek d\u00fcnya senaryolar\u0131nda, bu ad\u0131mlar daha karma\u015f\u0131k olabilir ve verinin \u00f6zelliklerine g\u00f6re uyarlanmal\u0131d\u0131r. Veri temizli\u011fi, genellikle bir veri projesinin en \u00e7ok zaman alan ama ayn\u0131 zamanda en de\u011ferli a\u015famalar\u0131ndan biridir, \u00e7\u00fcnk\u00fc do\u011fru ve g\u00fcvenilir sonu\u00e7lar elde etmenin temelini olu\u015fturur.<\/p>\n Basit web sayfalar\u0131ndan veya yap\u0131sal belgelerden veri \u00e7ekmek nispeten kolay olsa da, ger\u00e7ek d\u00fcnyadaki kaz\u0131ma projeleri genellikle \u00e7e\u015fitli engellerle kar\u015f\u0131la\u015f\u0131r. Bu engeller, kaz\u0131ma i\u015flemini zorla\u015ft\u0131rabilir, yava\u015flatabilir veya tamamen durdurabilir. Ancak, bu zorluklar\u0131n \u00fcstesinden gelmek i\u00e7in ileri d\u00fczey teknikler ve stratejiler mevcuttur. Bu b\u00f6l\u00fcmde, s\u0131k kar\u015f\u0131la\u015f\u0131lan engelleri ve bunlarla ba\u015fa \u00e7\u0131kma y\u00f6ntemlerini ele alaca\u011f\u0131z.<\/p>\n Bir\u00e7ok web sitesi, otomatik botlar\u0131n a\u015f\u0131r\u0131 y\u00fckleme yapmas\u0131n\u0131 veya k\u00f6t\u00fc niyetli faaliyetlerde bulunmas\u0131n\u0131 engellemek i\u00e7in \u00e7e\u015fitli koruma mekanizmalar\u0131 kullan\u0131r:<\/p>\n Bir\u00e7ok de\u011ferli veri, giri\u015f yapmay\u0131 gerektiren sitelerde (\u00f6rne\u011fin, sosyal medya platformlar\u0131, \u00f6zel paneller, e-posta servisleri) bulunur. Bu t\u00fcr sitelerden veri kaz\u0131mak i\u00e7in oturum y\u00f6netimi (session management) tekniklerini kullanmak gerekir:<\/p>\n Geleneksel ayr\u0131\u015ft\u0131rma y\u00f6ntemleri (CSS se\u00e7iciler, XPath, regex), verinin belirli bir \u015fablona veya yap\u0131ya sahip oldu\u011fu durumlarda \u00e7ok etkilidir. Ancak, bir\u00e7ok web sayfas\u0131 veya belge, tutarl\u0131 bir \u015fablona sahip de\u011fildir veya d\u00fczenleri s\u0131k s\u0131k de\u011fi\u015fir. Bu gibi durumlarda, makine \u00f6\u011frenimi (ML) modelleri devreye girebilir:<\/p>\n Bu ileri d\u00fczey teknikler, \u00f6zellikle b\u00fcy\u00fck veri hacimleriyle ve karma\u015f\u0131k, de\u011fi\u015fken veri yap\u0131lar\u0131yla u\u011fra\u015f\u0131rken kaz\u0131ma ve ayr\u0131\u015ft\u0131rma s\u00fcre\u00e7lerini daha sa\u011flam ve esnek hale getirir.<\/p>\n \u015eimdiye kadar belge kaz\u0131ma ve ayr\u0131\u015ft\u0131rman\u0131n temel kavramlar\u0131n\u0131, ara\u00e7lar\u0131n\u0131 ve ileri d\u00fczey tekniklerini inceledik. Ancak, t\u00fcm bu bilgiyi ger\u00e7ek bir projede bir araya getirmek, iyi bir planlama ve y\u00f6netim gerektirir. Bu b\u00f6l\u00fcmde, b\u00fcy\u00fck bir veri kaz\u0131ma projesinin ya\u015fam d\u00f6ng\u00fcs\u00fcn\u00fc, kar\u015f\u0131la\u015f\u0131labilecek zorluklar\u0131 ve bunlarla ba\u015fa \u00e7\u0131kma stratejilerini bir vaka analizi \u00fczerinden ele alaca\u011f\u0131z.<\/p>\n Bir emlak pazar analizi \u015firketi kurdu\u011funuzu ve T\u00fcrkiye’deki \u00f6nde gelen emlak portallar\u0131ndan (\u00f6rne\u011fin, Sahibinden.com, Emlakjet, Hepsiemlak) t\u00fcm sat\u0131l\u0131k ve kiral\u0131k ilanlar\u0131n\u0131 d\u00fczenli olarak toplaman\u0131z gerekti\u011fini varsayal\u0131m. Bu verilerle, b\u00f6lge baz\u0131nda fiyat e\u011filimleri, arz-talep dengesi ve pazar dinamikleri hakk\u0131nda detayl\u0131 raporlar olu\u015fturacaks\u0131n\u0131z.<\/p>\nrobots.txt<\/code> dosyas\u0131n\u0131 kontrol etmek gerekir. Bu dosya, site sahibinin hangi sayfalar\u0131n kaz\u0131nmas\u0131na izin verildi\u011fini veya hangi sayfalar\u0131n kaz\u0131nmas\u0131n\u0131n yasakland\u0131\u011f\u0131n\u0131 belirtir. Bu kurallara uymak, hem yasal sorunlardan ka\u00e7\u0131nman\u0131z\u0131 hem de site sahibine sayg\u0131 g\u00f6stermenizi sa\u011flar. Ayr\u0131ca, kaz\u0131nan verinin telif haklar\u0131, ki\u015fisel verilerin korunmas\u0131 (KVKK\/GDPR) ve hizmet \u015fartlar\u0131 gibi konular da g\u00f6z \u00f6n\u00fcnde bulundurulmal\u0131d\u0131r. \u00d6zellikle ki\u015fisel veri i\u00e7eren bilgileri toplarken ve i\u015flerken \u00e7ok dikkatli olunmal\u0131, ilgili yasal d\u00fczenlemelere harfiyen uyulmal\u0131d\u0131r. A\u015f\u0131r\u0131 y\u00fckleme yaparak sitelere zarar vermemek ve IP adresinizin engellenmemesi i\u00e7in nazik (polite) kaz\u0131ma teknikleri kullanmak da \u00f6nemlidir (\u00f6rne\u011fin, istekler aras\u0131nda gecikmeler koymak).<\/p>\nWeb Sayfalar\u0131ndan Veri Kaz\u0131ma: Pratik Ad\u0131mlar ve Ara\u00e7lar<\/h2>\n
HTML\/XML Yap\u0131s\u0131 ve DOM’u Anlamak<\/h3>\n
<h1><\/code> etiketiyle, bir paragraf <p><\/code> etiketiyle, bir ba\u011flant\u0131 ise <a><\/code> etiketiyle belirtilir. XML (eXtensible Markup Language) ise daha \u00e7ok veri depolama ve ta\u015f\u0131ma i\u00e7in kullan\u0131lan, esnek bir i\u015faretleme dilidir.<\/p>\nPop\u00fcler Ara\u00e7lar ve K\u00fct\u00fcphaneler<\/h3>\n
\n
\n
\n
Basit Bir Web Kaz\u0131ma \u00d6rne\u011fi: Python ile Beautiful Soup<\/h3>\n
pip install requests beautifulsoup4<\/code><\/pre>\n<\/p><\/div>\nimport requests\nfrom bs4 import BeautifulSoup\n\n# Hedef web sayfas\u0131n\u0131n URL'si\nurl = \"https:\/\/www.example.com\/blog\" # Buraya ger\u00e7ek bir blog URL'si yaz\u0131n\n\ntry:\n # Web sayfas\u0131n\u0131 indir\n response = requests.get(url)\n response.raise_for_status() # HTTP hatalar\u0131n\u0131 kontrol et\n\n # HTML i\u00e7eri\u011fini Beautiful Soup ile ayr\u0131\u015ft\u0131r\n soup = BeautifulSoup(response.text, 'html.parser')\n\n # Makale ba\u015fl\u0131klar\u0131n\u0131 ve ba\u011flant\u0131lar\u0131n\u0131 bul\n # Genellikle blog ba\u015fl\u0131klar\u0131 veya
etiketleri i\u00e7inde bulunur\n # ve bir <a> etiketiyle ba\u011flant\u0131l\u0131d\u0131r.\n # Bu k\u0131s\u0131m, hedef sitenin HTML yap\u0131s\u0131na g\u00f6re de\u011fi\u015fiklik g\u00f6sterecektir.\n articles = soup.find_all('h2', class_='post-title') # \u00d6rnek bir class ad\u0131\n\n print(f\"'{url}' adresinden bulunan makaleler:\")\n for article in articles:\n link_tag = article.find('a')\n if link_tag:\n title = link_tag.get_text(strip=True)\n href = link_tag.get('href')\n print(f\"- Ba\u015fl\u0131k: {title}, Ba\u011flant\u0131: {href}\")\n else:\n print(f\"- Ba\u015fl\u0131k: {article.get_text(strip=True)} (Ba\u011flant\u0131 bulunamad\u0131)\")\n\nexcept requests.exceptions.RequestException as e:\n print(f\"Web sayfas\u0131na eri\u015firken bir hata olu\u015ftu: {e}\")\nexcept Exception as e:\n print(f\"Bir hata olu\u015ftu: {e}\")\n<\/code><\/pre>\n<\/p><\/div>\n
requests.get(url)<\/code> ile web sayfas\u0131n\u0131n HTML i\u00e7eri\u011fini al\u0131yoruz. Ard\u0131ndan, BeautifulSoup(response.text, 'html.parser')<\/code> ile bu i\u00e7eri\u011fi ayr\u0131\u015ft\u0131r\u0131labilir bir nesneye d\u00f6n\u00fc\u015ft\u00fcr\u00fcyoruz. soup.find_all('h2', class_='post-title')<\/code> komutu, belirli bir HTML etiketi (<h2><\/code>) ve s\u0131n\u0131f (post-title<\/code>) ile e\u015fle\u015fen t\u00fcm elementleri bulur. Daha sonra her bir elementin i\u00e7indeki ba\u011flant\u0131 (<a><\/code>) etiketini bulup ba\u015fl\u0131\u011f\u0131n\u0131 ve URL’sini \u00e7ekiyoruz. Unutmay\u0131n, 'h2', class_='post-title'<\/code> k\u0131sm\u0131, kaz\u0131mak istedi\u011finiz web sitesinin ger\u00e7ek HTML yap\u0131s\u0131na g\u00f6re de\u011fi\u015ftirilmelidir. Taray\u0131c\u0131n\u0131z\u0131n geli\u015ftirici ara\u00e7lar\u0131n\u0131 kullanarak do\u011fru etiketleri ve s\u0131n\u0131flar\u0131 bulabilirsiniz.<\/p>\nCSS Se\u00e7iciler ve XPath Kullan\u0131m\u0131<\/h3>\n
\n
div.product-card h3 a<\/code> se\u00e7icisi, product-card<\/code> s\u0131n\u0131f\u0131na sahip bir <div><\/code> i\u00e7indeki <h3><\/code> etiketinin alt\u0131ndaki <a><\/code> etiketini hedef al\u0131r. Beautiful Soup ve di\u011fer bir\u00e7ok kaz\u0131ma k\u00fct\u00fcphanesi CSS se\u00e7icileri destekler.<\/li>\n\/\/div[@class='item']\/span[contains(text(), 'Fiyat')]<\/code> ifadesi, item<\/code> s\u0131n\u0131f\u0131na sahip bir <div><\/code> i\u00e7indeki metni “Fiyat” i\u00e7eren bir <span><\/code> etiketini bulur. Scrapy ve Selenium gibi k\u00fct\u00fcphaneler XPath’i yayg\u0131n olarak kullan\u0131r.<\/li>\n<\/ul>\nDinamik \u0130\u00e7erik (JavaScript ile Y\u00fcklenen) Nas\u0131l Ele Al\u0131n\u0131r?<\/h3>\n
requests<\/code> k\u00fct\u00fcphanesi gibi) yeterli olmayabilir, \u00e7\u00fcnk\u00fc JavaScript taraf\u0131ndan olu\u015fturulan i\u00e7erik indirilen ham HTML’de bulunmayacakt\u0131r. Bu durumda, tam bir web taray\u0131c\u0131s\u0131n\u0131 sim\u00fcle eden ara\u00e7lara ihtiyac\u0131m\u0131z vard\u0131r:<\/p>\n\n
Vaka Analizi: E-ticaret Sitelerinden Fiyat Kar\u015f\u0131la\u015ft\u0131rma<\/h3>\n
\n
robots.txt<\/code> dosyas\u0131 incelenir ve kullan\u0131m ko\u015fullar\u0131 okunur.<\/li>\n\n
Yap\u0131sal Olmayan Belgeleri Ayr\u0131\u015ft\u0131rma: PDF, Word ve E-posta Verilerini \u0130\u015fleme<\/h2>\n
PDF’lerden Veri \u00c7\u0131karma: Zorluklar ve \u00c7\u00f6z\u00fcmler<\/h3>\n
\n
\n
from PyPDF2 import PdfReader\n\ndef pdf_metin_cikar(pdf_yolu):\n try:\n reader = PdfReader(pdf_yolu)\n metin = \"\"\n for page in reader.pages:\n metin += page.extract_text() + \"\\n\"\n return metin\n except Exception as e:\n print(f\"PDF dosyas\u0131ndan metin \u00e7\u0131kar\u0131l\u0131rken hata olu\u015ftu: {e}\")\n return None\n\n# Kullan\u0131m \u00f6rne\u011fi:\n# pdf_dosyam = \"ornek_belge.pdf\"\n# cikan_metin = pdf_metin_cikar(pdf_dosyam)\n# if cikan_metin:\n# print(cikan_metin[:500]) # \u0130lk 500 karakteri yazd\u0131r\n<\/code><\/pre>\n<\/p><\/div>\nWord Belgelerinden Veri \u00c7\u0131karma:<\/h3>\n
.docx<\/code>) belgeleri, yap\u0131sal olarak XML tabanl\u0131d\u0131r, bu da onlar\u0131 programatik olarak i\u015flemeyi PDF’lere g\u00f6re daha kolay hale getirir. Python’da python-docx<\/code> k\u00fct\u00fcphanesi, Word belgelerini olu\u015fturmak, de\u011fi\u015ftirmek ve i\u00e7lerinden veri ay\u0131klamak i\u00e7in kullan\u0131l\u0131r.<\/p>\nfrom docx import Document\n\ndef word_metin_cikar(docx_yolu):\n try:\n document = Document(docx_yolu)\n metin = []\n for paragraph in document.paragraphs:\n metin.append(paragraph.text)\n return \"\\n\".join(metin)\n except Exception as e:\n print(f\"Word dosyas\u0131ndan metin \u00e7\u0131kar\u0131l\u0131rken hata olu\u015ftu: {e}\")\n return None\n\n# Kullan\u0131m \u00f6rne\u011fi:\n# word_dosyam = \"ornek_rapor.docx\"\n# cikan_metin = word_metin_cikar(word_dosyam)\n# if cikan_metin:\n# print(cikan_metin[:500])\n<\/code><\/pre>\n<\/p><\/div>\ndocument.tables<\/code> veya document.inline_shapes<\/code> gibi \u00f6zellikler kullan\u0131labilir.<\/p>\nE-posta Ayr\u0131\u015ft\u0131rma:<\/h3>\n
email<\/code> mod\u00fcl\u00fc, e-postalar\u0131 ayr\u0131\u015ft\u0131rmak i\u00e7in g\u00fc\u00e7l\u00fc bir ara\u00e7t\u0131r. E-postalar\u0131 dosya olarak (.eml<\/code>) veya do\u011frudan bir posta sunucusundan (IMAP\/POP3) okuyarak i\u015fleyebilirsiniz.<\/p>\nimport email\nfrom email import policy\nfrom email.parser import BytesParser\n\ndef eposta_icerik_cikar(eml_dosya_yolu):\n try:\n with open(eml_dosya_yolu, 'rb') as fp:\n msg = BytesParser(policy=policy.default).parse(fp)\n\n konu = msg['Subject']\n gonderen = msg['From']\n alicilar = msg['To']\n \n govde_metni = \"\"\n if msg.is_multipart():\n for part in msg.iter_parts():\n content_type = part.get_content_type()\n content_disposition = str(part.get(\"Content-Disposition\"))\n\n if \"text\/plain\" in content_type and \"attachment\" not in content_disposition:\n govde_metni = part.get_payload(decode=True).decode()\n break # Sadece ilk d\u00fcz metin k\u0131sm\u0131n\u0131 al\n\n else: # Tek par\u00e7al\u0131 e-posta\n govde_metni = msg.get_payload(decode=True).decode()\n \n return {\n \"Konu\": konu,\n \"G\u00f6nderen\": gonderen,\n \"Al\u0131c\u0131lar\": alicilar,\n \"G\u00f6vde Metni\": govde_metni\n }\n except Exception as e:\n print(f\"E-posta ayr\u0131\u015ft\u0131r\u0131l\u0131rken hata olu\u015ftu: {e}\")\n return None\n\n# Kullan\u0131m \u00f6rne\u011fi:\n# eml_dosyam = \"ornek_eposta.eml\"\n# eposta_verileri = eposta_icerik_cikar(eml_dosyam)\n# if eposta_verileri:\n# print(f\"Konu: {eposta_verileri['Konu']}\")\n# print(f\"G\u00f6nderen: {eposta_verileri['G\u00f6nderen']}\")\n# print(f\"G\u00f6vde Metni (ilk 200 karakter): {eposta_verileri['G\u00f6vde Metni'][:200]}\")\n<\/code><\/pre>\n<\/p><\/div>\n.eml<\/code> dosyas\u0131ndan konu, g\u00f6nderen, al\u0131c\u0131lar ve d\u00fcz metin g\u00f6vdesini \u00e7\u0131kar\u0131r. E-postalar genellikle \u00e7ok par\u00e7al\u0131d\u0131r (hem HTML hem de d\u00fcz metin versiyonlar\u0131, ekler vb. i\u00e7erir), bu nedenle do\u011fru par\u00e7ay\u0131 bulmak i\u00e7in biraz mant\u0131k y\u00fcr\u00fctmek gerekebilir. Regex (d\u00fczenli ifadeler) kullanarak e-posta g\u00f6vdesindeki belirli kal\u0131plar\u0131 (\u00f6rne\u011fin, sipari\u015f numaralar\u0131, telefon numaralar\u0131) da ay\u0131klayabilirsiniz.<\/p>\nOCR (Optik Karakter Tan\u0131ma) Teknolojisinin Rol\u00fc<\/h3>\n
\n
pytesseract<\/code> sarmalay\u0131c\u0131s\u0131 ile kolayca entegre edilebilir.<\/li>\nVaka Analizi: Faturalardan veya S\u00f6zle\u015fmelerden Anahtar Bilgi \u00c7\u0131karma<\/h3>\n
\n
Veri Kalitesi ve Temizli\u011fi: Kaz\u0131nan Veriyi Anlaml\u0131 Hale Getirmek<\/h2>\n
Neden Veri Temizli\u011fi Bu Kadar \u00d6nemli?<\/h3>\n
Temizleme Teknikleri ve Stratejileri<\/h3>\n
\n
\n
\n
\n
\n
\n
\n
Ara\u00e7lar: Pandas (Python)<\/h3>\n
import pandas as pd\nimport numpy as np\n\n# \u00d6rnek bir DataFrame olu\u015ftural\u0131m (kaz\u0131nan veriyi temsil ediyor)\ndata = {\n 'UrunAdi': [' Laptop Pro X ', ' Telefon Y ', 'Laptop Pro X', 'tablet Z', np.nan, 'Telefon Y'],\n 'Fiyat': ['12.500 TL', '8.000,00 TL', '12500TL', '5000', '6000 TL', '8000 TL'],\n 'Stok': [10, 5, 10, 0, np.nan, 5],\n 'Aciklama': ['Harika bir laptop.', 'H\u0131zl\u0131 ve kullan\u0131\u015fl\u0131.', 'G\u00fc\u00e7l\u00fc bilgisayar.', '', 'Kompakt tablet.', '']\n}\ndf = pd.DataFrame(data)\nprint(\"Orijinal DataFrame:\")\nprint(df)\n\n# 1. Tekrarlanan verileri giderme (UrunAdi'na g\u00f6re)\ndf.drop_duplicates(subset=['UrunAdi'], inplace=True)\nprint(\"\\nTekrarlananlar giderildikten sonra:\")\nprint(df)\n\n# 2. Eksik de\u011ferleri ele alma (Stok'u ortalama ile doldurma, Aciklama'y\u0131 'Yok' ile doldurma)\ndf['Stok'].fillna(df['Stok'].mean(), inplace=True)\ndf['Aciklama'].fillna('Yok', inplace=True)\nprint(\"\\nEksik de\u011ferler doldurulduktan sonra:\")\nprint(df)\n\n# 3. Fiyat format\u0131n\u0131 normalle\u015ftirme\ndef fiyat_temizle(fiyat):\n if isinstance(fiyat, str):\n fiyat = fiyat.replace('TL', '').replace('.', '').replace(',', '.').strip()\n try:\n return float(fiyat)\n except ValueError:\n return np.nan\n return fiyat\n\ndf['Fiyat'] = df['Fiyat'].apply(fiyat_temizle)\nprint(\"\\nFiyatlar normalle\u015ftirildikten sonra:\")\nprint(df)\n\n# 4. UrunAdi'ndaki gereksiz bo\u015fluklar\u0131 kald\u0131rma ve ba\u015f harfleri b\u00fcy\u00fctme\ndf['UrunAdi'] = df['UrunAdi'].str.strip().str.title()\nprint(\"\\nUrunAdi temizlendikten sonra:\")\nprint(df)\n<\/code><\/pre>\n<\/p><\/div>\n\u0130leri D\u00fczey Kaz\u0131ma ve Ayr\u0131\u015ft\u0131rma Teknikleri: Engelleri A\u015fmak<\/h2>\n
Captcha ve IP Engellemeleri: Nas\u0131l A\u015f\u0131l\u0131r?<\/h3>\n
\n
\n
\n
\n
time.sleep(random.uniform(2, 5))<\/code> ile 2 ila 5 saniye aras\u0131nda rastgele bir bekleme s\u00fcresi ekleyebilirsiniz.<\/li>\nGiri\u015f Gerektiren Sitelerle \u00c7al\u0131\u015fma (Oturum Y\u00f6netimi)<\/h3>\n
\n
requests<\/code> k\u00fct\u00fcphanesinin Session<\/code> objesi, \u00e7erezleri otomatik olarak y\u00f6netir.<\/li>\nimport requests\n\n# \u00d6rnek bir giri\u015f i\u015flemi\nlogin_url = \"https:\/\/www.example.com\/login\"\ndata = {\n 'username': 'kullanici_adi',\n 'password': 'sifre'\n}\n\nwith requests.Session() as session:\n # Giri\u015f iste\u011fini g\u00f6nder\n post_response = session.post(login_url, data=data)\n \n # Giri\u015f ba\u015far\u0131l\u0131ysa, session objesi \u00e7erezleri saklar\n # Art\u0131k bu session objesini kullanarak giri\u015f gerektiren sayfalara eri\u015febiliriz\n if post_response.status_code == 200 and \"Ba\u015far\u0131l\u0131\" in post_response.text: # Veya ba\u015fka bir kontrol\n print(\"Giri\u015f ba\u015far\u0131l\u0131!\")\n \n # Giri\u015f yap\u0131lm\u0131\u015f bir sayfadan veri \u00e7ekme\n protected_page_url = \"https:\/\/www.example.com\/dashboard\"\n protected_page_response = session.get(protected_page_url)\n print(f\"Korunan sayfan\u0131n i\u00e7eri\u011fi (ilk 100 karakter): {protected_page_response.text[:100]}\")\n else:\n print(\"Giri\u015f ba\u015far\u0131s\u0131z oldu.\")\n<\/code><\/pre>\n<\/p><\/div>\nMakine \u00d6\u011frenimi Destekli Ayr\u0131\u015ft\u0131rma (\u015eablon Tabanl\u0131 Olmayan Veri \u0130\u00e7in)<\/h3>\n
\n
Vaka Analizi: B\u00fcy\u00fck Bir Veri Kaz\u0131ma Projesi Nas\u0131l Y\u00f6netilir?<\/h2>\n
Senaryo: Bir Emlak Portal\u0131ndan T\u00fcm \u0130lanlar\u0131 \u00c7ekme Projesi<\/h3>\n
1. Planlama ve Kapsam Belirleme<\/h4>\n
\n
robots.txt<\/code> dosyas\u0131n\u0131 ve kullan\u0131m ko\u015fullar\u0131n\u0131 dikkatlice inceleyin. Kaz\u0131ma h\u0131z\u0131n\u0131 s\u0131n\u0131rlay\u0131n, ki\u015fisel verileri (ilan sahibinin do\u011frudan ileti\u015fim bilgileri gibi) toplamaktan ka\u00e7\u0131n\u0131n veya anonimle\u015ftirin. KVKK (Ki\u015fisel Verilerin Korunmas\u0131 Kanunu) ve GDPR (Genel Veri Koruma Y\u00f6netmeli\u011fi) uyumlulu\u011funu sa\u011flay\u0131n.<\/li>\n2. Teknoloji Se\u00e7imi<\/h4>\n
\n
3. Kaz\u0131ma ve Ayr\u0131\u015ft\u0131rma Geli\u015ftirme<\/h4>\n
\n
4. Veri Depolama<\/h4>\n
\n
5. Bak\u0131m ve G\u00fcncelleme<\/h4>\n
\n