Veri, g\u00fcn\u00fcm\u00fcz d\u00fcnyas\u0131n\u0131n en de\u011ferli varl\u0131\u011f\u0131. Ancak bu verinin ham haliyle anlaml\u0131 i\u00e7g\u00f6r\u00fcler sunmas\u0131 veya etkili makine \u00f6\u011frenimi modellerine besin sa\u011flamas\u0131 nadiren m\u00fcmk\u00fcnd\u00fcr. \u00c7o\u011fu zaman veri, eksiklikler, tutars\u0131zl\u0131klar, tekrarlar ve hatalarla doludur. \u0130\u015fte tam da bu noktada, veri temizli\u011fi ve ETL (Extract, Transform, Load) s\u00fcre\u00e7leri devreye girer. Peki, bu karma\u015f\u0131k ve zaman al\u0131c\u0131 s\u00fcre\u00e7leri nas\u0131l daha kolay, daha h\u0131zl\u0131 ve daha eri\u015filebilir hale getirebiliriz? Cevap: Dusty<\/strong> \u2013 ara\u015ft\u0131rma ve i\u015f verisi temizli\u011fi i\u00e7in tasarlanm\u0131\u015f, basit ama g\u00fc\u00e7l\u00fc bir Alan \u00d6zel Dili (DSL) ile m\u00fcmk\u00fcn.<\/p>\n Modern i\u015f d\u00fcnyas\u0131nda ve akademik ara\u015ft\u0131rmalarda veri, her karar\u0131n ve ke\u015ffin temelini olu\u015fturur. Ne yaz\u0131k ki, toplanan verilerin b\u00fcy\u00fck bir k\u0131sm\u0131, hatal\u0131, eksik veya tutars\u0131z bilgiler i\u00e7erir. Bu durum, “\u00e7\u00f6p i\u00e7eri, \u00e7\u00f6p d\u0131\u015far\u0131” (garbage in, garbage out) ilkesiyle \u00f6zetlenebilir. Kalitesiz veriyle yap\u0131lan analizler, yanl\u0131\u015f sonu\u00e7lara, hatal\u0131 i\u015f kararlar\u0131na ve g\u00fcvenilmez bilimsel bulgulara yol a\u00e7abilir. Bu nedenle, veriyi kullanmadan \u00f6nce titizlikle temizlemek, standartla\u015ft\u0131rmak ve d\u00f6n\u00fc\u015ft\u00fcrmek hayati \u00f6nem ta\u015f\u0131r. Ancak bu s\u00fcre\u00e7, s\u00f6ylendi\u011fi kadar kolay de\u011fildir; aksine, \u00e7o\u011fu zaman bir veri projesinin en zaman al\u0131c\u0131 ve zahmetli ad\u0131mlar\u0131ndan biridir.<\/p>\n Veri temizli\u011fi s\u00fcreci, \u00e7e\u015fitli nedenlerle zorludur. \u00d6ncelikle, veriler genellikle heterojen kaynaklardan gelir. Bir \u015firketin m\u00fc\u015fteri verileri CRM sisteminden, sat\u0131\u015f verileri ERP’den, pazarlama verileri ise farkl\u0131 sosyal medya platformlar\u0131n\u0131n API’lerinden al\u0131nabilir. Her bir kaynak, kendi i\u00e7inde farkl\u0131 veri formatlar\u0131, isimlendirme kurallar\u0131 ve hata tipleri bar\u0131nd\u0131r\u0131r. \u00d6rne\u011fin, bir veritaban\u0131nda “ya\u015f” alan\u0131 tamsay\u0131 olarak tutulurken, ba\u015fka bir Excel dosyas\u0131nda metin olarak veya ya\u015f aral\u0131klar\u0131 (\u00f6rn. “25-35”) \u015feklinde ifade edilebilir. Bu tutars\u0131zl\u0131klar\u0131 manuel olarak d\u00fczeltmek, b\u00fcy\u00fck veri setlerinde neredeyse imkans\u0131z hale gelir.<\/p>\n \u0130kincisi, eksik verilerle ba\u015fa \u00e7\u0131kmak \u00f6nemli bir zorluktur. Baz\u0131 kay\u0131tlar\u0131n belirli alanlar\u0131 bo\u015f b\u0131rak\u0131lm\u0131\u015f olabilir. Bu eksiklikleri doldurmak (imputasyon) veya bu kay\u0131tlar\u0131 tamamen g\u00f6z ard\u0131 etmek, verinin karakteristi\u011fine ve analiz hedefine g\u00f6re dikkatli bir karar gerektirir. Yanl\u0131\u015f kararlar, verinin genel da\u011f\u0131l\u0131m\u0131n\u0131 bozarak \u00f6nyarg\u0131l\u0131 sonu\u00e7lara yol a\u00e7abilir. Ayr\u0131ca, tekrarlayan kay\u0131tlar veya ayk\u0131r\u0131 de\u011ferler (outliers) da veri kalitesini d\u00fc\u015f\u00fcren \u00f6nemli fakt\u00f6rlerdir. Ayn\u0131 m\u00fc\u015fteriye ait birden fazla giri\u015f, toplam m\u00fc\u015fteri say\u0131s\u0131n\u0131 yanl\u0131\u015f yans\u0131tabilirken, veri giri\u015findeki basit bir hata nedeniyle olu\u015fan ayk\u0131r\u0131 bir de\u011fer, ortalamalar\u0131 veya standart sapmalar\u0131 \u00e7arp\u0131tarak analizlerin g\u00fcvenilirli\u011fini sarsabilir.<\/p>\n \u00dc\u00e7\u00fcnc\u00fcs\u00fc, veri temizleme ara\u00e7lar\u0131n\u0131n karma\u015f\u0131kl\u0131\u011f\u0131, s\u00fcreci daha da zorla\u015ft\u0131r\u0131r. Geleneksel ETL ara\u00e7lar\u0131 genellikle y\u00fcksek \u00f6\u011frenme e\u011frisi gerektiren karma\u015f\u0131k g\u00f6rsel aray\u00fczlere veya uzmanl\u0131k gerektiren programlama dillerine (Python\/Pandas, R) dayan\u0131r. Bu durum, \u00f6zellikle veri bilimcisi veya yaz\u0131l\u0131mc\u0131 olmayan alan uzmanlar\u0131 (ara\u015ft\u0131rmac\u0131lar, i\u015f analistleri) i\u00e7in bir bariyer olu\u015fturur. S\u00fcre\u00e7lerin otomasyonu ve tekrar edilebilirli\u011fi de \u00f6nemli bir sorundur; manuel temizleme ad\u0131mlar\u0131 veya belgeye dayal\u0131 kurallar, zamanla g\u00fcncelli\u011fini yitirebilir veya farkl\u0131 ekipler aras\u0131nda tutars\u0131z uygulamalara yol a\u00e7abilir. T\u00fcm bu nedenler birle\u015fti\u011finde, etkili ve verimli bir veri temizleme \u00e7\u00f6z\u00fcm\u00fcne olan ihtiya\u00e7 a\u00e7\u0131k\u00e7a ortaya \u00e7\u0131kar. \u0130\u015fte Dusty, tam da bu zorluklar\u0131n \u00fcstesinden gelmek i\u00e7in tasarlanm\u0131\u015f, geli\u015ftiricilere, analistlere ve ara\u015ft\u0131rmac\u0131lara bu karma\u015f\u0131k s\u00fcreci basitle\u015ftiren g\u00fc\u00e7l\u00fc bir alternatif sunar.<\/p>\n Dusty, ad\u0131n\u0131 tozdan (dust) ar\u0131nd\u0131rma metaforundan alan, veri ETL (Extract, Transform, Load) ve temizli\u011fi i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015f minimalist bir Alan \u00d6zel Dili (DSL – Domain-Specific Language) ve onu i\u015fleten bir motordur. Geleneksel veri i\u015fleme yakla\u015f\u0131mlar\u0131na k\u0131yasla, Dusty’nin temel felsefesi basitlik, ifade g\u00fcc\u00fc ve odaklanm\u0131\u015f i\u015flevsellik \u00fczerine kurulmu\u015ftur. Veri m\u00fchendislerinin, analistlerin ve hatta alan uzmanlar\u0131n\u0131n karma\u015f\u0131k veri temizleme ve d\u00f6n\u00fc\u015f\u00fcm g\u00f6revlerini daha az kodla, daha h\u0131zl\u0131 ve daha anla\u015f\u0131l\u0131r bir \u015fekilde ger\u00e7ekle\u015ftirmelerini sa\u011flamak amac\u0131yla geli\u015ftirilmi\u015ftir.<\/p>\n Peki, bir DSL ne anlama geliyor? Alan \u00d6zel Dili, belirli bir alandaki sorunlar\u0131 \u00e7\u00f6zmek i\u00e7in optimize edilmi\u015f bir programlama dilidir. Genel ama\u00e7l\u0131 dillerin (Python, Java vb.) aksine, DSL’ler yaln\u0131zca kendi alanlar\u0131na \u00f6zg\u00fc kavramlar\u0131 ve i\u015flemleri do\u011frudan ifade etmeye odaklan\u0131r. Dusty \u00f6zelinde bu alan, veri y\u00fckleme, temizleme, d\u00f6n\u00fc\u015ft\u00fcrme ve kaydetme i\u015flemleridir. Bu odaklanma sayesinde Dusty, veri i\u015fleme g\u00f6revlerini tan\u0131mlamak i\u00e7in gerekli olan s\u00f6zdizimini (syntax) ve semanti\u011fi (semantics) radikal bir \u015fekilde basitle\u015ftirir. \u00d6rne\u011fin, bir CSV dosyas\u0131n\u0131 y\u00fcklemek, bir kolonu tamsay\u0131ya d\u00f6n\u00fc\u015ft\u00fcrmek veya eksik de\u011ferleri doldurmak gibi i\u015flemler, geleneksel programlama dillerinde birden fazla k\u00fct\u00fcphane \u00e7a\u011fr\u0131s\u0131 ve sat\u0131r kod gerektirebilirken, Dusty’de tek bir sezgisel komutla halledilebilir.<\/p>\n Dusty’nin geleneksel ETL ara\u00e7lar\u0131ndan ve genel ama\u00e7l\u0131 programlama yakla\u015f\u0131mlar\u0131ndan ayr\u0131\u015fmas\u0131n\u0131n birka\u00e7 temel nedeni vard\u0131r: \u00d6ncelikle, h\u0131zl\u0131 geli\u015ftirme ve prototipleme<\/strong> imkan\u0131 sunar. DSL’nin do\u011fas\u0131 gere\u011fi, veri i\u015fleme mant\u0131\u011f\u0131n\u0131 \u00e7ok daha az kodla ifade edebilirsiniz. Bu, \u00f6zellikle ara\u015ft\u0131rma verileri gibi h\u0131zl\u0131 de\u011fi\u015fiklik g\u00f6sterebilen veya deneme yan\u0131lma gerektiren senaryolarda s\u00fcre\u00e7lerin h\u0131zla in\u015fa edilip test edilmesini sa\u011flar. Veri analistleri veya ara\u015ft\u0131rmac\u0131lar, a\u011f\u0131r bir yaz\u0131l\u0131m geli\u015ftirme y\u00fck\u00fc alt\u0131na girmeden kendi temizleme betiklerini yazabilirler.<\/p>\n \u0130kincisi, kolay \u00f6\u011frenme e\u011frisi ve eri\u015filebilirlik<\/strong>. Dusty’nin s\u00f6zdizimi, veri i\u015flemlerini do\u011fal dil benzeri bir yakla\u015f\u0131mla ifade etmeyi hedefler. Bu, kod yazmaya veya karma\u015f\u0131k ETL aray\u00fczlerine a\u015fina olmayan kullan\u0131c\u0131lar\u0131n bile k\u0131sa s\u00fcrede yetkinlik kazanmas\u0131n\u0131 sa\u011flar. B\u00f6ylece, veri temizli\u011fi ve d\u00f6n\u00fc\u015f\u00fcm\u00fc s\u00fcre\u00e7leri, sadece uzman yaz\u0131l\u0131mc\u0131lar\u0131n de\u011fil, ayn\u0131 zamanda i\u015f analistlerinin ve alan uzmanlar\u0131n\u0131n da aktif kat\u0131l\u0131m\u0131yla daha demokratik bir hale gelir.<\/p>\n \u00dc\u00e7\u00fcnc\u00fcs\u00fc, daha iyi i\u015fbirli\u011fi ve s\u00fcrd\u00fcr\u00fclebilirlik<\/strong>. Dusty betikleri, anla\u015f\u0131l\u0131rl\u0131klar\u0131 sayesinde farkl\u0131 ekip \u00fcyeleri aras\u0131nda kolayca payla\u015f\u0131labilir ve g\u00f6zden ge\u00e7irilebilir. Kodun kendisi, veri i\u015fleme mant\u0131\u011f\u0131n\u0131 net bir \u015fekilde belgeledi\u011fi i\u00e7in, s\u00fcre\u00e7lerde yap\u0131lan de\u011fi\u015fiklikler veya iyile\u015ftirmeler daha az yanl\u0131\u015f anla\u015f\u0131lmaya yol a\u00e7ar. Bu da uzun vadede projelerin s\u00fcrd\u00fcr\u00fclebilirli\u011fini ve bak\u0131m\u0131n\u0131 kolayla\u015ft\u0131r\u0131r. Karma\u015f\u0131k ve g\u00f6rsel aray\u00fcz tabanl\u0131 ETL ara\u00e7lar\u0131n\u0131n aksine, Dusty betikleri versiyon kontrol sistemleriyle (Git gibi) sorunsuz bir \u015fekilde y\u00f6netilebilir.<\/p>\n Son olarak, Dusty’nin “k\u00fc\u00e7\u00fck” (tiny) yap\u0131s\u0131, onun odaklanm\u0131\u015f yeteneklerinin alt\u0131n\u0131 \u00e7izer. Her \u015feyi yapmaya \u00e7al\u0131\u015fmak yerine, veri y\u00fckleme, temizleme, d\u00f6n\u00fc\u015ft\u00fcrme ve kaydetme gibi temel ETL ve veri temizli\u011fi i\u015flemlerine odaklan\u0131r. Bu, gereksiz karma\u015f\u0131kl\u0131\u011f\u0131 ortadan kald\u0131r\u0131r ve arac\u0131n belirli bir problem setini y\u00fcksek verimlilikle \u00e7\u00f6zmesini sa\u011flar. Bu \u00f6zellikleriyle Dusty, \u00f6zellikle ara\u015ft\u0131rma verilerinin d\u00fczensizli\u011fiyle bo\u011fu\u015fan akademisyenlerden, h\u0131zl\u0131 ve tekrarlanabilir veri ak\u0131\u015flar\u0131 kurmak isteyen i\u015f zekas\u0131 ekiplerine kadar geni\u015f bir kitle i\u00e7in de\u011ferli bir ara\u00e7 haline gelir.<\/p>\n Dusty, basitli\u011fi ve verimlili\u011fi hedefleyen hafif bir mimariye sahiptir. Temel olarak, bir DSL yorumlay\u0131c\u0131s\u0131<\/strong> veya derleyicisi ve bir veri i\u015fleme motoru<\/strong> olmak \u00fczere iki ana bile\u015fenden olu\u015fur. Kullan\u0131c\u0131lar, Dusty’nin \u00f6zel sentaks\u0131n\u0131 kullanarak veri temizleme ve d\u00f6n\u00fc\u015f\u00fcm ad\u0131mlar\u0131n\u0131 bir betik dosyas\u0131na yazarlar. Bu betik, Dusty motoru taraf\u0131ndan okunur, yorumlan\u0131r ve belirtilen i\u015flemler ad\u0131m ad\u0131m uygulan\u0131r.<\/p>\n Dusty’nin mimarisindeki \u00f6nemli unsurlar \u015funlard\u0131r:<\/p>\n Dusty’nin “hafif” yap\u0131s\u0131, genellikle harici k\u00fct\u00fcphanelere minimal ba\u011f\u0131ml\u0131l\u0131klarla veya dahili, optimize edilmi\u015f algoritmalarla \u00e7al\u0131\u015fmas\u0131ndan kaynaklan\u0131r. Bu, daha h\u0131zl\u0131 ba\u015flatma s\u00fcreleri ve daha d\u00fc\u015f\u00fck kaynak t\u00fcketimi anlam\u0131na gelebilir. Ara\u015ft\u0131rma verileri s\u00f6z konusu oldu\u011funda, farkl\u0131 formatlardaki verileri (\u00f6rne\u011fin, farkl\u0131 laboratuvarlardan gelen sonu\u00e7lar) tek bir standart formata getirme ve karma\u015f\u0131k temizleme kurallar\u0131n\u0131 (\u00f6rne\u011fin, belirli ko\u015fullara g\u00f6re de\u011ferleri de\u011fi\u015ftirme) kolayca uygulama yetene\u011fi, Dusty’yi vazge\u00e7ilmez k\u0131lar. Dusty, kullan\u0131c\u0131n\u0131n veriye odaklanmas\u0131n\u0131 ve i\u015fleme mant\u0131\u011f\u0131n\u0131 a\u00e7\u0131k\u00e7a ifade etmesini sa\u011flayarak, altta yatan teknik detaylar\u0131n karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 gizler.<\/p>\n Dusty ile veri temizleme ve d\u00f6n\u00fc\u015f\u00fcm s\u00fcre\u00e7lerine ba\u015flamak olduk\u00e7a basittir. DSL’nin sezgisel yap\u0131s\u0131 sayesinde, verilerinizi y\u00fcklemekten temizlemeye, birle\u015ftirmekten kaydetmeye kadar t\u00fcm ad\u0131mlar\u0131 ad\u0131m ad\u0131m tan\u0131mlayabilirsiniz. \u015eimdi, bir vaka analizi \u00fczerinden Dusty’nin g\u00fcc\u00fcn\u00fc ve kullan\u0131m kolayl\u0131\u011f\u0131n\u0131 inceleyelim.<\/p>\n Bir \u00fcniversite ara\u015ft\u0131rmac\u0131s\u0131n\u0131n, farkl\u0131 d\u00f6nemlerde ve farkl\u0131 anket ara\u00e7lar\u0131yla toplanm\u0131\u015f, birden fazla kaynaktan gelen anket verilerini birle\u015ftirmesi ve analiz i\u00e7in standartla\u015ft\u0131rmas\u0131 gerekti\u011fini varsayal\u0131m. Veriler, eksik ya\u015f bilgileri, farkl\u0131 cinsiyet tan\u0131mlamalar\u0131 (\u00f6rn. “Erkek”, “E”, “Male”) ve farkl\u0131 skorlama bi\u00e7imleri i\u00e7eriyor. Bu senaryo, Dusty’nin nas\u0131l devreye girebilece\u011fini a\u00e7\u0131k\u00e7a g\u00f6steriyor.<\/p>\n \u0130lk olarak, farkl\u0131 dosyalardaki anket verilerini Dusty’ye y\u00fcklememiz gerekiyor. Dusty, \u00e7e\u015fitli dosya formatlar\u0131n\u0131 destekler ve her veri setine kolayca referans verebilmemiz i\u00e7in bir takma ad (alias) atamam\u0131za olanak tan\u0131r.<\/p>\n <\/code><\/p>\n Yukar\u0131daki kod blo\u011fu, \u00fc\u00e7 farkl\u0131 kaynaktan (bir CSV, bir Excel ve bir JSON dosyas\u0131) verileri Dusty'ye y\u00fckl\u00fcyor ve onlara Veriler y\u00fcklendikten sonra, ilk anket verisi olan <\/code><\/p>\n Bu ad\u0131mlarda, \u015eimdi, farkl\u0131 anket verilerini ve demografik bilgileri kat\u0131l\u0131mc\u0131 ID'leri \u00fczerinden birle\u015ftirmemiz ve analiz i\u00e7in yeni bir kolon olu\u015fturmam\u0131z gerekiyor. \u00d6rne\u011fin, anket skorlar\u0131na g\u00f6re kat\u0131l\u0131mc\u0131lar\u0131 kategorize edebiliriz.<\/p>\n <\/code><\/p>\n \u00d6nce T\u00fcm temizleme ve d\u00f6n\u00fc\u015f\u00fcm i\u015flemleri tamamland\u0131ktan sonra, son veri setini analiz i\u00e7in uygun bir formata (\u00f6rne\u011fin, temiz bir CSV dosyas\u0131) kaydetmeliyiz.<\/p>\n <\/code><\/p>\n Bu son komut, t\u00fcm i\u015flemlerin sonucunda elde etti\u011fimiz Dusty'nin sadece akademik ara\u015ft\u0131rmalar i\u00e7in de\u011fil, i\u015f d\u00fcnyas\u0131n\u0131n dinamik ve s\u00fcrekli de\u011fi\u015fen ihtiya\u00e7lar\u0131 i\u00e7in de ne kadar g\u00fc\u00e7l\u00fc bir ara\u00e7 oldu\u011funu anlamak i\u00e7in ba\u015fka bir ger\u00e7ek d\u00fcnya senaryosuna bakal\u0131m. \u0130\u015f zekas\u0131 (Business Intelligence - BI) s\u00fcre\u00e7lerinde, farkl\u0131 sistemlerden gelen verilerin birle\u015ftirilmesi, temizlenmesi ve raporlama veya g\u00f6sterge tablolar\u0131 i\u00e7in haz\u0131r hale getirilmesi hayati \u00f6neme sahiptir. Bu, tipik bir ETL (Extract, Transform, Load) i\u015f ak\u0131\u015f\u0131d\u0131r.<\/p>\n Bir e-ticaret \u015firketi, pazarlama kampanyalar\u0131n\u0131n performans\u0131n\u0131 \u00f6l\u00e7mek i\u00e7in \u00e7e\u015fitli kaynaklardan veri topluyor: Google Ads'den reklam harcamalar\u0131, Facebook Ads'den kampanya etkile\u015fimleri ve \u015firket CRM sisteminden m\u00fc\u015fteri d\u00f6n\u00fc\u015f\u00fcmleri. \u015eirketin BI ekibi, bu verileri haftal\u0131k olarak konsolide edip temizleyerek Power BI veya Tableau gibi ara\u00e7larda g\u00f6rselle\u015ftirmek istiyor. Kar\u015f\u0131la\u015ft\u0131klar\u0131 sorunlar aras\u0131nda: farkl\u0131 tarih formatlar\u0131, d\u00f6viz kuru farkl\u0131l\u0131klar\u0131 (USD, EUR, TRY), kampanya isimlerinde tutars\u0131zl\u0131klar ve m\u00fckerrer kay\u0131tlar bulunuyor.<\/p>\n Pazarlama verilerini farkl\u0131 platformlardan \u00e7ekmek i\u00e7in Dusty'nin \u00e7e\u015fitli kaynak ba\u011flant\u0131lar\u0131n\u0131 kullanabiliriz. SQL veritaban\u0131ndan, harici bir API'den ve bir CSV dosyas\u0131ndan veri alal\u0131m.<\/p>\n <\/code><\/p>\n Bu kod blo\u011funda, SQL veritaban\u0131m\u0131zdan Veriler y\u00fcklendikten sonra, farkl\u0131 kaynaklardan gelen bilgileri temizlemeli ve standartla\u015ft\u0131rmal\u0131y\u0131z. Tarih formatlar\u0131n\u0131 birle\u015ftirmeli, d\u00f6viz kurlar\u0131n\u0131 T\u00fcrk Liras\u0131'na \u00e7evirmeli ve kampanya isimlerini ortak bir yap\u0131ya getirmeliyiz.<\/p>\n <\/code><\/p>\n Bu ad\u0131mda, \u015eimdi, farkl\u0131 platformlardan gelen verileri birle\u015ftirmeli ve i\u015f zekas\u0131 raporlar\u0131m\u0131z i\u00e7in gerekli metrikleri (\u00f6rn. ROI - Yat\u0131r\u0131m Getirisi) hesaplamal\u0131y\u0131z. Ayr\u0131ca, pasif kampanyalar\u0131 filtreleyebiliriz.<\/p>\n <\/code><\/p>\n Burada, \u00f6nce SQL ve Facebook Ads verilerini kampanya ID'si ve tarih baz\u0131nda birle\u015ftiriyoruz. Ard\u0131ndan, bu birle\u015fmi\u015f veri setini Google Ads verileriyle ayn\u0131 kriterlere g\u00f6re birle\u015ftirerek t\u00fcm pazarlama verilerini i\u00e7eren Temizlenmi\u015f ve d\u00f6n\u00fc\u015ft\u00fcr\u00fclm\u00fc\u015f son pazarlama veri setini, \u015firketin veri ambar\u0131na y\u00fckleyebiliriz. Bu, BI ara\u00e7lar\u0131n\u0131n bu veriye eri\u015fmesini ve raporlar olu\u015fturmas\u0131n\u0131 sa\u011flar.<\/p>\n <\/code><\/p>\n Bu komut, Dusty, basit bir DSL olmas\u0131na ra\u011fmen, do\u011fru kullan\u0131ld\u0131\u011f\u0131nda olduk\u00e7a g\u00fc\u00e7l\u00fc ve verimli olabilir. \u00d6zellikle b\u00fcy\u00fck veri setleriyle \u00e7al\u0131\u015f\u0131rken veya mevcut sistemlere entegre ederken baz\u0131 ileri d\u00fczey ipu\u00e7lar\u0131 ve p\u00fcf noktalar\u0131 performans\u0131 ve kullan\u0131labilirli\u011fi \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rabilir.<\/p>\n B\u00fcy\u00fck veri setleri (gigabaytlarca veya terabaytlarca veri) \u00fczerinde \u00e7al\u0131\u015fmak, her veri i\u015fleme arac\u0131 i\u00e7in zorlay\u0131c\u0131 olabilir. Dusty ile performans\u0131 optimize etmek i\u00e7in \u015funlara dikkat edebilirsiniz:<\/p>\n Dusty'nin g\u00fcc\u00fc, sadece betik yazmakla kalmaz, ayn\u0131 zamanda mevcut veri altyap\u0131n\u0131za sorunsuz bir \u015fekilde entegre olabilmesinde yatar:<\/p>\n <\/code> Dusty'nin bu entegrasyon yetenekleri, onu yaln\u0131zca bir veri temizleme arac\u0131 olmaktan \u00e7\u0131kar\u0131p, modern veri odakl\u0131 uygulamalar\u0131n ve altyap\u0131lar\u0131n \u00f6nemli bir bile\u015feni haline getirir. Do\u011fru stratejilerle, Dusty'yi hem basit g\u00f6revlerde hem de b\u00fcy\u00fck \u00f6l\u00e7ekli, otomatikle\u015ftirilmi\u015f veri ak\u0131\u015flar\u0131nda verimli bir \u015fekilde kullanabilirsiniz.<\/p>\n G\u00fcn\u00fcm\u00fcz\u00fcn veri odakl\u0131 d\u00fcnyas\u0131nda, temiz, g\u00fcvenilir ve i\u015flenebilir verilere sahip olmak, her kurulu\u015fun ve ara\u015ft\u0131rmac\u0131n\u0131n en temel gereksinimidir. Ancak bu verilere ula\u015fmak, genellikle karma\u015f\u0131k, zaman al\u0131c\u0131 ve uzmanl\u0131k gerektiren ETL ve veri temizleme s\u00fcre\u00e7lerini i\u00e7erir. \u0130\u015fte tam da bu noktada Dusty, bu s\u00fcreci radikal bir \u015fekilde basitle\u015ftirmek ve herkes i\u00e7in daha eri\u015filebilir k\u0131lmak \u00fczere tasarlanm\u0131\u015f yenilik\u00e7i bir \u00e7\u00f6z\u00fcm olarak kar\u015f\u0131m\u0131za \u00e7\u0131k\u0131yor.<\/p>\n Bu makale boyunca, veri temizli\u011finin neden bu kadar hayati ve zorlu bir g\u00f6rev oldu\u011funu, Dusty'nin geleneksel yakla\u015f\u0131mlardan nas\u0131l ayr\u0131\u015ft\u0131\u011f\u0131n\u0131 ve Alan \u00d6zel Dillerinin (DSL) veri i\u015fleme alan\u0131na getirdi\u011fi avantajlar\u0131 detayl\u0131 bir \u015fekilde inceledik. Akademik ara\u015ft\u0131rma verilerinin standartla\u015ft\u0131r\u0131lmas\u0131ndan, i\u015f zekas\u0131 uygulamalar\u0131 i\u00e7in pazarlama verilerinin otomatikle\u015ftirilmi\u015f ETL s\u00fcre\u00e7lerine kadar iki ger\u00e7ek d\u00fcnya vaka analizi ile Dusty'nin pratik kullan\u0131m\u0131n\u0131 ad\u0131m ad\u0131m g\u00f6sterdik. G\u00f6rd\u00fc\u011f\u00fcm\u00fcz gibi, Dusty'nin sezgisel ve minimalist sentaks\u0131, karma\u015f\u0131k veri d\u00f6n\u00fc\u015f\u00fcm ve temizleme g\u00f6revlerini \u015fa\u015f\u0131rt\u0131c\u0131 derecede az kodla ifade etmemizi sa\u011fl\u0131yor.<\/p>\n Dusty'nin sundu\u011fu temel faydalar aras\u0131nda, veri i\u015fleme s\u00fcre\u00e7lerinde h\u0131z, basitlik, hata azaltma ve geli\u015ftirilmi\u015f i\u015fbirli\u011fi yer almaktad\u0131r. Geli\u015ftiriciler, veri analistleri, ara\u015ft\u0131rmac\u0131lar ve hatta daha az teknik bilgiye sahip alan uzmanlar\u0131, Dusty sayesinde veri temizleme y\u00fck\u00fcn\u00fc hafifletebilir, daha do\u011fru analizler yapabilir ve daha bilin\u00e7li kararlar alabilirler. Ayr\u0131ca, Dusty'nin mevcut sistemlere kolay entegrasyonu ve b\u00fcy\u00fck veri setleriyle \u00e7al\u0131\u015fma yetene\u011fi, onu modern veri altyap\u0131lar\u0131n\u0131n de\u011ferli bir bile\u015feni haline getiriyor.<\/p>\n Dusty, veri temizli\u011fini art\u0131k bir engel de\u011fil, verimli ve keyifli bir s\u00fcre\u00e7 haline getirme potansiyeline sahiptir. E\u011fer veri yolculu\u011funuzda kar\u015f\u0131la\u015ft\u0131\u011f\u0131n\u0131z temizlik ve d\u00f6n\u00fc\u015f\u00fcm zorluklar\u0131n\u0131 basitle\u015ftirmek, s\u00fcre\u00e7lerinizi otomatikle\u015ftirmek ve veri kalitenizi art\u0131rmak istiyorsan\u0131z, Dusty'yi ke\u015ffetmeye ba\u015flaman\u0131n tam zaman\u0131. Verilerinizdeki \"tozu\" temizleyerek ger\u00e7ek de\u011ferini ortaya \u00e7\u0131kar\u0131n!<\/p>\n Dusty'nin basit ve do\u011fal dil benzeri sentaks\u0131 sayesinde, temel veri y\u00fckleme, temizleme ve d\u00f6n\u00fc\u015f\u00fcm i\u015flemlerini \u00f6\u011frenmek genellikle birka\u00e7 saatlik bir pratikle m\u00fcmk\u00fcnd\u00fcr. DSL'lerin amac\u0131, \u00f6\u011frenme e\u011frisini en aza indirmektir, b\u00f6ylece kullan\u0131c\u0131lar h\u0131zl\u0131ca verimli olabilirler.<\/p>\n<\/li>\n Evet, Dusty optimize edilmi\u015f operasyonlar\u0131 ve potansiyel altyap\u0131 entegrasyonlar\u0131 sayesinde (\u00f6rne\u011fin, altta yatan motorun b\u00fcy\u00fck veri k\u00fct\u00fcphaneleriyle \u00e7al\u0131\u015fmas\u0131 durumunda) b\u00fcy\u00fck veri setlerinde verimli \u00e7al\u0131\u015fabilir. \u00d6zellikle ak\u0131ll\u0131 filtreleme ve ad\u0131m ad\u0131m i\u015fleme stratejileriyle performans daha da art\u0131r\u0131labilir.<\/p>\n<\/li>\n Dusty genellikle CSV, Excel dosyalar\u0131, JSON, Parquet gibi yayg\u0131n dosya formatlar\u0131n\u0131 destekler. Ayr\u0131ca, veritabanlar\u0131 (SQL, NoSQL) ve RESTful API'ler gibi yap\u0131land\u0131r\u0131lm\u0131\u015f ve yar\u0131 yap\u0131land\u0131r\u0131lm\u0131\u015f veri kaynaklar\u0131na da ba\u011flanma yetene\u011fine sahip olabilir. Desteklenen kaynaklar, Dusty'nin spesifik uygulamas\u0131n\u0131n yeteneklerine ba\u011fl\u0131d\u0131r.<\/p>\n<\/li>\n Dusty, veri analistleri, ara\u015ft\u0131rmac\u0131lar, veri bilimcileri, i\u015f zekas\u0131 uzmanlar\u0131 ve yaz\u0131l\u0131m geli\u015ftiriciler de dahil olmak \u00fczere, veri toplama, temizleme ve d\u00f6n\u00fc\u015ft\u00fcrme s\u00fcre\u00e7lerini basitle\u015ftirmek, otomatikle\u015ftirmek ve standartla\u015ft\u0131rmak isteyen herkes i\u00e7in uygundur.<\/p>\n<\/li>\n Dusty, bir veri i\u015fleme DSL'si olarak, genellikle verilerin depoland\u0131\u011f\u0131 veya eri\u015fildi\u011fi ortam\u0131n g\u00fcvenlik mekanizmalar\u0131n\u0131 kullan\u0131r. Veritaban\u0131 ba\u011flant\u0131lar\u0131 i\u00e7in kimlik do\u011frulama, API eri\u015fimi i\u00e7in token y\u00f6netimi gibi \u00f6zellikler, Dusty'nin bu t\u00fcr g\u00fcvenlik katmanlar\u0131yla entegre olabilmesini sa\u011flar. Veri \u015fifreleme ve eri\u015fim kontrol\u00fc gibi daha kapsaml\u0131 g\u00fcvenlik \u00f6nlemleri genellikle altta yatan sistemler veya platformlar taraf\u0131ndan sa\u011flan\u0131r.<\/p>\n<\/li>\n<\/ul>\n <\/body><\/p>\n","protected":false},"excerpt":{"rendered":"Veri, g\u00fcn\u00fcm\u00fcz d\u00fcnyas\u0131n\u0131n en de\u011ferli varl\u0131\u011f\u0131. Ancak bu verinin ham haliyle anlaml\u0131 i\u00e7g\u00f6r\u00fcler sunmas\u0131 veya etkili makine \u00f6\u011frenimi…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-36253","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\nDusty Nedir ve Neden Geleneksel Yakla\u015f\u0131mlardan Ayr\u0131\u015f\u0131r?<\/h2>\n
Dusty’nin Temel Ta\u015flar\u0131: Nas\u0131l Bir Mimariye Sahip?<\/h3>\n
\n
Dusty ile \u0130lk Ad\u0131mlar: Veri Temizleme S\u00fcre\u00e7leri Nas\u0131l Ba\u015flat\u0131l\u0131r?<\/h2>\n
Vaka Analizi 1: Akademik Ara\u015ft\u0131rma Verilerinin Standartla\u015ft\u0131r\u0131lmas\u0131<\/h3>\n
Ad\u0131m 1: Veri Kaynaklar\u0131n\u0131 Tan\u0131mlama<\/h4>\n
\n LOAD \"survey_data_q1.csv\" AS q1_data;\n LOAD \"survey_data_q2.xlsx\" AS q2_data;\n LOAD \"participant_demographics.json\" AS demo_data;\n <\/pre>\nq1_data<\/code>, q2_data<\/code> ve demo_data<\/code> gibi kolayca anla\u015f\u0131l\u0131r isimler veriyor. Bu sayede, sonraki ad\u0131mlarda bu veri setlerine bu isimlerle referans verebiliriz.<\/p>\nAd\u0131m 2: Temel Temizleme Operasyonlar\u0131<\/h4>\n
q1_data<\/code> \u00fczerinde ya\u015f ve cinsiyet kolonlar\u0131ndaki tutars\u0131zl\u0131klar\u0131 gidermeliyiz. Ya\u015f verisinin tamsay\u0131 oldu\u011fundan emin olmal\u0131 ve eksik ya\u015f bilgilerini medyan ile doldurmal\u0131y\u0131z. Cinsiyet metinlerini standartla\u015ft\u0131rarak tutarl\u0131l\u0131k sa\u011flamal\u0131y\u0131z.<\/p>\n\n CLEAN q1_data SET \"age\" TO INT;\n CLEAN q1_data FILL \"age\" WITH MEDIAN WHERE EMPTY;\n CLEAN q1_data TRANSFORM \"gender\" TO LOWERCASE;\n CLEAN q1_data REPLACE \"gender\" FROM \"e\" TO \"erkek\";\n CLEAN q1_data REPLACE \"gender\" FROM \"k\" TO \"kadin\";\n CLEAN q1_data REPLACE \"gender\" FROM \"male\" TO \"erkek\";\n CLEAN q1_data REPLACE \"gender\" FROM \"female\" TO \"kadin\";\n <\/pre>\nage<\/code> kolonunun veri tipini tamsay\u0131ya \u00e7eviriyoruz ve bo\u015f kalan ya\u015f de\u011ferlerini ilgili kolonun medyan\u0131 ile dolduruyoruz. Cinsiyet kolonundaki t\u00fcm de\u011ferleri k\u00fc\u00e7\u00fck harfe \u00e7evirerek standartla\u015ft\u0131r\u0131yor, ard\u0131ndan farkl\u0131 yaz\u0131mlar\u0131 (\u00f6rn. \"E\", \"Male\") ortak bir \"erkek\" veya \"kadin\" de\u011feriyle de\u011fi\u015ftiriyoruz. Bu sayede veri seti i\u00e7indeki tutars\u0131zl\u0131klar\u0131 h\u0131zl\u0131 ve etkili bir \u015fekilde gidermi\u015f oluyoruz.<\/p>\nAd\u0131m 3: Birle\u015ftirme ve Yeni Kolonlar Olu\u015fturma<\/h4>\n
\n JOIN q1_data AND q2_data ON \"participant_id\" AS merged_surveys;\n JOIN merged_surveys AND demo_data ON \"participant_id\" AS final_research_data;\n\n ADD COLUMN \"total_score\" TO final_research_data AS final_research_data.score_q1 + final_research_data.score_q2;\n ADD COLUMN \"satisfaction_level\" TO final_research_data AS IF final_research_data.total_score > 70 THEN \"Y\u00fcksek\" ELSE \"D\u00fc\u015f\u00fck\";\n <\/pre>\nq1_data<\/code> ve q2_data<\/code> veri setlerini participant_id<\/code> kolonuna g\u00f6re birle\u015ftirerek merged_surveys<\/code> ad\u0131nda yeni bir veri seti olu\u015fturuyoruz. Ard\u0131ndan bu veri setini demo_data<\/code> ile birle\u015ftirerek t\u00fcm demografik ve anket verilerini i\u00e7eren final_research_data<\/code> veri setini elde ediyoruz. Son olarak, iki anket skorunu toplayarak total_score<\/code> ad\u0131nda yeni bir kolon ekliyor ve bu toplam skora g\u00f6re satisfaction_level<\/code> ad\u0131nda kategorik bir kolon olu\u015fturuyoruz. Bu, analistler i\u00e7in anlaml\u0131 gruplamalar yapmay\u0131 kolayla\u015ft\u0131r\u0131r.<\/p>\nAd\u0131m 4: Sonu\u00e7lar\u0131 D\u0131\u015far\u0131 Aktarma<\/h4>\n
\n SAVE final_research_data TO \"cleaned_academic_research_data.csv\";\n <\/pre>\nfinal_research_data<\/code> veri setini belirtilen dosya ad\u0131na sahip bir CSV dosyas\u0131na kaydeder. B\u00f6ylece, ara\u015ft\u0131rmac\u0131 temizlenmi\u015f ve standartla\u015ft\u0131r\u0131lm\u0131\u015f verilerle analizlerine g\u00fcvenle ba\u015flayabilir. Dusty'nin DSL'si, karma\u015f\u0131k veri haz\u0131rlama g\u00f6revlerini bu \u015fekilde ad\u0131m ad\u0131m ve anla\u015f\u0131l\u0131r bir bi\u00e7imde tan\u0131mlama imkan\u0131 sunarak, hem zaman kazand\u0131r\u0131r hem de hata yapma olas\u0131l\u0131\u011f\u0131n\u0131 azalt\u0131r.<\/p>\nGer\u00e7ek D\u00fcnya Senaryolar\u0131nda Dusty: Bir \u0130\u015f Zekas\u0131 Uygulamas\u0131<\/h2>\n
Vaka Analizi 2: Pazarlama Verilerinin Otomatik ETL S\u00fcreci<\/h3>\n
Ad\u0131m 1: \u00c7oklu Kaynaklardan Veri Alma<\/h4>\n
\n LOAD DATABASE \"marketing_db\" TABLE \"ad_campaigns\" AS campaigns_sql;\n LOAD API \"https:\/\/api.facebookads.com\/v1\/reports\" WITH TOKEN \"ABC123XYZ\" AS facebook_ads_api;\n LOAD \"google_ads_daily_spend.csv\" AS google_ads_csv;\n <\/pre>\nad_campaigns<\/code> tablosunu, Facebook Ads API'sinden raporlar\u0131 (bir kimlik do\u011frulama token\u0131 ile) ve Google Ads'in g\u00fcnl\u00fck harcamalar\u0131n\u0131 i\u00e7eren bir CSV dosyas\u0131n\u0131 Dusty'ye y\u00fckl\u00fcyoruz. Her birine anlaml\u0131 takma adlar vererek sonraki ad\u0131mlarda kolayca referans verebiliriz.<\/p>\nAd\u0131m 2: Veri Tutars\u0131zl\u0131klar\u0131n\u0131 Giderme<\/h4>\n
\n CLEAN campaigns_sql SET \"date\" TO DATE_FORMAT(\"YYYY-MM-DD\");\n CLEAN facebook_ads_api SET \"campaign_name\" TO LOWERCASE;\n CLEAN facebook_ads_api REPLACE \"currency\" FROM \"USD\" TO \"TRY\" CONVERT_RATE 9.5;\n CLEAN facebook_ads_api REPLACE \"currency\" FROM \"EUR\" TO \"TRY\" CONVERT_RATE 11.2;\n CLEAN google_ads_csv SET \"spend_amount\" TO FLOAT;\n CLEAN google_ads_csv DEDUPLICATE ON \"campaign_id\", \"date\";\n <\/pre>\ncampaigns_sql<\/code> veri setindeki tarih kolonunu standart bir \"YYYY-MM-DD\" format\u0131na getiriyoruz. Facebook Ads API'sinden gelen kampanya isimlerini k\u00fc\u00e7\u00fck harfe \u00e7evirerek standartla\u015ft\u0131r\u0131yor ve USD ile EUR cinsinden harcama verilerini belirtilen oranlarla TRY'ye d\u00f6n\u00fc\u015ft\u00fcr\u00fcyoruz. Google Ads verisindeki harcama miktar\u0131n\u0131 float tipine \u00e7eviriyor ve ayn\u0131 kampanya ID'sine ve tarihe sahip m\u00fckerrer kay\u0131tlar\u0131 temizliyoruz. Bu, veri setlerinin do\u011fru bir \u015fekilde birle\u015ftirilmeden \u00f6nce gerekli olan kritik temizlik ad\u0131mlar\u0131d\u0131r.<\/p>\nAd\u0131m 3: \u0130\u015f Kurallar\u0131na G\u00f6re D\u00f6n\u00fc\u015f\u00fcmler ve Birle\u015ftirme<\/h4>\n
\n JOIN campaigns_sql AND facebook_ads_api ON \"campaign_id\", \"date\" AS merged_campaign_data;\n JOIN merged_campaign_data AND google_ads_csv ON \"campaign_id\", \"date\" AS final_marketing_data;\n\n ADD COLUMN \"total_spend\" TO final_marketing_data AS final_marketing_data.sql_spend + final_marketing_data.facebook_spend + final_marketing_data.google_spend;\n ADD COLUMN \"roi\" TO final_marketing_data AS (final_marketing_data.revenue - final_marketing_data.total_spend) \/ final_marketing_data.total_spend;\n \n FILTER final_marketing_data WHERE final_marketing_data.status = \"active\";\n <\/pre>\nfinal_marketing_data<\/code> setini elde ediyoruz. total_spend<\/code> kolonunu olu\u015fturarak t\u00fcm platformlardaki harcamalar\u0131 topluyor ve ard\u0131ndan roi<\/code> kolonunu hesapl\u0131yoruz. Son olarak, sadece \"active\" (aktif) stat\u00fcs\u00fcndeki kampanyalar\u0131 filtreleyerek raporlama i\u00e7in g\u00fcncel ve ilgili veriyi tutuyoruz.<\/p>\nAd\u0131m 4: Hedef Veri Ambar\u0131na Y\u00fckleme<\/h4>\n
\n SAVE final_marketing_data TO DATABASE \"bi_warehouse\" TABLE \"cleaned_marketing_performance\" MODE \"REPLACE\";\n <\/pre>\nfinal_marketing_data<\/code> veri setini bi_warehouse<\/code> ad\u0131ndaki veritaban\u0131nda cleaned_marketing_performance<\/code> tablosuna y\u00fckl\u00fcyor. MODE \"REPLACE\"<\/code> ifadesi, her \u00e7al\u0131\u015ft\u0131\u011f\u0131nda mevcut tabloyu yeni verilerle de\u011fi\u015ftirece\u011fi anlam\u0131na gelir. Bu otomatik ve tekrarlanabilir s\u00fcre\u00e7, BI ekibinin her hafta manuel veri temizli\u011fiyle u\u011fra\u015fmak yerine, do\u011frudan analiz ve raporlama odakl\u0131 \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar. Dusty, bu t\u00fcr karma\u015f\u0131k ve tekrarlayan ETL g\u00f6revlerini basitle\u015ftirerek, i\u015fletmelere zaman ve kaynak tasarrufu sa\u011flar.<\/p>\nDusty ile \u0130leri D\u00fczey Kullan\u0131m: Performans ve Entegrasyon \u0130pu\u00e7lar\u0131<\/h2>\n
B\u00fcy\u00fck Veri Setleriyle \u00c7al\u0131\u015f\u0131rken Performans\u0131 Art\u0131rmak \u0130\u00e7in Ne Yap\u0131lmal\u0131?<\/h3>\n
\n
SAVE temp_data TO \"temp_step1.parquet\";<\/code>) bir sonraki ad\u0131mda bu ge\u00e7ici dosyalar\u0131 y\u00fckleyerek \u00e7al\u0131\u015fabilirsiniz. Parquet gibi s\u0131k\u0131\u015ft\u0131r\u0131lm\u0131\u015f ve kolon tabanl\u0131 formatlar, b\u00fcy\u00fck veriyle \u00e7al\u0131\u015f\u0131rken I\/O performans\u0131n\u0131 art\u0131rabilir.<\/li>\nFILTER my_data WHERE my_data.year > 2020;<\/code> komutunu, di\u011fer d\u00f6n\u00fc\u015f\u00fcm i\u015flemlerinden \u00f6nce uygulamak, sonraki ad\u0131mlar\u0131n daha az veri \u00fczerinde \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar ve performans\u0131 art\u0131r\u0131r.<\/li>\nDusty'yi Mevcut Sistemlere Nas\u0131l Entegre Edebilirsiniz?<\/h3>\n
\n
\n 0 3 * * * \/usr\/local\/bin\/dusty \/path\/to\/your\/cleaning_script.dusty\n <\/pre>\n
\n Bu, veri temizleme s\u00fcre\u00e7lerinizi tamamen otomatikle\u015ftirmenin en basit yollar\u0131ndan biridir.\n <\/li>\nVIEW my_data;<\/code> komutu ile ara ad\u0131mlardaki veri setlerinin anl\u0131k durumunu inceleyebilir, b\u00f6ylece d\u00f6n\u00fc\u015f\u00fcmlerinizin beklendi\u011fi gibi \u00e7al\u0131\u015f\u0131p \u00e7al\u0131\u015fmad\u0131\u011f\u0131n\u0131 kontrol edebilirsiniz.<\/div>\nSonu\u00e7: Dusty ile Veri Yolculu\u011funuzu Basitle\u015ftirin<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n
\n