Veri bilimcisi olarak g\u00fcn\u00fcm\u00fcz\u00fcn h\u0131zla b\u00fcy\u00fcyen veri y\u0131\u011f\u0131nlar\u0131yla bo\u011fu\u015furken, analiz s\u00fcre\u00e7lerinizde performans sorunlar\u0131 m\u0131 ya\u015f\u0131yorsunuz? \u00d6zellikle b\u00fcy\u00fck veri setleriyle \u00e7al\u0131\u015f\u0131rken, mevcut ara\u00e7lar\u0131n\u0131z\u0131n yetersiz kald\u0131\u011f\u0131n\u0131 ve projelerinizi tamamlaman\u0131n saatler s\u00fcrd\u00fc\u011f\u00fcn\u00fc fark ediyorsan\u0131z, yaln\u0131z de\u011filsiniz. Endi\u015felenmeyin; 2025 y\u0131l\u0131na do\u011fru yakla\u015f\u0131rken, veri biliminin gelece\u011fini \u015fekillendirecek yeni bir “g\u00fc\u00e7 arac\u0131” ufukta belirdi ve bu makale, onu neden \u015fimdi \u00f6\u011frenmeniz gerekti\u011fini size ad\u0131m ad\u0131m a\u00e7\u0131klayacak.<\/p>\n
G\u00fcn\u00fcm\u00fcz\u00fcn dijital \u00e7a\u011f\u0131nda, \u015firketler her saniye muazzam miktarda veri \u00fcretiyor. Finansal i\u015flemlerden sens\u00f6r verilerine, sosyal medya etkile\u015fimlerinden sa\u011fl\u0131k kay\u0131tlar\u0131na kadar her alanda veri hacmi katlanarak art\u0131yor. Bu verileri anlamland\u0131rmak, i\u00e7g\u00f6r\u00fcler elde etmek ve i\u015f kararlar\u0131n\u0131 desteklemek, veri bilimcilerinin temel g\u00f6revi. Uzun y\u0131llard\u0131r Python ekosisteminde veri manip\u00fclasyonu ve analizi i\u00e7in tart\u0131\u015fmas\u0131z lider olan Pandas k\u00fct\u00fcphanesi, k\u00fc\u00e7\u00fck ve orta \u00f6l\u00e7ekli veri setleri i\u00e7in harikalar yaratmaya devam ediyor. Ancak, GB’larca, hatta TB’larca veriye ula\u015ft\u0131\u011f\u0131m\u0131zda, Pandas’\u0131n tek \u00e7ekirdekli yap\u0131s\u0131 ve bellek kullan\u0131m\u0131ndaki k\u0131s\u0131tlamalar\u0131 ciddi bir darbo\u011faz haline gelebiliyor.<\/p>\n
\u0130\u015fte tam da bu noktada, modern veri biliminin yeni kahraman\u0131 Polars devreye giriyor. Rust ile yaz\u0131lm\u0131\u015f, Apache Arrow belle\u011fi \u00fczerine in\u015fa edilmi\u015f ve \u00e7ok \u00e7ekirdekli i\u015flem g\u00fcc\u00fcnden sonuna kadar faydalanan Polars, veri i\u015fleme h\u0131z\u0131n\u0131 ve verimlili\u011fini tamamen yeni bir seviyeye ta\u015f\u0131yor. Bu sadece bir performans art\u0131\u015f\u0131 de\u011fil; ayn\u0131 zamanda b\u00fcy\u00fck veriyle \u00e7al\u0131\u015fma \u015feklimizi, analiz s\u00fcre\u00e7lerimizi ve hatta veri bilimcisi olarak kariyer beklentilerimizi yeniden tan\u0131mlayan bir paradigma de\u011fi\u015fimi. Bu makalede, Polars’\u0131n temellerinden ba\u015flayarak, neden Pandas’\u0131n yerini almaya aday oldu\u011funu, ger\u00e7ek d\u00fcnya senaryolar\u0131nda nas\u0131l kullan\u0131ld\u0131\u011f\u0131n\u0131 ve 2025 y\u0131l\u0131nda her veri bilimcinin cephaneli\u011finde neden bulunmas\u0131 gerekti\u011fini detayl\u0131 bir \u015fekilde inceleyece\u011fiz. Haz\u0131rsan\u0131z, gelece\u011fin veri d\u00fcnyas\u0131na bir yolculu\u011fa \u00e7\u0131kal\u0131m!<\/p>\n
Veri biliminin temel ta\u015flar\u0131ndan biri olan veri manip\u00fclasyonu, her projenin ba\u015flang\u0131\u00e7 noktas\u0131d\u0131r. Bu alanda y\u0131llarca Python’\u0131n tart\u0131\u015fmas\u0131z lideri olan Pandas, kullan\u0131c\u0131 dostu API’si ve geni\u015f fonksiyon setleriyle milyonlarca geli\u015ftiricinin g\u00f6nl\u00fcnde taht kurmu\u015ftur. Ancak, teknoloji ve veri hacmi evrildik\u00e7e, Pandas’\u0131n baz\u0131 yap\u0131sal k\u0131s\u0131tlamalar\u0131 belirginle\u015fmeye ba\u015flad\u0131. \u0130\u015fte burada Polars sahneye \u00e7\u0131karak, bu k\u0131s\u0131tlamalara modern ve performans odakl\u0131 \u00e7\u00f6z\u00fcmler sunuyor.<\/p>\n
Pandas, verileri bellekte NumPy dizileri kullanarak depolar ve DataFrame ad\u0131n\u0131 verdi\u011fimiz tablo benzeri yap\u0131lar\u0131 sa\u011flar. Sezgisel s\u00f6z dizimi ve zengin ekosistemi sayesinde, veri temizleme, d\u00f6n\u00fc\u015ft\u00fcrme ve analiz etme s\u00fcre\u00e7lerini olduk\u00e7a kolayla\u015ft\u0131r\u0131r. Ancak, Pandas’\u0131n en b\u00fcy\u00fck k\u0131s\u0131tlamas\u0131, varsay\u0131lan olarak tek \u00e7ekirdek \u00fczerinde \u00e7al\u0131\u015fmas\u0131d\u0131r. Bu, devasa veri setleriyle i\u015flem yaparken, bilgisayar\u0131n\u0131z\u0131n i\u015flemci g\u00fcc\u00fcn\u00fcn b\u00fcy\u00fck bir k\u0131sm\u0131n\u0131 bo\u015fta b\u0131rakmas\u0131 anlam\u0131na gelir. Ayr\u0131ca, bellek y\u00f6netimi konusunda da baz\u0131 zorluklar\u0131 vard\u0131r; \u00f6zellikle b\u00fcy\u00fck veri setlerini kopyalama i\u015flemleri s\u0131ras\u0131nda gereksiz bellek t\u00fcketimine yol a\u00e7abilir. Bu durum, \u00f6zellikle makine \u00f6\u011frenimi modelleri e\u011fitmeden \u00f6nce veri \u00f6n i\u015fleme ad\u0131mlar\u0131nda ciddi zaman kay\u0131plar\u0131na neden olabilir.<\/p>\n
Polars ise tamamen farkl\u0131 bir felsefe ile in\u015fa edilmi\u015ftir. Temel olarak Rust dilinde yaz\u0131lm\u0131\u015ft\u0131r, bu da ona do\u011fal olarak y\u00fcksek performans ve bellek g\u00fcvenli\u011fi sa\u011flar. En kritik farklardan biri, Polars’\u0131n veri depolama i\u00e7in Apache Arrow standart\u0131n\u0131 kullanmas\u0131d\u0131r. Apache Arrow, s\u00fctun tabanl\u0131 (columnar) bir bellek format\u0131d\u0131r ve verileri s\u0131k\u0131\u015ft\u0131r\u0131lm\u0131\u015f, cache-friendly bir \u015fekilde depolar. Bu, hem okuma\/yazma h\u0131zlar\u0131n\u0131 art\u0131r\u0131r hem de bellek kullan\u0131m\u0131n\u0131 optimize eder. Ayr\u0131ca, Arrow format\u0131, farkl\u0131 diller (Python, Java, R, C++) aras\u0131nda veri payla\u015f\u0131m\u0131n\u0131 s\u0131f\u0131r kopyalama maliyetiyle m\u00fcmk\u00fcn k\u0131lar, bu da Polars’\u0131 veri m\u00fchendisli\u011fi pipeline’lar\u0131 i\u00e7in ideal k\u0131lar.<\/p>\n
Polars’\u0131n bir di\u011fer devrim niteli\u011findeki \u00f6zelli\u011fi, “lazy” (tembel) ve “eager” (hevesli) y\u00fcr\u00fctme modlar\u0131n\u0131 desteklemesidir. Eager mod, Pandas’a benzer \u015fekilde, her i\u015flemi hemen y\u00fcr\u00fct\u00fcr ve sonucu d\u00f6nd\u00fcr\u00fcr. Lazy mod ise, i\u015flemleri hemen y\u00fcr\u00fctmek yerine, bir i\u015flem plan\u0131 (execution plan) olu\u015fturur. T\u00fcm i\u015flemler tan\u0131mland\u0131ktan sonra, Polars bu plan\u0131 optimize eder ve tek seferde en verimli \u015fekilde y\u00fcr\u00fct\u00fcr. Bu, gereksiz ara i\u015flemlerden ka\u00e7\u0131n\u0131r, bellek ayak izini azalt\u0131r ve \u00f6zellikle karma\u015f\u0131k sorgularda dramatik performans art\u0131\u015flar\u0131 sa\u011flar. \u00d6rne\u011fin, bir veri setini filtreleyip sonra grupland\u0131rd\u0131\u011f\u0131n\u0131zda, lazy mod, \u00f6nce filtrelemeyi ve ard\u0131ndan gruplamay\u0131 tek bir optimize edilmi\u015f ad\u0131mda ger\u00e7ekle\u015ftirebilir, oysa eager mod her ad\u0131m\u0131 ayr\u0131 ayr\u0131 i\u015fler. Bu derinlemesine farklar, Polars’\u0131 b\u00fcy\u00fck veriyle \u00e7al\u0131\u015fan herkes i\u00e7in vazge\u00e7ilmez bir ara\u00e7 haline getiriyor.<\/p>\n
Modern veri biliminin en b\u00fcy\u00fck zorluklar\u0131ndan biri, artan veri hacmiyle birlikte analiz ve i\u015fleme s\u00fcre\u00e7lerinin yava\u015flamas\u0131d\u0131r. Bu noktada Polars, sundu\u011fu benzersiz mimarisiyle bir “mucize” etkisi yarat\u0131yor. Peki, bu performans ve \u00f6l\u00e7eklenebilirlik nas\u0131l m\u00fcmk\u00fcn oluyor? Cevap, Polars’\u0131n temel tasar\u0131m kararlar\u0131nda ve kulland\u0131\u011f\u0131 teknolojilerde yat\u0131yor.<\/p>\n
\u00d6ncelikle, Polars’\u0131n Rust ile yaz\u0131lm\u0131\u015f olmas\u0131, ona do\u011fal bir h\u0131z ve verimlilik avantaj\u0131 kazand\u0131r\u0131r. Rust, sistem programlama dilidir ve performans kritik uygulamalar i\u00e7in tasarlanm\u0131\u015ft\u0131r. Bu, Polars’\u0131n belle\u011fi do\u011frudan ve verimli bir \u015fekilde y\u00f6netebilmesi anlam\u0131na gelir; bu da gereksiz bellek kopyalamalar\u0131n\u0131 ve \u00e7\u00f6p toplama (garbage collection) maliyetlerini en aza indirir. Bu d\u00fczeydeki kontrol, Python gibi y\u00fcksek seviyeli dillerde m\u00fcmk\u00fcn de\u011fildir ve Polars’a Pandas’a k\u0131yasla \u00f6nemli bir ba\u015flang\u0131\u00e7 avantaj\u0131 sa\u011flar.<\/p>\n
\u0130kinci olarak, Apache Arrow entegrasyonu Polars’\u0131n performans\u0131n\u0131n temelini olu\u015fturur. Arrow, s\u00fctun tabanl\u0131 bir bellek format\u0131 standard\u0131d\u0131r. Veriler, bellekte s\u00fctunlar halinde depoland\u0131\u011f\u0131nda, ayn\u0131 t\u00fcrdeki veriler ard\u0131\u015f\u0131k olarak tutulur. Bu, i\u015flemci \u00f6nbelle\u011fi (CPU cache) i\u00e7in \u00e7ok daha dostane bir yap\u0131d\u0131r, \u00e7\u00fcnk\u00fc i\u015flemci, ilgili verileri tek seferde b\u00fcy\u00fck bloklar halinde y\u00fckleyebilir. Pandas’\u0131n kulland\u0131\u011f\u0131 sat\u0131r tabanl\u0131 veya hibrit yakla\u015f\u0131mlar\u0131n aksine, Arrow, \u00f6zellikle analitik sorgularda (filtreleme, gruplama, toplama gibi) okuma ve i\u015fleme h\u0131zlar\u0131n\u0131 katlayarak art\u0131r\u0131r. Ayr\u0131ca, Arrow, farkl\u0131 sistemler aras\u0131nda veri transferini de inan\u0131lmaz derecede h\u0131zland\u0131r\u0131r, \u00e7\u00fcnk\u00fc veriyi bir dilden di\u011ferine kopyalamaya gerek kalmaz; sadece bellekteki i\u015faret\u00e7i (pointer) payla\u015f\u0131l\u0131r. Bu, Polars’\u0131 Spark, DuckDB gibi di\u011fer Arrow tabanl\u0131 sistemlerle sorunsuz bir \u015fekilde entegre edilebilir k\u0131lar.<\/p>\n
\u00dc\u00e7\u00fcnc\u00fc ve belki de en \u00f6nemli fakt\u00f6r, Polars’\u0131n \u00e7oklu \u00e7ekirdek deste\u011fi ve lazy (tembel) y\u00fcr\u00fctme motorudur. Polars, i\u015flemlerini otomatik olarak birden \u00e7ok CPU \u00e7ekirde\u011fine paralel olarak da\u011f\u0131t\u0131r. Bu, \u00f6zellikle b\u00fcy\u00fck veri setleri \u00fczerinde karma\u015f\u0131k d\u00f6n\u00fc\u015f\u00fcmler yaparken performansta eksponansiyel bir art\u0131\u015f sa\u011flar. \u00d6rne\u011fin, bir veri setindeki her s\u00fctunu i\u015flemek veya bir Bu \u00fc\u00e7 temel s\u00fctun \u2013 Rust’\u0131n h\u0131z\u0131, Arrow’\u0131n verimli bellek y\u00f6netimi ve paralel, lazy y\u00fcr\u00fctme \u2013 Polars’\u0131n performans ve \u00f6l\u00e7eklenebilirlik mucizesini yarat\u0131r. Birka\u00e7 y\u00fcz MB’l\u0131k bir dosyay\u0131 Pandas ile i\u015flerken bile performans farkl\u0131l\u0131klar\u0131n\u0131 hissedebilirsiniz. Ancak gigabaytlarca, hatta terabaytlarca veriyle kar\u015f\u0131la\u015ft\u0131\u011f\u0131n\u0131zda, Polars’\u0131n sundu\u011fu bu avantajlar sadece bir tercih olmaktan \u00e7\u0131k\u0131p, projenizin ba\u015far\u0131s\u0131 i\u00e7in bir zorunluluk haline gelir. Polars’\u0131 \u00f6\u011frenmek, veri bilimcilerine sadece daha h\u0131zl\u0131 kod yazma yetene\u011fi kazand\u0131rmakla kalmaz, ayn\u0131 zamanda daha \u00f6nce imkans\u0131z g\u00f6r\u00fcnen \u00f6l\u00e7eklerde veri problemleriyle ba\u015fa \u00e7\u0131kma g\u00fcc\u00fc verir.<\/p>\n Hemen bir \u00f6rnekle Polars ve Pandas aras\u0131ndaki performans fark\u0131n\u0131 g\u00f6relim. 10 milyon sat\u0131rl\u0131k bir DataFrame olu\u015fturup, basit bir filtreleme ve gruplama i\u015flemi uygulayal\u0131m.<\/p>\n <\/code><\/p>\n Bu kodu \u00e7al\u0131\u015ft\u0131rd\u0131\u011f\u0131n\u0131zda, Polars'\u0131n hem Eager hem de Lazy modda Pandas'a k\u0131yasla \u00f6nemli \u00f6l\u00e7\u00fcde daha h\u0131zl\u0131 oldu\u011funu g\u00f6receksiniz. \u00d6zellikle Lazy mod, t\u00fcm i\u015flem zincirini optimize ederek en iyi performans\u0131 sunacakt\u0131r. Bu fark, veri setinin boyutu artt\u0131k\u00e7a daha da belirginle\u015fecektir.<\/p>\n Teorik performans avantajlar\u0131 harika, ancak ger\u00e7ek d\u00fcnyadaki karma\u015f\u0131k veri i\u015fleme g\u00f6revlerinde Polars nas\u0131l bir performans sergiliyor? B\u00fcy\u00fck veri setleriyle \u00e7al\u0131\u015f\u0131rken, sadece h\u0131z de\u011fil, ayn\u0131 zamanda bellek verimlili\u011fi ve kodun okunabilirli\u011fi de kritik \u00f6neme sahiptir. Polars, bu alanlarda da iddial\u0131 \u00e7\u00f6z\u00fcmler sunarak, veri bilimcilerine adeta b\u00fcy\u00fck veriyle \"dans etme\" \u00f6zg\u00fcrl\u00fc\u011f\u00fc tan\u0131yor.<\/p>\n Bir bankac\u0131l\u0131k senaryosunu ele alal\u0131m. Milyonlarca finansal i\u015flem kayd\u0131n\u0131 i\u00e7eren g\u00fcnl\u00fck bir veri ak\u0131\u015f\u0131n\u0131 analiz etmeniz gerekiyor. Bu kay\u0131tlar, i\u015flem t\u00fcr\u00fc, miktar\u0131, m\u00fc\u015fteri ID'si, i\u015flem tarihi ve saati gibi bilgileri i\u00e7eriyor. Amac\u0131n\u0131z, belirli bir i\u015flem t\u00fcr\u00fcne ait en y\u00fcksek ortalama i\u015flem miktar\u0131n\u0131 bulmak ve bu analizi ayl\u0131k bazda tekrarlamak olsun. Pandas ile bu t\u00fcr bir i\u015flem, \u00f6zellikle kay\u0131t say\u0131s\u0131 on milyonlar\u0131 a\u015ft\u0131\u011f\u0131nda ciddi bellek sorunlar\u0131na yol a\u00e7abilir ve saatler s\u00fcrebilir.<\/p>\n G\u00fcnl\u00fck olarak gelen 50 milyon finansal i\u015flem kayd\u0131n\u0131 (yakla\u015f\u0131k 5-7 GB veri) analiz etti\u011finizi d\u00fc\u015f\u00fcnelim. G\u00f6rev: Her bir i\u015flem t\u00fcr\u00fc i\u00e7in ayl\u0131k toplam i\u015flem hacmini bulmak ve en y\u00fcksek ayl\u0131k hacme sahip ilk 5 i\u015flem t\u00fcr\u00fcn\u00fc listelemek.<\/p>\n <\/code><\/p>\n Bu \u00f6rnekte Polars'\u0131n Lazy API'si kullan\u0131larak, milyonlarca sat\u0131rl\u0131k veriden ayl\u0131k bazda en y\u00fcksek i\u015flem hacmine sahip i\u015flem t\u00fcrleri belirleniyor. Pandas ile bu boyuttaki bir veri \u00fczerinde benzer bir operasyonun tamamlanmas\u0131 \u00e7ok daha uzun s\u00fcrecek, hatta bellek hatas\u0131 verebilecektir.<\/p>\n Bir web uygulamas\u0131n\u0131n sunucu loglar\u0131n\u0131 analiz etti\u011finizi hayal edin. G\u00fcnde y\u00fczlerce gigabayt boyutunda log dosyalar\u0131 \u00fcretiliyor. Amac\u0131n\u0131z, belirli hata kodlar\u0131n\u0131 (HTTP 5xx) i\u00e7eren log sat\u0131rlar\u0131n\u0131 filtrelemek, en s\u0131k rastlanan hata mesajlar\u0131n\u0131 bulmak ve IP adreslerine g\u00f6re hata oranlar\u0131n\u0131 hesaplamak. Bu, ETL (Extract, Transform, Load) s\u00fcre\u00e7lerinde s\u0131k\u00e7a kar\u015f\u0131la\u015f\u0131lan bir senaryodur.<\/p>\n Polars, metin tabanl\u0131 verilerle de m\u00fckemmel bir \u015fekilde ba\u015fa \u00e7\u0131kar. <\/code><\/p>\n Bu \u00f6rnekler, Polars'\u0131n sadece say\u0131sal verilerde de\u011fil, metin ve tarih-saat verileriyle \u00e7al\u0131\u015f\u0131rken de ne kadar verimli oldu\u011funu g\u00f6steriyor. Lazy modu ve \u00e7ok \u00e7ekirdekli i\u015flem yetene\u011fi sayesinde, karma\u015f\u0131k veri d\u00f6n\u00fc\u015f\u00fcm ve analiz g\u00f6revlerini, daha \u00f6nce hayal bile edilemeyen h\u0131zlarda ger\u00e7ekle\u015ftirebilirsiniz. Bu, veri bilimcilerinin daha h\u0131zl\u0131 d\u00f6ng\u00fclerle \u00e7al\u0131\u015fmas\u0131na, daha fazla deneme yapmas\u0131na ve nihayetinde daha derin i\u00e7g\u00f6r\u00fcler elde etmesine olanak tan\u0131r.<\/p>\n Polars'\u0131n sundu\u011fu performans avantajlar\u0131 cazip olsa da, bir\u00e7ok veri bilimcisi y\u0131llard\u0131r Pandas ile in\u015fa edilmi\u015f mevcut projelerini d\u00fc\u015f\u00fcnerek \u00e7ekinebilir. Endi\u015felenmeyin! Polars'a ge\u00e7i\u015f, san\u0131ld\u0131\u011f\u0131 kadar zorlay\u0131c\u0131 olmak zorunda de\u011fil. Hatta, tamamen bir anda ge\u00e7i\u015f yapmak yerine, Polars'\u0131 mevcut i\u015f ak\u0131\u015flar\u0131n\u0131za kademeli olarak entegre edebilirsiniz. Bu b\u00f6l\u00fcm, Polars'a ge\u00e7i\u015f stratejilerini, pratik ipu\u00e7lar\u0131n\u0131 ve mevcut Pandas projelerinizi nas\u0131l d\u00f6n\u00fc\u015ft\u00fcrebilece\u011finizi ele alacak.<\/p>\n Polars'\u0131n Pandas ile uyumlulu\u011fu, ge\u00e7i\u015f s\u00fcrecini b\u00fcy\u00fck \u00f6l\u00e7\u00fcde kolayla\u015ft\u0131ran en \u00f6nemli fakt\u00f6rlerden biridir. Polars, DataFrame'lerinizi Pandas DataFrame'lerine ve tam tersine d\u00f6n\u00fc\u015ft\u00fcrmek i\u00e7in iki temel fonksiyona sahiptir: <\/code><\/p>\n Bu sayede, mevcut Pandas kodlar\u0131n\u0131z\u0131n b\u00fcy\u00fck bir k\u0131sm\u0131n\u0131 de\u011fi\u015ftirmeden, projenizin performans darbo\u011fazlar\u0131n\u0131 Polars ile ele alabilirsiniz. \u00d6rne\u011fin, b\u00fcy\u00fck bir CSV dosyas\u0131n\u0131 okuyup kapsaml\u0131 bir \u00f6n i\u015fleme (filtreleme, s\u00fctun ekleme, gruplama) yapman\u0131z gereken bir senaryoda, bu ad\u0131mlar\u0131 Polars ile ger\u00e7ekle\u015ftirip, sonu\u00e7 DataFrame'i sonras\u0131nda bir Pandas DataFrame'ine d\u00f6n\u00fc\u015ft\u00fcrerek makine \u00f6\u011frenimi modellerinizi e\u011fitmeye devam edebilirsiniz.<\/p>\n Unutmay\u0131n ki Polars'\u0131n API'si, Pandas'a olduk\u00e7a benzer. groupby<\/code> i\u015flemi ger\u00e7ekle\u015ftirmek, Polars taraf\u0131ndan e\u015f zamanl\u0131 olarak yap\u0131labilirken, Pandas tek \u00e7ekirdekte ard\u0131\u015f\u0131k olarak \u00e7al\u0131\u015f\u0131r. Lazy y\u00fcr\u00fctme ise, i\u015flemlerin hemen de\u011fil, bir plan dahilinde ve optimize edilmi\u015f bir s\u0131rayla yap\u0131lmas\u0131n\u0131 sa\u011flar. Bu, Polars’\u0131n t\u00fcm operasyon zincirini analiz etmesine, gereksiz ad\u0131mlar\u0131 ortadan kald\u0131rmas\u0131na, ara sonu\u00e7lar\u0131 optimize etmesine ve nihayetinde t\u00fcm pipeline’\u0131 en verimli \u015fekilde tek bir ge\u00e7i\u015fte \u00e7al\u0131\u015ft\u0131rmas\u0131na olanak tan\u0131r. Bu sayede, Polars bellek t\u00fcketimini minimize eder ve i\u015flem s\u00fcresini \u00f6nemli \u00f6l\u00e7\u00fcde k\u0131salt\u0131r.<\/p>\nPolars ile Performans Fark\u0131n\u0131 G\u00f6zlemleyin: Basit Bir Kod \u00d6rne\u011fi<\/h3>\n
\nimport pandas as pd\nimport polars as pl\nimport numpy as np\nimport time\n\n# 10 milyon sat\u0131rl\u0131k sentetik veri olu\u015ftural\u0131m\nnum_rows = 10_000_000\ndata = {\n 'kategori': np.random.choice(['A', 'B', 'C', 'D'], num_rows),\n 'deger': np.random.randint(1, 100, num_rows),\n 'tarih': pd.to_datetime('2023-01-01') + pd.to_timedelta(np.random.randint(0, 365, num_rows), unit='D')\n}\n\n# Pandas DataFrame olu\u015fturma\nstart_time = time.time()\npdf = pd.DataFrame(data)\nprint(f\"Pandas DataFrame olu\u015fturma s\u00fcresi: {time.time() - start_time:.4f} saniye\")\n\n# Polars DataFrame olu\u015fturma\nstart_time = time.time()\n# Polars direkt dict'ten de olu\u015fturabilir, ancak Pandas DataFrame'den de d\u00f6n\u00fc\u015ft\u00fcrebiliriz\n# Alternatif: pl.DataFrame(data)\nplf = pl.DataFrame(data) # pl.from_pandas(pdf)\nprint(f\"Polars DataFrame olu\u015fturma s\u00fcresi: {time.time() - start_time:.4f} saniye\")\n\n# --- Pandas ile \u0130\u015flem ---\nprint(\"\\n--- Pandas \u0130\u015flemi Ba\u015fl\u0131yor ---\")\nstart_time = time.time()\nresult_pandas = pdf[pdf['deger'] > 50].groupby('kategori')['deger'].mean()\nprint(f\"Pandas filtreleme ve gruplama s\u00fcresi: {time.time() - start_time:.4f} saniye\")\nprint(\"Pandas Sonu\u00e7 (ilk 5):\")\nprint(result_pandas.head())\n\n# --- Polars ile Eager \u0130\u015flem ---\nprint(\"\\n--- Polars Eager \u0130\u015flemi Ba\u015fl\u0131yor ---\")\nstart_time = time.time()\nresult_polars_eager = plf.filter(pl.col(\"deger\") > 50).group_by(\"kategori\").agg(pl.col(\"deger\").mean())\nprint(f\"Polars Eager filtreleme ve gruplama s\u00fcresi: {time.time() - start_time:.4f} saniye\")\nprint(\"Polars Eager Sonu\u00e7:\")\nprint(result_polars_eager)\n\n# --- Polars ile Lazy \u0130\u015flem ---\nprint(\"\\n--- Polars Lazy \u0130\u015flemi Ba\u015fl\u0131yor ---\")\nstart_time = time.time()\nlazy_plan = plf.lazy().filter(pl.col(\"deger\") > 50).group_by(\"kategori\").agg(pl.col(\"deger\").mean())\nresult_polars_lazy = lazy_plan.collect() # collect() \u00e7a\u011fr\u0131s\u0131 i\u015flemi y\u00fcr\u00fct\u00fcr\nprint(f\"Polars Lazy filtreleme ve gruplama s\u00fcresi: {time.time() - start_time:.4f} saniye\")\nprint(\"Polars Lazy Sonu\u00e7:\")\nprint(result_polars_lazy)\n <\/pre>\nGer\u00e7ek D\u00fcnya Senaryolar\u0131nda Polars: B\u00fcy\u00fck Veriyle Dans Etmek M\u00fcmk\u00fcn m\u00fc?<\/h2>\n
Vaka Analizi 1: Finansal \u0130\u015flem Analizi<\/h3>\n
\nimport polars as pl\nimport pandas as pd\nimport numpy as np\nimport time\n\n# B\u00fcy\u00fck sentetik veri seti olu\u015ftural\u0131m (50 milyon sat\u0131r)\nnum_rows = 50_000_000\ndata_gen_start = time.time()\ndata = {\n 'islem_id': np.arange(num_rows),\n 'musteri_id': np.random.randint(1, 1_000_000, num_rows),\n 'islem_turu': np.random.choice(['Havale', 'EFT', 'Kredi Karti', 'Nakit Cekim', 'Fatura Odeme'], num_rows),\n 'miktar': np.random.rand(num_rows) * 1000 + 10, # 10 ile 1010 aras\u0131 miktarlar\n 'tarih_saat': pd.to_datetime('2023-01-01') + pd.to_timedelta(np.random.randint(0, 365, num_rows), unit='D') + \\\n pd.to_timedelta(np.random.randint(0, 86400, num_rows), unit='s')\n}\nprint(f\"Veri olu\u015fturma s\u00fcresi: {time.time() - data_gen_start:.4f} saniye\")\n\n# Polars DataFrame olu\u015fturma\nplf_transactions = pl.DataFrame(data)\nprint(f\"Polars DataFrame boyutu: {plf_transactions.estimated_size('mb'):.2f} MB\")\n\n# Polars ile analiz (Lazy Mod)\nanalysis_start_time = time.time()\nmonthly_transaction_volume = (\n plf_transactions.lazy()\n .with_columns(\n pl.col(\"tarih_saat\").dt.year().alias(\"yil\"),\n pl.col(\"tarih_saat\").dt.month().alias(\"ay\")\n )\n .group_by([\"yil\", \"ay\", \"islem_turu\"])\n .agg(\n pl.col(\"miktar\").sum().alias(\"toplam_hacim\")\n )\n .sort(by=[\"yil\", \"ay\", \"toplam_hacim\"], descending=[False, False, True]) # Her ay i\u00e7in en y\u00fcksek hacmi bulmak \u00fczere\n .group_by([\"yil\", \"ay\"])\n .agg(\n pl.col(\"islem_turu\").head(5).alias(\"en_yuksek_islem_turleri\"),\n pl.col(\"toplam_hacim\").head(5).alias(\"en_yuksek_hacimler\")\n )\n .collect()\n)\nprint(f\"Polars ile finansal analiz s\u00fcresi: {time.time() - analysis_start_time:.4f} saniye\")\nprint(\"\\nPolars ile Ayl\u0131k En Y\u00fcksek \u0130\u015flem Hacimleri (ilk 5 sat\u0131r):\")\nprint(monthly_transaction_volume.head())\n <\/pre>\nVaka Analizi 2: B\u00fcy\u00fck \u00d6l\u00e7ekli Log Dosyas\u0131 \u0130\u015fleme<\/h3>\n
read_csv<\/code> veya scan_csv<\/code> (lazy mod i\u00e7in) fonksiyonlar\u0131, b\u00fcy\u00fck dosyalar\u0131 diskten do\u011frudan okuyarak bellek verimlili\u011fini korur. str<\/code> metodlar\u0131 sayesinde karma\u015f\u0131k metin desenlerini bile h\u0131zl\u0131ca i\u015fleyebilirsiniz.<\/p>\n\n# Bu \u00f6rnek i\u00e7in ger\u00e7ek bir b\u00fcy\u00fck log dosyas\u0131 olu\u015fturmak pratik olmayaca\u011f\u0131ndan,\n# mant\u0131\u011f\u0131 a\u00e7\u0131klamak ve sim\u00fcle etmek i\u00e7in daha k\u00fc\u00e7\u00fck bir Polars DataFrame kullanaca\u011f\u0131z.\n\n# Sim\u00fcle edilmi\u015f log verisi\nlog_data = {\n 'timestamp': pd.to_datetime('2023-01-01 00:00:00') + pd.to_timedelta(np.arange(100_000), unit='s'),\n 'ip_address': ['192.168.1.' + str(i) for i in np.random.randint(1, 255, 100_000)],\n 'status_code': np.random.choice([200, 301, 404, 500, 503], 100_000, p=[0.7, 0.1, 0.1, 0.05, 0.05]),\n 'message': np.random.choice([\n 'Request successful', 'Page not found', 'Internal server error',\n 'Service unavailable', 'Authentication failed', 'Database connection error'\n ], 100_000)\n}\nplf_logs = pl.DataFrame(log_data)\n\nlog_analysis_start = time.time()\nerror_analysis = (\n plf_logs.lazy()\n .filter(pl.col(\"status_code\") >= 500) # HTTP 5xx hatalar\u0131n\u0131 filtrele\n .group_by([\"ip_address\", \"status_code\"])\n .len() # Her IP ve hata kodu kombinasyonu i\u00e7in say\u0131m yap\n .sort(by=\"len\", descending=True)\n .collect()\n)\nprint(f\"\\nPolars ile log analizi s\u00fcresi: {time.time() - log_analysis_start:.4f} saniye\")\nprint(\"\\nEn S\u0131k Rastlanan Hata Kodlar\u0131 ve IP'ler (ilk 5):\")\nprint(error_analysis.head())\n <\/pre>\nPolars'a Ge\u00e7i\u015f: Mevcut Pandas Projeleri Nas\u0131l D\u00f6n\u00fc\u015ft\u00fcr\u00fcl\u00fcr?<\/h2>\n
to_pandas()<\/code> ve from_pandas()<\/code>. Bu, kritik performans gerektiren k\u0131s\u0131mlarda Polars'\u0131 kullan\u0131p, daha sonra veriyi tekrar Pandas format\u0131na \u00e7evirerek mevcut kod taban\u0131n\u0131zla entegre olabilmenizi sa\u011flar.<\/p>\n\nimport pandas as pd\nimport polars as pl\n\n# Pandas DataFrame olu\u015ftur\npdf_original = pd.DataFrame({\n 'ad': ['Ali', 'Ay\u015fe', 'Can'],\n 'ya\u015f': [30, 24, 35],\n '\u015fehir': ['Ankara', '\u0130zmir', '\u0130stanbul']\n})\nprint(\"Orijinal Pandas DataFrame:\")\nprint(pdf_original)\n\n# Pandas DataFrame'i Polars DataFrame'e d\u00f6n\u00fc\u015ft\u00fcr\nplf_from_pandas = pl.from_pandas(pdf_original)\nprint(\"\\nPandas'tan d\u00f6n\u00fc\u015ft\u00fcr\u00fclm\u00fc\u015f Polars DataFrame:\")\nprint(plf_from_pandas)\n\n# Polars DataFrame \u00fczerinde i\u015flem yap\nplf_filtered = plf_from_pandas.filter(pl.col(\"ya\u015f\") > 25)\nprint(\"\\nFiltrelenmi\u015f Polars DataFrame:\")\nprint(plf_filtered)\n\n# \u0130\u015flenmi\u015f Polars DataFrame'i tekrar Pandas DataFrame'e d\u00f6n\u00fc\u015ft\u00fcr\npdf_back_to_pandas = plf_filtered.to_pandas()\nprint(\"\\nPolars'tan tekrar Pandas'a d\u00f6n\u00fc\u015ft\u00fcr\u00fclm\u00fc\u015f DataFrame:\")\nprint(pdf_back_to_pandas)\n <\/pre>\nKademeli Entegrasyon Stratejileri<\/h3>\n
\n
groupby<\/code> i\u015flemleri) tespit edin. Bu k\u0131s\u0131mlar\u0131 Polars ile yeniden yazarak ba\u015flay\u0131n.<\/li>\npl.read_csv()<\/code>, pl.scan_csv()<\/code> gibi Polars fonksiyonlar\u0131n\u0131 kullanarak bu ad\u0131mlar\u0131 h\u0131zland\u0131r\u0131n.<\/li>\nfilter<\/code> yerine loc<\/code> veya iloc<\/code>'un do\u011frudan bir kar\u015f\u0131l\u0131\u011f\u0131 olmasa da, \u00e7o\u011fu i\u015flem i\u00e7in sezgisel ve g\u00fc\u00e7l\u00fc metodlar mevcuttur. S\u00fctun se\u00e7imi i\u00e7in pl.col()<\/code> kullan\u0131m\u0131 ve lazy modda zincirleme i\u015flemler (.with_columns().filter().group_by()...<\/code>) Polars'a \u00f6zg\u00fc, ancak al\u0131\u015fmas\u0131 kolay yakla\u015f\u0131mlard\u0131r.<\/p>\n