{"id":29589,"date":"2025-09-16T08:30:25","date_gmt":"2025-09-16T05:30:25","guid":{"rendered":"https:\/\/fatihsoysal.com\/blog\/yerel-dbt-ve-snowflake-playgroundunuzu-python-ile-otomatiklestirme\/"},"modified":"2025-09-16T08:30:25","modified_gmt":"2025-09-16T05:30:25","slug":"yerel-dbt-ve-snowflake-playgroundunuzu-python-ile-otomatiklestirme","status":"publish","type":"post","link":"https:\/\/fatihsoysal.com\/blog\/yerel-dbt-ve-snowflake-playgroundunuzu-python-ile-otomatiklestirme\/","title":{"rendered":"Yerel DBT ve Snowflake Playground’unuzu Python ile Otomatikle\u015ftirme"},"content":{"rendered":"

Yerel DBT ve Snowflake Playground’unuzu Python ile Otomatikle\u015ftirme<\/p>\n

Veri analizi s\u00fcre\u00e7lerinizi h\u0131zland\u0131rmak ve tekrarlayan g\u00f6revleri otomatikle\u015ftirmek i\u00e7in mi \u00e7abal\u0131yorsunuz? Yerel DBT (Data Build Tool) ve Snowflake ortamlar\u0131n\u0131z\u0131 Python ile entegre ederek, zaman kazand\u0131ran ve hata pay\u0131n\u0131 azaltan bir otomasyon sistemi kurabilirsiniz. Bu makale, yeni ba\u015flayanlardan ileri seviye kullan\u0131c\u0131lara kadar herkes i\u00e7in kapsaml\u0131 bir rehber niteli\u011findedir ve ger\u00e7ek d\u00fcnya senaryolar\u0131yla desteklenmektedir. Python’\u0131n g\u00fcc\u00fcyle DBT ve Snowflake’i nas\u0131l bir araya getirece\u011finizi ad\u0131m ad\u0131m \u00f6\u011freneceksiniz.<\/p>\n

DBT ve Snowflake: Temel Kavramlar<\/h2>\n

\u00d6ncelikle, DBT ve Snowflake’in ne oldu\u011funu ve neden Python ile otomatikle\u015ftirmenin faydal\u0131 oldu\u011funu anlamak \u00f6nemlidir. DBT, veri d\u00f6n\u00fc\u015f\u00fcm ve modelleme s\u00fcre\u00e7lerini kolayla\u015ft\u0131ran bir ara\u00e7t\u0131r. SQL kodunuzu mod\u00fcler hale getirir, versiyon kontrol\u00fcn\u00fc sa\u011flar ve i\u015fbirli\u011fini kolayla\u015ft\u0131r\u0131r. Snowflake ise bulut tabanl\u0131 bir veri ambar\u0131d\u0131r; \u00f6l\u00e7eklenebilir, performansl\u0131 ve g\u00fcvenli bir veri saklama ve i\u015fleme \u00e7\u00f6z\u00fcm\u00fc sunar. Bu iki g\u00fc\u00e7l\u00fc arac\u0131 Python ile entegre ederek, veri i\u015fleme pipeline’lar\u0131n\u0131z\u0131 otomatikle\u015ftirebilir, zaman kazand\u0131rabilir ve hata olas\u0131l\u0131\u011f\u0131n\u0131 azaltabilirsiniz. \u00d6rne\u011fin, her g\u00fcn yeni veriler y\u00fckleyip, DBT ile d\u00f6n\u00fc\u015ft\u00fcrd\u00fckten sonra Snowflake’e aktarman\u0131z gerekiyorsa, bu i\u015flemi Python ile otomatikle\u015ftirerek insan m\u00fcdahalesini en aza indirebilirsiniz. Bu sayede daha verimli ve g\u00fcvenilir bir veri analizi altyap\u0131s\u0131 kurabilirsiniz.<\/p>\n

Python ile DBT ve Snowflake’i Ba\u011flama: Ad\u0131m Ad\u0131m Rehber<\/h2>\n

Bu b\u00f6l\u00fcmde, Python kullanarak DBT ve Snowflake’i nas\u0131l entegre edece\u011finizi ad\u0131m ad\u0131m g\u00f6sterece\u011fiz. \u0130lk olarak, gerekli k\u00fct\u00fcphaneleri y\u00fcklememiz gerekiyor. snowflake-connector-python<\/code> k\u00fct\u00fcphanesi Snowflake ile ba\u011flant\u0131 kurmak i\u00e7in, dbt<\/code> k\u00fct\u00fcphanesi ise DBT komutlar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rmak i\u00e7in kullan\u0131l\u0131r. Kurulumu pip ile yapabilirsiniz:<\/p>\n

pip install snowflake-connector-python dbt-core<\/pre>\n
<\/code><\/p>\n
Ard\u0131ndan, Snowflake ba\u011flant\u0131 bilgilerinizi g\u00fcvenli bir \u015fekilde saklamak i\u00e7in bir .env<\/code> dosyas\u0131 olu\u015fturun:<\/p>\n
SNOWFLAKE_ACCOUNT=\nSNOWFLAKE_USER=\nSNOWFLAKE_PASSWORD=\nSNOWFLAKE_DATABASE=\nSNOWFLAKE_SCHEMA=<\u015feman\u0131z>\nSNOWFLAKE_WAREHOUSE=<\/pre>\n
<\/code><\/p>\n
\u015eimdi, Python kodunu yazabiliriz. Bu kod, Snowflake'e ba\u011flan\u0131r, DBT komutlar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131r\u0131r ve sonu\u00e7lar\u0131 kontrol eder:<\/p>\n
import os\nimport snowflake.connector\nfrom subprocess import call\n\n# .env dosyas\u0131ndan ba\u011flant\u0131 bilgilerini okuma\nsnowflake_account = os.environ.get(\"SNOWFLAKE_ACCOUNT\")\nsnowflake_user = os.environ.get(\"SNOWFLAKE_USER\")\nsnowflake_password = os.environ.get(\"SNOWFLAKE_PASSWORD\")\nsnowflake_database = os.environ.get(\"SNOWFLAKE_DATABASE\")\nsnowflake_schema = os.environ.get(\"SNOWFLAKE_SCHEMA\")\nsnowflake_warehouse = os.environ.get(\"SNOWFLAKE_WAREHOUSE\")\n\ntry:\n    # Snowflake ba\u011flant\u0131s\u0131 kurma\n    conn = snowflake.connector.connect(\n        account=snowflake_account,\n        user=snowflake_user,\n        password=snowflake_password,\n        database=snowflake_database,\n        schema=snowflake_schema,\n        warehouse=snowflake_warehouse\n    )\n    cursor = conn.cursor()\n\n    # DBT komutlar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rma (\u00f6rnek: run)\n    call([\"dbt\", \"run\"])\n\n    # Ba\u015far\u0131 mesaj\u0131 yazd\u0131rma\n    print(\"DBT i\u015flemleri ba\u015far\u0131yla tamamland\u0131.\")\n\nexcept Exception as e:\n    print(f\"Bir hata olu\u015ftu: {e}\")\n\nfinally:\n    if conn:\n        cursor.close()\n        conn.close()<\/pre>\n
<\/code><\/p>\n
Bu basit \u00f6rnek, DBT'nin run<\/code> komutunu \u00e7al\u0131\u015ft\u0131r\u0131r.  Di\u011fer DBT komutlar\u0131n\u0131 (test, seed, etc.) da benzer \u015fekilde \u00e7al\u0131\u015ft\u0131rabilirsiniz.  Daha geli\u015fmi\u015f senaryolar i\u00e7in, Python'\u0131n dosya i\u015flemleri, hata y\u00f6netimi ve di\u011fer \u00f6zelliklerini kullanabilirsiniz.  \u00d6rne\u011fin, g\u00fcnl\u00fck dosyas\u0131 olu\u015fturmak, i\u015flem s\u00fcresini \u00f6l\u00e7mek veya e-posta bildirimi g\u00f6ndermek gibi.<\/p>\n
Ger\u00e7ek D\u00fcnya Senaryolar\u0131: Vaka Analizleri<\/h2>\n
Otomasyonun g\u00fcc\u00fcn\u00fc daha iyi anlamak i\u00e7in birka\u00e7 ger\u00e7ek d\u00fcnya senaryosunu inceleyelim.  \u0130lk olarak, g\u00fcnl\u00fck olarak gelen yeni verilerin i\u015flenmesini ele alal\u0131m.  Bir e-ticaret \u015firketinde, g\u00fcnl\u00fck sat\u0131\u015f verileri bir CSV dosyas\u0131na kaydedilir ve bu veriler i\u015flenip Snowflake'e y\u00fcklenmelidir. Python beti\u011fimiz, bu CSV dosyas\u0131n\u0131 okuyarak, DBT modelleriyle d\u00f6n\u00fc\u015ft\u00fcrd\u00fckten sonra Snowflake'e y\u00fckler. Hata durumlar\u0131nda, otomatik bir e-posta bildirimi g\u00f6ndererek sorunlar\u0131 h\u0131zl\u0131ca tespit edebiliriz. Bu s\u00fcrecin otomasyonu, manuel i\u015flemlerden kaynaklanan olas\u0131 hatalar\u0131 azalt\u0131r ve verilerin h\u0131zl\u0131 bir \u015fekilde analiz edilmesini sa\u011flar.  \u0130kinci bir \u00f6rnek olarak ise A\/B test sonu\u00e7lar\u0131n\u0131n analizini ele alabiliriz. Bir web sitesi \u00fczerinde yap\u0131lan A\/B testleri sonucunda elde edilen veriler, d\u00fczenli aral\u0131klarla Snowflake'e y\u00fcklenir ve Python ile yaz\u0131lm\u0131\u015f bir betik, bu verileri analiz ederek sonu\u00e7lar\u0131 raporlar. Bu raporlar, karar verme s\u00fcre\u00e7lerini h\u0131zland\u0131r\u0131r ve daha etkili optimizasyonlar yap\u0131lmas\u0131n\u0131 sa\u011flar.  \u00dc\u00e7\u00fcnc\u00fc \u00f6rnek olarak ise veri kalitesi kontrol\u00fcn\u00fc ele alabiliriz. DBT'nin test \u00f6zelli\u011fini kullanarak veri kalitesini kontrol edebilir ve Python ile rapor olu\u015fturabiliriz. Bu raporlar\u0131 g\u00fcnl\u00fck, haftal\u0131k veya ayl\u0131k olarak otomatik olarak y\u00f6netime g\u00f6ndererek proaktif bir veri y\u00f6netimi stratejisi izleyebilirsiniz.<\/p>\n
\u0130leri D\u00fczey Teknikler: Performans Optimizasyonu ve Hata Y\u00f6netimi<\/h2>\n
Daha geli\u015fmi\u015f otomasyon sistemleri i\u00e7in performans optimizasyonu ve hata y\u00f6netimi kritik \u00f6neme sahiptir.  Performans\u0131 art\u0131rmak i\u00e7in,  dbt run --select <\/code> gibi daha spesifik DBT komutlar\u0131 kullanabilirsiniz.  B\u00fcy\u00fck veri k\u00fcmeleri i\u00e7in ise, verileri par\u00e7alara b\u00f6lerek (chunking) i\u015flemi ger\u00e7ekle\u015ftirmek daha etkili olacakt\u0131r. Ayr\u0131ca, verileri verimli bir \u015fekilde i\u015fleyen ve Snowflake'in \u00f6zelliklerini en iyi \u015fekilde kullanan DBT modellerini tasarlayabilirsiniz. Hata y\u00f6netimi i\u00e7in ise, try-except bloklar\u0131n\u0131 kullanarak olas\u0131 hatalar\u0131 yakalayabilir ve uygun \u015fekilde y\u00f6netebilirsiniz.  Log dosyalar\u0131 olu\u015fturarak, i\u015flemlerin tarih\u00e7esini takip edebilir ve sorunlar\u0131 tespit etmeyi kolayla\u015ft\u0131rabilirsiniz. Ayr\u0131ca, Python'\u0131n exception handling mekanizmalar\u0131n\u0131 kullanarak daha sa\u011flam ve g\u00fcvenilir bir sistem kurabilirsiniz. \u00d6rne\u011fin, bir ba\u011flant\u0131 hatas\u0131 durumunda tekrar deneme (retry) mekanizmalar\u0131 ekleyerek sistemin s\u00fcreklili\u011fini sa\u011flayabilirsiniz. Daha da ileri bir ad\u0131m olarak,  sistemin durumunu izleyen ve olas\u0131 sorunlar\u0131 \u00f6nceden tespit eden bir izleme (monitoring) sistemi kurabilirsiniz.<\/p>\n
G\u00fcvenlik Uyar\u0131lar\u0131<\/h2>\n
\n  Dikkat:<\/b> Snowflake ba\u011flant\u0131 bilgilerinizi (.env dosyas\u0131) g\u00fcvenli bir \u015fekilde saklay\u0131n ve versiyon kontrol sistemlerine eklemeyin.  G\u00fcvenlik a\u00e7\u0131klar\u0131ndan korunmak i\u00e7in \u015fifreleme ve eri\u015fim kontrol mekanizmalar\u0131n\u0131 kullan\u0131n.  Daha fazla bilgi i\u00e7in Snowflake g\u00fcvenlik belgelerini inceleyin.\n<\/div>\n
\u00d6\u011frenme Yol Haritas\u0131<\/h2>\n
Yeni Ba\u015flayan<\/h3>\n