S3 Maliyetlerini Terbiye Etme: Lambda, Python, Athena ve SES ile Otomatik Raporlama<\/p>\n
Amazon S3 depolama maliyetleri h\u0131zla artabilir ve b\u00fct\u00e7enizi zorlayabilir. Hafta sonlar\u0131n\u0131z\u0131 maliyet raporlar\u0131n\u0131 incelemekle ge\u00e7irmek yerine, otomatikle\u015ftirilmi\u015f bir sistemle bu y\u00fck\u00fcml\u00fcl\u00fc\u011f\u00fc ortadan kald\u0131r\u0131n. Bu makalede, AWS Lambda, Python, Athena ve SES’i kullanarak S3 maliyetlerinizi izleyen ve raporlayan bir sistem nas\u0131l olu\u015fturaca\u011f\u0131n\u0131z\u0131 ad\u0131m ad\u0131m \u00f6\u011freneceksiniz. Otomatik e-posta bildirimleriyle, maliyetlerinizi her zaman kontrol alt\u0131nda tutabilirsiniz ve hafta sonlar\u0131n\u0131z\u0131 kahve keyfiyle ge\u00e7irebilirsiniz.<\/p>\n
S3 maliyetlerinin karma\u015f\u0131k yap\u0131s\u0131n\u0131 anlamak, etkili bir izleme ve raporlama sisteminin temelini olu\u015fturur. \u00d6ncelikle, S3’\u00fcn nas\u0131l \u00fccretlendirdi\u011fini kavramak gerekiyor. Depolama, veri transferi, iste\u011fe ba\u011fl\u0131 istekler ve di\u011fer i\u015flemler i\u00e7in \u00fccretlendirilirsiniz. B\u00f6lgeniz, depolama s\u0131n\u0131f\u0131 (S3 Standard, S3 Intelligent-Tiering, S3 Glacier vb.) ve kullan\u0131m al\u0131\u015fkanl\u0131klar\u0131n\u0131z maliyetlerinizi do\u011frudan etkiler. \u00d6rne\u011fin, s\u0131k eri\u015filen veriler i\u00e7in S3 Standard kullanmak daha maliyetli olabilirken, nadiren eri\u015filen veriler i\u00e7in S3 Glacier daha uygun olabilir. Bununla birlikte, S3 Glacier’dan veri alma i\u015flemi, h\u0131zl\u0131 eri\u015fime k\u0131yasla daha uzun zaman al\u0131r ve ekstra bir maliyet gerektirir. Dolay\u0131s\u0131yla, maliyet optimizasyonunun ilk ad\u0131m\u0131, verilerinizi do\u011fru depolama s\u0131n\u0131f\u0131na yerle\u015ftirmek ve eri\u015fim s\u0131kl\u0131\u011f\u0131n\u0131 analiz etmektir. Bu analiz, do\u011fru S3 depolama s\u0131n\u0131f\u0131n\u0131 belirlemenize ve gereksiz maliyetlerden ka\u00e7\u0131nman\u0131za yard\u0131mc\u0131 olur. Ayr\u0131ca, S3’\u00fcn sunucular\u0131 ile i\u015flemleriniz aras\u0131nda veri transferi maliyetlerini g\u00f6z \u00f6n\u00fcnde bulundurmak ve bu maliyetleri azaltmak i\u00e7in en uygun b\u00f6lgeleri belirlemek de \u00f6nemlidir. \u00d6rne\u011fin, kullan\u0131c\u0131lar\u0131n\u0131z\u0131n \u00e7o\u011funlu\u011funun bulundu\u011fu b\u00f6lgede S3’\u00fc kullanarak veri transfer maliyetlerini azaltabilirsiniz.<\/p>\n
Bu otomasyon sistemini olu\u015fturmak i\u00e7in kullanaca\u011f\u0131m\u0131z temel AWS servislerini daha yak\u0131ndan inceleyelim:<\/p>\n
* AWS Lambda:<\/strong> Kodunuzu sunucu y\u00f6netmeden \u00e7al\u0131\u015ft\u0131rman\u0131za olanak tan\u0131yan bir sunucusuz hesaplama hizmetidir. S3’teki maliyet verilerini d\u00fczenli aral\u0131klarla i\u015fleyip rapor \u00fcretmek i\u00e7in kullanaca\u011f\u0131z. \u015eimdi, ad\u0131m ad\u0131m bir otomatik S3 maliyet raporlama sistemi olu\u015ftural\u0131m. Bu \u00f6rnek, Python kullanarak yaz\u0131lm\u0131\u015f bir Lambda fonksiyonu, Athena sorgusu ve SES ile e-posta g\u00f6nderimi i\u00e7erecektir.<\/p>\n 1. S3 Maliyet Verilerini Toplama:<\/strong><\/p>\n \u00d6ncelikle, AWS Cost Explorer’dan S3 maliyet verilerini S3’e g\u00fcnl\u00fck olarak aktarmal\u0131y\u0131z. Cost Explorer, \u00e7e\u015fitli formatlarda (CSV, JSON vb.) veri indirme imkan\u0131 sunar. Bu verileri S3’te d\u00fczenli bir \u015fekilde saklayaca\u011f\u0131z. Athena bu verileri sorgulamak i\u00e7in kullan\u0131lacakt\u0131r.<\/p>\n 2. Athena Sorgusu Olu\u015fturma:<\/strong><\/p>\n Athena ile S3 maliyet verilerini sorgulamak i\u00e7in SQL benzeri bir dil kullan\u0131r\u0131z. A\u015fa\u011f\u0131da, g\u00fcnl\u00fck S3 maliyetlerini \u00f6zetleyen bir \u00f6rnek sorgu verilmi\u015ftir:<\/p>\n <\/code><\/p>\n 3. Python ile Lambda Fonksiyonu Yazma:<\/strong><\/p>\n \u015eimdi, Athena sorgusunu \u00e7al\u0131\u015ft\u0131r\u0131p sonu\u00e7lar\u0131 e-posta olarak g\u00f6nderecek bir Python Lambda fonksiyonu yazal\u0131m.<\/p>\n <\/code><\/p>\n Bu kod, Athena sorgusunu \u00e7al\u0131\u015ft\u0131r\u0131r, sonu\u00e7lar\u0131 al\u0131r ve raporu olu\u015fturarak belirtilen e-posta adresine g\u00f6nderir. 4. Lambda Fonksiyonunu Yap\u0131land\u0131rma:<\/strong><\/p>\n Lambda fonksiyonunu olu\u015fturduktan sonra, rol\u00fcne IAM izinleri eklemeniz gerekmektedir. Athena sorgular\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rmak ve SES ile e-posta g\u00f6ndermek i\u00e7in gerekli izinleri ekleyin.<\/p>\n 5. Lambda Fonksiyonunu Zamanlama:<\/strong><\/p>\n Son olarak, Lambda fonksiyonunu CloudWatch Events (eski ad\u0131yla CloudWatch Events) kullanarak d\u00fczenli aral\u0131klarla (\u00f6rne\u011fin, g\u00fcnl\u00fck) \u00e7al\u0131\u015facak \u015fekilde zamanlay\u0131n.<\/p>\n Bu temel sistemin \u00fczerine daha geli\u015fmi\u015f \u00f6zellikler ekleyerek daha kapsaml\u0131 bir S3 maliyet y\u00f6netimi sa\u011flayabilirsiniz:<\/p>\n * Maliyet Tahmini:<\/strong> Ge\u00e7mi\u015f verileri kullanarak gelecekteki S3 maliyetlerini tahmin edebilirsiniz. Bu tahminler, gelecekteki b\u00fct\u00e7eleme i\u015flemlerinizde yard\u0131mc\u0131 olabilir. Senaryo 1: Ba\u015far\u0131s\u0131z Yedekleme Sistemi:<\/strong> Bir \u015firket, g\u00fcnl\u00fck yedekleme i\u015flemleri i\u00e7in S3 kullan\u0131yor. Ancak, yedekleme sistemindeki bir hata nedeniyle, g\u00fcnl\u00fck bir\u00e7ok yedek kopya S3'e y\u00fckleniyor. Bu durum maliyetleri aniden art\u0131r\u0131yor. Otomatikle\u015ftirilmi\u015f raporlama sistemi, bu ani maliyet art\u0131\u015f\u0131n\u0131 tespit edip uyar\u0131 veriyor, b\u00f6ylece problem h\u0131zl\u0131ca \u00e7\u00f6z\u00fcl\u00fcyor.<\/p>\n Senaryo 2: Artan Veri Miktar\u0131:<\/strong> Bir medya \u015firketi, videolar\u0131n\u0131 S3'te sakl\u0131yor. Zamanla, video say\u0131s\u0131 ve toplam veri miktar\u0131 art\u0131yor ve maliyetler de buna paralel olarak y\u00fckseliyor. Sistem, maliyet trendlerini analiz ederek \u015firketin daha uygun bir S3 depolama s\u0131n\u0131f\u0131na ge\u00e7mesi veya veri ar\u015fivleme stratejileri uygulamas\u0131 i\u00e7in erken uyar\u0131 veriyor.<\/p>\n Bu makalede, AWS Lambda, Python, Athena ve SES kullanarak otomatik S3 maliyet raporlama sisteminin nas\u0131l olu\u015fturulaca\u011f\u0131n\u0131 \u00f6\u011frendiniz. Bu sistem, S3 maliyetlerinizi izleyerek, maliyet art\u0131\u015flar\u0131na kar\u015f\u0131 \u00f6nlem alman\u0131z\u0131 sa\u011flar ve hafta sonlar\u0131n\u0131z\u0131 daha verimli ge\u00e7irmenize yard\u0131mc\u0131 olur.<\/p>\n S\u0131k\u00e7a Sorulan Sorular:<\/strong><\/p>\n 1. Sistemin kurulumu ne kadar s\u00fcrer?<\/strong> Sistemin kurulum s\u00fcresi, mevcut altyap\u0131n\u0131za ve deneyim seviyenize ba\u011fl\u0131 olarak de\u011fi\u015fir. Ancak, temel sistemin kurulumu birka\u00e7 saat i\u00e7inde tamamlanabilir.<\/p>\n 2. Sistemin bak\u0131m\u0131 nas\u0131l yap\u0131l\u0131r?<\/strong> Sistemin bak\u0131m\u0131, Lambda fonksiyonunun d\u00fczenli g\u00fcncellenmesi ve AWS Cost Explorer'dan gelen verilerin do\u011fru \u015fekilde i\u015flendi\u011finden emin olmay\u0131 gerektirir.<\/p>\n 3. Sistem ka\u00e7 S3 kovas\u0131na uygulanabilir?<\/strong> Sistem, bir veya birden \u00e7ok S3 kovas\u0131na uygulanabilir. Athena sorgusunu buna g\u00f6re de\u011fi\u015ftirmeniz gerekebilir.<\/p>\n 4. Sistem, S3 d\u0131\u015f\u0131nda ba\u015fka hizmetlerin maliyetlerini de takip edebilir mi?<\/strong> Evet, AWS Cost Explorer t\u00fcm AWS hizmetlerinin maliyet verilerini sa\u011flad\u0131\u011f\u0131 i\u00e7in, sistemi di\u011fer AWS hizmetlerinin maliyetlerini takip etmek i\u00e7in de uyarlayabilirsiniz. Ancak, Athena sorgusunu ve Lambda fonksiyonunu buna g\u00f6re de\u011fi\u015ftirmeniz gerekecektir.<\/p>\n 5. Sistemin g\u00fcvenli\u011fi nas\u0131l sa\u011flan\u0131r?<\/strong> Sistemin g\u00fcvenli\u011fini sa\u011flamak i\u00e7in, IAM rollerini do\u011fru \u015fekilde yap\u0131land\u0131rman\u0131z ve Lambda fonksiyonunuza gerekli izinleri vermeniz \u00f6nemlidir. Ayr\u0131ca, S3 kovas\u0131n\u0131n eri\u015fim kontrol\u00fcn\u00fc do\u011fru bir \u015fekilde yap\u0131land\u0131rman\u0131z da g\u00fcvenlik i\u00e7in \u00f6nemlidir.<\/p>\n Yazar: Fatih Soysal<\/p>\n","protected":false},"excerpt":{"rendered":"S3 Maliyetlerini Terbiye Etme: Lambda, Python, Athena ve SES ile Otomatik Raporlama Amazon S3 depolama maliyetleri h\u0131zla artabilir…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-29611","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n* Python:<\/strong> Lambda fonksiyonlar\u0131m\u0131z\u0131 yazmak i\u00e7in kullanaca\u011f\u0131m\u0131z g\u00fc\u00e7l\u00fc ve \u00e7ok y\u00f6nl\u00fc bir programlama dilidir. AWS SDK’lar\u0131 ile kolayca di\u011fer AWS hizmetleriyle entegre olur.
\n* Amazon Athena:<\/strong> S3’te depolanan verileri sorgulamak i\u00e7in kullan\u0131lan bir sunucusuz sorgulama hizmetidir. S3 maliyet verilerini sorgulayarak raporlama i\u00e7in gerekli bilgileri alaca\u011f\u0131z.
\n* Amazon SES (Simple Email Service):<\/strong> Raporlar\u0131 e-posta ile al\u0131c\u0131ya g\u00f6ndermek i\u00e7in kullanaca\u011f\u0131m\u0131z bir e-posta g\u00f6nderim hizmetidir.<\/p>\nAd\u0131m Ad\u0131m: Otomatik S3 Maliyet Raporlama Sistemi<\/h2>\n
SELECT\n DATE(billing_period_start) AS billing_date,\n SUM(cost) AS total_cost\nFROM\n \"your-s3-bucket\".\"cost_explorer_data\"\nGROUP BY\n billing_date\nORDER BY\n billing_date DESC;<\/pre>\n\"your-s3-bucket\"<\/code> k\u0131sm\u0131n\u0131 kendi S3 kovas\u0131n\u0131n ad\u0131yla de\u011fi\u015ftirmeyi unutmay\u0131n.<\/p>\nimport boto3\nimport json\n\nathena = boto3.client('athena')\nses = boto3.client('ses')\n\ndef lambda_handler(event, context):\n query = \"\"\"\n SELECT\n DATE(billing_period_start) AS billing_date,\n SUM(cost) AS total_cost\n FROM\n \"your-s3-bucket\".\"cost_explorer_data\"\n GROUP BY\n billing_date\n ORDER BY\n billing_date DESC;\n \"\"\"\n\n response = athena.start_query_execution(\n QueryString=query,\n QueryExecutionContext={'Database': 'default'},\n ResultConfiguration={'OutputLocation': 's3:\/\/your-s3-bucket\/athena_results\/'}\n )\n\n query_execution_id = response['QueryExecutionId']\n\n # Athena sorgusunun tamamlanmas\u0131n\u0131 bekle\n waiter = athena.get_waiter('query_execution_status_ready')\n waiter.wait(QueryExecutionId=query_execution_id)\n\n result = athena.get_query_results(QueryExecutionId=query_execution_id)\n\n report = \"\"\n for row in result['ResultSet']['Rows'][1:]: # Ba\u015fl\u0131k sat\u0131r\u0131n\u0131 atla\n billing_date = row['Data'][0]['VarCharValue']\n total_cost = row['Data'][1]['VarCharValue']\n report += f\"Tarih: {billing_date}, Toplam Maliyet: {total_cost}\\n\"\n\n #E-posta g\u00f6nderimi\n ses.send_email(\n Source='your-email@example.com',\n Destination={'ToAddresses': ['recipient-email@example.com']},\n Message={\n 'Subject': {'Data': 'G\u00fcnl\u00fck S3 Maliyet Raporu'},\n 'Body': {'Text': {'Data': report}}\n }\n )\n\n return {\n 'statusCode': 200,\n 'body': json.dumps('S3 maliyet raporu ba\u015far\u0131yla g\u00f6nderildi!')\n }<\/pre>\n\"your-s3-bucket\"<\/code> ve \"your-email@example.com\"<\/code> yer tutucular\u0131n\u0131 kendi de\u011ferlerinizle de\u011fi\u015ftirmeyi unutmay\u0131n.<\/p>\n\u0130leri D\u00fczey Teknikler ve Optimizasyonlar<\/h2>\n
\n* Anormallik Alg\u0131lama:<\/strong> Maliyetlerde ani art\u0131\u015flar\u0131 tespit etmek i\u00e7in makine \u00f6\u011frenmesi algoritmalar\u0131 kullanabilirsiniz. Bu, potansiyel maliyet sorunlar\u0131n\u0131 erkenden tespit etmenizi sa\u011flar.
\n* Otomatik \u00d6l\u00e7eklendirme:<\/strong> S3 depolama gereksinimlerine g\u00f6re otomatik olarak \u00f6l\u00e7eklenen bir mimari tasarlayarak maliyetleri optimize edebilirsiniz.
\n* Farkl\u0131 Depolama S\u0131n\u0131flar\u0131 Aras\u0131ndaki Ge\u00e7i\u015fleri Otomatikle\u015ftirme:<\/strong> Veri eri\u015fim s\u0131kl\u0131\u011f\u0131na g\u00f6re verilerinizi farkl\u0131 S3 depolama s\u0131n\u0131flar\u0131 aras\u0131nda otomatik olarak ta\u015f\u0131yarak maliyetleri optimize edebilirsiniz. Bu otomasyon i\u00e7in Lambda fonksiyonlar\u0131n\u0131 ve S3 lifecycle policies'i birlikte kullanabilirsiniz. https:\/\/fatihsoysal.com adresinden daha fazla bilgi edinebilirsiniz.<\/p>\nGer\u00e7ek D\u00fcnya Senaryolar\u0131<\/h2>\n
Sonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n