100 Gün DevOps: Day 62 – Prometheus ve Grafana ile Kapsamlı İzleme ve Alarm Sistemi

Modern yazılım geliştirme ve operasyon süreçlerinde sistemlerinizin sağlığını ve performansını anlık olarak takip etmek, olası sorunları önceden tespit etmek kritik bir öneme sahiptir. Bu makalede, DevOps yolculuğunuzun 62. gününde, güçlü açık kaynaklı araçlar Prometheus ve Grafana’yı kullanarak kapsamlı bir izleme ve alarm sistemini nasıl kuracağınızı ve yöneteceğinizi adım adım keşfedeceksiniz. Kapsamlı bir izleme sistemi ile sistemlerinizin her zaman kontrol altında olduğundan emin olun.

Gelişmiş dijital ekosistemlerde çalışan bir uygulamanın veya servisin beklenmedik bir şekilde durduğunu, yavaşladığını veya hatalı davranışlar sergilediğini düşünün. Kullanıcılarınız anında olumsuz etkilenir, iş kaybı yaşanır ve marka itibarınız zarar görür. Bu tür senaryolar, modern DevOps ekiplerinin en büyük kâbuslarından biridir. Manuel müdahale her zaman yeterli veya zamanında olmayabilir, özellikle de sistemleriniz mikroservis mimarisine doğru evrildikçe ve bileşen sayısı arttıkça karmaşıklık katlanarak artar. İşte tam da bu noktada, güçlü bir izleme (monitoring) ve alarm (alerting) sistemi, bir güvenlik ağı görevi görerek sistemlerinizin sağlığını ve performansını sürekli gözetim altında tutar.

DevOps felsefesi, geliştirme ve operasyon ekiplerinin işbirliğini ve otomasyonu vurgular. İzleme ve alarm sistemleri, bu işbirliğinin ve otomasyonun temel taşlarından biridir. Geliştiricilerin kodlarını dağıtıma almadan önce beklenen davranışları sergilediğinden emin olmaları, operasyon ekiplerinin ise canlı sistemlerin kararlılığını ve kullanılabilirliğini sürdürmeleri için vazgeçilmez veriler sağlarlar. Anlık metrikler ve loglar sayesinde, proaktif bir yaklaşımla olası sorunlar büyümeden tespit edilebilir, performans darboğazları erkenden belirlenebilir ve kullanıcı deneyimi kesintisiz bir şekilde devam ettirilebilir. Örneğin, bir veritabanı sunucusunun disk kullanımının kritik bir seviyeye ulaştığını gösteren bir metrik, sistemin çökmeden önce genişletilmesi veya optimize edilmesi için değerli bir erken uyarı sağlar. Bu tür proaktif önlemler, acil durum müdahalelerine kıyasla hem zaman hem de maliyet açısından çok daha verimlidir. Dolayısıyla, izleme sadece sorunları tespit etmekle kalmaz, aynı zamanda sistemlerinizin evrimi ve gelecekteki kapasite planlaması için de değerli içgörüler sunar. Bu nedenle, 100 günlük DevOps yolculuğunuzun 62. gününde, Prometheus ve Grafana gibi güçlü araçlarla bu hayati becerileri kazanmak, sadece bir gereklilik değil, aynı zamanda DevOps kültürünün temel bir parçasıdır.

Prometheus ve Grafana Nedir? Temel İzleme Kavramlarına Hızlı Bir Bakış

DevOps dünyasında izleme ve alarm sistemleri kurmanın temelini oluşturan iki güçlü açık kaynaklı araç, Prometheus ve Grafana’dır. Bu ikili, birbiriyle mükemmel bir uyum içinde çalışarak sistemlerinizden toplanan verileri anlamlı içgörülere dönüştürür ve potansiyel sorunları size bildirir. Ancak bu araçların derinliklerine inmeden önce, temel izleme kavramlarını anlamak önemlidir. İzleme, aslında bir sistemin veya uygulamanın belirli metriklerini (ölçülebilir verilerini) sürekli olarak toplama, depolama ve analiz etme sürecidir. Bu metrikler CPU kullanımı, bellek tüketimi, ağ trafiği, disk I/O, istek gecikmeleri veya hata oranları gibi birçok farklı veri noktasını içerebilir. Proaktif izleme, sorunlar kullanıcıları etkilemeden önce tespit etmeyi hedeflerken, reaktif izleme ise sorunlar ortaya çıktıktan sonra çözüm sürecine yardımcı olur.

Peki, Prometheus bu resmin neresinde duruyor? Prometheus, SoundCloud tarafından geliştirilen ve artık CNCF (Cloud Native Computing Foundation) bünyesinde barındırılan, açık kaynaklı bir zaman serisi veritabanı ve izleme sistemidir. Temel prensibi “pull” (çekme) modelidir; yani, izlenecek hedeflerden (sunucular, uygulamalar, servisler) belirli aralıklarla metrikleri HTTP üzerinden çeker. Bu metrikler, zaman damgalı veriler olarak kendi veritabanında saklanır ve PromQL (Prometheus Query Language) adlı güçlü sorgu diliyle sorgulanabilir. Prometheus aynı zamanda Alertmanager adlı ayrı bir bileşenle entegre olarak, belirli koşullar oluştuğunda (örneğin, CPU kullanımı belirli bir eşiği aştığında) bildirimler göndermeyi sağlar. Özetle, Prometheus, metrik toplama, depolama ve uyarı tetikleme işlerinden sorumludur. Buna ek olarak, dinamik servis keşfi yetenekleri sayesinde mikroservis ortamlarında yeni eklenen veya kaldırılan servisleri otomatik olarak algılayabilir, bu da büyük ölçekli altyapılarda yönetim yükünü önemli ölçüde azaltır. Örneğin, Kubernetes ortamında çalışan bir uygulama için Prometheus, yeni pod’ları otomatik olarak keşfederek izlemeye başlayabilir. Bu yetenekler, Prometheus’u modern ve dinamik bulut ortamları için vazgeçilmez bir araç haline getirir.

Diğer yandan Grafana, Prometheus tarafından toplanan metrikleri görselleştirmek için kullanılan, yine açık kaynaklı ve son derece popüler bir analiz ve etkileşimli kontrol paneli (dashboard) aracıdır. Grafana, sadece Prometheus ile değil, Elasticsearch, InfluxDB, PostgreSQL gibi birçok farklı veri kaynağıyla da entegre olabilir. Kullanıcı dostu arayüzü sayesinde, farklı türdeki grafikler, tablolar ve diğer görsel bileşenler kullanarak anlamlı ve okunabilir paneller oluşturabilirsiniz. Bu paneller sayesinde sistemlerinizin anlık durumunu, geçmiş performans trendlerini ve olası anormallikleri bir bakışta görebilirsiniz. Grafana’nın en büyük avantajlarından biri, PromQL sorgularını kullanarak verileri dinamik ve özelleştirilebilir şekillerde görselleştirebilmesidir. Örneğin, bir sunucunun CPU kullanımını zaman içinde gösteren bir grafik, aynı zamanda uygulamanızın ortalama yanıt süresini gösteren bir başka grafik ve bir hata sayısını gösteren bir gösterge panosu gibi farklı bileşenleri tek bir ekranda toplayabilirsiniz. Dolayısıyla, Prometheus verileri toplarken, Grafana bu verileri anlamlı hale getirerek operasyonel kararlar almanız için gerekli görsel zenginliği sunar. Birlikte, bu iki araç, sistemlerinizin sağlığını derinlemesine anlamanızı sağlayan eksiksiz bir izleme ekosistemi oluşturur.

Prometheus ve Grafana Kurulumu: Adım Adım Rehber

Sistemlerinizden değerli metrikleri toplamaya ve bunları anlamlı panellerde görselleştirmeye başlamak için öncelikle Prometheus ve Grafana’yı ortamınıza kurmanız gerekmektedir. Bu bölümde, her iki aracın da temel kurulum adımlarını ve birbirleriyle nasıl entegre edileceğini detaylı bir şekilde ele alacağız. Kurulum süreçleri farklı işletim sistemleri için benzerlik gösterse de, burada genel bir yaklaşımla ilerleyeceğiz. Unutmayın, üretim ortamları için daha gelişmiş kurulum yöntemleri (örneğin Docker, Kubernetes operatörleri) tercih edilebilir, ancak başlangıç için manuel kurulum, temel prensipleri anlamanıza yardımcı olacaktır.

Prometheus Kurulumu Nasıl Yapılır?

Prometheus kurulumu genellikle oldukça basittir. İlk adım, Prometheus’un resmi web sitesinden (prometheus.io/download) işletim sisteminize uygun paketi indirmektir. Linux için genellikle tar.gz uzantılı bir arşiv indirilir. İndirdikten sonra, bu arşivi belirli bir dizine (örneğin, /usr/local/prometheus) çıkarmanız yeterlidir. Çıkardığınız dizinin içinde prometheus adında bir çalıştırılabilir dosya ve örnek bir prometheus.yml yapılandırma dosyası bulacaksınız. Bu yapılandırma dosyası, Prometheus’un hangi hedeflerden metrik çekeceğini, ne sıklıkla çekeceğini ve hangi kuralları uygulayacağını tanımlar.

Aşağıda, Prometheus’un kendi metriklerini izlemesini sağlayan çok temel bir prometheus.yml dosyası örneği bulunmaktadır:

global:
  scrape_interval: 15s # Metrikleri ne sıklıkla çekeceği
  evaluation_interval: 15s # Kuralları ne sıklıkla değerlendireceği

scrape_configs:
  - job_name: 'prometheus' # İşin adı
    static_configs:
      - targets: ['localhost:9090'] # Prometheus'un kendi metriklerini sağladığı adres

Bu yapılandırma, Prometheus'un her 15 saniyede bir kendi 9090 portundaki '/metrics' endpoint'inden metrikleri çekeceğini belirtir. Dosyayı düzenledikten sonra, Prometheus'u çalıştırmak için terminalinizde şu komutu kullanabilirsiniz:

./prometheus --config.file=prometheus.yml

Prometheus başarıyla çalıştığında, web arayüzüne http://localhost:9090 adresinden erişebilirsiniz. Bu arayüzden hedef durumlarını, metrikleri sorgulayabilir ve yapılandırmayı kontrol edebilirsiniz. İlk kurulumunuzda, Prometheus'un düzgün bir şekilde çalıştığını ve kendi metriklerini topladığını görmek, başarılı bir başlangıç için önemlidir. Daha sonra, diğer servislerden metrik toplamak için scrape_configs bölümüne yeni işler ekleyeceksiniz. Örneğin, bir web sunucusunun metriklerini toplamak için ilgili job_name altında web sunucusunun IP adresi ve metrik endpoint'i belirtilir.

Grafana Kurulumu ve Prometheus Entegrasyonu

Grafana kurulumu da Prometheus kadar basittir ve genellikle paket yöneticileri aracılığıyla yapılabilir. Debian/Ubuntu tabanlı sistemlerde aşağıdaki komutlarla Grafana'yı kurabilirsiniz:

sudo apt-get install -y apt-transport-https
sudo apt-get install -y software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
echo "deb https://packages.grafana.com/oss/deb stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt-get update
sudo apt-get install grafana
sudo systemctl daemon-reload
sudo systemctl enable grafana-server
sudo systemctl start grafana-server

Kurulum tamamlandıktan sonra, Grafana varsayılan olarak http://localhost:3000 adresinde çalışmaya başlayacaktır. İlk giriş için kullanıcı adı admin, parola admin'dir. Giriş yaptıktan sonra, şifrenizi değiştirmeniz istenecektir. Grafana'ya eriştikten sonra yapmanız gereken ilk şey, Prometheus'u bir veri kaynağı olarak eklemektir. Bunun için sol menüdeki "Settings" (dişli çark simgesi) -> "Data Sources" seçeneğine gidin ve "Add data source" butonuna tıklayın. Açılan listeden "Prometheus"u seçin.

Aşağıdaki bilgileri doldurmanız gerekecektir:

• Name: Prometheus (veya istediğiniz başka bir isim)
• URL: http://localhost:9090 (Prometheus'un çalıştığı adres ve port)
• Access: Browser (varsayılan) veya Server

Bu bilgileri girdikten sonra "Save & Test" butonuna tıklayın. Eğer her şey doğru yapılandırıldıysa, "Data source is working" mesajını görmeniz gerekir. Bu adım, Grafana'nın Prometheus ile başarılı bir şekilde iletişim kurabildiği anlamına gelir. Artık Prometheus'tan gelen metrikleri Grafana'da görselleştirmeye hazırsınız. Bu entegrasyon, izleme altyapınızın görselleştirme katmanını tamamlar ve sistemlerinizin durumu hakkında derinlemesine analizler yapmanızın önünü açar. Grafana'nın esnekliği sayesinde, birden fazla Prometheus sunucusu veya farklı veri kaynaklarını da aynı anda ekleyerek karmaşık izleme ihtiyaçlarınızı karşılayabilirsiniz. Bu sayede, tüm altyapınızın merkezi bir görünümünü elde edebilir, farklı servislerin metriklerini tek bir panelde birleştirerek daha bütünsel bir analiz yapabilirsiniz. Bu yetenek, özellikle büyük ve dağıtık sistemlerin izlenmesinde paha biçilmezdir.

Uygulamalarınızdan Metrikleri Nasıl Toplar ve Grafana ile Görselleştirirsiniz?

Prometheus ve Grafana kurulumunu tamamladığınıza göre, artık gerçek dünya uygulamalarınızdan ve sunucularınızdan metrik toplamaya ve bunları anlamlı panellerde görselleştirmeye hazırsınız. Prometheus'un gücü, çeşitli "exporter"lar (dışa aktarıcılar) aracılığıyla farklı sistemlerden metrik toplayabilmesinde yatar. Bu exporter'lar, belirli bir uygulamanın veya sistemin kendi metriklerini Prometheus'un anlayabileceği bir formatta (HTTP endpoint üzerinden) sunmasını sağlar. Grafana ise bu toplanan metrikleri, PromQL sorgu dilini kullanarak dinamik ve etkileşimli panellere dönüştürür. Bu bölüm, sisteminizden nasıl metrik toplayacağınızı ve bunları Grafana'da nasıl etkili bir şekilde görselleştireceğinizi detaylandıracaktır.

Node Exporter ile Sistem Metrikleri Toplama

Sunucularınızın temel işletim sistemi metriklerini (CPU, bellek, disk, ağ) izlemek için en yaygın kullanılan exporter'lardan biri Node Exporter'dır. Node Exporter, Linux ve diğer Unix benzeri sistemlerin donanım ve OS metriklerini Prometheus'un çekebileceği bir formatta sunar. Her izlemek istediğiniz sunucuya Node Exporter'ı kurmanız ve Prometheus yapılandırmanıza bu sunucuyu bir hedef olarak eklemeniz gerekir.

Node Exporter'ı kurmak için, tıpkı Prometheus gibi, resmi GitHub sayfasından (github.com/prometheus/node_exporter) işletim sisteminize uygun sürümü indirip çıkarmanız yeterlidir. Ardından, Node Exporter'ı genellikle 9100 portundan çalıştırabilirsiniz:

./node_exporter

Node Exporter çalıştıktan sonra, http://localhost:9100/metrics adresinden metriklerini görebilirsiniz. Şimdi, Prometheus'un bu metrikleri çekmesi için prometheus.yml dosyanıza yeni bir job eklemeniz gerekiyor:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node_exporter'
    static_configs:
      - targets: ['sunucu_ip_adresi:9100'] # İzlemek istediğiniz sunucunun IP'si ve Node Exporter portu

Prometheus yapılandırma dosyasını kaydettikten sonra, Prometheus servisini yeniden başlatmayı unutmayın. Bu adımlarla, Prometheus artık belirlediğiniz sunucunun temel sistem metriklerini düzenli olarak toplamaya başlayacaktır. Bu, sunucularınızın genel sağlığı hakkında önemli bilgiler edinmenizi sağlar, örneğin CPU kullanımındaki ani artışlar veya disk doluluğu gibi durumları tespit etmenize yardımcı olur. Node Exporter'ın topladığı metrikler arasında, node_cpu_seconds_total, node_memory_MemAvailable_bytes ve node_network_receive_bytes_total gibi çok çeşitli değerli veriler bulunur.

Grafana Panelleri ve Dashboard Oluşturma

Metrikler toplandığına göre, sıra geldi bunları Grafana'da görselleştirmeye. Grafana'da yeni bir kontrol paneli (dashboard) oluşturmak için sol menüden "Create" (+) butonuna tıklayıp "Dashboard" seçeneğini seçin. Ardından "Add new panel" butonuna tıklayarak ilk panelinizi oluşturmaya başlayabilirsiniz. Her panel, belirli bir PromQL sorgusunun sonucunu görselleştirmek için kullanılır.

Bazı temel PromQL sorguları ve panel türleri şunlardır:

• CPU Kullanımı (Grafik): Bir sunucunun CPU kullanımını zaman içinde görselleştirmek için "Graph" panelini kullanabilirsiniz. Sorgu olarak şunu girebilirsiniz:

  
          100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle", job="node_exporter"}[5m])) * 100)
          

  
  Bu sorgu, son 5 dakikadaki ortalama boşta kalma süresini yüzde olarak gösterir ve bunu 100'den çıkararak CPU kullanım yüzdesini verir.

• Bellek Kullanımı (Stat): Mevcut boş belleği göstermek için "Stat" panelini kullanabilirsiniz:

  
          node_memory_MemAvailable_bytes{job="node_exporter"}
          

  
  Bu metrik, kullanılabilir belleği bayt cinsinden verir. Panel ayarlarında "Unit" bölümünden "bytes (IEC)" seçerek daha okunabilir hale getirebilirsiniz.

• Ağ Trafiği (Grafik): Sunucunun ağ arayüzündeki gelen/giden trafiği görselleştirmek için:

  
          rate(node_network_receive_bytes_total{job="node_exporter", device="eth0"}[5m])
          

  
  ve

  
          rate(node_network_transmit_bytes_total{job="node_exporter", device="eth0"}[5m])
          

  
  Bu sorgular, belirli bir ağ arayüzündeki (örneğin eth0) gelen ve giden baytların saniyedeki ortalama hızını gösterir.

Panel ayarlarında, grafik çizgilerinin renklerini, eksen etiketlerini ve başlıkları özelleştirebilirsiniz. Her panelinizi kaydettikten sonra, dashboard'unuza yeni paneller ekleyerek sistemlerinizin farklı yönlerini izleyebilirsiniz. Ayrıca, hazır Node Exporter panellerini Grafana Labs'ın web sitesinden (grafana.com/grafana/dashboards) indirip içe aktararak da hızla başlayabilirsiniz. Bu paneller genellikle birçok yaygın metriği içerir ve size zaman kazandırır. Böylece, web sunucunuzun CPU yükünden veritabanı gecikmelerine kadar her türlü metriği tek bir ekran üzerinde, görsel olarak zengin bir şekilde takip edebilir, potansiyel sorunları çok daha hızlı bir şekilde tespit edebilirsiniz. Bu sayede, operasyonel ekipler anlık durumu değerlendirme ve hızlı kararlar alma yeteneğini kazanırken, geliştiriciler de kendi uygulamalarının performansını dağıtım sonrası takip edebilirler.

Prometheus Alertmanager ile Akıllı Uyarılar Oluşturma

Metrikleri toplamak ve görselleştirmek, sistemlerinizin sağlığını anlamanın önemli bir adımıdır, ancak tam bir izleme çözümünün anahtarı, anormallikler veya kritik durumlar ortaya çıktığında otomatik olarak bildirim almanızı sağlayan akıllı bir alarm sistemidir. İşte bu noktada Prometheus ekosisteminin ayrılmaz bir parçası olan Alertmanager devreye girer. Alertmanager, Prometheus tarafından tetiklenen alarmları alır, bunları gruplandırır, tekrarlayan uyarıları susturur (deduplicate) ve çeşitli bildirim kanallarına (e-posta, Slack, PagerDuty, Opsgenie vb.) gönderir. Bu sayede, kritik olaylar hakkında hızlı ve etkili bir şekilde bilgilendirilmenizi sağlar ve "alarm yorgunluğu"nu (aşırı bildirimlerden kaynaklanan duyarsızlaşma) minimize etmeye yardımcı olur.

Alertmanager'ı kurmak için, Prometheus gibi, resmi web sitesinden (prometheus.io/download) uygun sürümü indirip çıkarmanız gerekir. Alertmanager'ı çalıştırdıktan sonra, alertmanager.yml adlı bir yapılandırma dosyasına ihtiyaç duyar. Bu dosya, Alertmanager'ın uyarıları kime ve nasıl göndereceğini tanımlar. İşte basit bir alertmanager.yml örneği:

global:
  resolve_timeout: 5m # Uyarıların ne kadar süre sonra "çözüldü" kabul edileceği

route:
  group_by: ['alertname', 'instance'] # Aynı uyarı isimlerine ve örneklere sahip uyarıları grupla
  group_wait: 30s # İlk uyarıyı bekler, ardından diğerlerini gönderir
  group_interval: 5m # Gruplandırılmış uyarının tekrar gönderilmeden önceki bekleme süresi
  repeat_interval: 3h # Bir uyarının tekrar gönderilmeden önceki bekleme süresi
  receiver: 'web_hook_receiver' # Varsayılan alıcı

receivers:
  - name: 'web_hook_receiver'
    webhook_configs:
      - url: 'http://localhost:9093/webhook' # Örnek webhook URL'si (Slack, vb. için değiştirilebilir)
        send_resolved: true

Bu yapılandırma, uyarıların alertname ve instance etiketlerine göre gruplandırılacağını ve web_hook_receiver adlı alıcıya gönderileceğini belirtir. Gerçek dünya senaryosunda buraya Slack webhook URL'si, e-posta ayarları veya diğer bildirim entegrasyonları eklersiniz. Alertmanager'ı bu yapılandırma dosyasıyla çalıştırmak için:

./alertmanager --config.file=alertmanager.yml

Şimdi sıra Prometheus'a, hangi koşullarda alarm tetiklemesi gerektiğini söylemeye geldi. Bu, Prometheus yapılandırmasına ekleyeceğiniz rules.yml dosyaları aracılığıyla yapılır. Bu kural dosyaları, PromQL sorgularını kullanarak alarm koşullarını tanımlar ve Alertmanager'a gönderilecek alarm metadatasını (etiketler, açıklamalar) içerir. Prometheus'un prometheus.yml dosyasında rule_files bölümünü ekleyerek bu kural dosyalarını belirtirsiniz:

# prometheus.yml dosyanıza ekleyin
rule_files:
  - "alert.rules.yml"

Ardından, alert.rules.yml dosyanızı oluşturun ve içine alarm kurallarınızı ekleyin. İşte bir web sunucusunda yüksek CPU kullanımı için bir alarm kuralı örneği:

groups:
- name: general.rules
  rules:
  - alert: HighCPUUsage
    expr: 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle", job="node_exporter"}[5m])) * 100) > 80
    for: 5m # Bu koşul 5 dakika boyunca doğru kalırsa alarm tetiklenir
    labels:
      severity: critical # Uyarının ciddiyet seviyesi
    annotations:
      summary: "CPU utilization on {{ $labels.instance }} is high"
      description: "CPU usage on {{ $labels.instance }} has been above 80% for 5 minutes. Check the server immediately."

Bu kural, eğer bir sunucunun (Node Exporter tarafından izlenen) CPU kullanımı son 5 dakika boyunca %80'in üzerinde kalırsa HighCPUUsage adında kritik seviyede bir alarm tetikler. Prometheus, bu alarmı Alertmanager'a gönderir ve Alertmanager da yapılandırmasına göre ilgili kanallara bildirim yapar. Bu yapılandırma ile, bir üretim web sunucusunun CPU'sunun kritik seviyelerde seyrettiğini ve hızla müdahale edilmesi gerektiğini belirten bir Slack mesajı veya e-posta alabilirsiniz. Bu otomatik bildirimler, sorunların hızlıca tespit edilmesini ve çözülmesini sağlayarak hizmet kesintilerini minimize eder.

Bu güçlü kombinasyon sayesinde, DevOps ekipleri sistemlerinin durumunu sürekli olarak izleyebilir, anormallikleri hızla tespit edebilir ve otomatik uyarılar alarak proaktif bir şekilde müdahale edebilirler. Bu sadece sorun giderme süresini azaltmakla kalmaz, aynı zamanda operasyonel verimliliği artırır ve kullanıcı deneyimini iyileştirir.

Performans ve Ölçeklenebilirlik İçin İleri Düzey İpuçları

Prometheus ve Grafana ile temel izleme ve alarm sisteminizi kurdunuz. Artık sistemlerinizin sağlığını ve performansını anlık olarak takip ediyorsunuz. Ancak DevOps yolculuğunuzda sistemleriniz büyüdükçe, daha fazla metrik topladıkça ve daha fazla sunucuyu izledikçe, performans ve ölçeklenebilirlik konuları önem kazanacaktır. Bu bölümde, daha büyük ve daha karmaşık ortamlar için Prometheus ve Grafana kullanımınızı optimize etmenize yardımcı olacak ileri düzey ipuçları ve teknikler ele alınacaktır.

Servis Keşfi (Service Discovery)

Manuel olarak prometheus.yml dosyasına her yeni sunucuyu veya servisi eklemek, özellikle dinamik ve elastik bulut ortamlarında hızla sürdürülemez hale gelir. Prometheus, bu sorunu çözmek için çeşitli "Service Discovery" (Servis Keşfi) mekanizmalarını destekler. Kubernetes, Consul, EC2, Azure gibi platformlarla entegre olarak, yeni eklenen veya kaldırılan hedefleri otomatik olarak algılayabilir ve izlemeye başlayabilir. Örneğin, bir Kubernetes kümesinde yeni bir pod dağıttığınızda, Prometheus Kubernetes API'si aracılığıyla bu pod'u otomatik olarak keşfeder ve metriklerini toplamaya başlar. Bu, yönetim yükünü büyük ölçüde azaltır ve izleme altyapınızın dinamik ortamınıza uyum sağlamasını garantiler. Servis keşfi mekanizmalarının doğru yapılandırılması, özellikle mikroservis mimarilerinde izleme stratejisinin temel direklerinden biridir.

# Kubernetes Service Discovery örneği
scrape_configs:
  - job_name: 'kubernetes-pods'
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
        action: keep
        regex: true
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_port]
        action: replace
        regex: (\d+)
        target_label: __address__
        replacement: '$1'
        replacement: '$${1}'

Bu yapılandırma, Prometheus'un Kubernetes pod'larını otomatik olarak keşfetmesini ve belirli etiketlere sahip pod'lardan metrikleri çekmesini sağlar.

Uzak Depolama ve Uzun Süreli Saklama (Remote Storage)

Prometheus metrikleri yerel diskte depolar. Bu, belirli bir noktada disk alanını tüketebilir ve uzun süreli geçmiş verilere erişimi zorlaştırabilir. Büyük ölçekli ve uzun süreli veri saklama ihtiyaçları için Prometheus, "remote storage" (uzak depolama) entegrasyonlarını destekler. Thanos veya Mimir gibi çözümler, Prometheus metriklerini S3 uyumlu depolama alanları gibi merkezi ve ölçeklenebilir bir depoya aktarmanıza olanak tanır. Bu sayede, on yıllara kadar uzanan metrik verilerini saklayabilir, geçmiş trend analizleri yapabilir ve Prometheus sunucularınızın yükünü azaltabilirsiniz. Remote storage çözümleri ayrıca, birden fazla Prometheus sunucusundan gelen metrikleri tek bir birleşik görünümde birleştirerek küresel bir izleme perspektifi sunar.

Yüksek Erişilebilirlik (HA) ve Federe İzleme

Prometheus sunucusunun kendisi kritik bir noktadır. Prometheus'un düşmesi, tüm izleme sisteminizin çökmesi anlamına gelir. Yüksek erişilebilirlik sağlamak için genellikle iki veya daha fazla Prometheus sunucusu kurulur ve aynı hedeflerden metrik çekerler. Alertmanager, tekrarlayan uyarıları önlemek için bu durumda deduplication (tekilleştirme) yapar. Federe izleme (federation) ise, birden fazla Prometheus sunucusunun metriklerini merkezi bir Prometheus sunucusuna çekerek daha büyük ölçekli ve hiyerarşik bir izleme yapısı oluşturmanıza olanak tanır. Bu, büyük organizasyonlar veya farklı departmanların kendi Prometheus kurulumlarına sahip olduğu senaryolarda kullanışlıdır.

Özel Exporter'lar (Custom Exporters)

Node Exporter veya diğer hazır exporter'lar tüm metrik ihtiyaçlarınızı karşılamayabilir. Özellikle kendi özel uygulamanızın iş mantığına özgü metrikleri izlemek isteyebilirsiniz (örneğin, bir e-ticaret sitesindeki sepet terk oranları veya sipariş işleme gecikmeleri). Bu tür durumlarda, Go, Python veya Java gibi dillerde kendi özel exporter'larınızı yazabilirsiniz. Bu exporter'lar, uygulamanızdan metrikleri toplayıp Prometheus'un beklediği formatta (bir HTTP endpoint üzerinden) sunar. Bu esneklik, Prometheus'u neredeyse her türlü ortam ve uygulama için uyarlanabilir bir izleme çözümü haline getirir.

Grafana Şablonları ve Değişkenler

Grafana'da dashboard'lar oluştururken, aynı dashboard'u farklı sunucular veya ortamlar için kopyalayıp yapıştırmak yerine, şablonları ve değişkenleri kullanabilirsiniz. Örneğin, bir sunucu seçici değişkeni oluşturarak, aynı dashboard'u farklı sunucular için dinamik olarak görüntüleyebilirsiniz. Bu, dashboard yönetimini kolaylaştırır ve tekrar eden işleri azaltır. Ayrıca, dashboard'larınızı mobile uyumlu hale getirmek için, belirli panel boyutlarını veya düzenlerini cihaz genişliğine göre ayarlayan CSS media query'lerini doğrudan Grafana'nın "Dashboard settings" altındaki "Panel styles" veya "Custom CSS" bölümlerine (eğer destekleniyorsa veya bir tema eklentisi kullanıyorsanız) ekleyebilirsiniz. Bu, özellikle özel raporlama ihtiyaçları veya mobil erişim senaryolarında görselleştirme deneyimini iyileştirir.

Yukarıdaki örnek CSS, Grafana'nın direkt CSS uygulamasını desteklediği varsayıldığında, panellerin mobil cihazlarda daha okunabilir olmasını sağlayacak genel düzen ayarlamaları içerir. Ancak Grafana'nın kendisi genellikle duyarlıdır ve bu tür özelleştirmelere nadiren ihtiyaç duyulur. Bu ipuçları, Prometheus ve Grafana tabanlı izleme altyapınızı daha sağlam, ölçeklenebilir ve yönetilebilir hale getirmenize yardımcı olacaktır, böylece DevOps yolculuğunuzda karşılaşacağınız her türlü zorluğa hazırsınız demektir.

DevOps Yolculuğunuzda İzleme ve Alarmın Önemi: Sıkça Sorulan Sorular

100 günlük DevOps serüveninizin 62. gününde Prometheus ve Grafana ile kapsamlı bir izleme ve alarm sistemi kurmayı öğrendiniz. Bu iki araç, modern ve dinamik sistemlerinizi yönetme yeteneğinizi önemli ölçüde artıracak, sorunları proaktif bir şekilde tespit etmenizi ve sistemlerinizin sürekli olarak en iyi performansta çalışmasını sağlamanıza olanak tanıyacaktır. İzleme ve alarm, sadece bir teknik uygulama değil, aynı zamanda bir DevOps kültürünün temelini oluşturan şeffaflık, otomasyon ve sürekli iyileştirme prensiplerinin bir yansımasıdır. Sistemlerinizin "gözü ve kulağı" olarak hareket eden bu araçlar sayesinde, operasyonel ekipler bilinçli kararlar alabilir, geliştiriciler kodlarının üretimdeki davranışlarını anlayabilir ve tüm ekip, kullanıcı deneyimini kesintisiz kılmak için işbirliği yapabilir.

Unutmayın, iyi bir izleme sistemi kurmak tek seferlik bir iş değildir. Sistemleriniz evrildikçe, yeni özellikler eklendikçe veya altyapınız genişledikçe, izleme stratejilerinizi de sürekli olarak gözden geçirmeniz ve güncellemeniz gerekecektir. Hangi metriklerin önemli olduğunu, hangi eşik değerlerinin alarm tetiklemesi gerektiğini ve hangi bildirim kanallarının en etkili olduğunu düzenli olarak analiz etmek, izleme altyapınızın uzun vadeli başarısı için kritik öneme sahiptir. Bu sürekli iyileştirme döngüsü, DevOps'un temel prensiplerinden biridir ve izleme sisteminizin de bu döngünün bir parçası olması gerekir. Ayrıca, sadece sistem metriklerini değil, aynı zamanda uygulamanızın iş metriklerini de izlemeyi düşünmelisiniz; örneğin, günlük kayıt olan kullanıcı sayısı, ortalama sepet değeri veya belirli bir işlemdeki başarı oranı gibi. Bu tür metrikler, iş sonuçlarınızın da sağlık göstergeleridir ve teknik metriklerle birleştirildiğinde daha bütünsel bir görünüm sunar.

Bu makalede öğrendikleriniz, DevOps izleme dünyasına sağlam bir başlangıç yapmanız için gereken temeli atmaktadır. Uygulamaya devam edin, farklı exporter'ları keşfedin, daha karmaşık PromQL sorguları yazın ve Grafana panellerinizi özelleştirerek kendi ihtiyaçlarınıza en uygun görselleştirme ve alarm stratejilerini geliştirin. Sürekli öğrenme ve deneme, bu alanda uzmanlaşmanın anahtarıdır. İşte Prometheus ve Grafana hakkında sıkça sorulan bazı sorular ve yanıtları:

Sıkça Sorulan Sorular

• Soru 1: Prometheus ve Grafana ücretsiz mi?

  Cevap 1: Evet, hem Prometheus hem de Grafana açık kaynaklı projelerdir ve temel sürümleri tamamen ücretsizdir. Ancak Grafana'nın bazı gelişmiş kurumsal özellikleri ve destek hizmetleri sunan ticari sürümleri de bulunmaktadır. Çoğu kullanım senaryosu için açık kaynak sürümler yeterlidir.

• Soru 2: Başka hangi izleme araçlarıyla entegre edilebilirler?

  Cevap 2: Prometheus, yüzlerce farklı "exporter" aracılığıyla (Node Exporter, cAdvisor, JMX Exporter, MySQL Exporter vb.) çeşitli sistemlerden ve uygulamalardan metrik toplayabilir. Grafana ise Prometheus'un yanı sıra Elasticsearch, InfluxDB, PostgreSQL, MySQL, Zabbix, CloudWatch ve Azure Monitor gibi çok sayıda farklı veri kaynağıyla entegre olabilir. Bu esneklik, mevcut izleme altyapılarınızla kolayca uyum sağlamalarına olanak tanır.

• Soru 3: Metriklerimi ne kadar süre saklamalıyım?

  Cevap 3: Metrik saklama süresi iş gereksinimlerinize bağlıdır. Kısa vadeli sorun giderme ve anlık gözlem için günler veya haftalar yeterli olabilirken, uzun vadeli trend analizi, kapasite planlaması ve uyumluluk denetimleri için aylar hatta yıllar gerekebilir. Prometheus'un yerel depolama kapasitesi sınırlı olduğundan, uzun süreli saklama için Thanos veya Mimir gibi uzak depolama (remote storage) çözümleri kullanmanız önerilir.

• Soru 4: Prometheus'un "pull" modeli yerine "push" modeli kullanabilir miyim?

  Cevap 4: Prometheus'un birincil çalışma modeli "pull" (çekme) olsa da, kısa ömürlü işler (batch jobs) veya güvenlik duvarı nedeniyle Prometheus'un metrikleri doğrudan çekemediği senaryolar için "Pushgateway" adında bir bileşen sunar. Pushgateway, uygulamaların metriklerini ona göndermesine (push) izin verir ve Prometheus daha sonra bu metrikleri Pushgateway'den çeker. Bu, "push" modeline ihtiyaç duyan durumlar için bir çözüm sunar.

• Soru 5: Grafana'da dashboard'larımı nasıl yedekleyebilirim ve geri yükleyebilirim?

  Cevap 5: Grafana dashboard'larını JSON formatında dışa aktarabilir (export) ve daha sonra içe aktararak (import) yedekleyebilir veya başka bir Grafana örneğine taşıyabilirsiniz. Ayrıca, "Grafana Provisioning" özelliğini kullanarak dashboard'larınızı kod olarak (YAML/JSON dosyaları) versiyon kontrol sistemlerinde saklayabilir ve otomatik olarak dağıtabilirsiniz. Bu yöntem, "Infrastructure as Code" (Kod Olarak Altyapı) prensiplerine uygun olarak dashboard yönetimini kolaylaştırır.