Nginx Metrikleri ve Loglarının OpenTelemetry ile İzlenmesi: Kapsamlı Bir Rehber

Nginx Metrikleri ve Loglarının OpenTelemetry ile İzlenmesi: Kapsamlı Bir Rehber

Modern web uygulamalarının omurgasını oluşturan Nginx, yüksek performanslı ters proxy, yük dengeleyici ve web sunucusu olarak kritik bir rol oynar. Bu kadar merkezi bir bileşenin kesintisiz çalışması ve optimum performans göstermesi, detaylı izleme yeteneklerini zorunlu kılar. Geleneksel izleme yöntemleri parçalı çözümler sunarken, OpenTelemetry (Otel) metrikler, loglar ve traceler için birleşik, vendor bağımsız bir standart sunarak Nginx izleme yaklaşımımızı kökten değiştirmektedir. Bu makale, Nginx sunucularınızın performansını ve sağlığını OpenTelemetry ile nasıl kapsamlı bir şekilde izleyebileceğinizi adım adım açıklayacaktır.

OpenTelemetry ve Nginx İzleme Neden Önemli?

Nginx, web trafiğinin ilk durağı ve genellikle en kritik darboğaz noktalarından biridir. Bu nedenle, Nginx performansını sürekli izlemek, potansiyel sorunları proaktif olarak tespit etmek ve kullanıcı deneyimini iyileştirmek için hayati öneme sahiptir.

Nginx’in Rolü ve Önemi

Nginx, mikroservis mimarilerinden geleneksel web uygulamalarına kadar geniş bir yelpazede kullanılır. Yüksek eş zamanlı bağlantıları yönetme, SSL sonlandırma, önbellekleme ve istekleri arka uç sunucularına yönlendirme gibi görevleri üstlenir. Bu görevlerin herhangi birinde yaşanacak bir aksaklık, tüm uygulamanın erişilemez hale gelmesine veya performans sorunları yaşamasına neden olabilir.

Performans ve Güvenlik İçin İzlemenin Gerekliliği

Nginx’in izlenmesi, sunucu yükünü, istek oranlarını, hata oranlarını ve yanıt sürelerini anlamak için temeldir. Bu veriler, performans düşüşlerini, DDoS saldırılarını veya hatalı yapılandırmaları hızla tespit etmenizi sağlar. Ayrıca, güvenlik açısından, anormal trafik desenlerini veya yetkisiz erişim denemelerini loglar aracılığıyla izlemek kritik öneme sahiptir.

Geleneksel İzleme Yaklaşımlarının Sınırlılıkları

Geleneksel izleme yaklaşımları genellikle farklı araçlar ve formatlar kullanarak metrikleri, logları ve traceleri ayrı ayrı toplar. Bu durum, verilerin korelasyonunu zorlaştırır, operasyonel yükü artırır ve karmaşık sorun giderme süreçlerine yol açar. OpenTelemetry, bu parçalı yaklaşımın getirdiği zorlukları ortadan kaldırarak birleşik bir gözlemlenebilirlik çözümü sunar.

OpenTelemetry Nedir? Temel Bileşenleri

OpenTelemetry, bulut yerel uygulamalar için telemetri verilerini (metrikler, loglar, traceler) toplamak, işlemek ve dışa aktarmak için bir dizi araç, API ve SDK sağlayan açık kaynaklı bir projedir. Vendor bağımsızlığı sayesinde, toplanan verileri istediğiniz izleme platformuna gönderebilirsiniz.

Vendor Bağımsızlığı ve Standardizasyon

OpenTelemetry’nin en büyük avantajlarından biri, belirli bir satıcıya bağlı olmamasıdır. Bu, uygulamanızın izleme altyapısını değiştirdiğinizde kodunuzu yeniden yazmak zorunda kalmamanız anlamına gelir. Standartlaştırılmış veri formatları ve protokoller sayesinde, farklı sistemlerden gelen verileri kolayca birleştirebilirsiniz.

Metrikler, Loglar ve Traceler

OpenTelemetry, üç ana telemetri sinyalini destekler:

• Metrikler: Sayılarla ifade edilen performans göstergeleridir (örn. CPU kullanımı, istek sayısı, hata oranı).
• Loglar: Uygulama veya sistem olaylarını kaydeden zaman damgalı mesajlardır (örn. erişim logları, hata logları).
• Traceler: Bir isteğin sistemdeki farklı bileşenler arasında nasıl ilerlediğini gösteren uçtan uca işlem akışlarıdır.

Collector, SDK’lar ve Exporter’lar

OpenTelemetry ekosistemi başlıca şu bileşenlerden oluşur:

• SDK’lar: Uygulamalarınıza entegre ederek telemetri verisi üretmenizi sağlayan kütüphanelerdir.
• Collector: Çeşitli kaynaklardan telemetri verilerini alabilen, işleyebilen ve farklı hedeflere (exporter’lar aracılığıyla) yönlendirebilen bir proxy’dir. Nginx gibi uygulamalar için genellikle Collector kullanılır.
• Exporter’lar: Toplanan ve işlenen verileri belirli bir izleme veya analiz platformuna (Prometheus, Loki, Jaeger, Datadog vb.) göndermek için kullanılan bileşenlerdir.

Nginx Metriklerinin OpenTelemetry ile Toplanması

Nginx metriklerini OpenTelemetry ile toplamak için birkaç farklı yaklaşım mevcuttur. En yaygın yöntem, Nginx’in stub_status modülünü kullanmak ve bu verileri OpenTelemetry Collector aracılığıyla işleyip dışa aktarmaktır.

Nginx stub_status Modülü

Nginx’in stub_status modülü, temel sunucu metriklerini (aktif bağlantılar, kabul edilen bağlantılar, işlenen bağlantılar, okunan/yazılan baytlar) basit bir HTTP arayüzü üzerinden sunar. Bu modülü etkinleştirmek için Nginx yapılandırmanıza aşağıdaki bloğu eklemeniz gerekir:

http {
    server {
        listen 80;
        server_name localhost;

        location /nginx_status {
            stub_status on;
            allow 127.0.0.1; # Sadece yerel erişime izin ver
            deny all;
        }
    }
}

Bu yapılandırma ile http://localhost/nginx_status adresinden metriklerinizi görebilirsiniz.

Prometheus Nginx Exporter Kullanımı

stub_status modülü ham metrikler sağladığından, bunları Prometheus formatına dönüştürmek ve daha zengin metrikler elde etmek için genellikle bir Prometheus Nginx Exporter kullanılır. Bu exporter, Nginx'in stub_status çıktısını okur ve OpenTelemetry Collector'ın Prometheus receiver'ı tarafından kolayca tüketilebilen Prometheus metrik formatında sunar.

Doğrudan OpenTelemetry Collector ile Metrik Toplama

OpenTelemetry Collector, Prometheus receiver'ı sayesinde doğrudan Prometheus exporter'lardan metrikleri çekebilir. Nginx exporter'ı ayrı bir process olarak çalıştırıp, Collector'ın onu scrape etmesini sağlayabilirsiniz.

Örnek Nginx stub_status Yapılandırması

Yukarıdaki stub_status yapılandırması, Nginx'in temel metriklerini sunar. Bu metrikler, OpenTelemetry Collector tarafından Prometheus Nginx Exporter aracılığıyla veya özel bir receiver geliştirilerek toplanabilir. Genellikle, Prometheus Nginx Exporter, stub_status verilerini daha anlamlı Prometheus metriklerine dönüştürdüğü için tercih edilir.

Nginx Loglarının OpenTelemetry ile Toplanması

Nginx logları, erişim desenleri, hata durumları ve güvenlik olayları hakkında zengin bilgiler içerir. OpenTelemetry Collector'ın filelog receiver'ı, bu logları toplamak ve işlemek için ideal bir araçtır.

Erişim ve Hata Logları

Nginx iki ana log türü üretir:

• Erişim Logları (access.log): Her gelen istekle ilgili bilgileri (IP adresi, istek yöntemi, URL, durum kodu, yanıt boyutu vb.) kaydeder.
• Hata Logları (error.log): Nginx'in karşılaştığı sorunları ve hataları kaydeder.

Bu logların formatını Nginx yapılandırmasında özelleştirebilirsiniz. JSON formatı, logların makine tarafından okunabilirliğini artırdığı ve daha kolay işlenebildiği için OpenTelemetry ile kullanımda şiddetle tavsiye edilir.

OpenTelemetry Collector Filelog Receiver

OpenTelemetry Collector'ın filelog receiver'ı, belirli dosya yollarındaki logları okuyabilir, onları ayrıştırabilir ve OpenTelemetry log formatına dönüştürebilir.

Log Formatlarının Yapılandırılması (JSON loglar)

Nginx'i JSON formatında log yazmaya yapılandırmak, OpenTelemetry Collector'ın logları daha verimli bir şekilde ayrıştırmasını sağlar. Örnek bir JSON log formatı:

http {
    log_format json_combined escape=json
      '{'
        '"time_local":"$time_local",'
        '"remote_addr":"$remote_addr",'
        '"request":"$request",'
        '"status":"$status",'
        '"body_bytes_sent":"$body_bytes_sent",'
        '"http_referer":"$http_referer",'
        '"http_user_agent":"$http_user_agent",'
        '"request_time":"$request_time",'
        '"upstream_response_time":"$upstream_response_time",'
        '"request_id":"$request_id"'
      '}';

    server {
        listen 80;
        server_name localhost;

        access_log /var/log/nginx/access.json json_combined;
        error_log /var/log/nginx/error.log warn; # Hata logları genellikle JSON formatında tutulmaz
    }
}

Örnek Nginx Log Yapılandırması

Yukarıdaki JSON log formatı, access.json dosyasına yazılacaktır. OpenTelemetry Collector, bu dosyayı okuyarak her bir JSON satırını bir log kaydına dönüştürebilir.

OpenTelemetry Collector Yapılandırması

OpenTelemetry Collector, Nginx'ten gelen metrik ve log verilerini toplayan, işleyen ve dışa aktaran merkezi bileşendir. otel-collector-config.yaml dosyası üzerinden yapılandırılır.

Receiver'lar (filelog, prometheus)

• filelog receiver: Nginx'in access.json ve error.log dosyalarını okumak için kullanılır.
• prometheus receiver: Prometheus Nginx Exporter'dan metrikleri çekmek için kullanılır.

Processor'lar (batch, resourcedetection, transform)

• batch processor: Verileri toplu halde göndererek ağ yükünü azaltır.
• resourcedetection processor: Toplanan verilere host adı, IP adresi gibi kaynak bilgilerini ekler.
• transform processor: Log veya metrik verilerini zenginleştirmek veya filtrelemek için kullanılır.

Exporter'lar (OTLP, Prometheus Remote Write, Loki)

• otlp exporter: OpenTelemetry Protocol (OTLP) kullanarak verileri başka bir Collector'a veya uyumlu bir izleme platformuna gönderir.
• prometheusremotewrite exporter: Metrikleri Prometheus uyumlu bir depolama sistemine (örn. Thanos, Cortex) gönderir.
• loki exporter: Logları Grafana Loki'ye gönderir.

Örnek otel-collector-config.yaml

receivers:
  # Nginx erişim loglarını toplama
  filelog/nginx_access:
    include: [ "/var/log/nginx/access.json" ]
    start_at: beginning
    # JSON logları ayrıştırmak için
    operators:
      - type: json_parser
        timestamp:
          field: time_local
          layout: '%d/%b/%Y:%H:%M:%S %z'
        severity:
          field: status
          mapping:
            "2xx": INFO
            "3xx": INFO
            "4xx": WARN
            "5xx": ERROR
        body:
          field: request
        attributes:
          status_code: "status"
          remote_ip: "remote_addr"
          user_agent: "http_user_agent"
          request_time: "request_time"
          upstream_time: "upstream_response_time"

  # Nginx hata loglarını toplama
  filelog/nginx_error:
    include: [ "/var/log/nginx/error.log" ]
    start_at: beginning
    operators:
      - type: regex_parser
        regex: '^(?P\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}) \[(?P.*?)\] (?P\d+)#(?P\d+): \*?(?P.*)$'
        timestamp:
          field: time
          layout: '%Y/%m/%d %H:%M:%S'
        severity:
          field: level
        body:
          field: message
        attributes:
          pid: "pid"
          tid: "tid"

  # Prometheus Nginx Exporter'dan metrikleri çekme
  prometheus:
    config:
      scrape_configs:
        - job_name: 'nginx'
          scrape_interval: 15s
          static_configs:
            - targets: ['nginx-exporter:9113'] # Nginx exporter'ın çalıştığı adres

processors:
  batch:
    send_batch_size: 1000
    timeout: 10s
  resourcedetection:
    detectors: [system]
    system:
      hostname_sources: [os]
  # Logları ve metrikleri işlemek için daha fazla işlemci eklenebilir

exporters:
  # Metrikleri Prometheus Remote Write uyumlu bir depoya gönderme
  prometheusremotewrite:
    endpoint: "http://prometheus-server:9090/api/v1/write"

  # Logları Grafana Loki'ye gönderme
  loki:
    endpoint: "http://loki:3100/loki/api/v1/push"
    # Etiketleri ayarlayarak Loki'de daha kolay sorgulama yapın
    labels:
      resource:
        host.name:
        service.name:
      attributes:
        nginx_log_type:

service:
  pipelines:
    metrics:
      receivers: [prometheus]
      processors: [batch, resourcedetection]
      exporters: [prometheusremotewrite]
    logs:
      receivers: [filelog/nginx_access, filelog/nginx_error]
      processors: [batch, resourcedetection]
      exporters: [loki]

İzleme Verilerinin Görselleştirilmesi ve Analizi

Toplanan Nginx metrikleri ve logları, Grafana gibi güçlü görselleştirme araçları ve Prometheus veya Loki gibi depolama sistemleri kullanılarak anlamlı panolara dönüştürülebilir.

Prometheus ve Grafana ile Entegrasyon

Prometheus, zaman serisi metrikleri depolamak için popüler bir açık kaynaklı çözümdür. OpenTelemetry Collector'dan gelen metrikleri alır ve bunları Grafana'da görselleştirmek için bir veri kaynağı olarak kullanılabilir. Grafana panoları, Nginx'in aktif bağlantıları, istek oranları, hata yüzdeleri ve yanıt süreleri gibi kritik metrikleri gerçek zamanlı olarak izlemenizi sağlar.

Log Yönetim Sistemleri (Loki, ELK Stack)

Nginx logları, Grafana Loki veya ELK (Elasticsearch, Logstash, Kibana) Stack gibi log yönetim sistemlerine gönderilebilir. Loki, Prometheus'un etiketleme modelini kullanarak logları indeksler ve Grafana ile sorunsuz bir entegrasyon sunar. Bu sistemler, logları aramanıza, filtrelemenize, korelasyon kurmanıza ve belirli olaylar için uyarılar oluşturmanıza olanak tanır.

Anomali Tespiti ve Uyarı Mekanizmaları

İzleme verileri, anormallikleri tespit etmek için kullanılabilir. Örneğin, normalin üzerinde bir hata oranı veya beklenmedik bir trafik düşüşü bir sorun olduğunu gösterebilir. Prometheus Alertmanager veya Grafana'nın uyarı özellikleri kullanılarak bu tür durumlar için bildirimler (e-posta, Slack, PagerDuty vb.) yapılandırılabilir.

En İyi Uygulamalar ve İpuçları

OpenTelemetry ile Nginx izlemeyi uygularken göz önünde bulundurmanız gereken bazı en iyi uygulamalar ve ipuçları vardır.

Kaynak Tüketimini Optimize Etme

OpenTelemetry Collector'ın kendisi de kaynak tüketir. Özellikle yüksek trafikli ortamlarda, Collector'ın CPU ve bellek kullanımını optimize etmek önemlidir. batch işlemcisi kullanmak, sampling stratejileri uygulamak ve gereksiz metrikleri veya logları filtrelemek, kaynak tüketimini azaltmaya yardımcı olabilir.

Güvenlik Konuları

İzleme verileri hassas bilgiler içerebilir. Collector ile izleme platformları arasındaki iletişimin şifrelenmesi (TLS/SSL), erişim kontrolü ve yetkilendirme mekanizmalarının kullanılması güvenlik açısından kritik öneme sahiptir. Ayrıca, Nginx stub_status endpoint'ine erişimi kısıtlamak da önemlidir.

Ölçeklenebilirlik ve Yüksek Erişilebilirlik

Büyük ölçekli dağıtımlarda, OpenTelemetry Collector'ı birden fazla örneğe dağıtmak ve yük dengeleyici arkasına yerleştirmek yüksek erişilebilirlik sağlar. Collector'lar arasında verileri iletmek için OTLP exporter/receiver çiftleri kullanılabilir.

Sürekli İyileştirme

İzleme altyapınızı periyodik olarak gözden geçirin. Yeni metrikler ekleyin, gereksiz olanları kaldırın ve panolarınızı kullanıcı ihtiyaçlarına göre güncelleyin. Uygulamanız geliştikçe, izleme ihtiyaçlarınız da değişecektir.

Sonuç

Nginx metriklerinin ve loglarının OpenTelemetry ile izlenmesi, modern ve ölçeklenebilir bir gözlemlenebilirlik stratejisinin temel taşlarından biridir. OpenTelemetry'nin vendor bağımsızlığı, standartlaştırılmış veri formatları ve esnek Collector yapısı sayesinde, Nginx sunucularınızın performansını, sağlığını ve güvenliğini kapsamlı bir şekilde izleyebilir, potansiyel sorunları hızla tespit edebilir ve proaktif önlemler alabilirsiniz. Bu entegrasyon, operasyonel verimliliği artırırken, karmaşıklığı azaltır ve geleceğe dönük bir izleme altyapısı kurmanıza olanak tanır.

SSS (Sık Sorulan Sorular)

OpenTelemetry neden diğer izleme çözümlerinden daha iyi?

OpenTelemetry, vendor bağımsızlığı, açık standartları ve birleşik bir telemetri sinyali (metrikler, loglar, traceler) toplama yeteneği sayesinde öne çıkar. Bu, satıcı kilitlenmesini önler ve farklı araçlar arasında kolay entegrasyon sağlar.

Nginx izleme için hangi metrikler kritik?

Kritik Nginx metrikleri arasında aktif bağlantılar, kabul edilen/işlenen bağlantılar, istek başına yanıt süresi, hata oranları (4xx, 5xx), bant genişliği kullanımı ve CPU/bellek tüketimi bulunur.

OpenTelemetry Collector'ı nereye kurmalıyım?

OpenTelemetry Collector, genellikle Nginx sunucusunun çalıştığı makineye bir agent olarak veya ayrı bir merkezi Collector kümesi olarak dağıtılabilir. Küçük ölçekli dağıtımlarda Nginx ile aynı sunucuda çalışması yaygındır.

Nginx loglarını OpenTelemetry ile JSON formatında göndermek zorunlu mu?

Zorunlu değildir, ancak şiddetle tavsiye edilir. JSON formatı, logların makine tarafından kolayca ayrıştırılmasını ve yapılandırılmış veri olarak işlenmesini sağlar, bu da sorgulama ve analiz yeteneklerini büyük ölçüde geliştirir.

OpenTelemetry kullanmanın maliyeti nedir?

OpenTelemetry'nin kendisi açık kaynaklı ve ücretsizdir. Ancak, toplanan verileri depolamak ve görselleştirmek için kullandığınız Prometheus, Loki, Grafana gibi açık kaynaklı araçlar için altyapı maliyetleri veya ticari izleme platformları için lisans ücretleri olabilir.