G\u00fcn\u00fcm\u00fcz\u00fcn h\u0131zla dijitalle\u015fen d\u00fcnyas\u0131nda, sistemler, a\u011flar ve uygulamalar s\u00fcrekli olarak b\u00fcy\u00fck miktarda veri \u00fcretmektedir. Bu veriler, sunucu performans\u0131ndan kullan\u0131c\u0131 davran\u0131\u015flar\u0131na, finansal i\u015flemlerden sens\u00f6r okumalar\u0131na kadar geni\u015f bir yelpazeyi kapsar. Bu devasa veri ak\u0131\u015f\u0131 i\u00e7erisinde, normalden sapmalar\u0131, yani anomalileri tespit etmek, kritik \u00f6neme sahiptir. Anomali tespiti, potansiyel g\u00fcvenlik ihlallerini, sistem ar\u0131zalar\u0131n\u0131, performans d\u00fc\u015f\u00fc\u015flerini, doland\u0131r\u0131c\u0131l\u0131k giri\u015fimlerini veya beklenmedik operasyonel sorunlar\u0131 erken a\u015famada belirlemek i\u00e7in kullan\u0131lan bir tekniktir. Erken tespit, olas\u0131 zararlar\u0131 minimize etme, hizmet kesintilerini \u00f6nleme ve h\u0131zl\u0131 m\u00fcdahale etme yetene\u011fi sa\u011flar.<\/p>\n
Anomaliler genellikle nadir, s\u0131ra d\u0131\u015f\u0131 veya beklenmedik olaylar olarak tan\u0131mlan\u0131r. Bunlar, veri setindeki di\u011fer g\u00f6zlemlerden \u00f6nemli \u00f6l\u00e7\u00fcde farkl\u0131l\u0131k g\u00f6sterirler. Ancak, bir verinin “anormal” olup olmad\u0131\u011f\u0131n\u0131 belirlemek, genellikle ba\u011flama, veri tipine ve beklenen davran\u0131\u015fa ba\u011fl\u0131 olarak karma\u015f\u0131k bir s\u00fcre\u00e7tir. Bu nedenle, manuel g\u00f6zlem yerine otomatik anomali tespit sistemleri, modern IT altyap\u0131lar\u0131n\u0131n vazge\u00e7ilmez bir par\u00e7as\u0131 haline gelmi\u015ftir.<\/p>\n
Skyline, Etsy taraf\u0131ndan geli\u015ftirilen ve a\u00e7\u0131k kaynak olarak sunulan, ger\u00e7ek zamanl\u0131 anomali tespit sistemi olarak \u00f6ne \u00e7\u0131kmaktad\u0131r. \u00d6zellikle metrik tabanl\u0131 verilerde anomalileri tespit etmek i\u00e7in tasarlanm\u0131\u015ft\u0131r. Bu makalede, Skyline’\u0131n ne oldu\u011funu, mimarisini, anomali tespiti temellerini ve \u00f6zellikle CentOS 7 i\u015fletim sistemi \u00fczerinde nas\u0131l kurulup yap\u0131land\u0131r\u0131larak kullan\u0131laca\u011f\u0131n\u0131 detayl\u0131 bir \u015fekilde inceleyece\u011fiz. Amac\u0131m\u0131z, okuyuculara Skyline’\u0131 kendi altyap\u0131lar\u0131nda ba\u015far\u0131l\u0131 bir \u015fekilde uygulayabilmeleri i\u00e7in kapsaml\u0131 bir rehber sunmakt\u0131r.<\/p>\n
Skyline, ger\u00e7ek zamanl\u0131 zaman serisi verilerindeki anomalileri tespit etmek i\u00e7in tasarlanm\u0131\u015f, Python tabanl\u0131 bir anomali tespit sistemidir. Etsy’nin kendi \u00fcretim ortamlar\u0131nda kar\u015f\u0131la\u015ft\u0131\u011f\u0131 ihtiya\u00e7lardan do\u011fmu\u015f ve 2012 y\u0131l\u0131nda a\u00e7\u0131k kaynak olarak yay\u0131nlanm\u0131\u015ft\u0131r. Temel amac\u0131, y\u00fcz binlerce farkl\u0131 metrik ak\u0131\u015f\u0131n\u0131 ayn\u0131 anda izleyerek, beklenmedik davran\u0131\u015flar\u0131 otomatik olarak belirlemek ve ilgili ekiplere bildirmektir.<\/p>\n
Skyline’\u0131n en \u00f6nemli \u00f6zelliklerinden biri, s\u00fcrekli \u00f6\u011frenme yetene\u011fidir. Statik e\u015fik de\u011ferleri yerine, metriklerin ge\u00e7mi\u015f davran\u0131\u015flar\u0131n\u0131 analiz ederek dinamik e\u015fikler olu\u015fturur ve bu e\u015fiklerin d\u0131\u015f\u0131na \u00e7\u0131kan durumlar\u0131 anomali olarak i\u015faretler. Bu sayede, mevsimsel de\u011fi\u015fiklikler, g\u00fcnl\u00fck d\u00f6ng\u00fcler veya kademeli art\u0131\u015flar gibi normal davran\u0131\u015flar yanl\u0131\u015f pozitiflere neden olmadan tolere edilebilir.<\/p>\n
Skyline’\u0131n Temel \u00d6zellikleri:<\/strong> Anomali tespiti, veri setindeki beklentilerin d\u0131\u015f\u0131nda kalan, nadir veya \u015f\u00fcpheli veri noktalar\u0131n\u0131, olaylar\u0131 veya g\u00f6zlemleri belirleme s\u00fcrecidir. Anomaliler genellikle \u00fc\u00e7 ana kategoriye ayr\u0131l\u0131r:<\/p>\n 1. Nokta Anomalileri (Point Anomalies):<\/strong> Veri setindeki tek bir veri noktas\u0131n\u0131n di\u011fer noktalardan \u00f6nemli \u00f6l\u00e7\u00fcde farkl\u0131 olmas\u0131 durumudur. \u00d6rne\u011fin, bir sunucunun CPU kullan\u0131m\u0131n\u0131n aniden %100’e f\u0131rlamas\u0131. Skyline, genellikle zaman serisi verilerindeki nokta ve ba\u011flamsal anomalileri tespit etmeye odaklan\u0131r. Bunu yaparken, istatistiksel y\u00f6ntemler, makine \u00f6\u011frenimi algoritmalar\u0131 ve ge\u00e7mi\u015f veri desenlerini kullan\u0131r.<\/p>\n Skyline, birden fazla bile\u015fenden olu\u015fan mod\u00fcler bir mimariye sahiptir. Bu bile\u015fenler, metrik toplama, analiz, depolama ve g\u00f6rselle\u015ftirme g\u00f6revlerini yerine getirir.<\/p>\n 1. Graphite (Metrik Toplama ve Depolama):<\/strong> Skyline’\u0131n do\u011frudan bir par\u00e7as\u0131 olmasa da, metrikleri toplamak ve depolamak i\u00e7in temel bir ba\u011f\u0131ml\u0131l\u0131kt\u0131r. Skyline, analiz edece\u011fi zaman serisi verilerini Graphite’tan \u00e7eker. Graphite, Carbon (veri toplay\u0131c\u0131), Whisper (sabit boyutlu veritaban\u0131) ve Graphite-web (veri g\u00f6rselle\u015ftirme) bile\u015fenlerinden olu\u015fur. Bu bile\u015fenler, birbirleriyle entegre bir \u015fekilde \u00e7al\u0131\u015farak, metriklerin toplanmas\u0131ndan anomali tespitine ve g\u00f6rselle\u015ftirmesine kadar t\u00fcm s\u00fcreci otomatize eder.<\/p>\n Skyline’\u0131 CentOS 7 \u00fczerinde kurmak, Python, Redis ve Graphite gibi ba\u011f\u0131ml\u0131l\u0131klar\u0131n do\u011fru \u015fekilde kurulmas\u0131n\u0131 ve yap\u0131land\u0131r\u0131lmas\u0131n\u0131 gerektirir. Ad\u0131m ad\u0131m kurulum s\u00fcrecini a\u015fa\u011f\u0131da bulabilirsiniz.<\/p>\n Kuruluma ba\u015flamadan \u00f6nce, sisteminizin g\u00fcncel oldu\u011fundan emin olun ve gerekli geli\u015ftirme ara\u00e7lar\u0131n\u0131 y\u00fckleyin.<\/p>\n Skyline, Python 2.7 \u00fczerinde \u00e7al\u0131\u015f\u0131r ve ba\u011f\u0131ml\u0131l\u0131k \u00e7ak\u0131\u015fmalar\u0131n\u0131 \u00f6nlemek i\u00e7in bir Redis, Skyline’\u0131n temel veri depolama katmanlar\u0131ndan biridir.<\/p>\n Graphite, metrikleri toplamak, depolamak ve g\u00f6rselle\u015ftirmek i\u00e7in kullan\u0131l\u0131r. Carbon, Whisper ve Graphite-web’i kuraca\u011f\u0131z.<\/p>\n Not:<\/strong> Art\u0131k taray\u0131c\u0131n\u0131zdan Skyline’\u0131 virtualenv i\u00e7inde kuraca\u011f\u0131z.<\/p>\n Skyline’\u0131n ana yap\u0131land\u0131rma dosyas\u0131 Yap\u0131land\u0131rma dosyas\u0131n\u0131 dikkatlice g\u00f6zden ge\u00e7irin ve ortam\u0131n\u0131za uygun \u015fekilde ayarlay\u0131n.<\/p>\n Skyline’\u0131n Horizon, Analyzer, Mirage ve Ionosphere bile\u015fenlerini ayr\u0131 ayr\u0131 ba\u015flatman\u0131z gerekmektedir. Bunlar\u0131 systemd Servis Dosyalar\u0131 Olu\u015fturma:<\/strong><\/p>\n Kullan\u0131c\u0131 Olu\u015fturma ve \u0130zinleri Ayarlama:<\/strong><\/p>\n Servisleri Ba\u015flatma ve Etkinle\u015ftirme:<\/strong><\/p>\n T\u00fcm servislerin Skyline, metrikleri Graphite \u00fczerinden al\u0131r. Bu nedenle, anomali tespiti yapmak istedi\u011finiz metrikleri Graphite’a g\u00f6ndermeniz gerekir.<\/p>\n \u00d6rnek Metrik G\u00f6nderme (Python Script):<\/strong> Bu beti\u011fi \u00e7al\u0131\u015ft\u0131rd\u0131\u011f\u0131n\u0131zda, metrikler Graphite’a akmaya ba\u015flayacak ve Skyline bunlar\u0131 analiz etmeye ba\u015flayacakt\u0131r. Bir s\u00fcre sonra, Skyline web aray\u00fcz\u00fcnde (genellikle Mevcut Sistemlerden Metrik Toplama:<\/strong> Skyline’\u0131n web aray\u00fcz\u00fc, tespit edilen anomalileri ve metriklerin zaman serisi grafiklerini g\u00f6rselle\u015ftirmek i\u00e7in kullan\u0131l\u0131r. Horizon bile\u015feni, varsay\u0131lan olarak 1500 portunda \u00e7al\u0131\u015f\u0131r. E\u011fer Apache proxy’si kurmad\u0131ysan\u0131z, Skyline Aray\u00fcz\u00fcn\u00fcn Kullan\u0131m\u0131:<\/strong> Yanl\u0131\u015f Pozitiflerin Y\u00f6netimi:<\/strong> Skyline, temel kurulumun \u00f6tesinde, daha karma\u015f\u0131k senaryolar ve optimizasyonlar i\u00e7in de olanaklar sunar.<\/p>\n Ionosphere, Skyline’\u0131n makine \u00f6\u011frenimi katman\u0131d\u0131r. Tespit edilen anomalileri daha derinlemesine analiz eder ve kullan\u0131c\u0131 geri bildirimleriyle \u00f6\u011frenir. Bir anomali tespit edildi\u011finde, Ionosphere bu anomaliyi bir “mirage” olarak de\u011ferlendirir ve ge\u00e7mi\u015f verilerle kar\u015f\u0131la\u015ft\u0131rarak bir “fingerprint” (parmak izi) olu\u015fturur. Kullan\u0131c\u0131lar, bu mirage’lar\u0131 “ger\u00e7ek anomali” veya “yanl\u0131\u015f pozitif” olarak i\u015faretleyebilir. Ionosphere, bu geri bildirimleri kullanarak, gelecekte benzer parmak izlerine sahip olaylar\u0131n do\u011fru bir \u015fekilde s\u0131n\u0131fland\u0131r\u0131lmas\u0131na yard\u0131mc\u0131 olur. Bu, sistemin zamanla daha do\u011fru ve ba\u011flama duyarl\u0131 hale gelmesini sa\u011flar.<\/p>\n Skyline’\u0131n esnek yap\u0131s\u0131 sayesinde, kendi \u00f6zel anomali algoritmalar\u0131n\u0131z\u0131 yaz\u0131p sisteme entegre edebilirsiniz. Bu, belirli i\u015f y\u00fckleriniz veya veri tipleriniz i\u00e7in daha uygun olabilecek \u00f6zel tespit y\u00f6ntemleri kullanman\u0131za olanak tan\u0131r. Algoritmalar genellikle Python s\u0131n\u0131flar\u0131 olarak yaz\u0131l\u0131r ve * Redis:<\/strong> Redis’in performans\u0131, Skyline’\u0131n genel h\u0131z\u0131 i\u00e7in kritiktir. Yeterli bellek ay\u0131rd\u0131\u011f\u0131n\u0131zdan ve disk I\/O’sunun optimize edildi\u011finden emin olun. \u00dcretim ortamlar\u0131nda, Skyline’\u0131n y\u00fcksek kullan\u0131labilirli\u011fini sa\u011flamak \u00f6nemlidir. Skyline kurulumu ve i\u015fletimi s\u0131ras\u0131nda baz\u0131 yayg\u0131n sorunlarla kar\u015f\u0131la\u015f\u0131labilir.<\/p>\n 1. Metrikler Graphite’a Ula\u015fm\u0131yor:<\/strong> Skyline, ger\u00e7ek zamanl\u0131 anomali tespiti i\u00e7in g\u00fc\u00e7l\u00fc, esnek ve \u00f6l\u00e7eklenebilir bir \u00e7\u00f6z\u00fcmd\u00fcr. \u00d6zellikle zaman serisi verilerinde beklenmedik davran\u0131\u015flar\u0131 otomatik olarak belirleyerek, sistem y\u00f6neticilerine, geli\u015ftiricilere ve i\u015f analistlerine kritik bilgiler sa\u011flar. CentOS 7 \u00fczerinde do\u011fru bir kurulum ve yap\u0131land\u0131rma ile Skyline’\u0131 \u00fcretim ortamlar\u0131n\u0131zda ba\u015far\u0131l\u0131 bir \u015fekilde \u00e7al\u0131\u015ft\u0131rabilirsiniz.<\/p>\n Bu makalede sunulan kapsaml\u0131 rehber, Skyline’\u0131n temel mimarisinden CentOS 7 \u00fczerinde ad\u0131m ad\u0131m kurulumuna, metrik entegrasyonundan anomali tespiti ve g\u00f6rselle\u015ftirmeye kadar geni\u015f bir yelpazeyi kapsamaktad\u0131r. Ionosphere gibi geli\u015fmi\u015f \u00f6zellikler sayesinde, Skyline zamanla daha ak\u0131ll\u0131 hale gelir ve yanl\u0131\u015f pozitifleri azaltarak daha do\u011fru sonu\u00e7lar \u00fcretir. Anomali tespiti, modern izleme stratejilerinin vazge\u00e7ilmez bir par\u00e7as\u0131d\u0131r ve Skyline, bu alandaki en iyi a\u00e7\u0131k kaynak ara\u00e7lardan biridir. Do\u011fru uyguland\u0131\u011f\u0131nda, operasyonel verimlili\u011fi art\u0131rabilir, g\u00fcvenlik risklerini azaltabilir ve i\u015f s\u00fcreklili\u011fini sa\u011flayabilir.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"CentOS 7 \u00dczerinde Skyline ile Anomali Tespiti: Kapsaml\u0131 Bir Rehber\nGiri\u015f: Anomali Tespiti ve \u00d6nemi\nG\u00fcn\u00fcm\u00fcz\u00fcn h\u0131zla dijitalle\u015fen d\u00fcnyas\u0131nd","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[241],"tags":[],"class_list":{"0":"post-36271","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-linux","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n* Ger\u00e7ek Zamanl\u0131 Analiz:<\/strong> Gelen metrikleri an\u0131nda i\u015fleyerek anomalileri \u00e7ok h\u0131zl\u0131 bir \u015fekilde tespit eder.
\n* \u00d6l\u00e7eklenebilirlik:<\/strong> Y\u00fcz binlerce metri\u011fi ayn\u0131 anda i\u015fleyebilecek \u015fekilde tasarlanm\u0131\u015ft\u0131r. Redis ve Graphite gibi g\u00fc\u00e7l\u00fc arka u\u00e7larla entegre \u00e7al\u0131\u015f\u0131r.
\n* Dinamik E\u015fikler:<\/strong> Sabit e\u015fikler yerine, ge\u00e7mi\u015f veri desenlerini \u00f6\u011frenerek dinamik anomali e\u015fikleri olu\u015fturur.
\n* \u00c7oklu Anomali Algoritmalar\u0131:<\/strong> Farkl\u0131 t\u00fcrdeki anomalileri tespit etmek i\u00e7in \u00e7e\u015fitli istatistiksel ve makine \u00f6\u011frenimi tabanl\u0131 algoritmalar\u0131 kullan\u0131r.
\n* G\u00f6rselle\u015ftirme:<\/strong> Tespit edilen anomalileri ve metriklerin zaman serisi grafiklerini kullan\u0131c\u0131 dostu bir aray\u00fcz \u00fczerinden sunar.
\n* Esneklik:<\/strong> \u00d6zel anomali algoritmalar\u0131 eklemeye veya mevcut algoritmalar\u0131 yap\u0131land\u0131rmaya olanak tan\u0131r.
\n* A\u00e7\u0131k Kaynak:<\/strong> Python ile yaz\u0131lm\u0131\u015f olmas\u0131, topluluk taraf\u0131ndan kolayca geni\u015fletilmesine ve uyarlanmas\u0131na olanak tan\u0131r.<\/p>\nAnomali Tespiti Temelleri<\/h3>\n
\n2. Ba\u011flamsal Anomaliler (Contextual Anomalies):<\/strong> Bir veri noktas\u0131n\u0131n de\u011feri, tek ba\u015f\u0131na bak\u0131ld\u0131\u011f\u0131nda normal g\u00f6r\u00fcnebilirken, belirli bir ba\u011flamda anormal olmas\u0131 durumudur. \u00d6rne\u011fin, bir web sitesinin gece yar\u0131s\u0131 5000 iste\u011fe ula\u015fmas\u0131 normal olabilirken, \u00f6\u011fle saatlerinde ayn\u0131 iste\u011fe ula\u015fmas\u0131 anormal olabilir.
\n3. Kolektif Anomaliler (Collective Anomalies):<\/strong> Bir grup ilgili veri noktas\u0131n\u0131n, tek tek bak\u0131ld\u0131\u011f\u0131nda normal g\u00f6r\u00fcnse de, bir araya geldiklerinde anormal bir davran\u0131\u015f sergilemesi durumudur. \u00d6rne\u011fin, bir a\u011fdaki t\u00fcm makinelerin belirli bir s\u00fcre boyunca \u00e7ok k\u00fc\u00e7\u00fck bir gecikme ya\u015famas\u0131, tek tek normal olsa da, toplu olarak bir DDoS sald\u0131r\u0131s\u0131n\u0131n g\u00f6stergesi olabilir.<\/p>\nSkyline Mimarisi ve Bile\u015fenleri<\/h3>\n
\n2. Redis (H\u0131zl\u0131 Veri Depolama):<\/strong> Skyline’\u0131n \u00e7e\u015fitli bile\u015fenleri aras\u0131nda veri al\u0131\u015fveri\u015fini sa\u011flamak, ge\u00e7ici verileri depolamak ve anomali durumlar\u0131n\u0131 kaydetmek i\u00e7in y\u00fcksek performansl\u0131 bir anahtar-de\u011fer veritaban\u0131d\u0131r.
\n3. Horizon (Ana Uygulama):<\/strong> Skyline’\u0131n ana kontrol merkezidir. Graphite’tan metrik verilerini \u00e7eker, Analyzer’a g\u00f6nderir ve anomali tespit sonu\u00e7lar\u0131n\u0131 Redis’e yazar. Ayr\u0131ca, Skyline web aray\u00fcz\u00fcn\u00fc de bar\u0131nd\u0131r\u0131r.
\n4. Analyzer (Anomali Analiz Motoru):<\/strong> Horizon’dan gelen metrik verilerini i\u015fler ve \u00e7e\u015fitli anomali algoritmalar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131r\u0131r. Bir metrikte anomali tespit edildi\u011finde, bu bilgiyi Redis’e geri g\u00f6nderir. Skyline’\u0131n kalbi say\u0131l\u0131r. Birden fazla Analyzer \u00f6rne\u011fi \u00e7al\u0131\u015ft\u0131r\u0131larak \u00f6l\u00e7eklenebilirlik sa\u011flanabilir.
\n5. Mirage (Ger\u00e7ek Zamanl\u0131 Analiz):<\/strong> Yeni gelen metrikler \u00fczerinde daha h\u0131zl\u0131 ve hafif anomali tespiti yapmak i\u00e7in tasarlanm\u0131\u015ft\u0131r. \u00d6zellikle y\u00fcksek frekansl\u0131 metrikler i\u00e7in an\u0131nda geri bildirim sa\u011flar. Genellikle daha az karma\u015f\u0131k algoritmalar kullan\u0131r.
\n6. Ionosphere (Makine \u00d6\u011frenimi ve \u00d6\u011frenme):<\/strong> Skyline’\u0131n makine \u00f6\u011frenimi tabanl\u0131 \u00f6\u011frenme ve adaptasyon katman\u0131d\u0131r. Tespit edilen anomalileri inceler, yanl\u0131\u015f pozitifleri belirlemeyi \u00f6\u011frenir ve gelecekteki anomali tespitlerini iyile\u015ftirmek i\u00e7in algoritmalar\u0131 ayarlar. Kullan\u0131c\u0131 geri bildirimlerini de dikkate alabilir.
\n7. Luminosity (G\u00f6rselle\u015ftirme – Genellikle Horizon ile Birle\u015fik):<\/strong> Skyline’\u0131n web aray\u00fcz\u00fc \u00fczerinden metriklerin grafiklerini ve tespit edilen anomalileri g\u00f6rselle\u015ftirmeyi sa\u011flar.<\/p>\nCentOS 7 \u00dczerinde Skyline Kurulumu<\/h3>\n
\u00d6nko\u015fullar ve Sistem G\u00fcncellemesi<\/h4>\n
sudo yum update -y\nsudo yum install -y epel-release\nsudo yum install -y python-pip python-devel gcc make git<\/code><\/pre>\nPython Ortam\u0131n\u0131n Haz\u0131rlanmas\u0131<\/h4>\n
virtualenv<\/code> kullanmak en iyi y\u00f6ntemdir.<\/p>\nsudo pip install virtualenv\nmkdir \/opt\/skyline\ncd \/opt\/skyline\nvirtualenv skyline_env\nsource skyline_env\/bin\/activate\nArt\u0131k virtualenv i\u00e7indesiniz. \u00c7\u0131kmak i\u00e7in 'deactivate' komutunu kullan\u0131n.<\/code><\/pre>\n<\/h2>\n
Redis Kurulumu ve Yap\u0131land\u0131rmas\u0131<\/h4>\n
# EPEL deposundan Redis kurun\nsudo yum install -y redis\n\nRedis'i ba\u015flat\u0131n ve sistem ba\u015flang\u0131c\u0131nda otomatik ba\u015flamas\u0131n\u0131 sa\u011flay\u0131n<\/h2>\nsudo systemctl start redis\nsudo systemctl enable redis\n\n
Redis yap\u0131land\u0131rmas\u0131n\u0131 kontrol edin (iste\u011fe ba\u011fl\u0131, varsay\u0131lan ayarlar genellikle yeterlidir)<\/h2>\n
sudo vi \/etc\/redis.conf<\/h2>\n
bind 127.0.0.1 (varsay\u0131lan olarak bu olmal\u0131)<\/code><\/pre>\n<\/h2>\n
Graphite Kurulumu ve Yap\u0131land\u0131rmas\u0131<\/h4>\n
# Gerekli ba\u011f\u0131ml\u0131l\u0131klar\u0131 y\u00fckleyin\nsudo yum install -y python-carbon python-whisper python-django python-django-tagging mod_wsgi httpd\n\nCarbon yap\u0131land\u0131rmas\u0131<\/h2>\nsudo cp \/etc\/carbon\/carbon.conf.example \/etc\/carbon\/carbon.conf\nsudo cp \/etc\/carbon\/storage-schemas.conf.example \/etc\/carbon\/storage-schemas.conf\n\n
storage-schemas.conf dosyas\u0131n\u0131 d\u00fczenleyin<\/h2>\n
Bu dosya, metriklerin ne kadar s\u00fcreyle ve hangi \u00e7\u00f6z\u00fcn\u00fcrl\u00fckte saklanaca\u011f\u0131n\u0131 belirler.<\/h2>\n
\u00d6rne\u011fin, t\u00fcm metrikleri 1 dakika aral\u0131klarla 90 g\u00fcn saklamak i\u00e7in:<\/h2>\n
sudo vi \/etc\/carbon\/storage-schemas.conf<\/h2>\n
[skyline]<\/h2>\n
pattern = .*<\/h2>\n
retentions = 60s:90d<\/h2>\n\n
Carbon'u ba\u015flat\u0131n ve otomatik ba\u015flamas\u0131n\u0131 sa\u011flay\u0131n<\/h2>\nsudo systemctl start carbon-cache\nsudo systemctl enable carbon-cache\n\n
Graphite-web yap\u0131land\u0131rmas\u0131<\/h2>\n
Django veritaban\u0131n\u0131 olu\u015fturun<\/h2>\nsudo graphite-manage syncdb --noinput\n
S\u00fcper kullan\u0131c\u0131 olu\u015fturun (web aray\u00fcz\u00fcne giri\u015f i\u00e7in)<\/h2>\n
sudo graphite-manage createsuperuser<\/h2>\n\n
Apache i\u00e7in WSGI yap\u0131land\u0131rmas\u0131<\/h2>\n
\/etc\/httpd\/conf.d\/graphite.conf dosyas\u0131n\u0131 olu\u015fturun veya d\u00fczenleyin<\/h2>\nsudo vi \/etc\/httpd\/conf.d\/graphite.conf<\/code><\/pre>\n
\/etc\/httpd\/conf.d\/graphite.conf<\/code> i\u00e7eri\u011fi:<\/p>\npython-path<\/code> i\u00e7inde Skyline’\u0131n virtualenv yolunu eklemek \u00f6nemlidir.<\/p>\n# Apache'yi yeniden ba\u015flat\u0131n ve otomatik ba\u015flamas\u0131n\u0131 sa\u011flay\u0131n\nsudo systemctl restart httpd\nsudo systemctl enable httpd\n\nG\u00fcvenlik duvar\u0131n\u0131 yap\u0131land\u0131r\u0131n (80 ve 2003 portlar\u0131 i\u00e7in)<\/h2>\nsudo firewall-cmd --add-port=80\/tcp --permanent\nsudo firewall-cmd --add-port=2003\/tcp --permanent\nsudo firewall-cmd --reload<\/code><\/pre>\n
http:\/\/your_server_ip_or_hostname<\/code> adresine giderek Graphite web aray\u00fcz\u00fcne eri\u015febilmelisiniz.<\/p>\nSkyline Kaynak Kodunun \u0130ndirilmesi ve Ba\u011f\u0131ml\u0131l\u0131klar\u0131n Kurulumu<\/h4>\n
# virtualenv i\u00e7inde oldu\u011funuzdan emin olun\nsource \/opt\/skyline\/skyline_env\/bin\/activate<\/h2>\n\ncd \/opt\/skyline\ngit clone https:\/\/github.com\/earthgecko\/skyline.git\ncd skyline\n\n
Skyline ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131 y\u00fckleyin<\/h2>\npip install -r requirements.txt\n\n
Baz\u0131 ba\u011f\u0131ml\u0131l\u0131klar i\u00e7in ek sistem paketleri gerekebilir (numpy, scipy vb.)<\/h2>\n
Bu paketler genellikle pip taraf\u0131ndan otomatik olarak derlenir, ancak bazen sorunlar \u00e7\u0131kabilir.<\/h2>\n
E\u011fer pip install -r requirements.txt s\u0131ras\u0131nda derleme hatalar\u0131 al\u0131rsan\u0131z,<\/h2>\n
a\u015fa\u011f\u0131daki paketleri kurmay\u0131 deneyin:<\/h2>\n
sudo yum install -y gcc-c++ atlas-devel lapack-devel blas-devel<\/h2>\n
pip install numpy scipy<\/code><\/pre>\n<\/h2>\n
Skyline Yap\u0131land\u0131rmas\u0131<\/h4>\n
settings.py<\/code>‘dir. Bu dosyay\u0131 \u00f6rnek dosyadan kopyalay\u0131p d\u00fczenlemeniz gerekmektedir.<\/p>\ncd \/opt\/skyline\/skyline\ncp settings.py.example settings.py\nvi settings.py<\/code><\/pre>\nsettings.py<\/code> i\u00e7inde d\u00fczenlemeniz gereken baz\u0131 \u00f6nemli alanlar:
\n* SERVER_METRICS_NAME<\/code>: Sunucu isminiz veya IP adresiniz.
\n* GRAPHITE_HOST<\/code>: Graphite sunucunuzun IP adresi (genellikle 127.0.0.1<\/code>).
\n* REDIS_HOST<\/code>: Redis sunucunuzun IP adresi (genellikle 127.0.0.1<\/code>).
\n* REDIS_PORT<\/code>: Redis portu (varsay\u0131lan 6379<\/code>).
\n* REMOTE_SKYLINE<\/code>: E\u011fer birden fazla Skyline \u00f6rne\u011finiz varsa.
\n* FULL_DURATION<\/code>: Metriklerin anomali tespiti i\u00e7in ne kadar ge\u00e7mi\u015fe bak\u0131laca\u011f\u0131n\u0131 belirler (saniye cinsinden). \u00d6rne\u011fin, 86400<\/code> (24 saat).
\n* MIN_TOLERABLE_LENGTH<\/code>: Bir metri\u011fin analiz edilebilmesi i\u00e7in sahip olmas\u0131 gereken minimum veri noktas\u0131 say\u0131s\u0131.
\n* ANOMALY_DETECTION_ALGORITHMS<\/code>: Kullan\u0131lacak anomali algoritmalar\u0131 listesi. Varsay\u0131lanlar genellikle iyi bir ba\u015flang\u0131\u00e7t\u0131r.
\n* IONOSPHERE_ENABLED<\/code>: Ionosphere’i kullanmak istiyorsan\u0131z True<\/code> olarak ayarlay\u0131n.
\n* DEBUG<\/code>: Geli\u015ftirme ortam\u0131 i\u00e7in True<\/code>, \u00fcretim i\u00e7in False<\/code>.<\/p>\nSkyline Bile\u015fenlerinin Ba\u015flat\u0131lmas\u0131<\/h4>\n
systemd<\/code> servisleri olarak \u00e7al\u0131\u015ft\u0131rmak, \u00fcretim ortamlar\u0131 i\u00e7in en iyi y\u00f6ntemdir.<\/p>\nhorizon.service<\/code> (\/etc\/systemd\/system\/horizon.service<\/code>):<\/p>\n[Unit]\nDescription=Skyline Horizon\nAfter=network.target redis.service carbon-cache.service\n\n[Service]\nType=simple\nUser=skyline_user # Bu kullan\u0131c\u0131y\u0131 olu\u015fturman\u0131z gerekecek\nGroup=skyline_user\nWorkingDirectory=\/opt\/skyline\/skyline\nExecStart=\/opt\/skyline\/skyline_env\/bin\/python \/opt\/skyline\/skyline\/horizon.py\nRestart=always\nRestartSec=5\n\n[Install]\nWantedBy=multi-user.target<\/code><\/pre>\nanalyzer.service<\/code> (\/etc\/systemd\/system\/analyzer.service<\/code>):<\/p>\n[Unit]\nDescription=Skyline Analyzer\nAfter=network.target redis.service carbon-cache.service horizon.service\n\n[Service]\nType=simple\nUser=skyline_user\nGroup=skyline_user\nWorkingDirectory=\/opt\/skyline\/skyline\nExecStart=\/opt\/skyline\/skyline_env\/bin\/python \/opt\/skyline\/skyline\/analyzer.py\nRestart=always\nRestartSec=5\n\n[Install]\nWantedBy=multi-user.target<\/code><\/pre>\nmirage.service<\/code> (\/etc\/systemd\/system\/mirage.service<\/code>):<\/p>\n[Unit]\nDescription=Skyline Mirage\nAfter=network.target redis.service carbon-cache.service horizon.service\n\n[Service]\nType=simple\nUser=skyline_user\nGroup=skyline_user\nWorkingDirectory=\/opt\/skyline\/skyline\nExecStart=\/opt\/skyline\/skyline_env\/bin\/python \/opt\/skyline\/skyline\/mirage.py\nRestart=always\nRestartSec=5\n\n[Install]\nWantedBy=multi-user.target<\/code><\/pre>\nionosphere.service<\/code> (\/etc\/systemd\/system\/ionosphere.service<\/code>):<\/p>\n[Unit]\nDescription=Skyline Ionosphere\nAfter=network.target redis.service carbon-cache.service horizon.service\n\n[Service]\nType=simple\nUser=skyline_user\nGroup=skyline_user\nWorkingDirectory=\/opt\/skyline\/skyline\nExecStart=\/opt\/skyline\/skyline_env\/bin\/python \/opt\/skyline\/skyline\/ionosphere.py\nRestart=always\nRestartSec=5\n\n[Install]\nWantedBy=multi-user.target<\/code><\/pre>\nsudo useradd -r -s \/sbin\/nologin skyline_user\nsudo chown -R skyline_user:skyline_user \/opt\/skyline<\/code><\/pre>\nsudo systemctl daemon-reload\nsudo systemctl start horizon analyzer mirage ionosphere\nsudo systemctl enable horizon analyzer mirage ionosphere\n\nServis durumlar\u0131n\u0131 kontrol edin<\/h2>\nsudo systemctl status horizon analyzer mirage ionosphere<\/code><\/pre>\n
active (running)<\/code> durumda oldu\u011fundan emin olun.<\/p>\nSkyline ile Metrik Entegrasyonu<\/h3>\n
\nA\u015fa\u011f\u0131daki basit Python beti\u011fi, Graphite’a test metrikleri g\u00f6ndermek i\u00e7in kullan\u0131labilir.<\/p>\nimport socket\nimport time\nimport random\n\nGRAPHITE_HOST = '127.0.0.1' # Graphite sunucunuzun IP adresi\nGRAPHITE_PORT = 2003\n\ndef send_metric(metric_name, value):\n timestamp = int(time.time())\n message = \"%s %s %s\\n\" % (metric_name, value, timestamp)\n print \"Sending: %s\" % message.strip()\n sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)\n sock.connect((GRAPHITE_HOST, GRAPHITE_PORT))\n sock.sendall(message)\n sock.close()\n\nif __name__ == \"__main__\":\n while True:\n # Normal bir metrik ak\u0131\u015f\u0131\n send_metric(\"test.cpu_usage\", random.uniform(20, 40))\n send_metric(\"test.memory_free\", random.uniform(500, 1000))\n \n # Bazen anomali yaratmak i\u00e7in y\u00fcksek de\u011fer g\u00f6nderelim\n if random.randint(1, 10) == 1: # %10 ihtimalle anomali\n send_metric(\"test.cpu_usage\", random.uniform(80, 95))\n \n time.sleep(5) # Her 5 saniyede bir metrik g\u00f6nder<\/code><\/pre>\nhttp:\/\/your_server_ip_or_hostname:1500<\/code> veya Apache proxy’si \u00fczerinden) bu metrikleri ve tespit edilen anomalileri g\u00f6rebileceksiniz.<\/p>\n
\nGer\u00e7ek d\u00fcnyada, Telegraf, Prometheus Exporter’lar veya \u00f6zel betikler arac\u0131l\u0131\u011f\u0131yla sunucular\u0131n\u0131zdan, uygulamalar\u0131n\u0131zdan ve a\u011f cihazlar\u0131n\u0131zdan metrikleri toplay\u0131p Graphite’a g\u00f6ndermeniz gerekir. Telegraf, bir\u00e7ok farkl\u0131 kaynaktan metrik toplay\u0131p Graphite format\u0131nda g\u00f6nderebilen esnek bir ara\u00e7t\u0131r.<\/p>\nAnomali Tespiti ve G\u00f6rselle\u015ftirme<\/h3>\n
http:\/\/your_server_ip_or_hostname:1500<\/code> adresinden eri\u015febilirsiniz.<\/p>\n
\n1. Ana Sayfa:<\/strong> Ana sayfa, son tespit edilen anomalilerin bir \u00f6zetini g\u00f6sterir.
\n2. Metrik Listesi:<\/strong> T\u00fcm izlenen metriklerin bir listesini g\u00f6rebilirsiniz. Her metri\u011fe t\u0131klayarak detayl\u0131 grafi\u011fini ve ge\u00e7mi\u015f anomali olaylar\u0131n\u0131 inceleyebilirsiniz.
\n3. Anomali Grafikleri:<\/strong> Bir anomali tespit edildi\u011finde, Skyline ilgili metrik grafi\u011fini i\u015faretler ve anomali an\u0131n\u0131 vurgular.
\n4. Ionosphere:<\/strong> E\u011fer etkinle\u015ftirildiyse, Ionosphere aray\u00fcz\u00fc \u00fczerinden yanl\u0131\u015f pozitifleri i\u015faretleyebilir, anomali olaylar\u0131n\u0131 kategorize edebilir ve Ionosphere’\u0131n \u00f6\u011frenme s\u00fcrecine katk\u0131da bulunabilirsiniz. Bu, Skyline’\u0131n zamanla daha ak\u0131ll\u0131 hale gelmesini sa\u011flar.<\/p>\n
\nAnomali tespit sistemlerinde yanl\u0131\u015f pozitifler (normal olan\u0131n anormal olarak i\u015faretlenmesi) yayg\u0131n bir sorundur. Skyline, bu sorunu azaltmak i\u00e7in \u00e7e\u015fitli mekanizmalar sunar:
\n* Algoritma Ayarlar\u0131:<\/strong> settings.py<\/code> dosyas\u0131ndaki algoritmalar\u0131n hassasiyetini ayarlayabilirsiniz.
\n* Ionosphere:<\/strong> En g\u00fc\u00e7l\u00fc ara\u00e7lardan biridir. Yanl\u0131\u015f pozitifleri Ionosphere’a “bu bir anomali de\u011fil” olarak i\u015faretleyerek, sistemin gelecekte benzer durumlar\u0131 g\u00f6rmezden gelmesini sa\u011flayabilirsiniz.
\n* E\u015fik De\u011ferleri:<\/strong> Baz\u0131 metrikler i\u00e7in \u00f6zel e\u015fik de\u011ferleri tan\u0131mlayarak belirli aral\u0131klar\u0131n normal kabul edilmesini sa\u011flayabilirsiniz.<\/p>\nGeli\u015fmi\u015f Konular ve Optimizasyon<\/h3>\n
Ionosphere ile \u00d6\u011frenme ve Adaptasyon<\/h4>\n
\u00d6zel Anomali Algoritmalar\u0131 Ekleme<\/h4>\n
settings.py<\/code> i\u00e7inde tan\u0131mlan\u0131r.<\/p>\nPerformans Optimizasyonu<\/h4>\n
\n* Graphite:<\/strong> Carbon’un storage-schemas.conf<\/code> ayarlar\u0131, veri saklama politikalar\u0131n\u0131 ve dolay\u0131s\u0131yla disk kullan\u0131m\u0131n\u0131 ve sorgu performans\u0131n\u0131 etkiler. \u0130htiya\u00e7lar\u0131n\u0131za uygun retentions ayarlay\u0131n. Whisper dosyalar\u0131n\u0131n boyutu zamanla artaca\u011f\u0131ndan, yeterli disk alan\u0131 sa\u011flay\u0131n.
\n* Birden Fazla Analyzer:<\/strong> Y\u00fcksek metrik hacmine sahipseniz, birden fazla Analyzer \u00f6rne\u011fi \u00e7al\u0131\u015ft\u0131rarak i\u015f y\u00fck\u00fcn\u00fc da\u011f\u0131tabilirsiniz. Her Analyzer, metriklerin bir alt k\u00fcmesini i\u015fleyebilir.<\/p>\nY\u00fcksek Kullan\u0131labilirlik ve \u00d6l\u00e7eklenebilirlik<\/h4>\n
\n* Y\u00fck Dengeleyici:<\/strong> Skyline’\u0131n web aray\u00fcz\u00fc ve API’leri i\u00e7in bir y\u00fck dengeleyici (\u00f6rn. Nginx, HAProxy) kullanabilirsiniz.
\n* Redis K\u00fcmelemesi:<\/strong> Redis’in y\u00fcksek kullan\u0131labilirli\u011fini sa\u011flamak i\u00e7in Redis Sentinel veya Redis Cluster kullanabilirsiniz.
\n* Graphite Y\u00fcksek Kullan\u0131labilirlik:<\/strong> Graphite i\u00e7in de k\u00fcmelenmi\u015f \u00e7\u00f6z\u00fcmler mevcuttur (\u00f6rn. Carbon-relay, Ceres).<\/p>\nS\u0131k Kar\u015f\u0131la\u015f\u0131lan Sorunlar ve \u00c7\u00f6z\u00fcmleri<\/h3>\n
\n * \u00c7\u00f6z\u00fcm:<\/strong> Carbon servisi (carbon-cache<\/code>) \u00e7al\u0131\u015f\u0131yor mu kontrol edin (sudo systemctl status carbon-cache<\/code>). G\u00fcvenlik duvar\u0131n\u0131n 2003 portunu a\u00e7\u0131k oldu\u011fundan emin olun (sudo firewall-cmd --list-all<\/code>). Metrik g\u00f6nderen uygulaman\u0131z\u0131n do\u011fru IP ve porta g\u00f6nderdi\u011fini do\u011frulay\u0131n.
\n2. Skyline Web Aray\u00fcz\u00fc Eri\u015filemiyor (1500 portu):<\/strong>
\n * \u00c7\u00f6z\u00fcm:<\/strong> Horizon servisi \u00e7al\u0131\u015f\u0131yor mu kontrol edin (sudo systemctl status horizon<\/code>). G\u00fcvenlik duvar\u0131n\u0131n 1500 portunu a\u00e7\u0131k oldu\u011fundan emin olun. settings.py<\/code> i\u00e7indeki SKYLINE_URL<\/code> ve EXTERNAL_SKYLINE_HOST<\/code> ayarlar\u0131n\u0131 kontrol edin.
\n3. Skyline Anomali Tespit Etmiyor:<\/strong>
\n * \u00c7\u00f6z\u00fcm:<\/strong>
\n * Metriklerin Graphite’a ula\u015ft\u0131\u011f\u0131ndan ve Graphite’\u0131n bunlar\u0131 saklad\u0131\u011f\u0131ndan emin olun (Graphite web aray\u00fcz\u00fcnden kontrol edin).
\n * Analyzer servisi \u00e7al\u0131\u015f\u0131yor mu kontrol edin (sudo systemctl status analyzer<\/code>).
\n * Skyline loglar\u0131n\u0131 kontrol edin (\/opt\/skyline\/skyline\/logs\/<\/code>). Hata mesajlar\u0131 size yol g\u00f6sterebilir.
\n * settings.py<\/code> i\u00e7indeki FULL_DURATION<\/code> ve MIN_TOLERABLE_LENGTH<\/code> de\u011ferlerinin yeterince b\u00fcy\u00fck oldu\u011fundan emin olun. Metriklerin anomali tespiti i\u00e7in yeterli ge\u00e7mi\u015f veriye sahip olmas\u0131 gerekir.
\n * Redis’in \u00e7al\u0131\u015ft\u0131\u011f\u0131ndan ve Skyline’\u0131n Redis’e ba\u011flanabildi\u011finden emin olun.
\n4. Y\u00fcksek Bellek veya CPU Kullan\u0131m\u0131:<\/strong>
\n * \u00c7\u00f6z\u00fcm:<\/strong>
\n * settings.py<\/code> i\u00e7indeki NUMBER_OF_PROCESSES<\/code> ayar\u0131n\u0131 d\u00fc\u015f\u00fcrerek Analyzer’\u0131n paralel i\u015flemci say\u0131s\u0131n\u0131 azaltabilirsiniz.
\n * Daha fazla Analyzer \u00f6rne\u011fi \u00e7al\u0131\u015ft\u0131r\u0131yorsan\u0131z, her birinin i\u015fledi\u011fi metrik say\u0131s\u0131n\u0131 dengeleyin.
\n * Redis ve Graphite i\u00e7in bellek optimizasyonlar\u0131n\u0131 g\u00f6zden ge\u00e7irin.
\n * Ionosphere, y\u00fcksek CPU\/bellek kullanabilir. E\u011fer \u00e7ok fazla metrik ve anomali varsa, daha g\u00fc\u00e7l\u00fc bir sunucuya ihtiyac\u0131n\u0131z olabilir.<\/p>\nSonu\u00e7<\/h3>\n