Yapay zeka (AI) projelerinde, \u00f6zellikle de kodlama ajanlar\u0131 gibi karma\u015f\u0131k sistemlerde, modellerinizin performans\u0131n\u0131 do\u011fru ve g\u00fcvenilir bir \u015fekilde de\u011ferlendirmek hayati \u00f6neme sahiptir. “Holdout setini dondurmak” kavram\u0131, modelinizin ger\u00e7ek d\u00fcnya verileri \u00fczerindeki genelleme yetene\u011fini (generalization ability) tarafs\u0131z bir \u015fekilde \u00f6l\u00e7mek i\u00e7in uygulaman\u0131z gereken kritik bir ad\u0131md\u0131r. Bu makale, veri s\u0131z\u0131nt\u0131s\u0131n\u0131 (data leakage) \u00f6nleyerek AI modellerinizin ger\u00e7ek performans skorlar\u0131n\u0131 nas\u0131l elde edebilece\u011finizi, holdout setinin ne oldu\u011funu ve neden dondurulmas\u0131 gerekti\u011fini ad\u0131m ad\u0131m a\u00e7\u0131klayacak.<\/p>\n
Makine \u00f6\u011frenimi ve yapay zeka projelerinde, bir modeli e\u011fitirken elimizdeki t\u00fcm veriyi tek bir k\u00fcme olarak kullanmak b\u00fcy\u00fck bir hatad\u0131r. Bunun yerine, veri setimizi genellikle \u00fc\u00e7 ana par\u00e7aya ay\u0131r\u0131r\u0131z: e\u011fitim (training), do\u011frulama (validation) ve test (test) veya holdout (ayr\u0131lm\u0131\u015f) setleri. Bu ayr\u0131m, modelimizin yaln\u0131zca e\u011fitim verilerini ezberlemesini de\u011fil, ayn\u0131 zamanda daha \u00f6nce hi\u00e7 g\u00f6rmedi\u011fi verilere nas\u0131l tepki verdi\u011fini anlamam\u0131z\u0131 sa\u011flar. \u0130\u015fte burada holdout setinin \u00f6nemi ortaya \u00e7\u0131kar.<\/p>\n
Holdout seti, modelin e\u011fitim ve do\u011frulama a\u015famalar\u0131nda kesinlikle kullan\u0131lmayan, tamamen izole edilmi\u015f bir veri k\u00fcmesidir. Amac\u0131, modelin nihai ve tarafs\u0131z bir de\u011ferlendirmesini sa\u011flamakt\u0131r. E\u011fitim seti, modelin \u00f6\u011frenme s\u00fcrecinde a\u011f\u0131rl\u0131klar\u0131n\u0131 ve parametrelerini ayarlad\u0131\u011f\u0131 ana veridir. Do\u011frulama seti ise, e\u011fitim s\u0131ras\u0131nda modelin performans\u0131n\u0131 izlemek, hiperparametreleri (hyperparameters) ayarlamak ve a\u015f\u0131r\u0131 \u00f6\u011frenmeyi (overfitting) engellemek i\u00e7in kullan\u0131l\u0131r. \u00d6rne\u011fin, bir kodlama ajan\u0131 geli\u015ftirirken, e\u011fitim setinde binlerce kod par\u00e7ac\u0131\u011f\u0131 ve ilgili a\u00e7\u0131klamalar bulunabilirken, do\u011frulama setinde ajan\u0131n hen\u00fcz g\u00f6rmedi\u011fi ancak benzer yap\u0131da olan ba\u015fka kod \u00f6rnekleri yer alabilir. Bu sayede, ajan\u0131n belirli bir kodlama stilini veya problem tipini ne kadar iyi genelledi\u011fini g\u00f6zlemleyebiliriz.<\/p>\n
Peki, holdout setini neden ayr\u0131 tutmal\u0131y\u0131z? E\u011fer do\u011frulama setini nihai de\u011ferlendirme i\u00e7in kullan\u0131rsak, modelin hiperparametre optimizasyonu s\u0131ras\u0131nda dolayl\u0131 yoldan bu verilere “bakm\u0131\u015f” olma riski vard\u0131r. Bu durum, veri s\u0131z\u0131nt\u0131s\u0131na yol a\u00e7ar ve modelin performans skorlar\u0131n\u0131n ger\u00e7ekte oldu\u011fundan daha iyi g\u00f6r\u00fcnmesine neden olabilir. Bir kodlama ajan\u0131 \u00f6rne\u011fi \u00fczerinden d\u00fc\u015f\u00fcnelim: E\u011fer ajan\u0131n mimarisini veya \u00f6\u011frenme oran\u0131n\u0131, do\u011frulama setindeki belirli hatalar\u0131 d\u00fczeltecek \u015fekilde s\u00fcrekli ayarlarsak, ajan asl\u0131nda bu do\u011frulama setini “ezberlemeye” ba\u015flar. Bu, ajan\u0131n yeni ve tamamen farkl\u0131 kodlama g\u00f6revlerinde ayn\u0131 ba\u015far\u0131y\u0131 g\u00f6steremeyece\u011fi anlam\u0131na gelir.<\/p>\n
Bu nedenle, holdout seti, modelin “ger\u00e7ek d\u00fcnya” performans\u0131n\u0131 sim\u00fcle eden son s\u0131nav ka\u011f\u0131d\u0131d\u0131r. Bu seti, modelin t\u00fcm e\u011fitim ve do\u011frulama s\u00fcre\u00e7leri tamamland\u0131ktan, hiperparametreler optimize edildikten ve modelin nihai versiyonu belirlendikten sonra kullan\u0131r\u0131z. Holdout setindeki performans skorlar\u0131, modelin daha \u00f6nce hi\u00e7 kar\u015f\u0131la\u015fmad\u0131\u011f\u0131 verilere ne kadar iyi genelledi\u011fini g\u00f6sterir ve bu skorlar, projenin payda\u015flar\u0131na sunulacak g\u00fcvenilir metriklerdir. Veri s\u0131z\u0131nt\u0131s\u0131 riski olmadan elde edilen bu skorlar, modelin da\u011f\u0131t\u0131ma haz\u0131r olup olmad\u0131\u011f\u0131na dair en do\u011fru karar\u0131 vermemizi sa\u011flar.<\/p>\n
“Holdout setini dondurmak” tabiri, bu kritik veri k\u00fcmesinin model geli\u015ftirme s\u00fcrecinin hi\u00e7bir a\u015famas\u0131nda kullan\u0131lmamas\u0131, de\u011fi\u015ftirilmemesi ve hatta dolayl\u0131 yoldan etkilenmemesi anlam\u0131na gelir. Bu, sadece teknik bir terim de\u011fil, ayn\u0131 zamanda bir disiplin ve metodolojik bir yakla\u015f\u0131md\u0131r. Dondurma i\u015flemi, holdout setinin b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc ve tarafs\u0131zl\u0131\u011f\u0131n\u0131 korumak i\u00e7in al\u0131nan bir dizi \u00f6nlemi kapsar. Amac\u0131m\u0131z, modelin ger\u00e7ek genelleme yetene\u011fini \u00f6l\u00e7erken herhangi bir \u00f6n yarg\u0131dan (bias) ka\u00e7\u0131nmakt\u0131r.<\/p>\n
Dondurma s\u00fcrecinin temel prensibi, holdout setini, modelin e\u011fitim, do\u011frulama ve hatta \u00f6zellik m\u00fchendisli\u011fi (feature engineering) a\u015famalar\u0131ndan tamamen izole etmektir. Bu, \u015fu anlama gelir:<\/p>\n
Peki, bu izolasyonu pratik olarak nas\u0131l sa\u011flar\u0131z? \u0130lk ve en \u00f6nemli ad\u0131m, veri setini ba\u015flang\u0131\u00e7ta do\u011fru bir \u015fekilde b\u00f6lmektir. \u00c7o\u011fu zaman, verinin %70-80’i e\u011fitim, %10-15’i do\u011frulama ve kalan %10-15’i holdout olarak ayr\u0131l\u0131r. Bu ayr\u0131m yap\u0131ld\u0131ktan sonra, holdout seti fiziksel veya mant\u0131ksal olarak ayr\u0131 bir depolama alan\u0131na ta\u015f\u0131nmal\u0131 veya eri\u015fimi k\u0131s\u0131tlanmal\u0131d\u0131r. Bir veri bilimci ekibiyle \u00e7al\u0131\u015f\u0131rken, holdout setine eri\u015fim yetkileri dikkatlice y\u00f6netilmelidir. Belirli bir a\u015famaya kadar, ekibin sadece k\u00fc\u00e7\u00fck bir k\u0131sm\u0131n\u0131n bu sete eri\u015fimi olmal\u0131 ve modelin nihai versiyonu belirlenene kadar kullan\u0131lmas\u0131 engellenmelidir.<\/p>\n
Bu s\u00fcre\u00e7te versiyon kontrol sistemleri (version control systems) de b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r. Veri setlerinin farkl\u0131 versiyonlar\u0131n\u0131 takip etmek ve hangi modelin hangi veri versiyonuyla e\u011fitildi\u011fini belgelemek, \u015feffafl\u0131\u011f\u0131 art\u0131r\u0131r ve hatalar\u0131n \u00f6n\u00fcne ge\u00e7er. Holdout setinin dondurulmas\u0131, sadece bir “g\u00fcvenlik \u00f6nlemi” de\u011fil, ayn\u0131 zamanda bilimsel bir yakla\u015f\u0131m\u0131n ve etik bir de\u011ferlendirme standard\u0131n\u0131n temelidir. Bu disiplin, \u00f6zellikle kodlama ajanlar\u0131 gibi karma\u015f\u0131k ve kritik uygulamalarda, modelin ger\u00e7ek yeteneklerini abartmadan veya yan\u0131lt\u0131c\u0131 sonu\u00e7lar sunmadan de\u011ferlendirmemizi sa\u011flar.<\/p>\n
Kodlama ajanlar\u0131, modern yaz\u0131l\u0131m geli\u015ftirme s\u00fcre\u00e7lerinde giderek daha fazla yer bulan, kod \u00fcretme, hata ay\u0131klama, kod tamamlama, refakt\u00f6r etme ve hatta test senaryolar\u0131 yazma gibi g\u00f6revleri otomatikle\u015ftiren yapay zeka sistemleridir. Bu ajanlar\u0131n performans\u0131, \u00fcretkenlik, kod kalitesi ve g\u00fcvenlik a\u00e7\u0131s\u0131ndan b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r. Dolay\u0131s\u0131yla, bir kodlama ajan\u0131n\u0131n “skorunu” (\u00f6rne\u011fin, do\u011fru kod \u00fcretme oran\u0131, hata bulma yetene\u011fi) bildirmeden \u00f6nce, bu skorun ne kadar g\u00fcvenilir oldu\u011funu sorgulamak esast\u0131r. \u0130\u015fte bu noktada holdout setinin rol\u00fc kritikle\u015fir.<\/p>\n
Bir kodlama ajan\u0131, genellikle b\u00fcy\u00fck kod tabanlar\u0131, a\u00e7\u0131k kaynak depolar\u0131 ve programlama dili dok\u00fcmantasyonlar\u0131 \u00fczerinde e\u011fitilir. Bu e\u011fitim, ajan\u0131n \u00e7e\u015fitli programlama dillerinin s\u00f6zdizimini (syntax), semanti\u011fini (semantics), yayg\u0131n tasar\u0131m kal\u0131plar\u0131n\u0131 (design patterns) ve hata tiplerini \u00f6\u011frenmesini sa\u011flar. Ancak, ajan\u0131n bu bilgiyi ne kadar iyi genelledi\u011fini ve yeni, daha \u00f6nce hi\u00e7 g\u00f6rmedi\u011fi bir kodlama problemine ne kadar yarat\u0131c\u0131 ve do\u011fru \u00e7\u00f6z\u00fcmler \u00fcretebildi\u011fini anlamak i\u00e7in dondurulmu\u015f bir holdout setine ihtiyac\u0131m\u0131z vard\u0131r.<\/p>\n
Kodlama ajanlar\u0131 i\u00e7in holdout seti, \u015fu t\u00fcr verileri i\u00e7erebilir:<\/p>\n
E\u011fer bir kodlama ajan\u0131, holdout setini “g\u00f6rm\u00fc\u015f” veya ondan dolayl\u0131 yoldan etkilenmi\u015fse, sunulan performans skorlar\u0131 yan\u0131lt\u0131c\u0131 olacakt\u0131r. \u00d6rne\u011fin, e\u011fer ajan\u0131n geli\u015ftiricileri, holdout setindeki belirli bir hata tipini s\u00fcrekli olarak analiz edip modelin mimarisini veya veri \u00f6n i\u015fleme ad\u0131mlar\u0131n\u0131 buna g\u00f6re ayarlarsa, ajan bu \u00f6zel hata tipini d\u00fczeltmede m\u00fckemmel bir skor elde edebilir. Ancak bu, ajan\u0131n genel hata ay\u0131klama yetene\u011finin iyi oldu\u011fu anlam\u0131na gelmez; sadece belirli bir hatay\u0131 ezberledi\u011fi anlam\u0131na gelir. Ger\u00e7ek d\u00fcnyada, yeni ve beklenmedik hata t\u00fcrleriyle kar\u015f\u0131la\u015ft\u0131\u011f\u0131nda performans\u0131nda ciddi d\u00fc\u015f\u00fc\u015fler ya\u015fanabilir.<\/p>\n
Bu t\u00fcr bir veri s\u0131z\u0131nt\u0131s\u0131, kodlama ajan\u0131n\u0131n da\u011f\u0131t\u0131ld\u0131ktan sonra beklenenin alt\u0131nda performans g\u00f6stermesine, geli\u015ftiricilerin ajana olan g\u00fcvenini kaybetmesine ve hatta kritik sistemlerde hatal\u0131 kod \u00fcretimine yol a\u00e7abilir. Bu nedenle, bir kodlama ajan\u0131n\u0131n “ger\u00e7ek” performans\u0131n\u0131 yans\u0131tan, g\u00fcvenilir bir skor sunabilmek i\u00e7in holdout setinin titizlikle dondurulmas\u0131 ve sadece nihai de\u011ferlendirme i\u00e7in kullan\u0131lmas\u0131 \u015fartt\u0131r. Bu yakla\u015f\u0131m, ajan\u0131n ger\u00e7ek genelleme yetene\u011fini ve dolay\u0131s\u0131yla de\u011ferini do\u011fru bir \u015fekilde anlamam\u0131z\u0131 sa\u011flar.<\/p>\n
Bir holdout setini dondurmamak, ilk bak\u0131\u015fta k\u00fc\u00e7\u00fck bir metodolojik hata gibi g\u00f6r\u00fcnse de, sonu\u00e7lar\u0131 bir yapay zeka projesi i\u00e7in y\u0131k\u0131c\u0131 olabilir. Bu durum, \u00f6zellikle y\u00fcksek riskli veya kritik uygulamalarda, maliyetli hatalara, itibar kayb\u0131na ve hatta g\u00fcvenlik a\u00e7\u0131klar\u0131na yol a\u00e7abilir. \u0130\u015fte dondurulmam\u0131\u015f bir holdout setinin nas\u0131l felaketlere yol a\u00e7abilece\u011fini g\u00f6steren hayali bir vaka analizi:<\/p>\n
B\u00fcy\u00fck bir yaz\u0131l\u0131m \u015firketi olan “InnovateTech”, geli\u015ftiricilerin \u00fcretkenli\u011fini art\u0131rmak amac\u0131yla “Kod Sihirbaz\u0131” ad\u0131n\u0131 verdikleri yapay zeka destekli bir kodlama ajan\u0131 geli\u015ftiriyor. Bu ajan, kod tamamlama, hata d\u00fczeltme ve hatta basit fonksiyonlar yazma yetene\u011fine sahip. Proje ekibi, ajan\u0131 e\u011fitmek i\u00e7in \u015firketin eski ve yeni t\u00fcm projelerinden toplanan devasa bir kod veri taban\u0131n\u0131 kullan\u0131yor. Ba\u015flang\u0131\u00e7ta, veriyi %80 e\u011fitim, %10 do\u011frulama ve %10 test (holdout) olarak ay\u0131r\u0131yorlar.<\/p>\n
Geli\u015ftirme ekibi, modelin performans\u0131n\u0131 h\u0131zla art\u0131rmak istiyor. Ajan\u0131n test setindeki (yani holdout olarak ayr\u0131lan k\u0131s\u0131mdaki) baz\u0131 hatalar\u0131 d\u00fczeltmekte zorland\u0131\u011f\u0131n\u0131 fark ediyorlar. Bunun \u00fczerine, test setindeki bu zorlu \u00f6rnekleri manuel olarak incelemeye ba\u015fl\u0131yorlar. Bu \u00f6rneklerdeki ortak kal\u0131plar\u0131 belirleyip, modelin \u00f6zellik m\u00fchendisli\u011fi (feature engineering) a\u015famas\u0131nda bu kal\u0131plar\u0131 daha iyi yakalayacak yeni \u00f6zellikler ekliyorlar. Hatta, test setindeki belirli hata tiplerini daha iyi yakalamak i\u00e7in modelin hiperparametrelerini (\u00f6rne\u011fin, \u00f6\u011frenme oran\u0131 veya katman say\u0131s\u0131) optimize ediyorlar. Her ne kadar test setini do\u011frudan e\u011fitim i\u00e7in kullanmasalar da, bu “ince ayar” s\u00fcreci, test setini dolayl\u0131 yoldan e\u011fitim s\u00fcrecine dahil etmi\u015f oluyor.<\/p>\n
Bu “optimizasyonlar” sonucunda, Kod Sihirbaz\u0131’n\u0131n test setindeki performans skorlar\u0131 inan\u0131lmaz derecede y\u00fckseliyor. Kod tamamlama do\u011frulu\u011fu %95’in \u00fczerine \u00e7\u0131k\u0131yor, hata d\u00fczeltme oran\u0131 %90’lara ula\u015f\u0131yor. Proje y\u00f6neticileri ve \u00fcst y\u00f6netim, bu skorlardan \u00e7ok etkileniyor. B\u00fcy\u00fck bir bas\u0131n toplant\u0131s\u0131yla Kod Sihirbaz\u0131’n\u0131n lansman\u0131 yap\u0131l\u0131yor ve \u00fcr\u00fcn, \u015firketin t\u00fcm geli\u015ftiricilerine da\u011f\u0131t\u0131l\u0131yor. Pazarlama kampanyalar\u0131, ajan\u0131n “devrim niteli\u011findeki” yeteneklerini vurguluyor.<\/p>\n
Ancak, lansmandan k\u0131sa bir s\u00fcre sonra \u015fikayetler gelmeye ba\u015fl\u0131yor. Geli\u015ftiriciler, Kod Sihirbaz\u0131’n\u0131n ger\u00e7ek d\u00fcnyadaki performans\u0131n\u0131n tan\u0131t\u0131mdaki kadar iyi olmad\u0131\u011f\u0131n\u0131 fark ediyor. Ajan, \u015firketin yeni projelerindeki kodlar\u0131 tamamlarken s\u0131k s\u0131k anlams\u0131z \u00f6neriler sunuyor. Daha da k\u00f6t\u00fcs\u00fc, basit hatalar\u0131 d\u00fczeltmekte zorlan\u0131yor ve bazen mevcut kodu bozacak \u00f6nerilerde bulunuyor. \u015eirketin d\u0131\u015far\u0131dan ald\u0131\u011f\u0131 yeni bir projede, ajan kritik bir g\u00fcvenlik a\u00e7\u0131\u011f\u0131n\u0131 tespit edemiyor ve hatta bu a\u00e7\u0131\u011f\u0131 tetikleyecek bir kod \u00f6nerisi yap\u0131yor.<\/p>\n
Bu vaka analizi, dondurulmam\u0131\u015f bir holdout setinin nas\u0131l yan\u0131lt\u0131c\u0131 performans skorlar\u0131na yol a\u00e7abilece\u011fini ve bu yan\u0131lt\u0131c\u0131 skorlar\u0131n ger\u00e7ek d\u00fcnyada ne gibi felaketlere sebep olabilece\u011fini a\u00e7\u0131k\u00e7a g\u00f6stermektedir. Holdout setini dondurmak, sadece teknik bir gereklilik de\u011fil, ayn\u0131 zamanda etik bir sorumluluk ve projenin ba\u015far\u0131s\u0131 i\u00e7in kritik bir ad\u0131md\u0131r.<\/p>\n
Holdout setini etkin bir \u015fekilde y\u00f6netmek, modelinizin g\u00fcvenilirli\u011fini sa\u011flaman\u0131n temelidir. Bu s\u00fcre\u00e7, sadece veriyi ay\u0131rmakla kalmaz, ayn\u0131 zamanda bu ayr\u0131m\u0131 s\u00fcrd\u00fcrmek i\u00e7in belirli protokoller ve ara\u00e7lar kullanmay\u0131 da gerektirir. \u0130\u015fte holdout setinizi do\u011fru bir \u015fekilde y\u00f6netmek i\u00e7in atman\u0131z gereken pratik ad\u0131mlar:<\/p>\n
Veri setinizi ba\u015flang\u0131\u00e7ta do\u011fru bir \u015fekilde b\u00f6lmek, her \u015feyin temelidir. Genellikle %70 e\u011fitim, %15 do\u011frulama ve %15 holdout (test) oran\u0131 kullan\u0131l\u0131r, ancak bu oran veri miktar\u0131na ve problem t\u00fcr\u00fcne g\u00f6re de\u011fi\u015febilir. B\u00fcy\u00fck veri setlerinde holdout oran\u0131 daha k\u00fc\u00e7\u00fck olabilirken, az veri setlerinde daha dikkatli olunmal\u0131d\u0131r.<\/p>\n
Python’da Scikit-learn k\u00fct\u00fcphanesi, bu t\u00fcr b\u00f6l\u00fcmlemeler i\u00e7in g\u00fc\u00e7l\u00fc ara\u00e7lar sunar:<\/p>\n
\nfrom sklearn.model_selection import train_test_split\nimport pandas as pd\n\n# \u00d6rnek bir veri seti olu\u015ftural\u0131m\ndata = {'kod_parcacigi': [f'kod_{i}' for i in range(1000)],\n 'hata_var': [i % 10 == 0 for i in range(1000)]}\ndf = pd.DataFrame(data)\n\n# \u0130lk olarak holdout setini ay\u0131ral\u0131m (\u00f6rne\u011fin %15)\n# stratify parametresi ile s\u0131n\u0131f da\u011f\u0131l\u0131m\u0131n\u0131 koruyabiliriz\nX_temp, X_holdout, y_temp, y_holdout = train_test_split(\n df['kod_parcacigi'], df['hata_var'], test_size=0.15, random_state=42, stratify=df['hata_var']\n)\n\n# Kalan veriyi e\u011fitim ve do\u011frulama setlerine ay\u0131ral\u0131m (\u00f6rne\u011fin %85'in %80'i e\u011fitim, %20'si do\u011frulama)\nX_train, X_val, y_train, y_val = train_test_split(\n X_temp, y_temp, test_size=0.20, random_state=42, stratify=y_temp\n)\n\nprint(f\"E\u011fitim Seti Boyutu: {len(X_train)}\")\nprint(f\"Do\u011frulama Seti Boyutu: {len(X_val)}\")\nprint(f\"Holdout Seti Boyutu: {len(X_holdout)}\")\n <\/code><\/pre>\n<\/div>\n2. Fiziksel ve Mant\u0131ksal \u0130zolasyon<\/h3>\n
Holdout setini ay\u0131rd\u0131ktan sonra, onu di\u011fer veri setlerinden fiziksel veya mant\u0131ksal olarak izole edin. Bu, ayr\u0131 bir dosya dizini, bulut depolama alan\u0131 veya veritaban\u0131 \u015femas\u0131 olabilir. Ekip \u00fcyelerinin, holdout setine eri\u015fimini k\u0131s\u0131tlay\u0131n ve sadece nihai de\u011ferlendirme a\u015famas\u0131nda kullan\u0131lmas\u0131na izin verin.<\/p>\n
3. Veri \u00d6n \u0130\u015fleme ve \u00d6zellik M\u00fchendisli\u011fi Protokolleri<\/h3>\n
T\u00fcm veri \u00f6n i\u015fleme (preprocessing) ad\u0131mlar\u0131 (eksik de\u011fer doldurma, normalizasyon, tokenizasyon vb.) ve \u00f6zellik m\u00fchendisli\u011fi (feature engineering) teknikleri, yaln\u0131zca e\u011fitim seti \u00fczerinde \u00f6\u011frenilen parametrelerle (\u00f6rne\u011fin, e\u011fitim setinin ortalamas\u0131 ve standart sapmas\u0131) uygulanmal\u0131d\u0131r. Holdout setine bu parametreler uygulan\u0131rken, holdout setinin kendi istatistikleri kullan\u0131lmamal\u0131d\u0131r. Bu, veri s\u0131z\u0131nt\u0131s\u0131n\u0131 \u00f6nlemenin kritik bir par\u00e7as\u0131d\u0131r.<\/p>\n
\n\nfrom sklearn.preprocessing import StandardScaler\n\n# E\u011fitim setinden scaler'\u0131 e\u011fit\nscaler = StandardScaler()\nX_train_scaled = scaler.fit_transform(X_train_numeric)\n\n# Ayn\u0131 scaler'\u0131 do\u011frulama ve holdout setlerine uygula\nX_val_scaled = scaler.transform(X_val_numeric)\nX_holdout_scaled = scaler.transform(X_holdout_numeric)\n <\/code><\/pre>\n<\/div>\n4. Versiyon Kontrol\u00fc ve Belgeleme<\/h3>\n
Veri setlerinizin (e\u011fitim, do\u011frulama, holdout) her bir versiyonunu ve bunlar\u0131n nas\u0131l olu\u015fturuldu\u011funu belgeleyin. Veri versiyonlama ara\u00e7lar\u0131 (\u00f6rne\u011fin, DVC – Data Version Control) bu konuda \u00e7ok yard\u0131mc\u0131 olabilir. Hangi modelin hangi veri versiyonuyla e\u011fitildi\u011fini ve hangi holdout setiyle test edildi\u011fini a\u00e7\u0131k\u00e7a belirtin. Bu, \u015feffafl\u0131\u011f\u0131 art\u0131r\u0131r ve gelecekteki denetimleri kolayla\u015ft\u0131r\u0131r.<\/p>\n
5. Ekip \u0130\u00e7i \u0130leti\u015fim ve Protokoller<\/h3>\n
Ekibinizdeki herkesin holdout setinin amac\u0131n\u0131 ve dondurma prensibini anlad\u0131\u011f\u0131ndan emin olun. Holdout setinin ne zaman ve kim taraf\u0131ndan kullan\u0131labilece\u011fine dair net protokoller belirleyin. Erken a\u015famalarda holdout setini incelemekten ka\u00e7\u0131n\u0131n, \u00e7\u00fcnk\u00fc bu bile bilin\u00e7alt\u0131 \u00f6nyarg\u0131lara yol a\u00e7abilir.<\/p>\n
6. Otomatik Test ve CI\/CD Entegrasyonu<\/h3>\n
Model geli\u015ftirme s\u00fcrecinizi otomatik testlerle destekleyin. Holdout seti \u00fczerindeki nihai de\u011ferlendirme, bir CI\/CD (S\u00fcrekli Entegrasyon\/S\u00fcrekli Da\u011f\u0131t\u0131m) hatt\u0131n\u0131n bir par\u00e7as\u0131 olarak otomatikle\u015ftirilebilir. Bu, insan hatas\u0131n\u0131 azalt\u0131r ve her yeni model iterasyonunun dondurulmu\u015f holdout seti \u00fczerinde tutarl\u0131 bir \u015fekilde test edilmesini sa\u011flar.<\/p>\n
Bu ad\u0131mlar\u0131 takip ederek, holdout setinizin b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc koruyabilir ve kodlama ajanlar\u0131n\u0131z\u0131n veya di\u011fer AI modellerinizin performans skorlar\u0131n\u0131n ger\u00e7ek d\u00fcnyadaki genelleme yetene\u011fini do\u011fru bir \u015fekilde yans\u0131tt\u0131\u011f\u0131ndan emin olabilirsiniz. Bu, sadece g\u00fcvenilir sonu\u00e7lar elde etmekle kalmaz, ayn\u0131 zamanda projenizin ba\u015far\u0131s\u0131n\u0131 da do\u011frudan etkiler.<\/p>\n
\u0130leri D\u00fczey Konular: Zaman Serisi ve G\u00fcvenlik Odakl\u0131 Holdout Stratejileri<\/h2>\n
Holdout setini dondurma prensibi, bir\u00e7ok makine \u00f6\u011frenimi projesi i\u00e7in temel bir yakla\u015f\u0131md\u0131r. Ancak baz\u0131 \u00f6zel senaryolar, daha ileri d\u00fczey ve \u00f6zelle\u015fmi\u015f holdout stratejileri gerektirebilir. \u00d6zellikle zaman serisi verileri ve g\u00fcvenlik odakl\u0131 uygulamalar, standart rastgele b\u00f6l\u00fcmlemenin yetersiz kalabilece\u011fi durumlar\u0131 ortaya \u00e7\u0131kar\u0131r.<\/p>\n
Zaman Serisi Verileri \u0130\u00e7in Holdout Stratejileri<\/h3>\n
Kodlama ajanlar\u0131, zaman i\u00e7inde evrilen kod tabanlar\u0131 veya s\u00fcrekli g\u00fcncellenen yaz\u0131l\u0131m projeleriyle \u00e7al\u0131\u015ft\u0131\u011f\u0131nda, veri setleri do\u011fal olarak zaman serisi \u00f6zellikler ta\u015f\u0131r. Bu t\u00fcr verilerde rastgele bir holdout b\u00f6l\u00fcmlemesi yapmak, gelecekteki performans\u0131 do\u011fru bir \u015fekilde tahmin etmede ba\u015far\u0131s\u0131z olabilir. \u00c7\u00fcnk\u00fc model, gelecekteki verilerden “s\u0131z\u0131nt\u0131” yoluyla bilgi edinmi\u015f gibi g\u00f6r\u00fcnebilir. Bu nedenle, zaman serisi i\u00e7in \u00f6zel stratejiler benimsenmelidir:<\/p>\n
\n- Kronolojik Holdout:<\/strong> En yayg\u0131n ve etkili y\u00f6ntemdir. Belirli bir zaman noktas\u0131ndan \u00f6nceki t\u00fcm veriler e\u011fitim ve do\u011frulama i\u00e7in kullan\u0131l\u0131rken, bu zaman noktas\u0131ndan sonraki veriler holdout seti olarak ayr\u0131l\u0131r. \u00d6rne\u011fin, bir kodlama ajan\u0131 i\u00e7in 2023 y\u0131l\u0131na kadar olan t\u00fcm a\u00e7\u0131k kaynak kodlar\u0131 e\u011fitimde kullan\u0131l\u0131rken, 2024 y\u0131l\u0131ndaki yeni projelerden al\u0131nan kodlar holdout setini olu\u015fturur. Bu, ajan\u0131n “gelecekte” nas\u0131l performans g\u00f6sterece\u011fini sim\u00fcle eder.<\/li>\n
- Rolling-Origin Cross-Validation (Kayar Ba\u015flang\u0131\u00e7l\u0131 \u00c7apraz Do\u011frulama):<\/strong> Daha dinamik bir yakla\u015f\u0131m i\u00e7in, \u00e7apraz do\u011frulama (cross-validation) teknikleri zaman serisi i\u00e7in uyarlanabilir. Burada, e\u011fitim ve do\u011frulama setinin ba\u015flang\u0131\u00e7 noktas\u0131 zaman i\u00e7inde kayd\u0131r\u0131l\u0131rken, holdout seti her zaman e\u011fitim setinden sonraki bir zaman dilimini temsil eder. Bu, modelin farkl\u0131 zaman dilimlerinde ne kadar istikrarl\u0131 performans g\u00f6sterdi\u011fini de\u011ferlendirmeye yard\u0131mc\u0131 olur. Ancak bu, nihai holdout setini belirlemeden \u00f6nce do\u011frulama i\u00e7in kullan\u0131lan bir y\u00f6ntemdir.<\/li>\n
- Gap (Bo\u015fluk) Stratejisi:<\/strong> Baz\u0131 durumlarda, e\u011fitim setinin sonu ile holdout setinin ba\u015flang\u0131c\u0131 aras\u0131na bir “bo\u015fluk” b\u0131rakmak faydal\u0131 olabilir. Bu bo\u015fluk, modelin “yak\u0131n gelece\u011fi” tahmin etme yetene\u011fini de\u011fil, daha \u00e7ok belirli bir zaman sonraki genelleme yetene\u011fini test etmek i\u00e7in kullan\u0131l\u0131r. \u00d6zellikle h\u0131zl\u0131 de\u011fi\u015fen kodlama ortamlar\u0131nda veya yeni teknolojilerin ortaya \u00e7\u0131kt\u0131\u011f\u0131 durumlarda bu \u00f6nemlidir.<\/li>\n<\/ul>\n
G\u00fcvenlik Odakl\u0131 Holdout Stratejileri<\/h3>\n
Kodlama ajanlar\u0131, g\u00fcvenlik a\u00e7\u0131klar\u0131n\u0131 tespit etme veya g\u00fcvenli kod yazma yetenekleriyle de de\u011ferlendirilebilir. Bu t\u00fcr kritik uygulamalarda, holdout setinin sadece genel performans\u0131 de\u011fil, ayn\u0131 zamanda ajan\u0131n “k\u00f6t\u00fc niyetli” veya beklenmedik senaryolara kar\u015f\u0131 ne kadar sa\u011flam oldu\u011funu da test etmesi gerekir. G\u00fcvenlik odakl\u0131 holdout stratejileri \u015funlar\u0131 i\u00e7erebilir:<\/p>\n
\n- Adversarial Examples (Zararl\u0131 \u00d6rnekler):<\/strong> Holdout setine, modelin kolayca yan\u0131labilece\u011fi veya yanl\u0131\u015f s\u0131n\u0131fland\u0131rabilece\u011fi \u015fekilde \u00f6zel olarak tasarlanm\u0131\u015f “zararl\u0131 kod par\u00e7ac\u0131klar\u0131” eklenir. Bu \u00f6rnekler, ajan\u0131n g\u00fcvenlik zafiyetlerini veya beklenmedik giri\u015fleri ne kadar iyi i\u015fleyebilece\u011fini test eder. \u00d6rne\u011fin, normalde g\u00fcvenli g\u00f6r\u00fcnen ancak k\u00fc\u00e7\u00fck bir manip\u00fclasyonla g\u00fcvenlik a\u00e7\u0131\u011f\u0131na d\u00f6n\u00fc\u015fen kodlar.<\/li>\n
- Zero-Day Vulnerability (S\u0131f\u0131r G\u00fcn A\u00e7\u0131\u011f\u0131) Sim\u00fclasyonu:<\/strong> Modelin e\u011fitim setinde hi\u00e7 g\u00f6rmedi\u011fi, yeni ke\u015ffedilmi\u015f veya hen\u00fcz kamuya a\u00e7\u0131klanmam\u0131\u015f g\u00fcvenlik a\u00e7\u0131klar\u0131n\u0131 i\u00e7eren kod \u00f6rnekleri holdout setine dahil edilir. Bu, ajan\u0131n yeni ve bilinmeyen tehditlere kar\u015f\u0131 ne kadar proaktif olabilece\u011fini de\u011ferlendirir.<\/li>\n
- Farkl\u0131 Sald\u0131r\u0131 Vekt\u00f6rleri:<\/strong> Holdout seti, farkl\u0131 sald\u0131r\u0131 vekt\u00f6rlerini (\u00f6rne\u011fin, SQL Enjeksiyonu, XSS, Buffer Overflow) hedefleyen kod \u00f6rneklerini dengeli bir \u015fekilde i\u00e7ermelidir. Bu, ajan\u0131n belirli bir sald\u0131r\u0131 tipine kar\u015f\u0131 de\u011fil, genel g\u00fcvenlik tehditlerine kar\u015f\u0131 genelleme yetene\u011fini \u00f6l\u00e7er.<\/li>\n
- Red Teaming (K\u0131rm\u0131z\u0131 Tak\u0131m) Yakla\u015f\u0131m\u0131:<\/strong> Holdout setini olu\u015ftururken veya de\u011ferlendirirken, bir “k\u0131rm\u0131z\u0131 tak\u0131m” (red team) yakla\u015f\u0131m\u0131 benimsenebilir. Bu ekip, ajan\u0131 kand\u0131rmaya veya zay\u0131f noktalar\u0131n\u0131 bulmaya \u00e7al\u0131\u015farak holdout setindeki \u00f6rnekleri manuel olarak tasarlar. Bu, ajan\u0131n “ger\u00e7ek d\u00fcnya” sald\u0131r\u0131lar\u0131na kar\u015f\u0131 ne kadar dayan\u0131kl\u0131 oldu\u011funu anlamak i\u00e7in de\u011ferli bir y\u00f6ntemdir.<\/li>\n<\/ul>\n
Bu ileri d\u00fczey holdout stratejileri, kodlama ajanlar\u0131n\u0131n sadece genel yeteneklerini de\u011fil, ayn\u0131 zamanda zaman i\u00e7indeki evrimlerini ve g\u00fcvenlik zafiyetlerine kar\u015f\u0131 diren\u00e7lerini de do\u011fru bir \u015fekilde de\u011ferlendirmemizi sa\u011flar. Bu, \u00f6zellikle kritik altyap\u0131larda veya hassas verilerle \u00e7al\u0131\u015fan sistemlerde b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r.<\/p>\n
Sonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n
Yapay zeka modellerinin, \u00f6zellikle de kodlama ajanlar\u0131 gibi karma\u015f\u0131k sistemlerin ger\u00e7ek performans\u0131n\u0131 g\u00fcvenilir bir \u015fekilde \u00f6l\u00e7mek, projenin ba\u015far\u0131s\u0131 i\u00e7in kritik bir ad\u0131md\u0131r. “Holdout setini dondurmak” prensibi, veri s\u0131z\u0131nt\u0131s\u0131n\u0131 \u00f6nleyerek ve modelin daha \u00f6nce hi\u00e7 g\u00f6rmedi\u011fi verilere kar\u015f\u0131 genelleme yetene\u011fini tarafs\u0131zca de\u011ferlendirerek bu g\u00fcvenilirli\u011fi sa\u011flar. E\u011fitim ve do\u011frulama s\u00fcre\u00e7lerinde elde edilen skorlar ne kadar etkileyici olursa olsun, dondurulmu\u015f bir holdout seti \u00fczerindeki nihai performans, modelin ger\u00e7ek de\u011ferini ve da\u011f\u0131t\u0131ma haz\u0131r olup olmad\u0131\u011f\u0131n\u0131 g\u00f6steren tek g\u00fcvenilir g\u00f6stergedir. Bu disiplinli yakla\u015f\u0131m, yan\u0131lt\u0131c\u0131 ba\u015far\u0131 hikayelerinden ka\u00e7\u0131nmam\u0131z\u0131, kaynak israf\u0131n\u0131 \u00f6nlememizi ve en \u00f6nemlisi, ger\u00e7ek d\u00fcnyada beklentileri kar\u015f\u0131layan, sa\u011flam ve g\u00fcvenilir AI \u00e7\u00f6z\u00fcmleri sunmam\u0131z\u0131 sa\u011flar.<\/p>\n
Unutmay\u0131n, bir kodlama ajan\u0131n\u0131n veya herhangi bir AI modelinin skorunu bildirmeden \u00f6nce, o skorun ger\u00e7ekten neyi temsil etti\u011finden emin olun. Holdout setinin dondurulmas\u0131, bu g\u00fcvenceyi sa\u011flaman\u0131n en temel ve en etkili yoludur. Bu, sadece teknik bir gereklilik de\u011fil, ayn\u0131 zamanda yapay zeka geli\u015ftirmede etik bir sorumluluktur.<\/p>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n
1. Holdout seti ile do\u011frulama (validation) seti aras\u0131ndaki fark nedir?<\/strong><\/p>\nDo\u011frulama seti, modelin e\u011fitim a\u015famas\u0131nda hiperparametre optimizasyonu ve a\u015f\u0131r\u0131 \u00f6\u011frenmeyi izlemek i\u00e7in kullan\u0131l\u0131r. Geli\u015ftiriciler, modelin performans\u0131n\u0131 bu set \u00fczerinde izleyerek ayarlamalar yapabilir. Holdout seti ise, modelin t\u00fcm geli\u015ftirme s\u00fcreci tamamland\u0131ktan sonra, nihai ve tarafs\u0131z bir de\u011ferlendirme i\u00e7in bir kez kullan\u0131lan, tamamen izole edilmi\u015f bir veri k\u00fcmesidir. Holdout setine hi\u00e7bir zaman model e\u011fitimi veya hiperparametre ayar\u0131 i\u00e7in “bak\u0131lmaz”.<\/p>\n
2. Holdout setini dondurmazsam ne olur?<\/strong><\/p>\nHoldout setini dondurmamak, veri s\u0131z\u0131nt\u0131s\u0131na (data leakage) yol a\u00e7ar. Bu durumda, modeliniz holdout setindeki verilere dolayl\u0131 yoldan maruz kal\u0131r ve bu verileri “ezberlemeye” ba\u015flar. Sonu\u00e7 olarak, modelin holdout seti \u00fczerindeki performans skorlar\u0131 ger\u00e7ekte oldu\u011fundan daha iyi g\u00f6r\u00fcn\u00fcr ve modelin ger\u00e7ek d\u00fcnya genelleme yetene\u011fini yans\u0131tmaz. Bu durum, da\u011f\u0131t\u0131ld\u0131ktan sonra modelin beklentilerin alt\u0131nda performans g\u00f6stermesine, maliyetli hatalara ve g\u00fcven kayb\u0131na yol a\u00e7abilir.<\/p>\n
3. Holdout setini ne zaman kullanmal\u0131y\u0131m?<\/strong><\/p>\nHoldout seti, modelinizin e\u011fitim ve do\u011frulama a\u015famalar\u0131 tamamen bittikten, hiperparametreler optimize edildikten ve modelin nihai versiyonu belirlendikten sonra sadece bir kez kullan\u0131lmal\u0131d\u0131r. Bu, modelin “son s\u0131nav\u0131” gibidir. Holdout seti \u00fczerindeki performans skorlar\u0131, modelin da\u011f\u0131t\u0131ma haz\u0131r olup olmad\u0131\u011f\u0131na dair en g\u00fcvenilir karar\u0131 vermenizi sa\u011flar.<\/p>\n
4. K\u00fc\u00e7\u00fck veri setlerinde de holdout seti kullanmal\u0131 m\u0131y\u0131m?<\/strong><\/p>\nEvet, k\u00fc\u00e7\u00fck veri setlerinde bile holdout seti kullanmak \u00f6nemlidir. Ancak, veri setinin k\u00fc\u00e7\u00fck olmas\u0131, e\u011fitim, do\u011frulama ve holdout setlerinin her birinin yeterli say\u0131da \u00f6rne\u011fe sahip olmas\u0131n\u0131 zorla\u015ft\u0131rabilir. Bu durumlarda, \u00e7apraz do\u011frulama (cross-validation) gibi teknikler do\u011frulama a\u015famas\u0131nda yard\u0131mc\u0131 olabilirken, yine de nihai ve tarafs\u0131z bir de\u011ferlendirme i\u00e7in k\u00fc\u00e7\u00fck bir holdout setini ay\u0131rmak kritik \u00f6neme sahiptir. Veri azl\u0131\u011f\u0131 durumunda, holdout setinin boyutu dikkatlice belirlenmelidir.<\/p>\n
5. Holdout setinin boyutu ne kadar olmal\u0131?<\/strong><\/p>\nHoldout setinin boyutu, toplam veri setinin b\u00fcy\u00fckl\u00fc\u011f\u00fcne ve problem t\u00fcr\u00fcne g\u00f6re de\u011fi\u015fir. Genellikle, toplam verinin %10 ila %20’si holdout seti olarak ayr\u0131l\u0131r. \u00c7ok b\u00fcy\u00fck veri setlerinde bu oran daha d\u00fc\u015f\u00fck olabilirken (\u00f6rne\u011fin %1-5), k\u00fc\u00e7\u00fck veri setlerinde daha y\u00fcksek bir orana ihtiya\u00e7 duyulabilir. \u00d6nemli olan, holdout setinin istatistiksel olarak anlaml\u0131 sonu\u00e7lar \u00fcretebilecek kadar yeterli say\u0131da \u00f6rne\u011fi i\u00e7ermesidir.<\/p>\n
#YapayZeka #Makine\u00d6\u011frenimi #VeriBilimi #KodlamaAjan\u0131 #ModelDe\u011ferlendirme #HoldoutSeti #VeriS\u0131z\u0131nt\u0131s\u0131 #AI<\/p>\n