Web sitenizin arama motorlar\u0131nda g\u00f6r\u00fcn\u00fcr olmas\u0131, dijital varl\u0131\u011f\u0131n\u0131z\u0131n temel dire\u011fidir. Ancak k\u00fc\u00e7\u00fck bir dosyadaki tek bir hata, t\u00fcm bu g\u00f6r\u00fcn\u00fcrl\u00fc\u011f\u00fc bir anda yok edebilir. Bu makalede, Dijital d\u00fcnyada var olmak, web sitenizin arama motorlar\u0131 taraf\u0131ndan ke\u015ffedilmesi ve dizinlenmesiyle ba\u015flar. Bu s\u00fcrecin en temel ve \u00e7o\u011fu zaman g\u00f6z ard\u0131 edilen bile\u015fenlerinden biri de Bu dosya, sitenize gelen her arama motoru botunun ilk u\u011frad\u0131\u011f\u0131 durakt\u0131r. Googlebot, Bingbot, YandexBot gibi t\u00fcm \u00f6nemli taray\u0131c\u0131lar, bir siteyi taramaya ba\u015flamadan \u00f6nce mutlaka En b\u00fcy\u00fck ve en tehlikeli hata, t\u00fcm siteyi taramadan d\u0131\u015flayan genel bir Bu kod blo\u011fu, “t\u00fcm arama motoru botlar\u0131 i\u00e7in (*) sitenin t\u00fcm k\u00f6k dizinini (\/) tarama” anlam\u0131na gelir. Geli\u015ftirme s\u00fcrecinde bu mant\u0131kl\u0131 bir ad\u0131m gibi g\u00f6r\u00fcnse de, site yay\u0131na al\u0131nd\u0131\u011f\u0131nda bu y\u00f6nergenin kald\u0131r\u0131lmas\u0131 unutulursa, sonu\u00e7 felaket olur. Googlebot sitenize geldi\u011finde Bir di\u011fer yayg\u0131n hata, belirli dizinleri veya dosya t\u00fcrlerini d\u0131\u015flarken yap\u0131lan s\u00f6zdizimi (syntax) hatalar\u0131d\u0131r. \u00d6rne\u011fin, yanl\u0131\u015f bir joker karakter kullan\u0131m\u0131 veya eksik bir e\u011fik \u00e7izgi (slash) t\u00fcm bir b\u00f6l\u00fcm\u00fc yanl\u0131\u015fl\u0131kla gizleyebilir. Diyelim ki, sitenizdeki t\u00fcm PDF dosyalar\u0131n\u0131n taranmas\u0131n\u0131 engellemek istediniz ve a\u015fa\u011f\u0131daki gibi bir kural yazd\u0131n\u0131z:<\/p>\n Bu kural do\u011fru gibi g\u00f6r\u00fcnse de, baz\u0131 taray\u0131c\u0131lar i\u00e7in farkl\u0131 yorumlanabilir veya beklenmedik sonu\u00e7lar do\u011furabilir. En g\u00fcvenli yol, belirli dizinleri veya dosya t\u00fcrlerini a\u00e7\u0131k\u00e7a belirtmektir. Ayr\u0131ca, Sitemap (site haritas\u0131) konumunun yanl\u0131\u015f belirtilmesi de bir hatad\u0131r. E\u011fer bu URL yanl\u0131\u015fsa, arama motorlar\u0131 site haritan\u0131z\u0131 bulmakta zorlanacak ve sitenizin dizinlenme s\u00fcreci olumsuz etkilenecektir. Son olarak, Ger\u00e7ek d\u00fcnya senaryolar\u0131, teknik bilgilerin ne kadar hayati olabilece\u011fini en iyi \u015fekilde g\u00f6sterir. \u0130\u015fte size, Senaryo: “Moda D\u00fcnyas\u0131” E-ticaret Sitesi<\/strong><\/p>\n Moda D\u00fcnyas\u0131, T\u00fcrkiye’de h\u0131zla b\u00fcy\u00fcyen bir online giyim ma\u011fazas\u0131yd\u0131. Y\u00fczbinlerce \u00fcr\u00fcn, g\u00fcnl\u00fck onlarca sipari\u015f ve g\u00fc\u00e7l\u00fc bir SEO ekibiyle pazar liderli\u011fine oynuyordu. Ancak bir g\u00fcn, sitenin organik trafik grafikleri aniden d\u00fc\u015fmeye ba\u015flad\u0131. \u0130lk ba\u015fta k\u00fc\u00e7\u00fck bir dalgalanma oldu\u011fu d\u00fc\u015f\u00fcn\u00fcld\u00fc, fakat d\u00fc\u015f\u00fc\u015f ivme kazanarak panik seviyesine ula\u015ft\u0131. Sat\u0131\u015flar %70 oran\u0131nda azald\u0131, yeni m\u00fc\u015fteriler gelmiyordu ve eski m\u00fc\u015fteriler bile arama motorlar\u0131nda siteyi bulmakta zorlan\u0131yordu.<\/p>\n Sorun Tespiti: Nerede Yanl\u0131\u015f Yapt\u0131k?<\/strong><\/p>\n SEO ekibi ve teknik ekip hemen durumu ara\u015ft\u0131rmaya ba\u015flad\u0131. Google Search Console’a bak\u0131ld\u0131\u011f\u0131nda, “Dizin Kapsam\u0131” raporunda korkun\u00e7 bir tabloyla kar\u015f\u0131la\u015f\u0131ld\u0131: “Robots.txt taraf\u0131ndan engellendi” hatas\u0131yla i\u015faretlenmi\u015f y\u00fczbinlerce URL vard\u0131. Daha da k\u00f6t\u00fcs\u00fc, sitenin ana sayfas\u0131 da dahil olmak \u00fczere neredeyse t\u00fcm kritik sayfalar bu hatadan etkilenmi\u015fti. Bu, arama motorlar\u0131n\u0131n siteyi taramay\u0131 tamamen durdurdu\u011fu anlam\u0131na geliyordu.<\/p>\n Hemen sitenin Geli\u015ftirme ekibi, sitenin yeni bir s\u00fcr\u00fcm\u00fcn\u00fc canl\u0131ya almadan \u00f6nce test ortam\u0131nda arama motorlar\u0131ndan gizlemek i\u00e7in bu y\u00f6nergeyi eklemi\u015fti. Ancak site canl\u0131ya al\u0131nd\u0131\u011f\u0131nda, bu kritik \u00c7\u00f6z\u00fcm S\u00fcreci: Ad\u0131m Ad\u0131m Kurtarma Operasyonu<\/strong><\/p>\n Burada Sonu\u00e7: Kurtarma ve Dersler<\/strong><\/p>\n Yakla\u015f\u0131k 48 saat sonra, Moda D\u00fcnyas\u0131’n\u0131n organik trafik grafikleri yava\u015f\u00e7a y\u00fckselmeye ba\u015flad\u0131. Bir hafta i\u00e7inde, sitenin b\u00fcy\u00fck bir k\u0131sm\u0131 tekrar dizinlenmi\u015f ve sat\u0131\u015flar normale d\u00f6nm\u00fc\u015ft\u00fc. Bu olay, ekibe ve \u015firket y\u00f6netimine Bu vaka analizinden \u00e7\u0131kar\u0131lacak temel dersler \u015funlard\u0131r:<\/p>\n Moda D\u00fcnyas\u0131’n\u0131n hikayesi, dijital d\u00fcnyada k\u00fc\u00e7\u00fck bir dosyan\u0131n ne kadar b\u00fcy\u00fck bir etki yaratabilece\u011fini ve basit bir hatan\u0131n milyonlarca liral\u0131k zarara yol a\u00e7abilece\u011fini ac\u0131 bir \u015fekilde g\u00f6steriyor. Bu nedenle, Bir web sitesinin arama motorlar\u0131 taraf\u0131ndan do\u011fru \u015fekilde taran\u0131p dizinlenmesi i\u00e7in \u0130\u015fte \u00e7o\u011fu web sitesi i\u00e7in g\u00fcvenli ve ba\u015flang\u0131\u00e7 seviyesi bir Bu \u00f6rnekte:<\/p>\n Burada Do\u011fru bir Arama motoru optimizasyonu (SEO) d\u00fcnyas\u0131nda, web sitenizin i\u00e7eri\u011fini arama motorlar\u0131na kar\u015f\u0131 nas\u0131l y\u00f6netece\u011finizi bilmek hayati \u00f6nem ta\u015f\u0131r. Bu y\u00f6netimde en s\u0131k kar\u015f\u0131la\u015f\u0131lan terimler aras\u0131nda Meta etiketi \u00f6rne\u011fi:<\/p>\n Burada \u00d6nemli Not:<\/strong> E\u011fer bir sayfa robots.txt<\/code> dosyas\u0131ndaki hatalar\u0131n sitenizi Google’dan nas\u0131l tamamen gizleyebilece\u011fini, bu kritik dosyay\u0131 do\u011fru \u015fekilde nas\u0131l y\u00f6netece\u011finizi ve olas\u0131 felaketleri nas\u0131l \u00f6nleyece\u011finizi ad\u0131m ad\u0131m inceleyece\u011fiz.<\/p>\nRobots.txt Nedir ve Arama Motorlar\u0131 \u0130\u00e7in Neden Bu Kadar \u00d6nemlidir?<\/h2>\n
robots.txt<\/code> dosyas\u0131d\u0131r. Peki, bu k\u00fc\u00e7\u00fck metin dosyas\u0131 tam olarak nedir ve web sitenizin arama motoru optimizasyonu (SEO) stratejisi i\u00e7in neden bu kadar kritik bir rol oynar?<\/p>\nrobots.txt<\/code>, web sitenizin k\u00f6k dizininde bulunan ve arama motoru taray\u0131c\u0131lar\u0131na (botlar\u0131na) sitenizin hangi b\u00f6l\u00fcmlerini tarayabileceklerini veya tarayamayacaklar\u0131n\u0131 bildiren standart bir protokold\u00fcr. Bu protokol, Robot D\u0131\u015flama Standard\u0131 olarak da bilinir. Temel amac\u0131, arama motoru botlar\u0131n\u0131n sitenizin belirli alanlar\u0131na eri\u015fimini d\u00fczenlemek ve b\u00f6ylece sunucu y\u00fck\u00fcn\u00fc azaltmak, hassas veya d\u00fc\u015f\u00fck kaliteli i\u00e7eri\u011fin dizinlenmesini \u00f6nlemek ve gereksiz sayfalar\u0131n arama sonu\u00e7lar\u0131nda g\u00f6r\u00fcnmesini engellemektir. \u00d6rne\u011fin, bir web sitesi y\u00f6neticisi, y\u00f6netim paneli gibi \u00f6zel sayfalar\u0131n veya geli\u015ftirme a\u015famas\u0131ndaki i\u00e7eriklerin Google gibi arama motorlar\u0131 taraf\u0131ndan taranmas\u0131n\u0131 ve dizinlenmesini istemeyebilir. \u0130\u015fte tam bu noktada robots.txt<\/code> devreye girer ve botlara “buraya bakma” talimat\u0131n\u0131 verir.<\/p>\nrobots.txt<\/code> dosyas\u0131n\u0131 kontrol eder. Bu dosyada belirtilen kurallara uyarak sitenizi tararlar. E\u011fer bir bot, robots.txt<\/code> dosyas\u0131nda belirli bir URL veya dizin i\u00e7in Disallow<\/code> (izin verme) y\u00f6nergesi g\u00f6r\u00fcrse, o b\u00f6l\u00fcm\u00fc taramaz ve dolay\u0131s\u0131yla arama motoru dizinine eklemez. Bu durum, yanl\u0131\u015f yap\u0131land\u0131r\u0131ld\u0131\u011f\u0131nda t\u00fcm sitenizin arama sonu\u00e7lar\u0131ndan kaybolmas\u0131na neden olabilecek kritik bir potansiyel tehlike bar\u0131nd\u0131r\u0131r.<\/p>\nrobots.txt<\/code>‘nin \u00f6nemi sadece hassas i\u00e7erikleri gizlemekle s\u0131n\u0131rl\u0131 de\u011fildir. Ayn\u0131 zamanda, sitenizin “tarama b\u00fct\u00e7esini” (crawl budget) de optimize etmenize yard\u0131mc\u0131 olur. Tarama b\u00fct\u00e7esi, arama motorlar\u0131n\u0131n sitenizde belirli bir s\u00fcre i\u00e7inde tarayabilece\u011fi sayfa say\u0131s\u0131d\u0131r. E\u011fer botlar, \u00f6nemsiz veya yinelenen sayfalar\u0131 taramakla zaman kaybederse, sitenizin daha \u00f6nemli sayfalar\u0131 yeterince h\u0131zl\u0131 ke\u015ffedilemeyebilir. robots.txt<\/code> ile bu t\u00fcr sayfalar\u0131 taramadan d\u0131\u015flayarak, botlar\u0131n enerjisini ger\u00e7ekten de\u011ferli olan i\u00e7eri\u011finize y\u00f6nlendirebilirsiniz. Bu da sitenizin daha h\u0131zl\u0131 dizinlenmesine ve arama motoru s\u0131ralamalar\u0131nda potansiyel olarak daha iyi performans g\u00f6stermesine katk\u0131da bulunur. K\u0131sacas\u0131, robots.txt<\/code> k\u00fc\u00e7\u00fck bir dosya olmas\u0131na ra\u011fmen, web sitenizin arama motoru g\u00f6r\u00fcn\u00fcrl\u00fc\u011f\u00fc ve SEO sa\u011fl\u0131\u011f\u0131 i\u00e7in vazge\u00e7ilmez bir kontrol mekanizmas\u0131d\u0131r.<\/p>\nEn Yayg\u0131n Robots.txt Hatalar\u0131: Sitenizi Google’dan Gizleyen Kritik Yanl\u0131\u015flar<\/h2>\n
robots.txt<\/code> dosyas\u0131, do\u011fru kullan\u0131ld\u0131\u011f\u0131nda sitenizin SEO performans\u0131n\u0131 optimize eden g\u00fc\u00e7l\u00fc bir ara\u00e7ken, yanl\u0131\u015f kullan\u0131ld\u0131\u011f\u0131nda ise tam tersi bir etki yaratabilir ve web sitenizi arama motorlar\u0131ndan tamamen gizleyebilir. Bu b\u00f6l\u00fcmde, web y\u00f6neticilerinin en s\u0131k yapt\u0131\u011f\u0131 robots.txt<\/code> hatalar\u0131n\u0131 ve bu hatalar\u0131n sitenizin g\u00f6r\u00fcn\u00fcrl\u00fc\u011f\u00fc \u00fczerindeki y\u0131k\u0131c\u0131 etkilerini ele alaca\u011f\u0131z.<\/p>\nDisallow<\/code> y\u00f6nergesidir. Genellikle bir web sitesi geli\u015ftirme a\u015famas\u0131ndayken veya bak\u0131m modundayken, sitenin arama motorlar\u0131 taraf\u0131ndan dizinlenmesini engellemek amac\u0131yla robots.txt<\/code> dosyas\u0131na a\u015fa\u011f\u0131daki gibi bir kod eklenir:<\/p>\nUser-agent: *\nDisallow: \/<\/code><\/pre>\n<\/div>\nrobots.txt<\/code> dosyas\u0131n\u0131 okur, bu kural\u0131 g\u00f6r\u00fcr ve sitenizin hi\u00e7bir sayfas\u0131n\u0131 taramaz. Tarama ger\u00e7ekle\u015fmedi\u011fi i\u00e7in sayfalar dizine eklenmez ve dolay\u0131s\u0131yla arama sonu\u00e7lar\u0131nda g\u00f6r\u00fcnmez. Bu durum, sitenizin var olmad\u0131\u011f\u0131 anlam\u0131na gelir ve t\u00fcm SEO \u00e7abalar\u0131n\u0131z bo\u015fa gider.<\/p>\nUser-agent: *\nDisallow: \/*.pdf<\/code><\/pre>\n<\/div>\nDisallow<\/code> y\u00f6nergesinin yan\u0131na yanl\u0131\u015fl\u0131kla bo\u015fluk b\u0131rakmak veya b\u00fcy\u00fck\/k\u00fc\u00e7\u00fck harf duyarl\u0131l\u0131\u011f\u0131na dikkat etmemek de sorunlara yol a\u00e7abilir. \u00d6rne\u011fin, bir dizini \/Admin\/<\/code> olarak d\u0131\u015flarken, ger\u00e7ek dizin ad\u0131 \/admin\/<\/code> ise, botlar yine de \/admin\/<\/code> dizinini tarayabilir.<\/p>\nrobots.txt<\/code> dosyas\u0131, arama motorlar\u0131na sitenizin XML site haritas\u0131n\u0131n nerede oldu\u011funu bildirmek i\u00e7in ideal bir yerdir. Ancak site haritas\u0131 URL’sinin yanl\u0131\u015f yaz\u0131lmas\u0131 veya eksik b\u0131rak\u0131lmas\u0131, arama motorlar\u0131n\u0131n sitenizin t\u00fcm \u00f6nemli sayfalar\u0131n\u0131 ke\u015ffetmesini zorla\u015ft\u0131rabilir:<\/p>\nSitemap: http:\/\/www.example.com\/sitemap.xml<\/code><\/pre>\n<\/div>\nrobots.txt<\/code> dosyas\u0131n\u0131n bulunmamas\u0131 veya bo\u015f olmas\u0131 da bir hatad\u0131r. Bu durumda arama motorlar\u0131 sitenizin t\u00fcm sayfalar\u0131n\u0131 tarayabilir, bu da hassas bilgilerin veya gereksiz sayfalar\u0131n dizinlenmesine yol a\u00e7abilir. Her ne kadar bu durum sitenizi tamamen gizlemese de, tarama b\u00fct\u00e7esi y\u00f6netimi ve i\u00e7erik kontrol\u00fc a\u00e7\u0131s\u0131ndan istenmeyen sonu\u00e7lar do\u011furabilir. Bu hatalardan ka\u00e7\u0131nmak i\u00e7in robots.txt<\/code> dosyas\u0131n\u0131 d\u00fczenli olarak kontrol etmek ve dikkatli bir \u015fekilde y\u00f6netmek hayati \u00f6nem ta\u015f\u0131r.<\/p>\nVaka Analizi: B\u00fcy\u00fck Bir Robots.txt Hatas\u0131n\u0131 D\u00fczeltme Hikayesi<\/h2>\n
robots.txt<\/code> dosyas\u0131ndaki basit bir hatan\u0131n bir e-ticaret sitesinin t\u00fcm g\u00f6r\u00fcn\u00fcrl\u00fc\u011f\u00fcn\u00fc nas\u0131l yok etti\u011fini ve bu durumun nas\u0131l d\u00fczeltildi\u011fini anlatan bir vaka analizi. Bu hikaye, benzer hatalardan ka\u00e7\u0131nmak i\u00e7in \u00f6nemli dersler i\u00e7eriyor.<\/p>\nrobots.txt<\/code> dosyas\u0131 kontrol edildi. Dosya, a\u015fa\u011f\u0131daki gibi g\u00f6r\u00fcn\u00fcyordu:<\/p>\nUser-agent: *\nDisallow: \/\nSitemap: https:\/\/www.modadunyasi.com\/sitemap.xml<\/code><\/pre>\n<\/div>\nDisallow: \/<\/code> y\u00f6nergesini kald\u0131rmay\u0131 unutmu\u015flard\u0131. Bu basit ama \u00f6l\u00fcmc\u00fcl hata, Moda D\u00fcnyas\u0131’n\u0131n t\u00fcm dijital varl\u0131\u011f\u0131n\u0131 bir anda silmi\u015fti. T\u00fcm site, arama motorlar\u0131 i\u00e7in g\u00f6r\u00fcnmez hale gelmi\u015fti.<\/p>\n\n
robots.txt<\/code> dosyas\u0131ndaki yanl\u0131\u015f y\u00f6nergeyi d\u00fczeltmek oldu. Geli\u015ftirme ekibi hemen dosyay\u0131 a\u015fa\u011f\u0131daki \u015fekilde g\u00fcncelledi:\nUser-agent: *\nAllow: \/\nSitemap: https:\/\/www.modadunyasi.com\/sitemap.xml<\/code><\/pre>\n<\/p><\/div>\nDisallow: \/<\/code> yerine Allow: \/<\/code> kullan\u0131ld\u0131. Baz\u0131 durumlarda sadece Disallow: \/<\/code> sat\u0131r\u0131n\u0131 silmek de yeterli olur, \u00e7\u00fcnk\u00fc varsay\u0131lan olarak her \u015feyin taranmas\u0131na izin verilir. Ancak netlik a\u00e7\u0131s\u0131ndan Allow: \/<\/code> eklemek de bir y\u00f6ntemdir.<\/li>\nrobots.txt<\/code> dosyas\u0131n\u0131n ne kadar kritik oldu\u011funu ac\u0131 bir \u015fekilde \u00f6\u011fretti.<\/p>\n\n
robots.txt<\/code> y\u00f6nergelerinin canl\u0131ya ge\u00e7i\u015fte kald\u0131r\u0131ld\u0131\u011f\u0131ndan veya do\u011fru \u015fekilde g\u00fcncellendi\u011finden emin olun. Her canl\u0131ya ge\u00e7i\u015f \u00f6ncesi robots.txt<\/code> dosyas\u0131n\u0131 mutlaka kontrol edin.<\/li>\nrobots.txt<\/code> test arac\u0131 ve URL denetleme arac\u0131, potansiyel hatalar\u0131 \u00f6nceden tespit etmek i\u00e7in vazge\u00e7ilmezdir.<\/li>\nrobots.txt<\/code>‘nin \u00f6nemi ve do\u011fru kullan\u0131m\u0131 konusunda e\u011fitin.<\/li>\nrobots.txt<\/code> dosyan\u0131z\u0131 ve Search Console raporlar\u0131n\u0131z\u0131 kontrol ederek beklenmedik sorunlar\u0131 erken a\u015famada tespit edin.<\/li>\n<\/ul>\nrobots.txt<\/code> y\u00f6netimi asla hafife al\u0131nmamas\u0131 gereken bir konudur.<\/p>\nDo\u011fru Robots.txt Dosyas\u0131 Nas\u0131l Olu\u015fturulur ve Optimize Edilir? Ad\u0131m Ad\u0131m Pratik Rehber<\/h2>\n
robots.txt<\/code> dosyas\u0131n\u0131n do\u011fru bir \u015fekilde olu\u015fturulmas\u0131 ve optimize edilmesi b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r. Bu b\u00f6l\u00fcmde, s\u0131f\u0131rdan do\u011fru bir robots.txt<\/code> dosyas\u0131 olu\u015fturma s\u00fcrecini ve mevcut dosyan\u0131z\u0131 nas\u0131l optimize edebilece\u011finizi ad\u0131m ad\u0131m inceleyece\u011fiz.<\/p>\n1. Robots.txt Dosyas\u0131n\u0131n Konumu ve Eri\u015filebilirli\u011fi<\/h3>\n
robots.txt<\/code> dosyas\u0131, web sitenizin k\u00f6k dizininde bulunmal\u0131d\u0131r. \u00d6rne\u011fin, siteniz www.example.com<\/code> ise, robots.txt<\/code> dosyas\u0131na www.example.com\/robots.txt<\/code> adresinden eri\u015filebilir olmal\u0131d\u0131r. Bu, arama motoru botlar\u0131n\u0131n siteye ilk geldiklerinde bu dosyay\u0131 kolayca bulabilmelerini sa\u011flar.<\/p>\n2. Temel S\u00f6zdizimi (Syntax) ve Y\u00f6nergeler<\/h3>\n
robots.txt<\/code> dosyas\u0131, basit metin tabanl\u0131 kurallardan olu\u015fur. En temel iki y\u00f6nerge \u015funlard\u0131r:<\/p>\n\n
User-agent:<\/code><\/strong> Bu y\u00f6nerge, kural\u0131n hangi arama motoru botu i\u00e7in ge\u00e7erli oldu\u011funu belirtir.\n\n
User-agent: *<\/code>: T\u00fcm arama motoru botlar\u0131 i\u00e7in ge\u00e7erlidir. En s\u0131k kullan\u0131lan\u0131d\u0131r.<\/li>\nUser-agent: Googlebot<\/code>: Sadece Google’\u0131n ana taray\u0131c\u0131s\u0131 i\u00e7in ge\u00e7erlidir.<\/li>\nUser-agent: Bingbot<\/code>: Sadece Bing’in taray\u0131c\u0131s\u0131 i\u00e7in ge\u00e7erlidir.<\/li>\n<\/ul>\n<\/li>\nDisallow:<\/code><\/strong> Belirtilen botun hangi URL yolunu tarayamayaca\u011f\u0131n\u0131 belirtir.\n\n
Disallow: \/<\/code>: T\u00fcm siteyi taramadan d\u0131\u015flar (en tehlikeli hata).<\/li>\nDisallow: \/admin\/<\/code>: \/admin\/<\/code> dizinini ve alt\u0131ndaki t\u00fcm i\u00e7erikleri taramadan d\u0131\u015flar.<\/li>\nDisallow: \/private-docs\/secret.pdf<\/code>: Belirli bir dosyay\u0131 taramadan d\u0131\u015flar.<\/li>\n<\/ul>\n<\/li>\nAllow:<\/code><\/strong> Disallow<\/code> y\u00f6nergesi i\u00e7inde belirli bir b\u00f6l\u00fcm\u00fcn taranmas\u0131na izin verir. Bu genellikle daha genel bir Disallow<\/code> kural\u0131n\u0131n istisnalar\u0131n\u0131 belirtmek i\u00e7in kullan\u0131l\u0131r.\n\n
Disallow: \/images\/<\/code>Allow: \/images\/public\/<\/code>: T\u00fcm \/images\/<\/code> dizinini d\u0131\u015flarken, \/images\/public\/<\/code> alt dizininin taranmas\u0131na izin verir.<\/li>\n<\/ul>\n<\/li>\nSitemap:<\/code><\/strong> Arama motorlar\u0131na XML site haritan\u0131z\u0131n (sitemap) URL’sini bildirir. Bu, botlar\u0131n sitenizdeki t\u00fcm \u00f6nemli sayfalar\u0131 daha kolay ke\u015ffetmesini sa\u011flar.\n\n
Sitemap: https:\/\/www.example.com\/sitemap.xml<\/code><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n3. \u00d6rnek Bir Robots.txt Dosyas\u0131 Olu\u015fturma<\/h3>\n
robots.txt<\/code> dosyas\u0131 \u00f6rne\u011fi:<\/p>\nUser-agent: *\nDisallow: \/cgi-bin\/\nDisallow: \/tmp\/\nDisallow: \/private\/\n\nSitemap: https:\/\/www.example.com\/sitemap.xml<\/code><\/pre>\n<\/div>\n\n
User-agent: *<\/code>).<\/li>\n\/cgi-bin\/<\/code>, \/tmp\/<\/code> ve \/private\/<\/code> dizinlerinin taranmas\u0131na izin verilmez. Bu dizinler genellikle sunucu komut dosyalar\u0131, ge\u00e7ici dosyalar veya hassas i\u00e7erikler bar\u0131nd\u0131rd\u0131\u011f\u0131 i\u00e7in taranmas\u0131 istenmez.<\/li>\nDisallow: \/<\/code> y\u00f6nergesi olmad\u0131\u011f\u0131 i\u00e7in, belirtilenler d\u0131\u015f\u0131ndaki t\u00fcm sayfalar\u0131n taranmas\u0131na izin verilir.<\/li>\n<\/ul>\n4. Robots.txt Dosyas\u0131n\u0131 Optimize Etme \u0130pu\u00e7lar\u0131<\/h3>\n
\n
\/wp-admin\/<\/code>, \/administrator\/<\/code>) genellikle taranmamal\u0131d\u0131r.\nUser-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php<\/code><\/pre>\n<\/p><\/div>\nadmin-ajax.php<\/code> gibi baz\u0131 dosyalar\u0131n i\u015flevsellik i\u00e7in taranmas\u0131 gerekebilece\u011fi unutulmamal\u0131d\u0131r.<\/li>\nUser-agent: *\nDisallow: \/search\/<\/code><\/pre>\n<\/p><\/div>\n<\/li>\n?sort=price<\/code>) gibi gereksiz parametreler, yinelenen i\u00e7erik sorunlar\u0131na yol a\u00e7abilir.\nUser-agent: *\nDisallow: \/*?sort=*\nDisallow: \/*?sessionid=*<\/code><\/pre>\n<\/p><\/div>\n<\/li>\n#<\/code> karakteri ile ba\u015flayan sat\u0131rlar yorum olarak kabul edilir ve botlar taraf\u0131ndan yok say\u0131l\u0131r. Bu, dosyan\u0131z\u0131 daha anla\u015f\u0131l\u0131r hale getirir.\n# Bu bolum yonetim paneli erisimini engeller\nUser-agent: *\nDisallow: \/admin\/\n\n# Bu bolum site haritasinin konumunu belirtir\nSitemap: https:\/\/www.example.com\/sitemap.xml<\/code><\/pre>\n<\/p><\/div>\n<\/li>\n<\/ul>\n5. Test Etme ve Do\u011frulama<\/h3>\n
robots.txt<\/code> dosyan\u0131z\u0131 g\u00fcncelledikten sonra, Google Search Console’daki “Robots.txt Test Arac\u0131”n\u0131 kullanarak dosyan\u0131z\u0131n do\u011fru \u00e7al\u0131\u015ft\u0131\u011f\u0131ndan emin olun. Bu ara\u00e7, sitenizdeki herhangi bir URL’nin belirli bir bot taraf\u0131ndan taran\u0131p taranamayaca\u011f\u0131n\u0131 sim\u00fcle etmenize olanak tan\u0131r. Bu sayede, olas\u0131 hatalar\u0131 canl\u0131ya ge\u00e7meden \u00f6nce tespit edebilirsiniz.<\/p>\nrobots.txt<\/code> y\u00f6netimi, sitenizin arama motorlar\u0131ndaki g\u00f6r\u00fcn\u00fcrl\u00fc\u011f\u00fcn\u00fc koruman\u0131n ve geli\u015ftirmenin temel ad\u0131mlar\u0131ndan biridir. Bu rehberdeki ad\u0131mlar\u0131 takip ederek, sitenizi tehlikeli hatalardan koruyabilir ve SEO performans\u0131n\u0131z\u0131 optimize edebilirsiniz.<\/p>\nDisallow, Noindex ve Di\u011fer Y\u00f6nergeler: Farklar\u0131 Nelerdir?<\/h2>\n
Disallow<\/code> (robots.txt i\u00e7inde), noindex<\/code> (meta etiketi veya HTTP ba\u015fl\u0131\u011f\u0131 olarak) ve hatta nofollow<\/code> (ba\u011flant\u0131 \u00f6zniteli\u011fi olarak) bulunur. Her biri farkl\u0131 bir amaca hizmet eder ve yanl\u0131\u015f kullan\u0131mlar\u0131 sitenizin g\u00f6r\u00fcn\u00fcrl\u00fc\u011f\u00fcne ciddi zararlar verebilir. Bu b\u00f6l\u00fcmde, bu \u00f6nemli y\u00f6nergeler aras\u0131ndaki farklar\u0131 ve ne zaman hangisini kullanman\u0131z gerekti\u011fini detayl\u0131ca a\u00e7\u0131klayaca\u011f\u0131z.<\/p>\n1. Disallow (Robots.txt Y\u00f6nergesi)<\/h3>\n
Disallow<\/code>, robots.txt<\/code> dosyas\u0131 i\u00e7inde kullan\u0131lan bir y\u00f6nergedir ve arama motoru botlar\u0131na belirli bir URL yolunu veya dizini “tarama” talimat\u0131 verir. Temel amac\u0131, sunucu kaynaklar\u0131n\u0131 korumak ve botlar\u0131n \u00f6nemsiz veya hassas i\u00e7eri\u011fi taramas\u0131n\u0131 engellemektir. Ancak, Disallow<\/code> y\u00f6nergesinin kritik bir s\u0131n\u0131rlamas\u0131 vard\u0131r: Bir sayfan\u0131n taranmas\u0131n\u0131 engeller, ancak dizinlenmesini garanti etmez.<\/p>\n\n
\n
User-agent: *\nDisallow: \/admin\/ # Admin panelini taramadan engeller\nDisallow: \/cgi-bin\/ # CGI betiklerini taramadan engeller<\/code><\/pre>\n<\/div>\n2. Noindex (Meta Etiketi veya HTTP X-Robots-Tag)<\/h3>\n
noindex<\/code>, bir sayfan\u0131n arama motoru dizinine eklenmesini (yani arama sonu\u00e7lar\u0131nda g\u00f6r\u00fcnmesini) engellemek i\u00e7in kullan\u0131lan bir y\u00f6nergedir. Bu y\u00f6nerge, genellikle sayfan\u0131n <\/code> b\u00f6l\u00fcm\u00fcne yerle\u015ftirilen bir meta etiketi veya HTTP ba\u015fl\u0131\u011f\u0131 arac\u0131l\u0131\u011f\u0131yla uygulan\u0131r. noindex<\/code> y\u00f6nergesinin \u00e7al\u0131\u015fabilmesi i\u00e7in arama motoru botlar\u0131n\u0131n sayfay\u0131 tarayabilmesi gerekir.<\/p>\n\n
noindex<\/code> y\u00f6nergesini bulur.<\/li>\n\n
noindex<\/code> dizinlenmeyi engellerken, follow<\/code> y\u00f6nergesi sayfadaki ba\u011flant\u0131lar\u0131n takip edilmesine izin verir. E\u011fer nofollow<\/code> da eklenseydi, ba\u011flant\u0131lar takip edilmezdi.<\/p>\nrobots.txt<\/code> ile Disallow<\/code> edilmi\u015fse, Googlebot o sayfay\u0131 tarayamaz ve dolay\u0131s\u0131yla meta etiketindeki noindex<\/code> y\u00f6nergesini g\u00f6remez. Bu durumda, sayfa hala arama sonu\u00e7lar\u0131nda g\u00f6r\u00fcnebilir (e\u011fer ba\u015fka sitelerden ba\u011flant\u0131lar varsa). Bir sayfay\u0131 arama sonu\u00e7lar\u0131ndan kesin olarak kald\u0131rmak istiyorsan\u0131z, \u00f6ncelikle robots.txt<\/code>‘den Disallow<\/code> y\u00f6nergesini kald\u0131r\u0131p, botlar\u0131n sayfay\u0131 taramas\u0131na izin vererek noindex<\/code> meta etiketini g\u00f6rmelerini sa\u011flamal\u0131s\u0131n\u0131z.<\/p>\n3. Nofollow (Ba\u011flant\u0131 \u00d6zniteli\u011fi)<\/h3>\n