robots.txt Rehberi: Doğru Yapılandırma ve Sık Yapılan Hatalar

robots.txt, sitenin kökünde duran birkaç satırlık bir metin dosyası; ama yanlış bir satır bütün sitenin taranmasını durdurabilir. Denetimlerde hâlâ test ortamından canlıya taşınmış "Disallow: /" satırlarına rastlıyorum.

Bu yazıda Google'ın robots.txt yorumuna göre sözdizimini, noindex ile farkını, yapay zekâ botlarının resmi user-agent adlarını, llms.txt ile karıştırılmaması gereken noktaları ve en sık yapılan hataları anlatıyorum.

Kısa cevap: robots.txt, botlara sitenin hangi bölümlerini tarayabileceklerini söyler; bir sayfanın dizine eklenmesini tek başına engellemez. Dizinden çıkarmak için noindex kullanılır ve bunun için sayfanın taranabilir olması gerekir. Yapay zekâ botlarını her birinin resmi user-agent adıyla ayrı ayrı yönetebilirsiniz.

robots.txt nedir ve nerede durmalı?

Google'ın spesifikasyonuna göre dosya her ana makine, protokol ve port için ayrı ayrı kök dizinde durmalı: example.com/robots.txt. Alt alan adları (blog.example.com gibi) kendi dosyalarına ihtiyaç duyar; alt klasöre konan robots.txt dikkate alınmaz.

Dosya UTF-8 düz metin olmalı ve Google yalnızca ilk 500 KiB'ı okur. Google dosyayı genellikle 24 saate kadar önbellekte tutar; yani yaptığınız değişiklik anında yansımayabilir.

Dosyaya ulaşılamadığında ne olduğu da önemli. 4xx yanıtı (429 hariç) robots.txt yokmuş gibi yorumlanır ve kısıtlama uygulanmaz. 5xx yanıtında Google ilk 12 saat taramayı durdurur, sonra 30 güne kadar son başarılı sürümü kullanır.

robots.txt sözdizimi: temel kurallar

Google dört alanı destekliyor: user-agent, allow, disallow ve sitemap. crawl-delay gibi desteklenmeyen alanlar Google tarafından yok sayılır. Yollar büyük-küçük harfe duyarlıdır; * sıfır ya da daha fazla karakteri, $ ise URL sonunu ifade eder.

User-agent: *
Disallow: /sepet/
Disallow: /hesabim/
Disallow: /*?sirala=
Allow: /*?sirala=*&sayfa=

User-agent: GPTBot
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

Çakışan kurallarda en uzun, yani en spesifik eşleşme kazanır; eşitlikte daha az kısıtlayıcı kural uygulanır. Bir bot için kendi adıyla bir grup varsa, o bot yalnızca o gruba uyar ve * grubunu dikkate almaz. Bu yüzden özel bir bot grubu açtığınızda genel kuralları oraya da yazmanız gerekir.

Sitemap satırları tam URL olmalı ve herhangi bir user-agent grubuna bağlı değildir. Tarama bütçesi açısından hangi URL'lerin engellenmesi mantıklı, hangilerinin değil, tarama bütçesi yazısında ayrıntılı anlattım.

robots.txt ile noindex arasındaki fark nedir?

En sık karıştırılan konu bu. robots.txt taramayı, noindex ise dizine eklemeyi kontrol eder. Google, robots.txt ile engellenen bir URL'yi başka sayfalardan link aldığında içeriğini görmeden de dizine ekleyebilir.

Klasik hata ikisini birlikte kullanmaktır: Sayfaya noindex ekleyip robots.txt ile de engellerseniz Googlebot noindex'i hiç göremez. Önce noindex ile sayfanın dizinden çıkmasını bekleyin, gerekiyorsa sonra engelleyin. Genel tarama-dizine ekleme ayrımı için teknik SEO rehberine bakabilirsiniz.

Yapay zekâ botlarını robots.txt ile yönetmek

Yapay zekâ şirketleri model eğitimi, arama ve kullanıcı isteğiyle sayfa getirme için çoğu zaman ayrı botlar kullanıyor. Aşağıdaki tablo, Ekim 2026 itibarıyla ilgili şirketlerin resmi dokümanlarında geçen adları özetliyor; listeler değişebildiği için uygulamadan önce kaynakları tekrar kontrol edin.

Benim önerim, eğitim botları ile arama botlarını ayrı değerlendirmek. Eğitimi engelleyip arama botlarına izin vermek, yapay zekâ asistanlarında kaynak olarak görünme şansını korur. Bu kararın marka görünürlüğüne etkisini ChatGPT'de marka görünürlüğü yazısında, uygulama adımlarını GEO uygulama rehberinde bulabilirsiniz. Terimlere yabancıysanız yapay zekâ sözlüğü işinizi kolaylaştırır.

robots.txt ile llms.txt arasındaki fark

llms.txt, sitenin önemli içeriklerini dil modellerine özetlemek için önerilen bir dosya biçimi; erişim izni vermez ya da engellemez. robots.txt ise botların uyduğu bir tarama protokolüdür.

Google, AI Overviews ve AI Mode'da görünmek için yeni makine okunur dosyalar ya da yapay zekâ metin dosyaları oluşturmanın gerekmediğini açıkça belirtiyor. llms.txt'nin ne işe yaradığını ve hangi durumda denemeye değer olduğunu llms.txt rehberi yazısında ayrıca ele aldım.

Sahada en sık gördüğüm robots.txt hataları

Aşağıdaki listeyi bir site yayına alınmadan ya da taşınmadan önce kontrol listesi olarak kullanabilirsiniz:

• Test ortamındaki "Disallow: /" canlıya taşınmış mı?
• CSS, JavaScript ya da API uç noktaları engellenmiş mi? Render eksik kalır; ayrıntı için JavaScript SEO yazısına bakın.
• Dizinden çıkarılmak istenen sayfalar hem noindex hem Disallow ile mi işaretli?
• Özel bot grubu açılmış ama genel kurallar o gruba kopyalanmamış mı?
• Yol büyük-küçük harf farkı yüzünden eşleşmiyor mu (/Sepet/ ve /sepet/)?
• robots.txt içinde noindex ya da crawl-delay satırına güvenilmiş mi? Google ikisini de desteklemiyor.
• Alt alan adlarının kendi robots.txt dosyası var mı?

Değişiklikten sonra Search Console'daki robots.txt raporundan Google'ın dosyanın hangi sürümünü ne zaman aldığını kontrol edin. Yapay zekâ botları için strateji kurmak isterseniz GEO uzmanı olarak, teknik SEO denetimi için SEO uzmanı olarak destek veriyorum; iletişim sayfasından yazabilirsiniz.

150+ projede e-ticaret, SaaS, sağlık ve yerel işletme sektörlerinde 8+ yıllık uygulamalı SEO ve GEO deneyimi. Teoriye değil, gerçek müşteri verilerine dayanarak yazıyor.