robots.txt Test Aracı
robots.txt dosyanızı yapıştırın ya da siteden getirin, URL'leri listeleyin: hangi tarayıcının hangi sayfaya erişebildiğini ve kararı hangi kuralın verdiğini görün. Eşleştirme Google'ın belgelenmiş kurallarına göre yapılır. Arka planı robots.txt rehberi ve tarama bütçesi yazısında anlattım.
Sonuç
| URL | Googlebot | Googlebot-Image | Google-Extended * | Bingbot | GPTBot | OAI-SearchBot | ClaudeBot | PerplexityBot |
|---|---|---|---|---|---|---|---|---|
| / | ✓ İzin kural yok | ✓ İzin kural yok | ✓ İzin kural yok | ✓ İzin kural yok | ✗ Engelli satır 9 | ✓ İzin kural yok | ✓ İzin kural yok | ✓ İzin kural yok |
| /hesabim/giris | ✓ İzin satır 6 | ✓ İzin kural yok | ✓ İzin satır 6 | ✓ İzin satır 6 | ✗ Engelli satır 9 | ✓ İzin satır 6 | ✓ İzin satır 6 | ✓ İzin satır 6 |
| /hesabim/siparisler | ✗ Engelli satır 4 | ✓ İzin kural yok | ✗ Engelli satır 4 | ✗ Engelli satır 4 | ✗ Engelli satır 9 | ✗ Engelli satır 4 | ✗ Engelli satır 4 | ✗ Engelli satır 4 |
| /kategori/ayakkabi?siralama=fiyat | ✗ Engelli satır 5 | ✓ İzin kural yok | ✗ Engelli satır 5 | ✗ Engelli satır 5 | ✗ Engelli satır 9 | ✗ Engelli satır 5 | ✗ Engelli satır 5 | ✗ Engelli satır 5 |
| /ozel-gorseller/kampanya.jpg | ✓ İzin kural yok | ✗ Engelli satır 12 | ✓ İzin kural yok | ✓ İzin kural yok | ✗ Engelli satır 9 | ✓ İzin kural yok | ✓ İzin kural yok | ✓ İzin kural yok |
| /robots-txt | ✓ İzin kural yok | ✓ İzin kural yok | ✓ İzin kural yok | ✓ İzin kural yok | ✗ Engelli satır 9 | ✓ İzin kural yok | ✓ İzin kural yok | ✓ İzin kural yok |
- Google-Extended * Ayrı bir tarayıcı değil, kontrol belirtecidir: tarama ana tarayıcıyla yapılır; bu kural içeriğin yapay zekâ modellerinde kullanımını belirler.
Site haritaları: https://www.ornek.com/sitemap.xml
Nasıl kullanılır?
- Alan adını yazıp Getir'e basın ya da robots.txt içeriğini yapıştırın (yayınlamadığınız bir taslağı da test edebilirsiniz).
- Test edilecek URL'leri her satıra bir tane yazın. Tam adres ya da yalnızca yol yazabilirsiniz.
- Tarayıcıları seçin. Listede olmayan bir user-agent için özel alanı kullanın.
- Tabloyu okuyun: her hücre izin/engel durumunu ve kararı veren kuralın satır numarasını gösterir. Yayından önce tablonun altındaki uyarıları düzeltin.
Sıkça Sorulan Sorular
robots.txt ile engellediğim sayfa Google'dan silinir mi?
Hayır. robots.txt taramayı kontrol eder, dizine eklemeyi değil. Engellenen bir URL, başka sayfalardan link alıyorsa içeriği okunmadan dizinde kalabilir. Bir sayfayı dizin dışında tutmak için taramaya izin verip noindex etiketi kullanın; ayrıntısı teknik SEO rehberinde.
Allow ve Disallow aynı anda eşleşirse hangisi geçerli olur?
Google en özel kuralı, yani en uzun eşleşen yolu uygular. Allow ve Disallow kuralları eşit uzunluktaysa daha az kısıtlayıcı olan (Allow) kazanır. Araç her URL için kararı veren kuralı gösterir.
GPTBot, ClaudeBot gibi yapay zekâ botlarını engellemeli miyim?
Bu bir iş kararı. Eğitim amaçlı botları engellemek içeriğinizi gelecekteki model eğitiminden çıkarır ama aramayı kullanan yapay zekâ cevaplarından mutlaka çıkarmaz. Artı ve eksileri GEO uygulama rehberinde anlattım.
Bu araç Google'ın ayrıştırıcısıyla birebir aynı mı?
Google'ın belgelenmiş kurallarını izler (gruplar, en özel user-agent, en uzun eşleşme, joker karakterler, 500 KiB sınırı) ama Google'ın kendi kodu değildir. Kritik değişikliklerde Search Console'daki robots.txt raporunu da kontrol edin.


