Tarama Bütçesi (Crawl Budget) Nedir? Büyük Sitelerde Optimizasyon
Tarama bütçesi, SEO'da en çok konuşulan ama en az sitenin gerçekten dert etmesi gereken konulardan biri. Birkaç yüz sayfalık bir kurumsal sitede yeni sayfaların geç dizine eklenmesinin sebebi neredeyse hiçbir zaman bütçe değildir.
Yüz binlerce ürün, filtre kombinasyonu ve parametreli URL barındıran bir mağazada ise tablo değişir. Bu yazıda Google'ın tarama bütçesi dokümanına dayanarak kimin için önemli olduğunu, israfın nereden geldiğini ve Tarama İstatistikleri raporunu nasıl okuyacağınızı anlatıyorum.
Kısa cevap: Tarama bütçesi, Google'ın bir sitede taramak istediği ve tarayabildiği URL kümesidir; sunucu kapasitesi ve tarama talebiyle belirlenir. Google'a göre asıl olarak çok büyük ya da çok sık değişen siteler için önemlidir. Optimizasyon, gereksiz URL'leri azaltmak, kopyaları birleştirmek ve sunucuyu hızlı tutmaktır.
Tarama bütçesi nedir ve Google bunu nasıl belirler?
Google'ın dokümanı tarama bütçesini iki bileşenle tanımlıyor. Tarama kapasitesi sınırı, Googlebot'un sunucuyu yormadan açabileceği bağlantı sayısı ve süresidir. Site hızlı ve sağlıklı yanıt verdikçe yükselir; yavaşlama, 5xx hataları ya da 429 yanıtları gördüğünde düşer.
Tarama talebi ise Google'ın siteyi ne kadar taramak istediğidir. Dokümanda belirleyiciler olarak algılanan URL envanteri, popülerlik ve içeriğin eskime durumu sayılıyor. Kapasite yeterli olsa bile talep düşükse Google daha az tarar.
Bu ikisinden en çok kontrol edebildiğiniz şey envanterdir: Google'a ne kadar gereksiz URL gösterirseniz, değerli sayfalarınıza o kadar az zaman kalır.
Tarama bütçesi kimin için önemli?
Google, rehberin hedef kitlesini kabaca şöyle tarif ediyor ve bu rakamların kesin eşik değil, yaklaşık bir tahmin olduğunu özellikle belirtiyor:
| Site profili | Tarama bütçesi önemli mi? | Önce neye bakmalı? |
|---|---|---|
| 1 milyondan fazla benzersiz sayfa, haftalık değişen içerik | Evet | Envanter, filtre URL'leri, sunucu hızı |
| 10.000'den fazla sayfa, günlük değişen içerik | Evet | Site haritası, lastmod, tazelik |
| URL'lerin büyük kısmı "Keşfedildi – dizine eklenmemiş" | Muhtemelen | Sunucu yanıtı, kopya URL'ler |
| Birkaç yüz ya da birkaç bin sayfalık site | Genellikle hayır | İçerik kalitesi ve iç linkler |
Küçük bir sitede sayfa dizine eklenmiyorsa sorun büyük olasılıkla kalite ya da benzersizliktir; o durumda tarandı ama dizine eklenmemiş sayfalar yazısındaki teşhis adımları daha işe yarar.
Tarama bütçesini en çok ne israf eder?
Büyük sitelerdeki denetimlerde Googlebot'un zamanını en çok şu kalemlerin yediğini görüyorum:
Bu desenin uç örneği, yüzlerce şablon sayfayı aynı anda yayına almaktır; programatik SEO projelerinde envanter kontrolü bu yüzden ilk iştir. JavaScript ile üretilen linkler ve render maliyeti de taramayı etkiler; ayrıntısı JavaScript SEO yazısında.
Tarama bütçesi optimizasyonu: adım adım
Google'ın önerileri ile sahadaki uygulamayı birleştirdiğimde süreç şu sırayla ilerliyor:
- Envanteri çıkarınSunucu günlükleri ve tarama aracıyla Googlebot'un hangi URL kalıplarına gittiğini görün.
- Kopyaları birleştirinAynı içeriği taşıyan URL'leri tek standart adreste toplayın.
- Önemsizleri engelleyinSıralama ve sonsuz kaydırma kopyaları gibi URL'leri robots.txt ile taramadan çıkarın.
- Durum kodlarını düzeltinKalıcı olarak kaldırılan sayfalar 404/410 dönsün, soft 404'leri giderin, zincirleri kısaltın.
- Sunucuyu hızlandırınYanıt süresini düşürün, önbellek ve 304 (Not Modified) desteği ekleyin.
Dokümandaki ince ama önemli bir nokta: Bütçe kazanmak için noindex kullanmayın; Google noindex sayfayı yine de ister, sadece dizine eklemez. Taramayı gerçekten durdurmak istediğiniz URL'ler için doğru araç robots.txt'dir; sözdizimi ve tuzakları için robots.txt rehberi yazısına bakın. Zincirleri temizlerken yönlendirme oluşturucu toplu kural yazmayı hızlandırır.
Tarama İstatistikleri raporu nasıl okunur?
Search Console'da Ayarlar altındaki Tarama istatistikleri raporu yalnızca kök düzeydeki mülklerde (alan adı mülkü ya da kök URL ön eki) görünür. Google'ın yardım sayfası, bin sayfadan küçük sitelerin bu rapora ihtiyaç duymaması gerektiğini söylüyor.
- Toplam tarama isteği ve indirme boyutu: Ani düşüşler erişim sorununa, ani artışlar yeni URL kaynağına işaret edebilir.
- Ortalama yanıt süresi: Yükselen eğri, kapasite sınırının düşmesine yol açabilir.
- Ana makine durumu: robots.txt getirme, DNS çözümleme ve sunucu bağlantısı sorunları burada görünür.
- Yanıta, dosya türüne ve amaca göre dağılım: Keşif ve yenileme oranı, yeni URL'lerin ne kadar hızlı bulunduğunu gösterir.
- Googlebot türüne göre dağılım: Akıllı telefon tarayıcısının payını ve sayfa kaynağı taramalarını izleyin.
Temsili örnek: gerçek bir siteye ait veri değildir. Bu tür dağılım rapordaki tarama örnekleri ya da sunucu günlükleri gruplanarak çıkarılır.
Böyle bir tabloda Googlebot'un neredeyse yarısını filtre URL'lerine harcadığı görülüyorsa ilk iş filtre mimarisidir. Faceted navigasyonun nasıl kurulacağını e-ticaret SEO rehberi ayrıntılı anlatıyor; genel tarama ve dizine ekleme çerçevesi ise teknik SEO rehberinde.
Ne zaman uzman desteği gerekir?
URL Denetimi'nde "Hostload exceeded" uyarısı görüyorsanız Google'ın dokümanı sunucu kaynaklarını artırmayı öneriyor. Günlük analizi, filtre mimarisi ve sunucu tarafı ayarlar ise genellikle geliştirici ve SEO ekibinin birlikte çalışmasını gerektirir.
Yüz binlerce URL'li mağazalarda bu çalışmayı e-ticaret SEO danışmanlığı kapsamında şablon bazlı bir planla yürütüyorum. Sitenizde bütçenin gerçekten sorun olup olmadığını birlikte görmek için SEO uzmanı sayfasına göz atabilir ya da doğrudan görüşme randevusu alabilirsiniz.
Sıkça Sorulan Sorular
Site haritası tarama bütçesini artırır mı?
Site haritası bütçeyi büyütmez ama Google'ın önemli URL'leri bulmasına ve değişiklikleri fark etmesine yardım eder. Google, güncellenen içerik için lastmod alanını kullanmanızı öneriyor. Haritada yalnızca dizine eklenmesini istediğiniz standart URL'ler olmalı.
Daha sık içerik yayınlamak taramayı artırır mı?
Tazelik, tarama talebini etkileyen unsurlardan biri. Ancak yalnızca tarih değiştirmek ya da anlamsız güncellemeler yapmak kalıcı bir etki yaratmaz; Google gerçek değişikliği ve sayfanın değerini önemser.
Googlebot sunucumu yoruyorsa ne yapmalıyım?
Google, 5xx ve 429 yanıtlarını gördüğünde taramayı yavaşlatır. Acil durumda 500, 503 ya da 429 döndürmek işe yarar; Google bunu birkaç saat ya da en fazla 1-2 günle sınırlamayı öneriyor, çünkü günlerce süren hatalar URL'lerin dizinden çıkarılmasına yol açabilir. Kalıcı çözüm sunucu kapasitesini ve önbelleği iyileştirmektir.
Sunucu günlüklerine bakmak gerekli mi?
Büyük sitelerde en net bilgiyi günlükler verir: Googlebot'un hangi URL'lere, ne sıklıkla gittiğini gösterir. Günlükteki isteklerin gerçekten Google'dan geldiğini doğrulamak için Google'ın yayımladığı IP aralıklarını ya da ters DNS kontrolünü kullanın.
Tarama bütçesi sıralamayı doğrudan etkiler mi?
Taranmak sıralama faktörü değildir; ancak taranmayan sayfa dizine eklenemez ve sıralanamaz. Bu yüzden bütçe, büyük sitelerde dolaylı ama önemli bir konudur.
8+ yıl deneyimli SEO ve dijital pazarlama danışmanı.
LinkedIn →
150+ projede e-ticaret, SaaS, sağlık ve yerel işletme sektörlerinde 8+ yıllık uygulamalı SEO ve GEO deneyimi. Teoriye değil, gerçek müşteri verilerine dayanarak yazıyor.