Robots.txt Gelişmiş Kuralları

Robots.txt dosyası, web yöneticilerinin arama motoru botlarına sitelerindeki hangi sayfaların taranabileceğini veya taranamayacağını belirtmelerine olanak tanır. Ancak, bu dosyanın basit kullanımının ötesinde, daha gelişmiş kurallar ile arama motoru optimizasyonunu (SEO) artırmak mümkündür. İşte bu gelişmiş kuralların bazıları:

• Disallow: Bu kural, belirli dizinlerin veya dosyaların taranmasını engeller. Örneğin, bir web sitesinin "özel" dizinindeki içeriklerin arama motorları tarafından taranmasını istemiyorsanız, şu şekilde belirtilebilir:
  
  CODE Copy

  12User-agent: *
  Disallow: /ozel/

  
  Bu kural, tüm botlardan "özel" dizinindeki içerikleri taramamaları için talimat verir.
  
  
• Allow: Belirli bir dizin içinde, taranmasına izin verilen dosya veya dizinleri belirtmek için kullanılır. Örneğin, bir dizin içinde yalnızca belirli bir sayfanın taranmasını istiyorsanız, şu şekilde yazabilirsiniz:
  
  CODE Copy

  123User-agent: *
  Disallow: /ozel/
  Allow: /ozel/izinli-sayfa.html

  
  
  
• User-agent: Farklı arama motorlarının botlarını hedeflemek için kullanılır. Örneğin, Googlebot için özel kurallar belirlemek isteyebilirsiniz:
  
  CODE Copy

  12User-agent: Googlebot
  Disallow: /ozel/

  
  Bu durumda, yalnızca Googlebot "özel" dizinini tarayamaz, diğer botlar için farklı kurallar eklenebilir.
  
  
• Sitemap: Arama motorlarına site haritalarınızı belirtmek için kullanılır. Bu, botların sitenizi daha etkili bir şekilde taramasına yardımcı olabilir. Örneğin:
  
  CODE Copy

  1Sitemap: https://www.orneksite.com/sitemap.xml

  
  Bu kural, botların site haritanızı bulmasına yardımcı olur ve tarama sürecini optimize eder.
  
  
• Crawl-delay: Arama motoru botlarının sitenizi ne sıklıkla tarayacağını belirlemek için kullanılır. Bu kural, sunucu üzerindeki yükü azaltmak için faydalı olabilir:
  
  CODE Copy

  12User-agent: *
  Crawl-delay: 10

  
  Bu durumda, botlar sitenizi her 10 saniyede bir tarayacaktır, bu da aşırı yüklenmeyi önleyebilir.

Robots.txt dosyanızı oluştururken bu gelişmiş kuralları dikkate almak, SEO açısından büyük önem taşır. Her bir kuralın doğru şekilde uygulanması, arama motorlarının sitenizi daha verimli bir şekilde taramasına yardımcı olur ve istenmeyen taramaları engelleyerek kullanıcı deneyimini artırır.