Python ile Sitemap Kontrolü
Sitemap, web sitelerinin arama motorlarına ve diğer araçlara içerik yapısını anlatan önemli bir dosyadır. Genellikle XML formatında olan bu dosya, site içeriğinin hiyerarşisini ve güncellenme sıklığını gösterir. Bu nedenle, özellikle SEO çalışmalarında, sitenin sitemap’ının güncelliği ve erişilebilirliği kritik bir rol oynar. Python, bu işlemi otomatikleştirmek ve düzenli kontrol etmek için güçlü bir araçtır.
İlk adım olarak, sitemap dosyasını URL’den çekmek gerekir. Bu noktada
requests kütüphanesi oldukça kullanışlıdır. Sitemap’ın içeriği XML formatında olduğu için ise
xml.etree.ElementTree veya
BeautifulSoup gibi kütüphanelerle parse edilebilir. Örneğin, sitemap içeriğindeki tüm URL’leri listelemek ve erişilebilirliklerini kontrol etmek için aşağıdaki gibi bir script yazılabilir:
123456789101112131415161718192021
import requests
from xml.etree import ElementTree
sitemap_url = 'https://ornekwebsite.com/sitemap.xml'
response = requests.get(sitemap_url)
if response.status_code == 200:
root = ElementTree.fromstring(response.content)
url_list = [elem.text for elem in root.findall('.//loc')]
for url in url_list:
try:
res = requests.get(url, timeout=5)
if res.status_code == 200:
print(f"[✓] {url} erişilebilir.")
else:
print(f"[!] {url} erişilemiyor. Durum kodu: {res.status_code}")
except requests.RequestException:
print(f"[!] {url} için istek başarısız.")
else:
print('Sitemap dosyası alınamadı.')
Burada, sitemap’dan tüm URL’leri çıkardıktan sonra, her biri için HTTP durum kodunu kontrol ediyoruz. Bu, sitenin sitemap’ında listelenen sayfaların erişilebilir olup olmadığını tespit etmekte oldukça faydalıdır. Ayrıca, zaman aşımı ve hata yönetimi gibi detaylara dikkat etmek, scriptin güvenilirliğini artırır.
Bunun yanı sıra, sık sık güncellenen veya büyük siteler için, sitemap’ı otomatik olarak düzenli aralıklarla kontrol eden ve raporlayan bir sistem kurmak, SEO ve site sağlığı açısından büyük avantaj sağlar. Ayrıca, sitemap’un bozuk veya eksik URL’lerini tespit edip, gerekirse düzeltmek veya kaldırmak, sitenin arama motorlarındaki performansını olumlu yönde etkiler.
Sizde bu tarz otomasyonlar veya farklı kontrol yöntemleri hakkında deneyimleriniz var mı?
