Robots.txt Analiz Aracı Python ile Nasıl Yazılır?

Dünən saat 03:10 OP

Mövzunu Açan #0

Robots.txt dosyası, web sitelerinin arama motorları tarafından nasıl taranması gerektiğini belirten önemli bir bileşendir. Bu dosya, tarayıcı botlarına hangi sayfaların taranıp taranamayacağını bildirir. Python ile basit bir robots.txt analiz aracı yazarak, bu dosyanın içeriğini kolayca kontrol edebilir ve analiz edebilirsiniz. İşte adım adım bir rehber.

İlk olarak, gerekli kütüphaneleri yüklememiz gerekiyor. requests kütüphanesi, URL'lerden veri çekmek için kullanılırken; urllib.parse modülü, URL'lerin parçalarını ayırmak için yararlıdır. Aşağıdaki komutlarla bu kütüphaneleri yükleyin:

CODE

1pip install requests

Ardından, robots.txt dosyasını çekmek ve içeriğini analiz etmek için bir Python betiği oluşturabilirsiniz. Aşağıda basit bir örnek verilmiştir:

CODE

12345678910111213141516171819202122232425262728293031323334353637383940
import requests
from urllib.parse import urlparse

def fetch_robots_txt(url):
    # URL'yi ayırarak ana domaini elde et
    parsed_url = urlparse(url)
    domain = f"{parsed_url.scheme}://{parsed_url.netloc}"
    
    # robots.txt dosyasını al
    response = requests.get(f"{domain}/robots.txt")
    if response.status_code == 200:
        return response.text
    else:
        return None

def parse_robots_txt(content):
    rules = {}
    lines = content.splitlines()
    user_agent = None
    
    for line in lines:
        line = line.strip()
        if line.startswith("User-agent:"):
            user_agent = line.split(":")[1].strip()
            rules[user_agent] = []
        elif line.startswith("Disallow:") and user_agent:
            path = line.split(":")[1].strip()
            rules[user_agent].append(path)

    return rules

[b]Kullanım örneği[/b]
url = "https://www.example.com"
robots_content = fetch_robots_txt(url)
if robots_content:
    rules = parse_robots_txt(robots_content)
    print(rules)
else:
    print("Robots.txt dosyası bulunamadı.")

Bu kod örneği, verilen bir URL'nin robots.txt dosyasını çeker ve içeriğini analiz eder. fetch_robots_txt fonksiyonu, robots.txt dosyasını alırken; parse_robots_txt fonksiyonu ise dosyanın içeriğini okuyarak hangi kullanıcı aracı için hangi sayfaların taranmasının engellendiğini belirler.

Sonuç olarak, bu basit Python aracı ile robots.txt dosyalarını analiz ederek, bir web sitesinin tarama kurallarını anlamak mümkündür. Peki, siz bu tür araçları nasıl kullanıyorsunuz? Kendi projelerinizde robots.txt dosyalarını analiz etmek için farklı yöntemler geliştirdiniz mi? Deneyimlerinizi ve önerilerinizi paylaşmaktan çekinmeyin!

Oxşar mövzular

Məzmunu şikayət et