Python ile SEO URL Crawler

Today at 00:11 OP

Thread Starter #0

SEO (Arama Motoru Optimizasyonu) için URL'lerin doğru bir şekilde analiz edilmesi, web sitelerinin görünürlüğünü artırmak için kritik bir adımdır. Python, bu tür görevler için güçlü kütüphaneler sunarak geliştiricilere büyük kolaylık sağlar. Bu yazıda, Python kullanarak basit bir SEO URL crawler oluşturmanın adımlarını detaylandıracağım.

Öncelikle, bir crawler'ın temel işlevi belirli bir web sayfasından başlayarak diğer sayfalara bağlantılar aracılığıyla ilerlemektir. Bunun için genellikle requests ve BeautifulSoup kütüphaneleri kullanılır. requests, HTTP istekleri yapmak için, BeautifulSoup ise HTML içeriklerini analiz etmek için kullanılır.

İlk olarak, gerekli kütüphaneleri yükleyin:

CODE

1pip install requests beautifulsoup4

Sonrasında, temel bir crawler fonksiyonu oluşturabiliriz:

CODE

12345678910111213141516171819202122import requests
from bs4 import BeautifulSoup

def crawl(url, max_depth):
    if max_depth < 0:
        return
    try:
        response = requests.get(url)
        response.raise_for_status()
        soup = BeautifulSoup(response.text, 'html.parser')
        print(f"Crawling URL: {url} | Status Code: {response.status_code}")
        
        for link in soup.find_all('a', href=True):
            full_url = requests.compat.urljoin(url, link['href'])
            crawl(full_url, max_depth - 1)

    except requests.exceptions.RequestException as e:
        print(f"Error crawling {url}: {e}")

# Başlangıç URL'sini ve derinliğini belirleyin
start_url = 'https://www.example.com'
crawl(start_url, 2)  # 2 derinliğe kadar tarama yapar

Yukarıdaki kod, belirli bir URL'den başlayarak bağlantıları takip ederek iki derinliğe kadar sayfaları taramaktadır. Her sayfanın durum kodunu konsola yazar. max_depth parametresi, tarayıcı derinliğini kontrol eder, böylece sonsuz döngülerden kaçınılır.

Ek olarak, SEO açısından önemli olan belirli unsurları incelemek için soup nesnesini kullanabilirsiniz. Örneğin, sayfanın başlığını veya meta açıklamasını alarak SEO analizi yapabilirsiniz:

CODE

1234title = soup.title.string if soup.title else 'No title'
meta_description = soup.find('meta', attrs={'name': 'description'})
description_content = meta_description['content'] if meta_description else 'No description'
print(f"Title: {title} | Description: {description_content}")

Sonuç olarak, Python ile basit bir SEO URL crawler oluşturmak, web sitelerinin SEO durumunu analiz etmek için etkili bir yöntemdir. Bu yöntem, daha karmaşık SEO araçlarının geliştirilmesine zemin hazırlar ve web sitenizin arama motorlarındaki görünürlüğünü artırma konusunda faydalı olabilir.

Similar threads

Report Content