Merhaba arkadaşlar, web scraping projelerinde sıkça karşılaşılan iki temel sorun olan engellemeler ve IP kısıtlamalarıyla başa çıkmak için gelişmiş teknikler üzerine konuşmak istiyorum. Özellikle, Python’un BeautifulSoup kütüphanesiyle birlikte proxy rotasyonu entegrasyonunun nasıl yapılacağına dair detaylara odaklanacağım.
İlk olarak, BeautifulSoup’un temel kullanım mantığını biliyoruz: HTML sayfalarını parse edip, belirli elementleri seçmek. Ancak, yoğun istek gönderilmesi durumunda IP adresiniz engellenebilir veya limitlenebilir. Bu noktada, proxy rotasyonu devreye giriyor. Birden fazla proxy IP adresi kullanarak, istekleri farklı IP’lerden yönlendirip, bu engellemeleri aşmak mümkün.
Proxy rotasyonu birkaç temel adım içerir:
- Güvenilir proxy listesi hazırlama veya edinme (kendi proxy listeniz veya ücretsiz/profesyonel proxy sağlayıcıları).
- İstekleri yaparken, her seferinde farklı bir proxy kullanmak.
- Proxylerin aktifliğini ve erişilebilirliğini düzenli olarak kontrol etmek.
Python’da bunu gerçekleştirmek için, requests kütüphanesiyle proxy desteği sağlayabilir ve kendi döngünüzde proxyleri sırayla veya rastgele seçebilirsiniz. Aşağıda temel bir örnek kod parçası paylaşıyorum:
1234567891011121314151617181920212223242526272829
import requests
from bs4 import BeautifulSoup
import random
proxy_list = [
'http://proxy1:port',
'http://proxy2:port',
'http://proxy3:port',
# proxy listenizi buraya ekleyin
]
def get_html(url):
proxy = {'http': random.choice(proxy_list), 'https': random.choice(proxy_list)}
try:
response = requests.get(url, proxies=proxy, timeout=10)
response.raise_for_status()
return response.text
except requests.RequestException as e:
print(f"Proxy {proxy['http']} ile istek başarısız: {e}")
return None
url = 'https://ornekwebsite.com'
html_content = get_html(url)
if html_content:
soup = BeautifulSoup(html_content, 'html.parser')
# burada istediğiniz veriyi parse edebilirsiniz
title = soup.find('title').get_text()
print(title)
Bu yöntemle, her istek sırasında rastgele veya belirli kurallara göre proxy kullanımı sağlayabilirsiniz. Ayrıca, proxylerin düzenli çalışıp çalışmadığını kontrol etmek ve yavaşlayan veya başarısız proxyleri listeden çıkarmak performansı artırır.
Daha gelişmiş senaryolarda, proxy rotasyonunu otomatikleştiren ve proxyleri sağlık durumuna göre filtreleyen kütüphaneler veya kendi rotasyon algoritmanızı geliştirmek gerekebilir. Ayrıca, CAPTCHA ve CSRF gibi önlemleri aşmak için ek araçlar ve teknikler de entegre edilebilir.
Sonuç olarak, proxy rotasyonu ve BeautifulSoup entegrasyonu, web scraping’de engellemeleri aşmak ve daha sürdürülebilir otomasyonlar kurmak adına kritik öneme sahip. Proxyleri dikkatli kullanmak ve rotasyon stratejisini iyi planlamak, başarı oranınızı önemli ölçüde artıracaktır.
