Python projelerinde web sitelerine yapılacak sürekli ve anonim erişim sağlamak, engellemeleri aşmak veya IP adresi sınırlarını aşmak için proxy rotasyonu önemli bir araçtır. Bu konuda en doğru ve verimli yöntemleri nasıl kurup uygulayabileceğinizi adım adım anlatacağım.
Proxy rotasyonu, temel olarak belli aralıklarla veya belirli kurallara göre farklı IP adresleri kullanmak anlamına gelir. Python’da bu işlemi yaparken birkaç farklı yöntem ve kütüphane tercih edilebilir. En yaygın kullanılan yöntemler arasında requests kütüphanesi ile proxy kullanmak ve bu proxy'leri otomatik olarak değiştirmektir.
İlk adım, kullanılacak proxy listesine sahip olmaktır. Bu listeyi çeşitli ücretsiz veya ücretli proxy sağlayıcılarından edinebilirsiniz. Proxy listesi, genellikle IP ve port bilgilerini içerir. Örneğin:
12345proxy_list = [
'http://123.45.67.89:8080',
'http://98.76.54.32:3128',
'http://111.22.33.44:8000'
]
Bu listeyi kullanarak, her istek öncesinde veya belirli aralıklarla farklı proxy'leri devreye sokabilirsiniz. İşte temel bir örnek:
123456789101112131415161718192021222324import requests
import random
import time
proxy_list = [
'http://123.45.67.89:8080',
'http://98.76.54.32:3128',
'http://111.22.33.44:8000'
]
def get_random_proxy():
return {'http': random.choice(proxy_list), 'https': random.choice(proxy_list)}
url = 'https://example.com'
for i in range(10):
proxy = get_random_proxy()
try:
response = requests.get(url, proxies=proxy, timeout=10)
print(f"Request {i+1} başarıyla yapıldı. Proxy: {proxy}")
print(f"İçerik uzunluğu: {len(response.content)}")
except requests.exceptions.RequestException as e:
print(f"Request {i+1} başarısız. Proxy: {proxy} Hata: {e}")
time.sleep(random.uniform(1, 3)) # Rastgele aralıklarla istek gönderimi
Bu yapıda, her istek öncesinde proxy listesinde rastgele bir proxy seçiliyor ve kullanılıyor. Ayrıca, zaman aralıklarını rastgele tutmak, bot tespiti riskini azaltır. Proxy listenizi sürekli güncel tutmak ve doğruluğunu kontrol etmek de önemli.
İleri seviye kurulumda, proxy rotasyonunu API tabanlı sağlayıcılar veya proxy rotasyon servisleriyle entegre ederek, otomatik ve daha güvenilir döngüler oluşturabilirsiniz. Ayrıca, proxy'lerin durumunu izleyip, başarısız olanları listeden çıkarma veya tekrar deneme mekanizmaları geliştirmek, sisteminizin kararlılığını artırır.
Sonuç olarak, Python’da proxy rotasyonu, doğru proxy listesi ve uygun algoritmalarla temel bir ihtiyaç haline gelir. Bu yöntemler ve kod örnekleri, web scraping veya otomasyon işlemlerinizde IP engellemelerini aşmanıza ve daha geniş erişim alanı sağlamanıza imkan tanır.
