Python kullanarak proxy'lerin geçerliliğini ve erişilebilirliğini otomatik olarak test etmek, özellikle web scraping ve veri toplama işlemlerinde önemli bir adım. Bu konuda, temel bir script ile belirli proxy'leri kontrol edebilir, hangilerinin aktif ve düzgün çalıştığını görebiliriz. İşte detaylı bir anlatım ve örnek kod:
İlk olarak, proxy testinde en temel yöntem, belirli bir URL'ye (örneğin Google veya başka bir güvenilir site) istek göndermektir. Proxy’lerin çalışıp çalışmadığını anlamak için, istek başarılıysa ve belirli bir yanıt süresi veya içerik alınabiliyorsa, proxy aktif kabul edilir.
Kodda,
requests kütüphanesi kullanılır. Eğer sisteminizde yoksa,
kütüphaneyi yükleyebilirsiniz.
Örnek Proxy Test Scripti:
12345678910111213141516171819202122232425262728293031
import requests
[b]Test edilecek proxy listesi[/b]
proxies_list = [
{'http': 'http://123.45.67.89:8080', 'https': 'http://123.45.67.89:8080'},
{'http': 'http://98.76.54.32:3128', 'https': 'http://98.76.54.32:3128'},
# Diğer proxy'ler buraya eklenebilir
]
[b]Test edilecek URL[/b]
test_url = 'https://www.google.com'
[b]Fonksiyon: Proxy'leri test et[/b]
def test_proxies(proxies):
working_proxies = []
for proxy in proxies:
try:
response = requests.get(test_url, proxies=proxy, timeout=5)
if response.status_code == 200:
print(f"[+] Proxy çalışıyor: {proxy}")
working_proxies.append(proxy)
else:
print(f"[-] Proxy başarısız (status {response.status_code}): {proxy}")
except requests.RequestException as e:
print(f"[-] Proxy erişimi başarısız: {proxy} Hata: {e}")
return working_proxies
[b]Testi çalıştır[/b]
aktif_proxyler = test_proxies(proxies_list)
print(f"\nAktif Proxy Sayısı: {len(aktif_proxyler)}")
Bu script, proxy listesini tek tek test eder, başarılı olanları ekrana yazdırır ve sonunda toplam aktif proxy sayısını gösterir. İsterseniz, proxy'leri bir dosyaya kaydedebilir veya belirli bir formata uygun hale getirebilirsiniz.
Bu temel yapı, proxy'lerin geçerliliğini hızlıca kontrol etmekte kullanışlıdır. Ancak, daha gelişmiş ihtiyaçlar için, proxy hızını ölçme, coğrafi konumlarına göre filtreleme veya otomatik proxy yenileme gibi ek özellikler eklenebilir.
Proxy testleri, özellikle büyük ölçekli scraping işlemlerinde, zaman ve maliyet tasarrufu sağlar ve operasyonların istikrarını artırır.
