Giriş ve Temel Bilgi
Python’da web scraping yaparken en büyük sorunlardan biri, özellikle büyük veri setleri veya yoğun istek sayılarında, işlem sürelerinin uzaması ve kaynak tüketiminin artmasıdır. Bu noktada, geleneksel senkron HTTP kütüphaneleri yerine, asenkron yapıya sahip
aiohttp kütüphanesi devreye girer.
aiohttp, Python’un
asyncio modülüyle uyumlu çalışarak, aynı anda birçok HTTP isteği göndermeyi ve cevapları almada yüksek verimlilik sağlar. Bu beceri, özellikle yüzlerce veya binlerce sayfayı tarayan web scraper’lar için büyük avantaj sağlar.
Neden aiohttp?
Senkron yapıda, her isteğin tamamlanmasını bekleyip sırayla ilerlerken, asenkron yapıda aynı anda birçok isteği başlatıp, cevaplar geldiğinde işlem yapabilirsiniz. Örneğin, 100 sayfa çekmek istiyorsanız, geleneksel yöntemde sırasıyla 100 kez istek gönderecek ve her cevap için bekleyeceksiniz. Ancak aiohttp’la, bu 100 isteği eş zamanlı başlatıp, tamamlandığında sonuçları toplayabilirsiniz. Bu da toplam süreyi anlamlı derecede azaltır.
Uygulama ve Temel Kullanım
Başlangıç olarak, aiohttp ve asyncio modüllerini kullanarak temel bir scraper yapabiliriz. İşte, temel bir örnek:
12345678910111213141516171819202122232425
import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def main(urls):
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
html_contents = await asyncio.gather(*tasks)
# html_contents listesinde her URL’den gelen sayfa içeriği bulunur
return html_contents
if [b]name[/b] == '[b]main[/b]':
urls = [
'https://example.com/page1',
'https://example.com/page2',
'https://example.com/page3'
# Çok sayıda URL eklenebilir
]
results = asyncio.run(main(urls))
for content in results:
print(content[:200]) # İlk 200 karakteri yazdır
- Timeout ve Hata Yönetimi: İsteklerde zaman aşımı ve hata yönetimi, büyük veri setlerinde kritik. try/except kullanımı ve [b]timeout[/] parametresi ile yapılandırma önemli.
- Küçük Parçalar Halinde İşleme: Çok sayıda URL varsa, isteği belli sınırlar içinde tutmak (örneğin, eş zamanlı maksimum 20 istek) için Semaphore veya limiter uygulanabilir.
- Veri Parsing: gelen HTML içeriği BeautifulSoup veya lxml gibi kütüphanelerle analiz edilmelidir.
Bu yöntem, büyük veri setlerinde hız ve verimlilik sağlar, ancak dikkat edilmesi gereken noktalar ve uygun yapılandırma ile kullanımını optimize etmek gerekir.
Düzenli ve etkili web scraping projelerinde, aiohttp’un sunduğu asenkron yapıyı kullanmak, zaman ve kaynak tasarrufu açısından büyük avantaj sağlar.
