AsyncIO Kullanarak Hızlı Web Scraping Nasıl Yapılır?

Cuma saat 19:15 OP

Konuyu Açan #0

Web scraping, internetten veri çekmenin popüler bir yolu olarak karşımıza çıkıyor. Ancak, bu işlem genellikle zaman alıcı olabilir. Bu yazıda, Python’un async yapısını kullanarak nasıl daha hızlı bir web scraping işlemi gerçekleştirebileceğimizi ele alacağız.

İlk olarak, async yapısının ne olduğunu anlamak önemlidir. AsyncIO, Python’da asenkron programlama yapmamızı sağlar. Bu, I/O işlemlerinin (örneğin, ağ üzerinden veri çekme) beklenirken diğer işlemlerin çalışmaya devam etmesine olanak tanır. Böylece, çok sayıda web sayfasından veri çekerken zaman kazandırır.

Bir web scraping işlemi için aiohttp kütüphanesini kullanacağız. Bu kütüphane, HTTP istemcisi olarak asenkron işlemler yapmamıza yardımcı olur. Aşağıda basit bir örnek verilmiştir:

CODE

123456789101112131415161718
import asyncio
import aiohttp

async def fetch(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main(urls):
    tasks = [fetch(url) for url in urls]
    return await asyncio.gather(*tasks)

urls = ['https://example.com', 'https://example.org']
results = asyncio.run(main(urls))

for result in results:
    print(result[:100])  # İlk 100 karakteri yazdır

Yukarıdaki kodda, fetch fonksiyonu verilen URL'den veriyi çeker. main fonksiyonu ise birden fazla URL için fetch fonksiyonunu asenkron bir şekilde çalıştırır. asyncio.gather kullanarak tüm görevlerin tamamlanmasını bekleriz.

Bu yaklaşım, çok sayıda web sayfasını aynı anda çekme yeteneği sayesinde işlem süresini önemli ölçüde kısaltır. Örneğin, 10 sayfadan veri çekerken, bu işlem normalde sırayla yapıldığında 10 saniye alacaksa, async yöntemiyle bu süre 1 saniyeye düşebilir.

Sizler bu yöntemle web scraping yaparken hangi zorluklarla karşılaştınız? Deneyimlerinizi ve önerilerinizi paylaşmak ister misiniz?

Benzer konular

İçeriği Şikayet Et