Selenium ile Dinamik Web Sitesi Veri Kazıma Teknikleri

Giriş ve Temel Kavramlar
Günümüzde birçok web sitesi, içeriğini JavaScript kullanarak dinamik şekilde yükler. Bu durum, geleneksel HTML tabanlı kazıma araçlarının (örneğin, BeautifulSoup) yetersiz kalmasına yol açar. Bu noktada, Selenium gibi otomasyon araçları devreye girer. Selenium, tarayıcı otomasyon kütüphanesi olarak, gerçek bir tarayıcıyı kontrol ederek sayfaların tam anlamıyla yüklenmesini ve etkileşime girmesini sağlar. Bu sayede, JavaScript ile oluşturulan içeriklerin de erişilebilir olması sağlanır.

Dinamik İçerik Yükleme ve Bekleme Stratejileri
Dinamik sayfalarda, içerik genellikle olaylar (örneğin, buton tıklamaları veya scroll) sonrası yüklenir. Bu nedenle, Selenium'da bekleme (wait) mekanizmaları kritik önem taşır.
[list]

Explicit Waits: Belirli bir öğenin görünmesini veya belirli bir koşulun sağlanmasını bekler. Örneğin,

KOD Kopyala

1234567  
from selenium.webdriver.common.by import By  
from selenium.webdriver.support.ui import WebDriverWait  
from selenium.webdriver.support import expected_conditions as EC  
  
wait = WebDriverWait(driver, 10)  
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.liste')) )  

Implicit Waits: Tarayıcı genelinde tüm öğeler için süre sınırı belirler. Ancak, özellikle dinamik içeriklerde explicit wait tercih edilmelidir.

Sayfa Kaydırma (Scrolling): Bazı sitelerde içerik, sayfa aşağı kaydırıldıkça yüklenir. Bu durumda, JavaScript ile sayfayı belirli aralıklarla kaydırmak gerekir. Örneğin,

KOD Kopyala

12  
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")  

bu komut, sayfayı en aşağı kaydırır ve yeni içeriklerin yüklenmesini sağlar.

Örnek Senaryo ve Uygulama
Örneğin, e-ticaret sitelerinde ürünleri listeleyen sayfalar, sürekli içerik yükleme yapar. Selenium ile bu sayfaları otomatik gezerek tüm ürünleri çekmek için şu adımlar izlenebilir:

1. Sayfayı açmak ve ilk içeriği yüklemek.
2. Sayfayı aşağı kaydırmak ve yeni içeriklerin yüklenmesini sağlamak için birkaç kez bu işlemi tekrarlamak.
3. Belirli bir duruma ulaşınca veya son ürünleri görünce, sayfadaki tüm HTML'yi alın ve parse edin.

Bu yöntem, özellikle sonsuz kaydırma (infinite scroll) yapan sitelerde, tüm içeriği tam anlamıyla kazımayı sağlar. Ayrıca, JavaScript ile yüklenmiş veriler, Selenium'un tarayıcı kontrolü sayesinde erişilebilir hale gelir.

Sonuç ve Değerlendirme
Selenium, dinamik içerik yükleyen modern web sitelerinde veri kazıma işlemleri için güçlü bir araçtır. Doğru bekleme ve kaydırma stratejileriyle, neredeyse hiç sınırlama olmadan içeriğin tamamını elde etmek mümkündür. Ancak, kullanım sırasında site yapısına ve yükleme davranışlarına dikkat edilmesi, verimlilik ve başarı oranını artırır. Bu teknikler, özellikle büyük veri setleri ve sürekli güncellenen içeriklerle çalışırken, kazıma işlemini otomatik ve güvenilir hale getirir.