E-ticaret sitelerinde stok takibi yapmak, özellikle otomatik botlar için zaman zaman karmaşık hale gelebiliyor. Node.js ekosisteminde bu tür botlar geliştirirken en büyük sorunlardan biri, DOM'un tam yüklenmemesi veya elementlerin bulunamaması. Ayrıca, sitelerin bot trafiğini tespit edip engellemesi nedeniyle User-Agent manipülasyonu da sıklıkla gündeme gelir. Bu makalede, bu sorunlara çözüm odaklı yaklaşım ve teknik detaylar üzerinde duracağız.
İlk olarak, DOM'un tamamen yüklenmesini sağlamak kritik. Bu noktada, genellikle Puppeteer veya Playwright gibi headless tarayıcı kütüphaneleri tercih edilir. Bu araçlar, gerçek bir tarayıcı ortamı sağlar ve sayfa yüklemenin tamamlanmasını beklemeden elementlere erişim hatası alınabilir. Bu nedenle,
waitForSelector veya
waitForFunction gibi fonksiyonlar kullanmak gerekir. Örneğin:
12
await page.waitForSelector('.stok-bilgisi', {timeout: 10000});
Bu sayede, belirli bir element DOM'a yüklendiğinde işlem devam eder. Ayrıca, DOM'un tamamen yüklenmesini sağlamak için
networkidle0 veya
load gibi olaylar da kullanılabilir.
İkinci sorun, element bulunamama durumu. Bu genellikle sayfa yapısındaki değişiklikler veya dinamik içerikler nedeniyle olur. Bu durumda, sayfa kaydırma veya zaman aşımı ayarları ile sayfanın tam anlamıyla yüklenmesini sağlamak gerekebilir. Ayrıca, sayfa içerisinde çeşitli fallback yöntemleri ve hata yakalama mekanizmaları geliştirmek de çözüm sağlar.
Son olarak, sitelerin bot tespiti için User-Agent manipülasyonu önemli. Çok sayıda site, tarayıcı tipini tanımak veya bot trafiğini engellemek amacıyla çeşitli kontrol mekanizmaları kurar. Bu durumda, User-Agent'ı gerçekçi ve güncel tutmak, tarayıcı özelliklerini (viewport, dil, ve ekran çözünürlüğü) taklit etmek faydalı olur. Örneğin:
12
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.5790.102 Safari/537.36');
Ayrıca,
proxy kullanımı ve
başlıklar ile diğer tarayıcı özelliklerini de ayarlamak, botun gerçek kullanıcı gibi görünmesini sağlar.
Sonuç olarak, headless tarayıcıların doğru yapılandırılması, DOM'un tam yüklenmesini sağlamak ve User-Agent manipülasyonu, botların tespit edilmesini zorlaştırır ve stabil çalışma sağlar. Bu teknikleri uygun şekilde uygulayarak, stok takibi botlarınız hem daha güvenilir hem de daha az engellenebilir hale gelir.
