İnstagram gibi sosyal medya platformlarında otomasyon ve veri toplama işlemleri, özellikle sayfa yüklenme süreleri ve dinamik içerik yüklemeleri nedeniyle zorluk çıkarabilir. Puppeteer, bu noktada güçlü bir araç olmasına rağmen, sayfa tam anlamıyla yüklenmeden veriye ulaşmak veya kaydetmek sorun olabilir. Bu rehberde, Puppeteer kullanarak Instagram'dan alınan verilerin güvenilir ve tutarlı biçimde MySQL veya MariaDB veritabanına kaydedilmesi sırasında karşılaşılan "dinamik sayfa yüklenme gecikmesi" sorununu detaylı biçimde ele alacağız.
İlk olarak, sayfanın tamamen yüklenmesi ve içeriklerin dinamik olarak yüklenmesini sağlamak için Puppeteer'da uygun bekleme stratejileri uygulamak hayati önem taşır. Bunlar arasında
waitForNavigation,
waitForSelector, veya
waitForFunction gibi fonksiyonlar bulunur. Örneğin, Instagram'da gönderi detay sayfasında içerik yüklenirken, belirli bir DOM elementinin görünürlüğünü beklemek, veri tutarlılığı açısından faydalıdır. Ayrıca, sayfa yüklenme zamanını optimize etmek için aşağıdaki yöntemler kullanılabilir:
- waitForSelector ile spesifik içerik veya elementlerin yüklenmesini bekleme
- Sayfa kaydırma (scroll) işlemleri ekleyerek, lazy loading (tembel yükleme) mekanizmasını tetikleme
- Network idle (ağ boşta) durumunu kullanmak için waitUntil='networkidle2' parametresiyle sayfa yükleme tamamını izlemek
- Döngüsel kontroller ve zaman aşımı ayarlarıyla, sayfanın gerçekten hazır olup olmadığını sürekli kontrol etmek
Örneğin, aşağıdaki kod parçası, Instagram gönderi sayfasında içerik tam yüklenene kadar bekler ve ardından veriyi işler:
123456
await page.goto('https://www.instagram.com/p/XXXXXX/', { waitUntil: 'networkidle2' });
await page.waitForSelector('article div.eLAPw'); // İçeriğin yüklenmesini bekle
const data = await page.evaluate(() => {
// Sayfa içeriğinden veri çıkarma işlemleri
});
Veri kaydını ise, Node.js ortamında
mysql2 veya
sequelize gibi ORM araçlarıyla yaparken, işlemin atomik ve güvenilir olması için transaction kullanmak, hatalı veya eksik kayıtlardan kaçınmak açısından önemlidir.
Sonuç olarak, Puppeteer ile Instagram gibi platformlarda dinamik içerik yüklenme gecikmeleri, doğru bekleme fonksiyonları ve sayfa durumunu izleyen stratejilerle giderilebilir. Bu, veri bütünlüğü ve zamanlama açısından kritik olup, otomasyon süreçlerinin güvenilirliğini artırır.
