Konuyu Açan
#1
Scrapy, Python tabanlı güçlü bir web kazıma (web scraping) framework'üdür ve projelerin verimli şekilde çalışması için doğru yapılandırma ayarlarının yapılması büyük önem taşır. Bu yazıda, Scrapy ayarlarının temel ve ileri seviyedeki kurulumlarını adım adım ele alacağız. İşte dikkat edilmesi gereken noktalar:
1. Ayar Dosyasını (settings.py) Anlama ve Temel Yapılandırma
Scrapy projelerinde ana ayarların bulunduğu alan
Örneğin;
2. Tarayıcı Davranışını ve Erişim Limitlerini Ayarlama
Web sitelerine aşırı yük bindirmemek adına,
Örnek:
3. Veri Çıkış Formatı ve Saklama Yöntemleri
Veri kaydını JSON, CSV veya XML gibi formatlarda yapabilirsiniz. Bu ayarları
Örnek:
4. İstek ve Bağlantı Yönetimi
İsteklerde kullanılacak kullanıcı ajanı (User-Agent) veya proxy ayarları, sitenin engelini aşmak veya anonim kalmak için gereklidir. Ayrıca,
Örnek:
Bu ayarların doğru ve dengeli yapılandırılması, Scrapy projelerinin performansını ve verimliliğini doğrudan etkiler. Ayrıca, sürekli değişen web yapılarında ayarların güncellenmesi gerekebilir. Bu nedenle, projenin ihtiyaçlarına uygun ayarları belirleyerek, hem etik hem de etkili kazıma süreçleri sağlanabilir.
1. Ayar Dosyasını (settings.py) Anlama ve Temel Yapılandırma
Scrapy projelerinde ana ayarların bulunduğu alan
settings.py dosyasıdır. Burada, BOT_NAME, SPIDER_MODULES ve NEWSPIDER_MODULE gibi temel ayarların yanı sıra, veri çıkış biçimi, zaman aşımı, kullanıcı ajanı ve robot.txt uyumu gibi önemli parametreler bulunur. Örneğin;
KOD
1234
BOT_NAME = 'ornek_proje'
SPIDER_MODULES = ['ornek_proje.spiders']
NEWSPIDER_MODULE = 'ornek_proje.spiders'
2. Tarayıcı Davranışını ve Erişim Limitlerini Ayarlama
Web sitelerine aşırı yük bindirmemek adına,
DOWNLOAD_DELAY ve CONCURRENT_REQUESTS gibi ayarları optimize etmek gerekir. Ayrıca, ROBOTSTXT_OBEY = True ile sitenin robots.txt kurallarına uyum sağlanabilir. Örnek:
KOD
1234
DOWNLOAD_DELAY = 2 # saniye cinsinden, her istek arasında 2 saniye bekler
CONCURRENT_REQUESTS = 16 # aynı anda yapılabilecek istek sayısı
ROBOTSTXT_OBEY = True
3. Veri Çıkış Formatı ve Saklama Yöntemleri
Veri kaydını JSON, CSV veya XML gibi formatlarda yapabilirsiniz. Bu ayarları
FEED_FORMAT ve FEED_URI ile yapılandırmak önemli. Örnek:
KOD
123
FEED_FORMAT = 'json'
FEED_URI = 'veriler.json'
4. İstek ve Bağlantı Yönetimi
İsteklerde kullanılacak kullanıcı ajanı (User-Agent) veya proxy ayarları, sitenin engelini aşmak veya anonim kalmak için gereklidir. Ayrıca,
DOWNLOAD_TIMEOUT ve RETRY_ENABLED gibi ayarlarla isteklerin başarısız olması durumunda tekrar deneme yapabilirsiniz. Örnek:
KOD
12345
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36'
DOWNLOAD_TIMEOUT = 15 # saniye
RETRY_ENABLED = True
RETRY_TIMES = 3
Bu ayarların doğru ve dengeli yapılandırılması, Scrapy projelerinin performansını ve verimliliğini doğrudan etkiler. Ayrıca, sürekli değişen web yapılarında ayarların güncellenmesi gerekebilir. Bu nedenle, projenin ihtiyaçlarına uygun ayarları belirleyerek, hem etik hem de etkili kazıma süreçleri sağlanabilir.
