Python Web Scraping – Gelişmiş Teknik Set

İMRAN · 18 Kasım 2025

Web Scraping Temel Yapıları (Requests – BS4)

Konu	Açıklama
HTML DOM İncelemesi	Sayfanın yapısını analiz ederek doğru elementleri seçme.
Selector Seçimi	XPath, CSS selector ve attribute analizleri.
Request Türleri	GET, POST, HEAD, OPTIONS gibi HTTP metodlarını anlamak.
User-Agent Kullanımı	Tarayıcı gibi davranarak engellemeyi azaltma.
Çerez Yönetimi	Session tabanlı sitelerde veri sürekli çekebilme.

Teknik	Açıklama
Çoklu Selector Kullanımı	Birden fazla kriterle element seçme.
Parent-Child Traversing	HTML yapısında yukarı/aşağı gezinme.
Attribute Filtreleme	ID, class, data-* attribute’ları üzerinden veri çekme.
Regex Tabanlı Arama	Belirsiz metinleri veya linkleri düzenli ifadelerle yakalama.
Tablo Scraping	HTML tablo verilerini dönüştürme.

Yöntem	Açıklama
User-Agent Değişimi	Bot tespitini zorlaştırmak için tarayıcı taklidi.
Header Spoofing	Accept-Language, Referer, Accept-Encoding ekleme.
Çerez Yönetimi	Login gerekmeyen sitelerde oturum taklidi yapma.
IP Rotasyonu	Proxy listeleri ile farklı IP’ler kullanma.
Zamanlama Rastgeleliği	istekleri rastgele gecikmeyle gönderme.
JavaScript Render Gereksinimi	Selenium veya Playwright ile JS işleyen siteleri açma.

Konu	Açıklama
Headless Mode	Tarayıcıyı görünmez çalıştırma.
Dynamic Content Handling	Sayfa load olduktan sonra yüklenen verileri alma.
Wait Conditions	Elementin görünmesini beklemek (explicit/implicit waits).
Scroll Automation	Sonsuz kaydırmalı sayfalarda veri toplama.
Button Click Scraping	Modal popup, dropdown, AJAX çağrıları tetikleme.

Yapı	Açıklama
Custom Headers	Gerçek browser davranışını yansıtmak için özel header gönderme.
Session Management	Aynı oturumla çoklu istek yaparak bloklanmayı azaltma.
Proxy Rotasyonu	Proxy havuzu kullanarak IP değişimi.
Geo-Targeting Scraping	Farklı ülkelerdeki sonuçları almak için ülke proxy’leri.
Cloudflare / JS Kontrolü	JS korumalı sitelerde Selenium/Playwright kullanma.

Konu	Açıklama
Async Request Mantığı	Aynı anda yüzlerce isteği paralel gönderme.
Concurrency Limit	Aynı anda kaç isteğin gönderileceğini kontrol etme.
Queue Yapısı	Büyük hacimli scraping görevlerini sıraya sokma.
Döngüsel Görevler	1 saniyede yüzlerce URL üzerinden veri çekme.
Async Cache	Gereksiz istekleri önlemek için cache mekanizması.

Katman	Açıklama
Scheduler	URL’leri zamanlayıcı ile sıraya sokar (dakika-saat).
Worker	Scraping işlemlerini yapan işçi süreçler.
Proxy Pool	IP limitlerine takılmamak için otomatik proxy değiştirme.
Retry Handler	Hatalı isteklerde otomatik yeniden deneme sistemi.
Data Cleaner	Çekilen ham veriyi normalize eden yapı.
Storage Layer	CSV, JSON, SQL, MongoDB ile entegre veri kaydı.

Format	Açıklama
CSV	Hafif, tablo bazlı veri kaydı.
JSON	API tarzı veri saklama.
SQLite	Küçük / lokal scraping projelerinde idealdir.
MongoDB	Büyük hacimli ve esnek veri toplama için uygundur.
Excel	Raporda kullanılacak verileri export etmeye uygun.

Bilgi	Açıklama
Robots.txt	Hangi sayfaların taranabileceğini belirtir.
Rate Limit Uyarısı	Çok sık istek → IP ban riskini artırır.
Captcha Koruması	Güvenlik duvarları veri çekimini engeller.
Yasal Sınırlar	Kamuya açık veriler + izinli scraping mümkündür.
Kişisel Veri	KVKK'ya aykırı veriler kesinlikle scrape edilmez.

Adım	Açıklama
1. URL Haritalama	Hangi sayfaların scrape edileceği belirlenir.
2. HTML Tag Yapısı Analizi	Verinin bulunduğu elementler tespit edilir.
3. Anti-Bot Tedbir Analizi	Site koruması incelenir (JS, Cloudflare, Captcha).
4. Scraper Mimarisi	Requests / Selenium / Async seçilir.
5. Proxy Politikası	IP döngüsü ayarlanır.
6. Veri Temizleme	Bozuk veriler normalize edilir.
7. Depolama	CSV/JSON/DB’ye kayıt yapılır.
8. Loglama	Hatalar ve retry’lar kaydedilir.
9. Olay Yönetimi	Block, captcha, timeout gibi durumlar ele alınır.