Web geliştirme ve otomasyon süreçlerinde, belirli bir web sayfasının erişilebilir olup olmadığını veya içeriğinde beklediğimiz öğelerin varlığını kontrol etmek oldukça yaygın bir ihtiyaçtır. Python, bu alanda güçlü ve esnek araçlar sunar. Bu başlık altında, özellikle requests ve BeautifulSoup kütüphaneleri kullanılarak nasıl otomatik web sayfası kontrolü yapılabileceğine odaklanacağız.
İlk olarak,
requests kütüphanesi ile web sayfasına HTTP isteği göndermek temel adımdır. Bu kütüphane, sayfanın durum kodunu kontrol ederek erişilebilir olup olmadığını anlamamıza olanak tanır. Örneğin, 200 kodu sayfanın başarıyla yüklendiğini gösterirken, 404 veya 500 gibi kodlar sorun olduğunu gösterir.
İkinci aşamada, sayfayı parse ederek içeriği analiz etmek için
BeautifulSoup kullanılır. Bu kütüphane, HTML yapısına uygun şekilde DOM (Document Object Model) üzerinde gezintiye izin verir. Belirli bir elementin varlığını veya içeriğin güncellenip güncellenmediğini kontrol edebilirsiniz.
Örnek olarak, aşağıdaki kod parçası bir sayfaya istek gönderir, erişilebilirliği kontrol eder ve belirli bir anahtar kelimenin sayfada bulunup bulunmadığını raporlar:
123456789101112131415161718
import requests
from bs4 import BeautifulSoup
url = 'https://ornekwebsayfasi.com'
try:
response = requests.get(url, timeout=10)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
if 'Beklenen Kelime' in soup.text:
print('Kelime bulundu, sayfa normal.')
else:
print('Kelime bulunamadı, içerik değişmiş olabilir.')
else:
print(f'Sayfa erişilemiyor, durum kodu: {response.status_code}')
except requests.RequestException as e:
print(f'İstek sırasında hata oluştu: {e}')
Bu örnek, temel seviyede web sayfası kontrolü yapmak isteyenler için başlangıç noktasıdır. Daha gelişmiş kontrollerde, sayfa değişikliklerini fark etmek veya otomatik bildirim mekanizmaları kurmak mümkündür. Ayrıca, sayfada JavaScript ile yüklenen içerikleri kontrol etmek için
selenium gibi araçlar devreye alınabilir.
Sonuç olarak, Python ile web sayfası kontrolü, özellikle düzenli denetim ve otomasyon ihtiyaçlarında oldukça kullanışlıdır. Bu sayede sistemlerin sağlığını takip etmek ve olası sorunlara hızlıca müdahale etmek mümkündür.
