[B]Web sayfalarındaki başlıkları toplamak, özellikle geniş çaplı veri analizi veya içerik taraması için oldukça faydalı olabilir. Bu işlemi Python kullanarak nasıl yapabileceğinizi adım adım inceleyelim. Bu süreçte temel olarak
requests ve
BeautifulSoup kütüphaneleri devreye giriyor.
İlk olarak, hedef web sayfasına HTTP isteği göndermeli ve sayfanın HTML içeriğini alıyoruz. Ardından, HTML yapısında başlıkların bulunduğu tagleri (genellikle - ) seçiyoruz. Bu tagler, sayfa içeriğinin ana başlıklarını ve alt başlıklarını temsil eder.
Örnek olarak, aşağıdaki kod parçası, belirli bir URL'deki tüm ve başlıklarını toplar ve ekrana yazdırır:
1234567891011121314151617181920
import requests
from bs4 import BeautifulSoup
url = 'https://ornekwebsitesi.com'
response = requests.get(url)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
başlıklar_h1 = soup.find_all('h1')
başlıklar_h2 = soup.find_all('h2')
print('H1 Başlıkları:')
for başlık in başlıklar_h1:
print('-', başlık.get_text(strip=True))
print('\nH2 Başlıkları:')
for başlık in başlıklar_h2:
print('-', başlık.get_text(strip=True))
else:
print('Sayfa alınamadı, durum kodu:', response.status_code)
Bu örnekte, sayfadaki ve taglerini bulup içlerindeki metni temiz şekilde listeliyoruz. Daha gelişmiş projelerde, belirli sınıf veya ID'lere sahip elementleri seçmek veya farklı başlık seviyelerini ayırt etmek gerekebilir. Ayrıca, bu işlem sırasında sayfa yapısına göre düzenleme yapmanız gerekebilir.
Sonuç olarak, Python'un güçlü kütüphaneleri ve temel web scraping teknikleriyle, web sayfalarındaki başlıkları toplamak oldukça kolay ve otomasyona uygun hale gelir. Bu yöntem, büyük veri toplama ve içerik analizi süreçlerinin temel taşlarından biridir.[/body]
