[B]Günümüzde web verileri, araştırma ve analiz için büyük bir kaynak haline geldi. Python, bu noktada en popüler ve güçlü araçlardan biri olarak öne çıkıyor. Web sayfasından veri toplama işlemi, genellikle "web scraping" veya "web kazıma" olarak adlandırılır ve bu süreç, belirli bir web sitesinin HTML yapısındaki verileri programatik olarak çekmek ve ayrıştırmak anlamına gelir. Bu, özellikle büyük veri analizi, fiyat karşılaştırması veya içerik toplama gibi işlemlerde hayat kurtarır.
Python'un bu alandaki en bilinen kütüphaneleri arasında
requests ve
BeautifulSoup bulunur. Requests, HTTP istekleri yaparak web sayfalarını indirirken, BeautifulSoup ise bu sayfalardaki HTML yapısına erişip, istediğimiz veriyi ayıklamamıza imkan tanır.
İşte temel bir örnekle açıklayalım: Diyelim ki, belli bir haber sitesinden son haber başlıklarını çekmek istiyorsunuz. İlk adım, siteye bir GET isteği göndermek ve sayfayı indirmektir. Ardından, sayfa içeriğini BeautifulSoup ile parse ederek, başlıkların bulunduğu HTML elementlerini bulup, metinleri toplarsınız.
Kod örneği şu şekildedir:
1234567891011121314
import requests
from bs4 import BeautifulSoup
url = 'https://ornekhaber.com' # Gerçek bir haber sitesinin URL'si olmalı
response = requests.get(url)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
headlines = soup.find_all('h2', class_='baslik') # Sayfada başlıkların bulunduğu HTML yapısı
for headline in headlines:
print(headline.get_text(strip=True))
else:
print('Sayfa alınamadı, hata kodu:', response.status_code)
Bu temel örnek, web sayfasından belirli veri parçalarını çekip, düzenli biçimde işler hale getirmenin ilk adımıdır. Daha karmaşık ve dinamik sayfalar için ise
Selenium gibi araçlar kullanılabilir.
Web scraping yaparken dikkat edilmesi gereken etik ve yasal kurallar bulunduğunu da hatırlatmak gerekir. Bazı sitelerin robots.txt dosyası veya kullanım şartları, otomatik veri toplamayı sınırlandırabilir. Ayrıca, aşırı istek gönderimi site performansını olumsuz etkileyebilir.
Sonuç olarak, Python’un sunduğu kütüphanelerle web sayfası verilerini sistematik ve otomatik biçimde toplamaya başlamak, veri odaklı projelerin temel taşlarından birini oluşturur ve bu alanda uzmanlaşmak, büyük veri dünyasında önemli bir avantaj sağlar.
İşte bu temel bilgiler ışığında, farklı web yapıları ve ihtiyaçlar doğrultusunda, daha gelişmiş tekniklere ve araçlara da yönelmeyi düşünebiliriz.
