Python kullanarak HTML içerisinden yapılandırılmış veri çıkarmak, web kazıma ve veri analizi süreçlerinde sıkça karşılaşılan temel ihtiyaçlardan biridir. Bu süreçte, HTML yapısında bulunan belirli öğeleri seçmek ve bunları JSON formatına dönüştürmek için çeşitli kütüphaneler ve teknikler kullanılabilir. Bu yazıda, özellikle BeautifulSoup ve json kütüphanelerinin nasıl entegre edilerek, HTML’den veri çıkarma ve JSON’a dönüştürme işlemlerinin gerçekleştirilebileceğine değineceğim.
İlk olarak,
BeautifulSoup kütüphanesi HTML parsing işlemlerinde oldukça güçlü ve kullanımı kolaydır. HTML içeriği parse edilerek, belirli elementleri veya sınıfları seçmek mümkündür. Örneğin, tablo veya liste gibi yapısal öğelerden veri çekmek için ideal bir araçtır. Bu verilerin JSON formatına dönüştürülmesi ise, Python’un
json modülü kullanılarak gerçekleştirilir.
Örnek bir senaryoda, bir web sayfasındaki ürün listelerini veya kullanıcı bilgilerini çekmek isteyebilirsiniz. Bu durumda, HTML’deki belirli sınıf veya ID ile işaretlenmiş öğeleri seçip, içeriği sözlük (dictionary) yapısı olarak düzenlersiniz. Ardından, bu sözlüğü json.dumps() fonksiyonuyla JSON formatına çevirirsiniz.
Aşağıda temel bir örnek kod yer almaktadır:
123456789101112131415161718192021222324252627
import requests
from bs4 import BeautifulSoup
import json
[b]Hedef URL[/b]
url = 'https://ornekwebsitesi.com/urunler'
[b]HTML içeriğini çek[/b]
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
[b]Ürünleri içeren bölümü seç[/b]
urunler_listesi = []
for urun in soup.find_all('div', class_='urun'):
isim = urun.find('h2', class_='isim').text.strip()
fiyat = urun.find('span', class_='fiyat').text.strip()
detay = {
'isim': isim,
'fiyat': fiyat
}
urunler_listesi.append(detay)
[b]JSON'a dönüştür[/b]
json_veri = json.dumps(urunler_listesi, ensure_ascii=False, indent=4)
print(json_veri)
Bu kodda, belirli class isimleriyle işaretlenmiş ürünleri seçip, isim ve fiyat verilerini çıkarıyoruz. Sonrasında, liste halinde düzenlediğimiz bu veriyi JSON formatına çeviriyoruz. Bu yöntem, web verisini otomatik olarak çekip, analiz veya depolama işlemlerinde oldukça etkilidir.
Sonuç olarak, Python’un güçlü kütüphaneleri sayesinde HTML’den JSON’a veri dönüşüm işlemi, veri madenciliği ve otomasyon projelerinde temel bir yer tutar. Bu süreç, özellikle büyük veri setlerini yönetmek ve farklı platformlar arasında veri alışverişi yapmak için kritik bir adımdır.
