Scraper Verilerini CSV Kaydetme: Adım Adım Rehber

Scraper Verilerini CSV Kaydetme

Veri kazıma (web scraping) projelerinde elde edilen verilerin düzenli ve erişilebilir olması, analiz ve raporlama süreçleri açısından kritik öneme sahiptir. Bu noktada, scraping sonucu çıkan verileri CSV formatında kaydetmek en yaygın ve pratik çözümlerden biridir. CSV, basit yapısı ve hemen hemen her veri analiz aracında desteklenmesi sayesinde tercih edilir.

İlk olarak, Python dilinde en sık kullanılan kütüphane olan pandas’ı kullanarak veriyi CSV’ye dönüştürmek oldukça kolaydır. Diyelim ki, scraping işlemiyle bir liste halinde veya sözlük yapısında veriler topladınız. Örneğin:

Veri yapısı:

كود نسخ

123456
data = [
    {'isim': 'Ali', 'yaş': 30, 'şehir': 'İstanbul'},
    {'isim': 'Ayşe', 'yaş': 25, 'şehir': 'Ankara'},
    {'isim': 'Mehmet', 'yaş': 40, 'şehir': 'İzmir'}
]

Bu verileri CSV’ye kaydetmek için şu adımları izleyebilirsiniz:

1. Pandas kütüphanesini içe aktarın:

كود نسخ

12
import pandas as pd

1. Veriyi DataFrame’e dönüştürün:

كود نسخ

12
df = pd.DataFrame(data)

1. CSV dosyasına kaydedin:

كود نسخ

12
df.to_csv('veriler.csv', index=False, encoding='utf-8')

Burada, index=False parametresi satır numaralarını dosyaya dahil etmemizi sağlar. Ayrıca, encoding parametresi Türkçe karakterler için uygun olmalıdır.

Dilerseniz, scraping sırasında doğrudan satır satır veya parça parça verileri CSV’ye yazdırmak da mümkündür. Bu, büyük veri setlerinde bellek kullanımını optimize etmek açısından faydalı olabilir. Bunun için Python’un csv modülünü kullanabilirsiniz:

كود نسخ

12345678
import csv

with open('veriler.csv', mode='w', newline='', encoding='utf-8') as file:
    writer = csv.DictWriter(file, fieldnames=['isim', 'yaş', 'şehir'])
    writer.writeheader()
    for satir in data:
        writer.writerow(satir)

Sonuç olarak, scraping verilerini CSV’ye kaydetmek, hem veriyi analiz aşamasına hazırlamak hem de farklı platformlarda paylaşmak açısından temel ve güçlü bir yöntemdir. Bu süreci otomatikleştirmek ve büyük veri setleriyle çalışmak için yukarıdaki teknikleri kullanmak, iş akışınızı oldukça hızlandırabilir.