Python ile Veri Kazıma ve PostgreSQL Entegrasyonu: Adım Adım Rehber
Modern veri analizi ve otomasyon projelerinde, web'den veri kazımak (scraping) ve bu verileri güvenli bir şekilde depolamak kritik hale geldi. Python, geniş kütüphane desteğiyle bu süreçleri kolaylaştırırken, PostgreSQL ise güçlü ve açık kaynaklı bir ilişkisel veritabanı olarak öne çıkıyor. Bu yazıda, Python ile web scraping yapmayı ve elde edilen verileri PostgreSQL'e kaydetmeyi detaylı biçimde ele alacağız.
İlk aşamada, Python ortamını kurmak ve gerekli kütüphaneleri yüklemek gerekiyor.
requests ve
BeautifulSoup gibi kütüphaneler, veri çekme ve parse işlemleri için temel araçlar. Komut satırında şu komutları kullanabilirsiniz:
1pip install requests beautifulsoup4 psycopg2-binary
PostgreSQL ise, işletim sistemine göre değişiklik göstermekle birlikte, resmi sitesinden indirip kurabilirsiniz. Kurulum sonrası, yeni bir veritabanı ve kullanıcı oluşturmak önemlidir. Örneğin, terminalde şu komutlar ile yeni veritabanı ve kullanıcı oluşturabilirsiniz:
123CREATE DATABASE veri_tabani;
CREATE USER scraper_user WITH PASSWORD 'parola123';
GRANT ALL PRIVILEGES ON DATABASE veri_tabani TO scraper_user;
Python tarafında ise, PostgreSQL'e bağlanmak ve veri kaydetmek için
psycopg2 kütüphanesini kullanıyoruz. Bağlantı kurduktan sonra, verileri tabloya eklemek için SQL sorguları hazırlamalısınız. Aşağıdaki örnek, temel bir veri ekleme işlemini gösteriyor:
1234567891011121314import psycopg2
conn = psycopg2.connect(dbname='veri_tabani', user='scraper_user', password='parola123', host='localhost')
cur = conn.cursor()
[b]tablo oluşturma örneği[/b]
cur.execute('''CREATE TABLE IF NOT EXISTS veriler (id SERIAL PRIMARY KEY, baslik TEXT, link TEXT)''')
[b]veri ekleme[/b]
cur.execute("INSERT INTO veriler (baslik, link) VALUES (%s, %s)", ('Örnek Başlık', 'https://ornek.com'))
conn.commit()
cur.close()
conn.close()
Son olarak, scraping işlemi sırasında ilgili web sayfasını analiz ederek ihtiyacınıza uygun verileri çekebilir, parse edip, PostgreSQL'e aktarabilirsiniz. Bu süreç, otomasyon ve büyük veri projelerinde oldukça kullanışlıdır.
Bu temel bilgiler ışığında, kendi scraper ve veritabanı entegrasyonunuzu geliştirmeye devam edebilirsiniz.
