Giriş ve Amaç
CSV (Comma Separated Values) dosyaları, veri saklama ve paylaşımında en yaygın kullanılan formatlardan biridir. Ancak büyük veri setleriyle çalışırken, manuel işlem yapmak zaman alıcı ve hataya açık hale gelir. Bu nedenle, Python kullanarak CSV dosyalarını otomatik işleme scriptleri geliştirmek, hem zaman kazandırır hem de veri bütünlüğünü sağlar. Bu yazıda, temel bir otomatik CSV işleme scriptinin temel yapı taşlarını ve kullanım alanlarını detaylandıracağız.
Temel Yapı ve Kütüphane Kullanımı
Python’un yerleşik
csv modülü, CSV dosyalarıyla çalışmak için idealdir. Ayrıca, veri analizi ve işleme için
pandas kütüphanesi de sıklıkla tercih edilir. Pandas, büyük veri setlerini filtreleme, dönüştürme ve analiz etme konusunda gelişmiş fonksiyonlar sunar.
Örneğin, belirli bir sütunu filtrelemek veya belirli kriterlere göre veri temizliği yapmak için pandas kullanımı:
1234567891011
import pandas as pd
[b]Dosyayı okuma[/b]
df = pd.read_csv('ornek_veri.csv')
[b]Belirli bir sütuna göre filtreleme[/b]
filtered_df = df[df['SutunAdı'] > 100]
[b]İşlenmiş veriyi yeni dosyaya kaydetme[/b]
filtered_df.to_csv('işlenmiş_veri.csv', index=False)
Birden fazla CSV dosyasını otomatik işlemek için, os ve glob kütüphaneleri ile dosya dizinlerini taramak ve her bir dosya üzerinde işlem yapmak mümkündür. Örneğin:
12345678910111213
import os
import glob
import pandas as pd
csv_files = glob.glob('veri_dizini/*.csv')
for dosya in csv_files:
df = pd.read_csv(dosya)
# Veri temizleme veya dönüştürme işlemleri
df = df.drop_duplicates()
yeni_dosya = dosya.replace('.csv', '_temiz.csv')
df.to_csv(yeni_dosya, index=False)
Scriptlerin güvenilirliği için hata yönetimi eklemek önemlidir. try-except bloklarıyla dosya bulunamama, okuma hataları veya veri sorunlarına karşı önlem alınabilir. Ayrıca, zamanlanmış görevler veya cron job’lar ile script otomatik olarak belirli aralıklarla çalıştırılabilir.
Sonuç
Python ile CSV dosyalarını otomatik işleme scriptleri, büyük veri projelerinde zaman tasarrufu sağlar, hataları azaltır ve veri bütünlüğünü korur. Kullanılan kütüphane ve fonksiyonlar, işlem karmaşıklığına göre genişletilebilir ve özelleştirilebilir. Veri işleme süreçlerini otomatikleştirerek, daha verimli ve hatasız analizler gerçekleştirilir.
