awk ile alan bazlı log raporlama

Not: Bu yazıda, log dosyalarını alanlarına göre nasıl parçalayabileceğinizi ve raporlayabileceğinizi adım adım ele alıyorum. Kod örnekleri ve açıklamalar birlikte ilerleyecek; bunlar temel log formatları için geçerlidir, kendi dosya yapınıza göre uyarlama yapabilirsiniz.

• Log dosyaları genellikle satır satır kayıt içerir ve her satır belirli alanlar içerir: zaman, IP adresi, kullanıcı kimliği, işlem tipi, durum kodu gibi. Bu alanlar çoğu zaman sabit bir düzen içinde olur; örneğin CSV benzeri veya özel ayracı kullanılan formatlar. awk buna doğal olarak uyum sağlar çünkü satırları belirli alanlarda bölüp her alan üzerinde işlem yapmanıza olanak tanır.
• Amaç, istediğiniz alanları seçip özetlemek ya da belirli filtrelerle birikimli raporlar üretmektir: hangi saatlerde hangi IP’den hangi işlem gerçekleşmiş, hangi hata kodları çoğunlukta, kullanıcı başına işlem sayısı vb.

• Basit ayrıştırma ve sayım: Her satırın belirli alanlarını kullanıp basit bir sayım yapabilirsiniz. Örneğin, günlük bir web sunucusu logunda zaman, istek yolunun sonundaki durum kodunu analiz etmek için:

1awk '{print $4, $9}' access.log | sort | uniq -c | sort -nr

• Belirli alanları birleştirme ve özet çıkarmak: Birden fazla alan üzerinden özet istiyorsanız, alanları bir anahtar olarak birleştirebilirsiniz:

1awk '{key=$1 " " $2 " " $9; count[key]++} END {for (k in count) print count[k] \"\t\" k}' access.log | sort -nr

• Zaman odaklı raporlama: Saatlik basitleştirilmiş özetler için zamanı parçalayabilir ve saat bazında biriktirebilirsiniz:

1awk '{split($4,a,":"); hour=a[2]; bin[hour]++} END {for (h in bin) print h \":00 -\" bin[h] \"adet\"}' access.log | sort -n

• Özel filtreler ve alan yeniden adlandırma: Eğer loglarınızda kullanıcı kimliği ya da IP gibi alanları filtrelemek isterseniz:

1awk '$9==200 {print $1, $4, $7}' access.log | sort | uniq -c | sort -nr

• Büyük log dosyaları için awk'ı bölerek çalıştırmak faydalı olabilir: awk komutunu parçalar halinde kuyruğa verip sonuçları birleştirmek.
• Alan konumlarının değişmesi durumunda, log formatını önceden teyit edin; field separation için FS değerini ayarlayın (ör. FS="\\t" veya FS="[[:space:]]+").
• Zaman damgası manipülasyonunda locale ve dil ayarlarının etkisini düşünün; uzun metin tarihleri yerine sabit format kullanmak hataları azaltır.

• Alan bazlı raporlar, log üzerinde günlük operasyonel kararlar için hızlı vizyon sağlar. Ayrıca belirli kullanıcı davranışlarını veya hatalı süreçleri belirlemek için de uygundur.
• Kendi loglarınız için uygun alanları belirleyip, hedeflediğiniz metrikleri seçerek düzenli bir raporlama akışı kurabilirsiniz. Karmaşık raporlar için birden fazla awk tekniğini bir araya getirip zaman serisi veya pivot benzeri özetler elde etmek mümkün.