Scraper İçin Log Rotation Kurulumu
Log yönetimi, özellikle düzenli çalışan scraper projelerinde kritik bir öneme sahiptir. Sürekli çalışan uygulamalar, zamanla log dosyalarının boyutunun büyümesine neden olur ve bu da sistem performansını olumsuz etkileyebilir. Bu nedenle, log rotasyonu otomasyonu, sistem kararlılığı ve sürdürülebilirlik açısından vazgeçilmezdir.
Log rotation, belirli zaman aralıklarıyla veya log dosyası belirli boyutu aştığında eski logları arşivleyip yeni logların düzgün şekilde tutulmasını sağlar. Linux sistemlerde bu işlemi gerçekleştirmek için genellikle
logrotate aracı kullanılır.
İlk adım olarak,
logrotate'ın kurulu olup olmadığını kontrol etmek gerekir. Debian tabanlı sistemlerde:
12
sudo apt-get install logrotate
RedHat tabanlılarda:
12
sudo yum install logrotate
Kurulum sonrası, kendi scraper loglarını yönetmek için özel bir konfigürasyon dosyası oluşturmak gerekir. Bu dosyada, logların nerede tutulduğu, ne sıklıkla rotasyon yapılacağı, arşivleme politikaları ve saklama süresi belirlenir. Örneğin,
scraper_log isimli log dosyanız için
/etc/logrotate.d/scraper adında bir yapılandırma dosyası oluşturabilirsiniz:
1234567891011121314
/var/log/scraper/logs/*.log {
weekly
rotate 4
missingok
notifempty
compress
delaycompress
create 640 root adm
sharedscripts
postrotate
systemctl restart scraper.service > /dev/null 2>&1 || true
endscript
}
Burada,
weekly ile rotasyon haftalık yapılır,
rotate 4 ile dört arşiv dosyası saklanır,
compress ile eski loglar sıkıştırılır.
postrotate kısmında ise, log rotasyonundan sonra scraper servisini yeniden başlatmak veya logların düzgün şekilde kapanmasını sağlamak için komut eklenir.
Son olarak,
logrotate'un otomatik olarak çalışmasını sağlamak için cron veya systemd tabanlı zamanlayıcılar kullanılır. Tipik olarak,
/etc/cron.daily/logrotate scripti devreye girer. Sisteminizde
logrotate ayarlarının düzgün çalıştığından emin olun.
Log rotaeasyonunun doğru yapılandırılması, scraper'ın sürekli ve sorunsuz çalışmasına katkı sağlar. Ayrıca, disk alanı yönetimini kolaylaştırır ve log dosyalarının kontrolünü kolaylaştırır.
Bu süreci kendi ortamınıza uyarlarken, log dosya yollarını ve ihtiyaç duyduğunuz rotasyon sıklığını dikkate almak önemlidir.
