Web sitesi yöneticileri için Googlebot'un davranışlarını anlamak, SEO ve site performansı açısından kritik öneme sahiptir. Log dosyalarındaki Googlebot erişimlerini günlük olarak analiz etmek ve raporlamak ise zaman alıcı ve hataya açık bir süreç olabilir. Bash scriptleri bu noktada devreye girerek, süreci otomatikleştirip düzenli ve doğru raporlar alınmasını sağlar.
İlk adım olarak, log dosyalarınızda Googlebot erişimlerini belirlemek gerekir. Çoğu zaman, logların içinde 'Googlebot' ifadesi bulunur. Basitçe, grep komutu ile bu satırları ayıklayabilirsiniz:
1grep "Googlebot" access.log > googlebot.log
Bu komut, Googlebot erişimlerini ayrı bir dosyada toplar. Daha sonra, zaman dilimi veya belirli IP aralıkları gibi filtreler ekleyerek detaylandırma yapabilirsiniz. Günlük rapor oluşturmak için, her günün loglarını ayırmalı ve özetlemelisiniz. Örneğin, günlük toplam erişim sayısı veya en çok ziyaret edilen URL'leri listelemek.
Bash ile otomatik raporlama için şu adımları izleyebilirsiniz:
- Günlük logların alınması ve Googlebot satırlarının filtrelenmesi.
- URL ve IP bazında sıralama ve özetleme.
- Bu özetleri, okunabilir ve düzenli bir rapor haline getirme.
- Raporu, e-posta veya belirli bir klasöre kaydetme.
Örneğin, günlük toplam Googlebot erişimini ve en sık ziyaret edilen URL'leri raporlayan basit script şöyle olabilir:
12345678910111213141516
#!/bin/bash
LOGFILE="/var/log/nginx/access.log"
TODAY=$(date +"%Y-%m-%d")
OUTPUT="/home/user/reports/googlebot_report_$TODAY.txt"
grep "Googlebot" $LOGFILE > temp_googlebot.log
TOTAL=$(wc -l < temp_googlebot.log)
TOP_URLS=$(awk '{print $7}' temp_googlebot.log | sort | uniq -c | sort -nr | head -10)
echo "Googlebot Günlük Rapor - $TODAY" > $OUTPUT
echo "Toplam Googlebot erişimi: $TOTAL" >> $OUTPUT
echo "En çok ziyaret edilen URL'ler:" >> $OUTPUT
echo "$TOP_URLS" >> $OUTPUT
rm temp_googlebot.log
Bu script, günlük raporu otomatikleştirerek, düzenli takip ve analiz imkânı sağlar. Ayrıca, cron ile zamanlayarak her gün belirli saatlerde çalışmasını sağlayabilirsiniz.
Sizce, Googlebot davranışlarını bu yöntemle düzenli takip etmek, SEO ve site performansı açısından yeterli olur mu? Veya başka hangi otomasyon çözümlerini önerirsiniz?
