Search Console Crawl Stats Anomali Tespit Scripti

Search Console’un crawl istatistikleri, sitenizin Google tarafından nasıl tarandığını ve indeksleme sürecini anlamada kritik öneme sahiptir. Ancak zaman zaman beklenmedik artışlar veya azalmalar, tarama botlarının davranışında değişiklikler veya teknik sorunlar nedeniyle ortaya çıkabilir. Bu noktada, otomatik olarak bu anomalileri tespit eden bir script geliştirmek, zaman ve emek tasarrufu sağlar, ayrıca sorunun kaynağını hızlıca belirlemenize olanak tanır.

1. Veri Toplama: API kullanarak günlük veya saatlik tarama sayısı, toplam sayfa ve alınan yanıt kodlarını çekmek.
2. Veri İşleme ve Normalizasyon: Toplanan veriyi zaman serisi haline getirip, farklı günlerdeki ortalama ve standart sapma hesaplaması.
3. Anomali Tespiti: Z-Score veya IQR (Interquartile Range) gibi istatistiksel yöntemlerle normalden sapmaları belirlemek. Örneğin, belirli bir gün veya saat diliminde tarama oranı ortalamanın iki katı veya altında ise, bu durum anomali olarak işaretlenebilir.
4. Bildirim ve Raporlama: Tespit edilen anomalileri otomatik olarak e-posta veya Slack gibi iletişim araçlarıyla bildirmek.

123456789101112131415161718192021222324import pandas as pd
import numpy as np
from scipy import stats

# Crawl stats verilerinizi içeren CSV dosyasını yükleyin
data = pd.read_csv('crawl_stats.csv', parse_dates=['date'])
data.set_index('date', inplace=True)

# Günlük toplam tarama sayısı
daily_counts = data['crawl_count']

# Z-score hesapla
z_scores = np.abs(stats.zscore(daily_counts))

# Anomali sınırını belirleyin
threshold = 2.0
anomalies = daily_counts[z_scores > threshold]

if not anomalies.empty:
    print("Anomaliler tespit edildi:")
    print(anomalies)
    # Burada e-posta veya Slack bildirim fonksiyonları eklenebilir
else:
    print("Herhangi bir anomali bulunmamaktadır.")