Zamanlanmış görevler (cron job'lar) genellikle web scraping, otomatik veri toplama veya düzenli raporlama işlemlerinde kritik rol oynar. Bu bağlamda, Python tabanlı cron job'lar sıklıkla BeautifulSoup kullanılarak HTML içeriği parse edilirken, Node.js ortamında ise Axios ve interceptors mekanizması ile istek ve cevapların takibi sağlanır. Ayrıca, bu süreçte mesaj ve log gönderimi, hataların takibi ve raporlanması açısından büyük önem taşır.
İlk olarak, Python'da BeautifulSoup kullanarak belirli aralıklarla veri çekmek ve parse etmek oldukça yaygın bir uygulamadır. Örneğin, belirli bir web sayfasından güncel fiyat verilerini almak veya içerik güncellemelerini takip etmek gibi. Cron ile bu işlemi otomatikleştirmek için,
crontab veya Windows Task Scheduler kullanılır. İşte temel bir örnek:
12345678910111213
import requests
from bs4 import BeautifulSoup
def scrape_site():
url = 'https://ornekwebsite.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
fiyat = soup.find('span', {'class': 'fiyat'}).text
# Farklı işlemler veya mesaj gönderimi burada yapılabilir
print(f'Güncel fiyat: {fiyat}')
[b]Bu fonksiyon, cron ile belirli aralıklarla çağrılır[/b]
İkinci olarak, Node.js ortamında Axios ile yapılan isteklerde interceptor kullanımı, özellikle API çağrılarını takip etmek, hataları loglamak veya cevapları manipüle etmek için çok etkilidir. Interceptor'lar, istek ve cevaplar üzerinde merkezi kontrol sağlar. Mesela, her API isteği sonrası gelen cevabı loglamak veya belirli hatalarda otomatik yeniden denemek gibi. Ayrıca, bu süreçte mesaj ve log gönderimi, örneğin Slack veya e-posta ile bildirim göndermeyi kolaylaştırır.
Aşağıda, Axios interceptor'larının temel kullanımına dair örnek verilmektedir:
123456789101112131415161718192021222324252627282930
const axios = require('axios');
const instance = axios.create();
// İstek interceptor'ü
instance.interceptors.request.use(config => {
console.log('İstek yapılıyor:', config.url);
return config;
}, error => {
return Promise.reject(error);
});
// Cevap interceptor'ü
instance.interceptors.response.use(response => {
console.log('Cevap alındı:', response.status);
// Mesaj veya log gönderme
sendLog([icode]API çağrısı başarılı: ${response.config.url}[/icode]);
return response;
}, error => {
console.error('Hata oluştu:', error.message);
sendLog([icode]API hatası: ${error.message}[/icode]);
// Gerekirse tekrar deneme veya hata bildirimi
return Promise.reject(error);
});
function sendLog(message) {
// Log veya mesaj gönderme fonksiyonu
// Örneğin, Slack API veya email API kullanılır
}
Bu yapı, cron job'lar aracılığıyla düzenli API çağrıları yaparken, istek ve cevapların detaylı takibini ve hata yönetimini kolaylaştırır. Ayrıca, log ve mesaj gönderme entegrasyonları sayesinde, operasyonel şeffaflık sağlanır.
Sonuç olarak, Python ile BeautifulSoup ve Node.js ile Axios interceptor kullanımı, zamanlanmış görevlerde web verisi çekmek ve API iletişimini izlemek için güçlü araçlardır. Bu araçların doğru yapılandırılması, otomasyonun güvenilirliğini ve izlenebilirliğini artırır. Bu teknikleri farklı ortam ve ihtiyaçlara göre uyarlamak, süreçlerinizi optimize etmek açısından kritik önemdedir.
