Borsa verilerini gerçek zamanlı veya düzenli aralıklarla çekmek, finansal analiz ve otomasyon projelerinde kritik bir ihtiyaçtır. Ancak, bu süreçte karşılaşılan en önemli engellerden biri, veri sağlayıcılarının Cloudflare gibi koruma katmanlarıyla güvenliği artırmasıdır. Bu noktada, FastAPI ile geliştirilmiş bir API'nin yanı sıra, Cloudflare engellerini aşmak ve uygulamanın sürekli aktif kalmasını sağlamak için bazı teknik yaklaşımlar gerekir.
İlk olarak, Cloudflare tarafından korunan sitelere erişim sağlamak için genellikle headless tarayıcı veya proxy kullanımı tercih edilir. Selenium veya Playwright gibi araçlar, gerçek tarayıcı ortamında istek göndererek Cloudflare engelini aşabilir. Bu yöntemde, API çağrılarını yapmadan önce, bu araçları kullanarak sayfayı yükler ve veriyi alırsınız. Örneğin, Python'da Playwright kullanımı şu şekildedir:
1234567891011
from playwright.sync_api import sync_playwright
def get_borsa_data(url):
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto(url)
data = page.content()
browser.close()
return data
İkinci olarak, FastAPI ile bu verileri sunacak API'yi yapılandırırken, sürekli çalışmayı ve kesintisiz erişimi sağlamak adına Keep-Alive ayarlarına dikkat etmek gerekir. Uygulamanızı uygun bir sunucu ortamında çalıştırmak ve örneğin Uvicorn veya Gunicorn gibi araçlarla yapılandırmak, bağlantıların sürekli açık kalmasını sağlar. Ayrıca, düzenli aralıklarla otomatik yeniden başlatma veya sağlık kontrolleri eklemek, kesintisiz hizmetin sürdürülebilirliğini artırır.
Üçüncü önemli nokta ise, zamanlayıcı ve süreklilik için Process Manager (PM) kullanımıdır. Sistemdeki uygulamanın her zaman aktif kalmasını sağlamak amacıyla Supervisor veya systemd gibi araçlar tercih edilebilir. Bu araçlar, uygulama çöktüğünde otomatik yeniden başlatma ve log yönetimi gibi fonksiyonlar sunar. Örneğin, systemd konfigürasyonu şu şekilde olabilir:
12345678910111213
[Unit]
Description=FastAPI Borsa Veri Çekme Servisi
After=network.target
[Service]
User=youruser
ExecStart=/usr/bin/uvicorn main:app --host 0.0.0.0 --port 8000
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
Bu kombinasyon, Cloudflare korumasını aşmak ve API'nizin sürekli erişilebilir olmasını sağlamak açısından kritik bir altyapı sunar. Ayrıca, zaman zaman IP rotasyonu veya proxy kullanımı gibi ek önlemler, engellemeleri aşmakta faydalı olabilir. Bu yapıların her biri, finansal verileri düzenli ve güvenilir biçimde almak için önemli adımlar teşkil eder.
Son olarak, bu süreci optimize ederken, API çağrı sınırlarını ve veri sağlayıcıların kullanım politikalarını dikkate almak, uzun vadeli ve sürdürülebilir bir çözüm için hayati önemdedir.
