Mövzunu Açan
#0
Haber sitelerinden içerik çekmek, günümüzde veriye ulaşmanın en etkili yollarından biri haline geldi. Python dilinde oldukça yaygın olarak kullanılan BeautifulSoup, HTML ve XML belgelerini analiz etmede oldukça işlevsel bir kütüphane. Kullanımına dair bir adım adım rehber düşünürsek, ilk olarak gerekli kütüphaneleri yüklemekle başlayabiliriz. `pip install beautifulsoup4 requests` komutları ile hem BeautifulSoup hem de HTTP istekleri için gerekli olan Requests kütüphanesini kurabiliriz. Bu noktada, BeautifulSoup’un temel işlevlerinden biri olan `soup = BeautifulSoup(html_content, 'html.parser')` ifadesini kullanarak, çektiğimiz sayfanın HTML içeriğini parse edebiliriz.
Bir web sayfasının içeriğini çekmek için Requests kütüphanesinin sağladığı `requests.get(url)` fonksiyonu oldukça işlevsel. Örneğin, bir haber sitesinin ana sayfasını hedef alırsak, `response = requests.get('https://www.example.com')` ile sayfanın içeriğini almış oluruz. Ardından bu içerikle BeautifulSoup’u kullanarak daha anlamlı bir hale getirebiliriz. `html_content = response.text` ifadesi ile sayfanın HTML içeriğini elde ettikten sonra, `soup.find_all('h2')` gibi bir komutla sayfadaki başlıkları çekebiliriz. Burada dikkat etmemiz gereken bir nokta, her web sayfasının yapısının farklı olduğudur. Dolayısıyla hangi etiketi ve sınıfı kullanmamız gerektiğini belirlemek için sayfanın HTML yapısını incelemek önemli.
Çektiğimiz verileri daha anlamlı hale getirmek için, OpenAI API’sini kullanarak metinleri özetlemek de oldukça etkili bir yöntem. OpenAI’nin sunduğu `openai.ChatCompletion.create()` metodunu kullanabiliriz. Bunun için öncelikle bir API anahtarına ihtiyacımız var. API anahtarını aldıktan sonra, `import openai` ile kütüphaneyi projeye dahil edip, `openai.api_key = 'YOUR_API_KEY'` ifadesiyle anahtarımızı tanımlayabiliriz. Sonrasında, elde ettiğimiz haberi özetlemek için `response = openai.ChatCompletion.create()` metodu ile bir istek gönderebiliriz. Burada dikkat etmemiz gereken nokta, gönderdiğimiz metinlerin belirli bir uzunlukta olması gerektiğidir, aksi takdirde hata alabiliriz.
Örnek bir özetleme isteği şöyle olabilir: `prompt = "Bu metni özetle: " + haber_metni`. Burada `haber_metni` değişkeni, daha önce BeautifulSoup ile çektiğimiz haber içeriğini temsil eder. Özetleme işlemi tamamlandığında, `summary = response['choices'][0]['message']['content']` ile özetlenmiş metne ulaşabiliriz. Bu kısım, işin en heyecan verici tarafı... Elde ettiğiniz özetler, size hem zaman kazandırır hem de önemli bilgileri hızlıca edinebilmenizi sağlar.
Sonuç olarak, BeautifulSoup ile içerik çekme ve OpenAI ile bu içeriği özetleme süreci, haber takibi yapan herkes için oldukça faydalı bir yöntemdir. Hedeflediğiniz veriyi hızlıca elde edip, anlamlı bir şekilde özetlemek için bu araçları kullanmak, işinizi büyük ölçüde kolaylaştıracaktır. Unutmayın, her şey bir adım ile başlar ve belki de bu adım, yeni projelerin kapısını açar…
Bir web sayfasının içeriğini çekmek için Requests kütüphanesinin sağladığı `requests.get(url)` fonksiyonu oldukça işlevsel. Örneğin, bir haber sitesinin ana sayfasını hedef alırsak, `response = requests.get('https://www.example.com')` ile sayfanın içeriğini almış oluruz. Ardından bu içerikle BeautifulSoup’u kullanarak daha anlamlı bir hale getirebiliriz. `html_content = response.text` ifadesi ile sayfanın HTML içeriğini elde ettikten sonra, `soup.find_all('h2')` gibi bir komutla sayfadaki başlıkları çekebiliriz. Burada dikkat etmemiz gereken bir nokta, her web sayfasının yapısının farklı olduğudur. Dolayısıyla hangi etiketi ve sınıfı kullanmamız gerektiğini belirlemek için sayfanın HTML yapısını incelemek önemli.
Çektiğimiz verileri daha anlamlı hale getirmek için, OpenAI API’sini kullanarak metinleri özetlemek de oldukça etkili bir yöntem. OpenAI’nin sunduğu `openai.ChatCompletion.create()` metodunu kullanabiliriz. Bunun için öncelikle bir API anahtarına ihtiyacımız var. API anahtarını aldıktan sonra, `import openai` ile kütüphaneyi projeye dahil edip, `openai.api_key = 'YOUR_API_KEY'` ifadesiyle anahtarımızı tanımlayabiliriz. Sonrasında, elde ettiğimiz haberi özetlemek için `response = openai.ChatCompletion.create()` metodu ile bir istek gönderebiliriz. Burada dikkat etmemiz gereken nokta, gönderdiğimiz metinlerin belirli bir uzunlukta olması gerektiğidir, aksi takdirde hata alabiliriz.
Örnek bir özetleme isteği şöyle olabilir: `prompt = "Bu metni özetle: " + haber_metni`. Burada `haber_metni` değişkeni, daha önce BeautifulSoup ile çektiğimiz haber içeriğini temsil eder. Özetleme işlemi tamamlandığında, `summary = response['choices'][0]['message']['content']` ile özetlenmiş metne ulaşabiliriz. Bu kısım, işin en heyecan verici tarafı... Elde ettiğiniz özetler, size hem zaman kazandırır hem de önemli bilgileri hızlıca edinebilmenizi sağlar.
Sonuç olarak, BeautifulSoup ile içerik çekme ve OpenAI ile bu içeriği özetleme süreci, haber takibi yapan herkes için oldukça faydalı bir yöntemdir. Hedeflediğiniz veriyi hızlıca elde edip, anlamlı bir şekilde özetlemek için bu araçları kullanmak, işinizi büyük ölçüde kolaylaştıracaktır. Unutmayın, her şey bir adım ile başlar ve belki de bu adım, yeni projelerin kapısını açar…