Web Scraping Situs Berita Menggunakan Bahasa Pemograman Python

Abstract

Currently the rapid development of technology provides innovation, one of which is the technique of obtaining information from portal websites, termed web scrapers. This application provides data needs in the form of information where the process of retrieving information from sites will later be taken to observe behavior and perceptions to get the right segmentation. Most data collection is currently still done manually, as a result, this method has several system limitations, namely the length of the data collection process so that it slows down the performance of market segment analysis. The risk is not getting the right market segmentation. To solve this problem, a web scraping news site is needed. In this study, web scraping news sites were created using the python programming language and the flask library to display web scraping. In addition, the Selenium library is used to simplify application creation, facilitate interaction with the web and provide facilities to control a web browser. This program can retrieve data based on keywords, where the results are in the form of the title, posting date, summary, then collect the data that has been taken into a csv file extension automatically.

 Keywords: Internet, News, Python, Scraping, Website

Abstrak

Saat ini perkembangan pesat teknologi memberikan inovasi, salah satunya adalah teknik memperoleh informasi dari situs web portal, yaitu web scraper. Aplikasi ini menyediakan kebutuhan data berupa informasi dimana proses pengambilan informasi dari situs-situs nantinya diambil untuk diamati perilaku dan persepsi untuk mendapatkan segmentasi yang tepat. Kebanyakan pengambilan data saat ini masih dilakukan secara manual, akibatnya cara ini memiliki beberapa keterbatasan sistem yaitu lamanya proses pengumpulkan data sehingga memperlambat kinerja analisa segmen pasar. Resikonya adalah tidak mendapatkannya segementasi pasar yang tepat. Untuk mengatasi masalah tersebut diperlukan web scraping situs berita. Pada penelitian ini, web scraping situs berita dibuat dengan menggunakan bahasa pemrograman python dan library flask untuk tampilan web scraping. Selain itu, library selenium digunakan untuk mempermudah pembuatan aplikasi, mempermudah interaksi dengan web dan menyediakan fasilitas untuk mengontrol suatu peramban web. Program ini dapat mengambil data berdasarkan kata kunci, dimana hasilnya berupa judul, tanggal postingnya, rangkuman, lalu mengumpulkan data yang telah di ambil ke file berekstensi csv secara otomatis.

Kata kunci: Berita, Internet, Python, Scraping, Website