Kita bahas terlebih dahulu apa itu web scraping.
Bayangkan, jika kita perlu untuk mendata hotel-hotel yang tertera pada salah satu web yaitu pegi-pegi.com. Bagaimana cara untuk memperoleh keseluruhan data tersebut? Apakah secara manual dengan meng-copy paste data ke excel? Memang bisa saja seperti itu caranya. Tetapi bagaimana kalau jumlah hotel sangatlah banyak? Tentu akan membutuhkan waktu yang sangat lama. Untuk itu, kita memerlukan otomatisasi agar proses pengumpulan data hotel dari sebuah web lebih cepat dan mudah.
Dengan semakin berkembangnya big data, jumlah data yang tersedia sudah tidak terhitung lagi. Bayangkan kalau kita harus mengumpulkan dan menyimpan jutaan data dalam satu file secara manual dengan copy paste, pasti seperti memasukkan gajah ke lubang jarum bukan? Web scraping dapat membantu kita mengumpulkan data yang banyak tersebut dengan lebih cepat. Selain itu, apabila data yang ada berjumlah sangat besar, kita dapat melakukan automation sehingga tidak repot lagi karena yang server yang akan berjalan mengumpulkan datanya.
Maka, dapat kita katakan bahwa web scraping adalah proses untuk mengekstraksi informasi dan data di dalam website secara otomatis. Data yang terekstrak tersebut kemudian disimpan ke dalam format yang diinginkan. Kita dapat menyimpan data tersebut dalam format teks, CSV, atau JSON.
Hackernoon.com mengatakan bahwa terdapat 10 bidang industri yang membutuhkan keterampilan web scraping ini, yaitu Computer Software, Layanan dan Teknologi Informasi, Layanan Keuangan, Internet, Pemasaran dan Periklanan, Keamanan Komputer & Jaringan, Asuransi, Perbankan, Konsultasi Manajemen, dan Media Online.
Dengan web scraping, seseorang dapat dengan mudah mengumpulkan data pelanggan dalam menentukan strategi pemasaran yang sesuai. Web scraping juga dapat kita gunakan untuk mengumpulkan data lain seperti keperluan untuk menganalisa data kompetitor. Karena tidak peduli jenis bisnisnya, kita akan selalu perlu melihat bagaimana kompetitor kita bekerja.Â
Kalau bisnis sudah berjalan, mungkin kita juga ingin melakukan brand monitoring. Kita juga bisa mengumpulkan berbagai review dan komentar dari publik tentang brand, produk, layanan, dan kompetitor melalui web scraping. Dengan melakukan ini, kita bisa menggunakannya sebagai cara untuk terus meningkatkan bisnis.
Istilah Web Crawling dan Web Scraping mungkin sudah sering terdengar. Kemungkinan besar dua istilah ini dikira sama artinya oleh sekelompok orang, namun sebenarnya terdapat perbedaan antara crawling dan scraping meskipun memang saling terkait.
Pengaplikasian yang paling umum dari crawling adalah penggunaan mesin pencari atau search engine. Contohnya Google. Google melakukan crawl (perayapan) dengan robotnya yang dikenal dengan nama Google Spider. Google melakukan crawl ke seluruh dokumen websites yang ada untuk mendapatkan informasi yang akan disimpan ke database. Tujuan utamanya adalah mengumpulkan data sehingga nantinya ketika pengguna mengetikkan keyword pencarian pada search engine maka search engine dapat dengan segera menampilkan website yang relevan.
Maka, dapat dikatakan Web Crawling adalah proses mengunjungi situs web, membaca halaman web dan menemukan informasi dari suatu web, mengindeks semua kata dalam sebuah dokumen, dan menambahkan nya ke database.
