Di Balik Layar Tokopedia, Peran Data Warehouse dalam Pengelolaan Data

Tokopedia Sebagai E-Commerce Paling Banyak Dikunjungi di Indonesia

Saat ini online shopping saat diminati di dunia, didukung dengan kemudahan pembayaran dan pelanggan tidak perlu keluar rumah untuk membeli sesuatu yang diminati. Di Indonesia sendiri terdapat banyak e-commerce yang memfasilitasi hal tersebut, salah satunya adalah Tokopedia. Menurut Studi e-commerce Outlook 2018 oleh Ipsos, perusahaan e-commerce yang paling banyak dikunjungi adalah Tokopedia.

 Tokopedia sendiri sudah ada sejak tahun 2009 guna mendukung pelaku UMKM dan perorangan untuk mengembangkan usaha mereka. Pada tahun 2021, Tokopedia menggabungkan usahanya dengan Gojek dan membentuk Grup GoTo.

Baca juga: Mobil Listrik di Surabaya: Masa Depan yang Efisien?

Dengan semakin besarnya perkembangan Tokopedia, data yang berlalu-lalang juga pastinya semakin banyak. Pengelolaan data yang besar ini memerlukan atensi khusus untuk melancarkan penyimpanan dan analisis. 

Beberapa analisis yang dapat dilakukan dari data penjual dan pengguna Tokopedia serta transaksi yang berjalan adalah analisis rekomendasi produk, analisis kinerja penjual, analisis penetapan harga, dan masih banyak lagi. Oleh karena itu diperlukan pengelolaan data yang efektif untuk pengambilan keputusan yang tepat.

Data Warehouse Sebagai Bentuk Pengelolaan Data Tokopedia

Salah satu bentuk pengelolaan data yang dapat membantu Tokopedia adalah data warehouse. Data warehouse sendiri dikenalkan oleh Bill Inmon pada tahun 1980. Menurut beliau, data warehouse merupakan kumpulan data untuk mendukung keputusan manajerial dengan sifat berorientasi pada subjek (subject-oriented), terintegrasi (integrated), tidak mudah berubah (non volatile), dan berdasarkan waktu (time-variant). 

Dapat pula ditambahkan bahwa data warehouse merupakan database relasional yang didesain untuk kebutuhan analisis dengan mengubah data menjadi informasi.

Baca juga: Pentingnya Benda Kecil pada Kehidupan

Fungsi dari data warehouse sendiri adalah membantu pengambilan keputusan yang lebih baik, menyediakan pandangan menyeluruh dan terintegrasi terhadap informasi bisnis, menyediakan informasi historis, menyediakan informasi data operasional tanpa mengganggu sistem operasional utama, dan menggabungkan informasi secara konsisten.

Seperti yang dilansir oleh Bill Inmon, data warehouse memiliki 4 karakteristik yaitu time-variant, integrated, non-volatile, dan subject oriented. Maksud dari time-variant adalah berdarkan waktu yang berarti setiap data dalam warehouse biasanya memiliki informasi dalam waktu tertentu seperti harian, mingguan, bulanan, atau tahunan. Hal ini dapat membantu user untuk menjalankan analisis dari data historis dan melihat perubahan data dari waktu ke waktu. 

Karakteristik integrated artinya data warehouse dikumpulkan dari beberapa sumber data seperti database dan flat file. Dengan itu, data warehouse dapat menyatukan data dari beberapa sistem untuk membuat suatu database yang utuh.

Penggunaan e-commerce berskala besar seperti Tokopedia pastilah memiliki tantangannya tersendiri seperti volume transaksi yang besar serta data yang datang dari berbagai sumber seperti aplikasi, situs web, pemasaran, dan penjual. 

Dari penjelasan data warehouse di atas, dapat disimpulkan bahwa data warehouse memungkinkan Tokopedia untuk mengumpulkan, menyimpan, mengintegrasikan, dan menganalisis data dari berbagai sumber seperti transaksi, perilaku pengguna, dan inventaris.

Aplikasi Data Warehouse di Tokopedia

Dilansir dari Data Warehouse Lead Tokopedia, Maria Tjahjadi, beliau memodernisasikan data warehouse yang ada di Tokopedia dengan Google Cloud Dataflow dan BigQuery. Keduanya merupakan salah satu sistem Data Warehouse. Awalnya, Tokopedia menggunakan Relational Database Management System edisi gratis sebagai database pertamanya. Setelah beberapa waktu, akhirnya Tokopedia bermigrasi ke PostgreSQL untuk menambah ukuran dan cara kerja dari database mereka.

Perkembangan Tokopedia yang melejit membuat tim mereka menyadari bahwa sistem yang digunakan sekarang menggunakan sumber daya secara boros dan tidak efektif. Dengan masalah-masalah yang ada, tim mereka akhirnya memutuskan untuk mencari platform analisis big data yang mumpuni. Setelah pencarian, akhirnya mereka menemukan Google BigQuery. 

Dalam perspektif arsitektur, pihak Tokopedia menggunakan Google BigQuery dengan kombinasi Cloud Dataflow untuk data processing dan Apache Airflow untuk scheduling. Dengan kombinasi unik tersebut, pemrosesan data menjadi simpel dan efektif.

Dalam proses migrasi menuju arsitektur baru, tim Tokopedia menghadapi beberapa masalah seperti dataset yang sangat besar, kekurangan personel, dan ketidakfamiliaran dengan sistem yang baru. Untuk menghadapi masalah tersebut, mereka membuat suatu Tim Data Warehouse yang resmi, mengambil kelas training, dan berkolaborasi dengan Tim Data Engineer.

Dengan sistem barunya, tim Tokopedia memiliki tim teknisi khusus sebanyak 6 orang yang dapat menjalankan proses analisis sebanyak 500 pekerjaan dalam waktu 2 bulan. Selain itu, mereka juga bereksperimen dengan berbagai Bahasa Programming seperti Python, Java, dan Scala. 

Dengan digunakannya sistem Data Warehouse Modern yang baru, tim Tokopedia saat ini dapat menjalankan pemrosesan data dan analisis data secara cepat dan efektif.

Pengaplikasian Data Warehouse

Dengan adanya data warehouse yang efektif, tim Tokopedia dapat menjalankan analisis data yang beragam. Salah satu contohnya adalah menyediakan rekomendasi produk yang relevan berdasarkan perilaku pengguna dan tren belanja yang dianalisis dari data historis. 

Hal ini dapat dilakukan dengan menggunakan data historis tentang interaksi pengguna dengan platform untuk memprediksi produk mana yang paling mungkin menarik minat pengguna tertentu.

Data warehouse menggabungkan riwayat pencarian, pembelian, serta produk yang sering dilihat. Hal ini termasuk data kategori produk, harga, serta lokasi dan waktu pembelian pengguna. 

Data-data tersebut kemudian diproses menggunakan algoritma machine learning seperti collaborative filtering atau content-based filtering. Algoritma ini mencari pola dalam data, seperti produk yang sering dibeli bersamaan oleh pengguna serupa atau produk yang sering dikunjungi setelah melihat produk tertentu.

Berdasarkan pola ini, Tokopedia dapat menyarankan produk kepada pengguna ketika mereka masuk ke aplikasi atau saat sedang melihat produk tertentu. Misalnya, "Pengguna yang membeli produk ini juga membeli...".

Maka dari itu, dengan gabungan antara data warehouse dengan pengaplikasian machine learning (ML) atau bahkan kecerdasan buatan (AI), Tokopedia dapat lebih mengoptimalkan algoritma pencarian, memprediksi kebutuhan pelanggan, serta hal lain yang dapat meningkatkan pengalaman pengguna Tokopedia.

Referensi:

Afianti, Y., Ayu Ramadhani, N. ., Risnandyaa Rahmi, A., & Madiistriyanto, H. (2023). Pemasaran Digital Efektif Dalam Platform Tokopedia: Studi Kasus. Journal of Comprehensive Science (JCS), 2(7), 1324--1328. https://doi.org/10.59188/jcs.v2i7.455

Inmon, W. H. (2005). Building the Data Warehouse (4th ed.). Foster City, CA: Hungry Minds.

Ipsos. (2018). E-Commerce Outlook 2018. Diakses dari https://www.ipsos.com/en-id/e-commerce-outlook-2018

Tjahjadi, M. (2018). How Tokopedia modernized its data warehouse and analytics processes with BigQuery and Cloud Dataflow. Diakses dari https://cloud.google.com/blog/products/gcp/how-tokopedia-modernized-its-data-warehouse-and-analytics-processes-with-bigquery-and-cloud-dataflow