Sejak big data and analytics muncul sebagai jalur karir yang menguntungkan, telah terjadi diskusi berkelanjutan tentang perbedaan antara berbagai peran ilmu data. Hal ini merupakan topik penting untuk dijelajahi jika anda berpikir untuk memasuki bidang ini atau jika Anda ingin membangun tim big data. Saat ruang data semakin matang, posisi baru seperti "data engineer" dibuat sebagai peran terpisah dan terkait karena fungsi tertentu menuntut keterampilan unik untuk mengakomodasi inisiatif data besar. Meskipun ada tumpang tindih yang signifikan dalam hal keterampilan dan tanggung jawab, perbedaan antara peran data engineer dan data engineer menjadi fokus mereka. Tapi, perbedaan signifikan dari keduanya adalah Data Scientist lebih menggunakan kemampuannya untuk menafsirkan data guna menyampaikan insight kepada orang lain, sedangkan Data Engineer menggunakan kemampuannya untuk membangun infrastruktur yang berkinerja tinggi (high--performance) yang diperlukan untuk membantu pekerjaan Data Scientist dan Data Analyst, yakni menyiapkan data untuk dapat ditafsirkan dan dianalisis.
Memang belum banyak yang mengetahui profesi Data Engineer ini, akan tetapi pekerjaan dalam alur big data tidak lengkap apabila tidak ada data engineer yang dapat menghubungkan pekerjaan dari Data Scientist maupun Data Analyst. Salah satu profesi yang sedang menjadi incaran sekaligus dambaan para pelamar industri data adalah data engineer. Mengutip dari sebuah quotes "data is new oil" yang berarti banyak orang mengumpamakan data sebagai sumber daya yang sama berharganya dengan minyak. Data engineer sangat erat hubungannya dengan sebuah data. Data engineer diibaratkan seperti seorang insinyur, yang memiliki tugas untuk membangun infrastruktur big data yang masih belum terstruktur. Selain itu, data engineer mengambil beberapa data yang penting dan dibutuhkan untuk suatu analisa tertentu yang dilakukan oleh seorang data analyst atau data scientist. Jika dilihat dari kedalaman ilmunya, data engineer membutuhkan skill data science teknis seperti database technology, database processing, algoritma, pemahaman seputar ETL (Extract, Transform dan Load), matematika dan bahasa pemrograman. Kira-kira apakah perbedaan antara data scientist dan data engineer?
1.Role Pekerjaan
Data Scientist
Meskipun data science bukanlah bidang yang benar-benar baru, kini ilmu data dianggap sebagai analisis data tingkat lanjut yang didorong oleh ilmu komputer (dan pembelajaran mesin). Sebelum rekayasa data dibuat sebagai peran terpisah, data scientist membangun infrastruktur dan membersihkan datanya sendiri. Saat ini, data scientist berkonsentrasi untuk menemukan wawasan baru dari data yang telah dibersihkan dan disiapkan oleh para insinyur data. Jadi dapat dikatakan bahwa ini bukan kasus ilmu data vs. rekayasa data. Ini karena mereka berdua bekerja sama, saling memuji untuk membantu bisnis mencapai tujuan mereka. Ada beberapa keterampilan yang tumpang tindih, tetapi ini tidak berarti bahwa peran tersebut dapat dipertukarkan. Baik data engineer dan data scientist adalah pemrogram. Namun, data engineer cenderung memiliki pemahaman yang jauh lebih unggul tentang keterampilan ini sementara data scientist jauh lebih baik dalam analisis data.
Data Engineer
Data engineer bertugas merancang, membangun, menguji, mengintegrasikan, dan mengoptimalkan data dari berbagai sumber. Mereka juga membangun infrastruktur dan arsitektur yang memungkinkan pembuatan data. Fokus utama mereka adalah membangun pipeline data yang mengalir bebas dengan menggabungkan berbagai teknologi data besar yang memungkinkan analitik real-time. Data engineer juga menulis query kompleks untuk memastikan bahwa data dapat diakses dengan mudah. Namun, peran dan tanggung jawab data engineer tidak mencakup pengoperasian semua sistem komputasi dalam perusahaan. Mereka hanya bertanggung jawab atas bagian-bagian sistem yang terkait dengan pipeline data
2.Requirements dan Deretan Skill
Data Engineer
Laporan IBM memberi peringkat Python, Java, dan R sebagai bahasa teratas untuk insinyur pembelajaran mesin diikuti oleh C ++, C, JavaScript, Scala, dan Julia. Dilansir dari SpringBoard, Python adalah bahasa pemrograman teratas yang digunakan untuk analisis dan pemodelan statistik. Java banyak digunakan dalam kerangka arsitektur data dan sebagian besar API mereka dirancang untuk Java. Scala adalah ekstensi dari bahasa Java yang dapat dioperasikan dengan Java karena dijalankan pada JVM (Java Virtual Machine atau mesin virtual yang memungkinkan komputer menjalankan program Java). Data Engineer sebagian besar fokus pada pemfilteran data dan pengoptimalan data, tetapi pengetahuan dasar tentang algoritma sangat membantu untuk memahami gambaran besar fungsi data organisasi secara keseluruhan, serta menentukan pos pemeriksaan dan tujuan akhir untuk masalah bisnis yang dihadapi.
Data Scientist
Sebagian besar perusahaan ingin mempekerjakan ilmuwan data yang memiliki gelar master atau Ph.D. Penelitian juga menunjukkan bahwa sebagian besar ilmuwan data dilengkapi dengan gelar lanjutan dalam matematika dan statistik (32 persen), ilmu komputer (19 persen), atau teknik (16 persen). Namun, karena permintaan jauh melebihi pasokan, perusahaan sering mempekerjakan individu tanpa gelar sarjana .Ilmu data biasanya disajikan dengan volume data yang besar tanpa masalah bisnis tertentu yang harus dipecahkan. Dalam skenario ini, data scientist diharapkan dapat mengeksplorasi data, merumuskan pertanyaan yang tepat, dan mempresentasikan temuannya.
3.Insinyur Data vs Ilmuwan Data
Baik itu data scientist, data analyst, ataupun data engineer, ketiga pekerjaan tersebut masih berhubungan dan saling terkait. Data analyst dan data scientist tidak akan bisa bekerja tanpa data engineer. Sedangkan data engineer juga tidak akan maksimal kerjanya tanpa data analyst dan data scientist. Saat ini, ada banyak sekali lowongan untuk ketiga profesi tersebut. Terlebih banyak sekali perusahaan yang membutuhkan seperti contohnya perbankan, kesehatan, pendidikan, media, hingga travel dan transportasi & logistik
