Makalah ini membahas berbagai jenis eksperimen yang diterbitkan dalam rekayasa perangkat lunak. Ada eksperimen terkontrol yang mencakup manipulasi variabel untuk mengukur efeknya pada proses atau hasil rekayasa perangkat lunak. Ada juga studi replikasi yang bertujuan untuk memvalidasi temuan eksperimen sebelumnya. Eksperimen penilaian kuantitatif menyoroti kekuatan statistik, ukuran efek, dan interval kepercayaan dalam eksperimen. Sementara eksperimen justifikasi teoretis dibangun di atas pembenaran teoritis hipotesis. Namun, tak terhindarkan ada eksperimen yang menderita pelaporan yang tidak sistematis.
Pedoman Pelaporan Eksperimental: Menyempurnakan Praktik Pelaporan
Selama beberapa tahun terakhir, berbagai pedoman telah diajukan untuk membantu penulis melaporkan eksperimen mereka. Sebagai contoh, pedoman gaya APA menekankan pentingnya struktur abstrak terstruktur, pernyataan masalah, metode eksperimental, dan temuan keseluruhan. Pedoman lain, seperti yang diusulkan oleh Wohlin et al. dan Kitchenham et al., memberikan panduan yang lebih rinci, termasuk aspek-aspek seperti perumusan hipotesis, pemilihan subjek, instrumentasi, dan analisis data.
Proposisi tentang Evolusi Praktik Pelaporan: Peningkatan dan Kesadaran
Makalah ini mengajukan beberapa proposisi yang mengungkap permasalahan praktik pelaporan dalam eksperimen rekayasa perangkat lunak. Pertama, perlunya menentukan tujuan analisis yang jelas dan pertanyaan penelitian dalam eksperimen. Studi ini juga menyoroti bahwa sejauh ini, praktik pelaporan eksperimen belum dianalisis secara mendalam. Dengan demikian, penelitian ini merupakan langkah pertama dalam memahami praktik pelaporan eksperimen rekayasa perangkat lunak.
Metode Campuran: Mendalam dan Komprehensif
Pendekatan metode campuran digunakan untuk memahami dan mengurai praktik pelaporan eksperimen. Dalam tahap ini, pengkodean kualitatif makalah percobaan digunakan untuk mendapatkan data terstruktur. Kemudian, analisis urutan peristiwa digunakan untuk menganalisis data terstruktur. Ini adalah pendekatan yang komprehensif yang memungkinkan penelitian mendalam tentang praktik pelaporan.
Kesesuaian dengan Pedoman
Hasil penelitian menunjukkan bahwa sebagian besar makalah eksperimental dalam rekayasa perangkat lunak tidak mematuhi pedoman pelaporan. Kesesuaian berosilasi di antara jurnal-jurnal yang ditinjau, tanpa tren peningkatan yang konsisten. Bahkan lebih mengkhawatirkan, sekitar sepertiga makalah yang diteliti tidak merujuk pada pedoman pelaporan eksperimen apa pun. Ini adalah hasil yang menggugah dan menunjukkan bahwa ada perbaikan yang besar yang bisa dilakukan dalam praktik pelaporan eksperimen rekayasa perangkat lunak.
Kompleksitas dalam Pelaporan
Satu temuan yang signifikan dalam penelitian ini adalah kurangnya urutan pelaporan standar dalam makalah eksperimental rekayasa perangkat lunak. Tidak ada dua makalah yang menunjukkan urutan pelaporan yang sama. Variabilitas ini menyoroti kurangnya konsistensi dalam praktik pelaporan eksperimen.
