Mengukur persepsi atau opini orang tergolong sulit tapi menantang. Persepsi tersebut muncul dalam bentuk jawaban terhadap sebuah pertanyaan. Pendekatan subyektif ini bisa menimbulkan bias atau kesalahan dalam memperoleh pendapat dari responden. Kita mengasumsikan bahwa responden memberikan jawaban yang jujur. Namun, kejujuran tersebut bukan jaminan bahwa kita bisa menangkap persepsi atau opini yang sesungguhnya. Kesalahan dalam membuat pertanyaan bisa berakibat bias, atau tidak menunjukkan persepsi atau opini yang sesungguhnya. Andaikan kita sudah mempunyai definisi teoritis dari sebuah variabel, misalnya variabel kualitas layanan website (webquality). Langkah selanjutnya adalah menerjemahkan definisi dari sebuah variabel tersebut menjadi ukuran-ukuran atau indikator yang dapat digunakan untuk mengumpulkan data- misalnya menjadi sejumlah pertanyaan untuk diisi oleh responde atau sebagai pedoman wawancara, atau berupa metode pengumpulan informasi lainnya. Proses ini disebut dengan operasionalisasi variabel, atau sering juga disebut sebagai definisi operasional. *** Harus diakui, pengukuran variabel dalam ilmu sosial lebih sulit dibandingkan dengan ilmu eksakta. Minimal ada dua isu utama terkait dengan penyusunan alat ukur dalam ilmu sosial, yaitu reliabilitas dan validitas alat ukurnya. Sebagai contoh, TOEFL merupakan alat ukur kemampuan bahasa Inggris yang populer dan relatif sudah diakui reliabilitas dan validitas pengukurannya. Contoh lainnya adalah Tes Potensi Akademik (TPA). Lalu bagimana kita bisa memanstikan bahwa alat ukur yang digunakan untuk mengukur gaya kepemimpinan atau efektifitas kepemimpinan bisa dikatakan memenuhi kriteria reliabilitas atau validitas? Membumi tapi Jangan Mendua Bahasa menunjukkan bangsa. Namun di dunia riset, peribahasa tersebut bisa dimaknai dalam konteks pengunaan bahasa yang baik dan benar pada saat penyusunan instrumen penelitian. Penggunaan bahasa yang efektif dan efisien sangat vital dalam penyusuan kuisener. Bahasa dalam dunia riset harus tidak boleh ambigu mendua, atau multi interpretasi. Misal, ketika kita mencoba meneliti persepsi para pelaku usaha kecil terhadap program pengentasan kemiskinan yang dibuat oleh pemerintah, pertanyaan berikut bisa menimbulkan bias. Bahasa pada kuisener yang membumi membuat responden memahami maksud atau makna dari sebuah pertanyaan. Tidak ada kata atau kalimat yang bermakna ganda, atau salah diinterpretasikan. Atau tidak sesuai dengan makna yang diinginkan oleh si peneliti- dalam hal ini makna yang sesuai dengan definisi atau teori yang mendasari variabelnya.
"Apakah Anda setuju bahwa program MP3EI itu pro poor?"
Responden mungkin tidak tahu istilah MP3EI atau "pro poor". Jadi sebaiknya hindari penggunaan istilah-istilah teknis yang belum populer atau mungkin tidak dimengerti oleh responden. Bahkan, ketika pertanyaan-pertanyaan sulit untuk dipahami, kita tidak membiarkan responden menjawab sendiri tanpa pendampingan atau penjelasan dari pengambil data di lapangan. Jangan heran jika tingkat pengembalian (response rate) rendah jika kita hanya menyebarkan kuisener melalui surat atau kuisener diserahkan begitu saja ke responden untuk mengisinya sendiri. Di sinilah peranan survey dengan metode wawancara sehingga pengambil data bisa bertemu langsung dengan responden dan bisa menjelaskan setiap pertanyaan. Tahap penyusunan dan uji coba pemahaman atau interpretasi terhadap bahasa pada kuisener merupakan bagian dari tahap pengujian instrumen penelitian yang disebut dengan analisis konten (Content Analysis). Kita bisa menghadapi resiko bahwa pertanyaan tersebut tidak dipahami oleh responden. Dan ini bisa menjadi sumber bias dalam hasil penelitian. Kita kadang merasa sudah benar dalam menyusun pertanyaan. Namun jangan salah, kadang kita lupa bahwa sebuah kalimat bisa bermakna ganda atau multi-interpretasi. Bisa saja makna yang dimaksudkan oleh peneliti tidak sama dan sebangun dengan makna yang ditangkap oleh responden. Untuk itulah responden harus diujicobakan dulu, baik kepada para ahli yang relavan dengan topik riset sehingga memperoleh umpan balik untuk penyempurnaan, atau kepada calon responden untuk mengetahui pemahaman terhadap isi atau maksud dari setiap pertanyaan. Hindari ”Pelit” tapi Jangan ”Cerewet” Berapa jumlah pertanyaannya yang dianggap pantas? Tidak ada rumus yang pasti tentang jumlah pertanyaan yang harus dibuat untuk setiap variabel, kecuali pedoman umum yang menyebutkan bahwa pertanyaan harus bisa menangkap apa yang seharusnya diukur secara lengkap dan tepat. Memang ada peneliti yang menggunakan rumus umum tentang jumlah variabel optimal yang dikaitkan dengan jumlah reponden dan model analisisnnya. Misalnya ada yang menyaratkan bahwa variabel yang menggunakan 10 pertanyaan memerlukan jumlah minimal responden sebanyak 10 kalinya jika ingin analisis statistiknya valid dan sesuai dengan asumsi statistik. Untuk sementara, kita tidak akan membahas itu dulu. Intinya bukan ke jumlah pertanyaan, namun apakah semua pertanyaan bisa menunjukkan relibilitas dan validitias yang baik. Mari kita diskusikan beberapa contoh tentang pengaruh jumlah pertanyaan terhadap validitas dan reliabilitas. Andaikan variabel kepemimpinan diukur hanya dengan satu pertanyaan berikut:
Apakah Anda seorang pemimpin? [ ] Ya [ ] Tidak
Misalnya. dari 100 responden, ternyata yang menjawab "Ya" sebanyak 90 orang. Apakah kita bisa menyimpulkan bahwa 90% responden mempunyai jiwa kepemimpinan? Tentu tidak, karena jiwa kepemimpinan tidak hanya diukur dari pengakuan sendiri terhadap satu- dan hanya satu pertanyaan saja. Definisi kepemimpinan pun mencakup berbagai aspek atau kriteria yang bermacam-macam, misalnya cara pengambilan keputusan, keteladanan, kemampuan mengatasi masalah, dan aspek lain. Jadi dengan satu pertanyaan saja maka riset kita menghadapi masalah validitas. Atau pertanyaan tersebut tidak valid untuk menakar kepemimpinan seseorang. Jika sebuah definisi tersebut mengandung atau tersusun dari berbagai kriteria atau aspek kepemimpinan maka setiap aspek atau kriteria tersebut menjadi satu pertanyaan. Jadi kuisener untuk mengukur variabel kepemimpinan terdiri dari beberapa pertanyaan.
Sekarang kita lihat dari sisi lain. Katakanlah sebuah pertanyaan ditanyakan secara berulang-ulang kepada orang yang sama. Bisa saja orang tersebut mempunyai jawaban yang berbeda-beda. Ada ketidakkonsistenan jawaban karena pertanyaannya mengandung kelemahan dari sisi reliabilitas. Reliabilitas dan validitas secara umum bisa ditingkatkan dengan menambah jumlah pertanyaan. Namun bukan pula bisa dipastikan bahwa jumlah pertanyaan yang banyak dapat memastikan reliabilitas dan validitas yang tinggi. Contoh ekstremnya, jangan sampai kita menggunakan 100 pertanyaan untuk satu variabel. Jika demikian, maka responden tidak bersedia untuk menjawab sebanyak itu. Apalagi bahwa kesediaan responden untuk menjadi obyek penelitian bersifat sukarela. Reliabilitas dan validitas dapat diukur dengan metode atau prosedur statistik, misalnya dengan alat uji cornbach alpha untuk reliabilitas atau uji statistik KMO dengan menggunakan analisis faktor untuk mengukur validitas. Itu konsep reliabilitas dan validitas secara internal- atau dihitung sendiri oleh si peneliti berdasarkan data yang dikumpulkannya. Aspek reliabilitas dan validitas yang lebih luas adalah bagaimana instrumen penelitian kita bisa diterima oleh masyarakat ilmiah yang lain, atau lebih luas lagi, bisa diterima oleh masyarakat. Tidak mudah untuk mencapai reliabilitas dan validitas secara luas seperti itu, apalagi untuk sebuah instrumen yang dibuat sendiri. Untuk para penelitia pemula, atau mahasiswa yang sedang menyusun skripsi, aspek reliabilitas dan validitasnya cukup hanya sebatas internal saja, yaitu dengan melakukan pengujian pendahuluan terhadap kuisener yang sudah dirancang. Salah satu ujinya adalah uji reliabilitas dan validitas. *** Dimensi, Gerombolan Pertanyaan Sebuah variabel bisa diukur dengan sejumlah pertanyaan, katakanlah total pertanyaannya sebanyak 20 pertanyaan. Pertanyaan tersebut- dengan berpijak pada kajian teoritis atau analisis statistik, bisa mengelompok menjadi beberapa dimensi atau faktor. Atau bisa saja, sebuah variabel tidak harus dirinci lagi menjadi beberapa dimensi. Dimensi ini sering juga disebut sebagai sub-variabel. Mengenai dimensi ini, ada dua alternatif yang bisa diambil oelh seorang peneliti. Pertama, kita menggunakan dimensi yang sudah tersedia pada sebuah instrumen penelitian. Kita tidak harus pusing-pusing untuk mencari, membuat, atau menamakan dimensi tersebut. Dengan menggunakan model kuisener yang sudah tersedia, biasanya kusisener tersebut menunjukkan reliabilitas dan validitas yang tinggi. Contohnya jika kita mengukur variabel kemampuan Bahasa Inggris dengan menggunakan test TOEFL maka kita tidak perlu lagi mempertanyakan reliabilitas dan validitasnya, Jika kita meragukannya, maka sebagai seorang peneliti, keraguan tersebut bisa menjadi dasar untuk membuat model pengukuran kemampuan bahasa Inggris lain. Penggunaan model kuisener yang sudah tersedia menjadi salah satu pilihan yang tepat untuk penelitian setingkat skripsi atau bahkan thesis. Namun, pengujian konten, reliabilitas, dan validitas sebaiknya tetap dilakukan jika model yang digunakan merupakan terjemahan atau ada beberapa penyesuaian pertanyaannya. Sebagai contoh model kuisener yang sudah tersedian dimensinya, saya mengutip kembali tulisan sebelumnya tentang metode pengukuran kualitas layanan webiste dengan menggunakan model webqual. Metode Webqual merupakan pengembangan dari SERVQUAL yang disusun oleh Parasuraman untuk pengukuran kualitas jasa. Instrumen penelitian pada Webqual tersebut dikembangkan dengan metode Quality Function Development (QFD). Webqual sudah mulai dikembangkan sejak tahun 1998 dan telah mengalami beberapa iterasi dalam penyusunan dimensi dan butir-butir pertanyaannya. Akhirnya Barnes dan Vidgen (2003) menyusun webqual yang menggunakan tiga dimensi yaitu (1) Information Quality yang diambil dari konsep sistem informasi, (2) Service Interaction dari konsep kualitas sistem informasi, e-commerce, dan pemasaran, serta (3) usability dari konsep human-computer interaction. Sedangkan Yang dkk (2005) menggunakan lima dimensi yaitu Usability, Usefulness of content, Adequacy of information, Accesibility, dan Interaction, dengan menggunakan 19 item pertanyaan. Masih ada beberapa peneliti lainnya yang menggunakan model pengukuran website. Perbedaannya terletak pada pengelompokan dimensi dan jumlah butir pertanyaanya saja. Dimensi atau faktor pengukuran pada Webqual secara umum berbeda-beda- baik dalam jumlah dan penamaan dimensi pengukurannya, serta jumlah indikator atau butir pertanyaan. Hal tersebut tergantung pada proses pengujian reliabilitas dan validitas terhadap instrumen penelitian (kuisener) yang dibagikan kepada pengguna website yang menjadi responden pada survey pengukuran mutu sebuah website. Kita lihat memberikan contoh hasil analisis sebuah website dengan menggunakan metode Webqual- yang saya kutip dari Barnes dan Vidgen. Di sini peneliti tersebut menggunakan 8 dimensi seperti terlihat pada gambar di samping, yang menunjukkan hasil analisis terhadap empat website. Jadi kita bisa membandingkan mutu keempat website tersebut, dilihat dari masing-masing dimensi pengukurannya. Kedua, kita menyusun pertanyaan pada sebuah variabel, lalu melakukan uji terhadap kuisener tersebut, misalnya melalui analisis faktor. Catatan, berbagai teknik analisis statistik- misalnya uji reliabilitas, uji validitas, analisis faktor, memerlukan penjelasan tersendiri nanti. Hasil dari analisis faktor tersebut adalah pertanyaan-pertanyaan bisa mengelompok menjadi beberapa faktor atau dimensi. Katakanlah menjadi dua kelompok. Ini artinya bahwa ada dua dimensi untuk variabel tersebut. Dalam satu dimensi, pertanyaan bersifat homogen, atau mengukur hal yang sama, sedangkan antar dimensi relatif berbeda. Dimensi seolah seperti variabel juga. Inilah yang menyebabkan dimensi disebut juga sebagai sub-variabel. Pilihan untuk menyusun dimensi atau pertanyaan sendiri merupakan salah satu tantangan dari seorang peneliti yang akan mengukur persepsi orang. Apalagi, sekali lagi, pengukuran variabel di ilmu sosial. Dan ini relatif sulit karena jika penelitiannya berhasil maka kita bisa saja menemukani instrumen penelitian yang relatif baru, bahkan bisa disebut kita telah menyusun model pengukuran yang baru, atau menyempurnakan model sebelumnya. Mengingat tingkat kesulitan yang relatif tinggi ini, maka cara tersebut biasanya dilakukan pada riset untuk tingkat pascasarjana, terutama untuk tingkat Doktor yang memang harus menemukan sebuah model, atau bahkan menemukan teori baru berdasarkan hasil pengukuran dan pengolahan datanya. Cara ini juga harus didukung landasan teoritis yang kuat, terutama untuk penamaan dimensi dan penyusunan butir-butir pertanyaannya. Setiap pertanyaan yang disusun harus mempunyai dasar teoritis yang kuat. Pemahaman mengenai hal ini bisa diperoleh dengan mempelajari publikasi ilmiah dari penemu model kuisener, terutama publikasi yang menjelaskan bagaimana proses penyusunana kuisener tersebut. *** Jadi langkah umum pembuatan instrumen penelitian atau alat ukur dalam bentuk kuisener adalah sebagai berikut:
- Carilah beberapa definisi variabel yang bisa dijadikan rujukan dalam penelitian kita, atau dilengkapi- namun tidak wajib, membandingkan perbedaan atau persamaan di antara berbagai definisi tersebut.
- Tentukan salah satu definisi yang paling mendekati dengan topik penelitian kita , terutama setelah mempertimbangkan kemudahan pengukurannya di lapangan atau pada tahap pengambilan data.
- Untuk pembuatan kuisener, Anda bisa mempunyai dua pilihan yaitu (a) menggunakan pertanyaan yang sudah dibuat oleh peneliti sebelumnya sehingga sudah jelas dimensi dan indikatornya, atau (b) menyusun sendiri pertanyaannya berdasarkan teori atau pengetahuan sebelumnya.
- Jika Anda membuat sendiri pertanyaanya, terdapat dua pilihan lagi yaitu (a) kita menentukan dimensi dan indikator (pertanyaan) untuk masing-masing dimensi terlebih dahulu secara teoritis, selanjutnya dilakukan pengujian reliabilitas dan validitas untuk setiap dimensi tersebut, atau (b) Kita membuat sejumlah pertanyaan untuk sebuah varibel- berdasarkan dasar teoritis tertentunya, tanpa ada pengelompokan pertanyaan (dimensi) terlebih dahulu. Pengelompokkan dapat diketahui setelah melakukan pengujian lebih lanjut- misalnya dengan analisis faktor, sehingga secara statistik kita tinggal menamakan faktor-faktor tersebut
- Apapun pilihannya, pertanyaan tersebut sebaiknya diujicoba terlebih dahulu, yaitu dengan melakukan: (a) analisis konten untuk mengetahui pendapat para ahli atau responden terhadap pemahaman redaksi atau bahasa dari pertanyaannya, atau bisa juga pendapat tentang cakupan dan kedalaman pertanyaan dan (b) analisis relibilitas dan validitas.
- Jika kuisenernya sudah teruji dengan baik, kita sudah bisa melakukan penelitian utama yakni menyebarkan kuisener tersebut ke responden.
Harus diakui bahwa ada perbedaan standar mengenai sebarapa jauh seorang peneliti- dalam hal ini untuk skripsi, harus merancang dan menguji kuisener. Ada yang berpendapat bahwa riset untuk skripsi tidak harus membuat kuisener sendiri. Mereka cukup menggunakan kuisener yang sudah ada, tinggal disesuikan dengan obyek penelitiannya saja. Namun ada juga yang mengharuskan mereka menyusun sendiri dari awal, termasuk memilah dan memilih sendiri dimensi dan indikatornya melalui proses pengujian kuisener yang lengkap, yaitu uji konten, uji reliabilitas, dan uji validitas. Perbadaan tersebut diserahkan saja kepada masing-masing perguruan tinggi. Atau yang paling praktis, tergantung dosen pembimbingnya saja. *** Ada bagian yang masih belum dijelaskan, yaitu bagaimana kita membuat skala, nilai, atau skor terhadap jawaban atau respon dari responden terhadap setiap pertanyaan. Pada contoh di atas, kita hanya menggunakan contoh pertanyaan dengan menyediakan jawaban berupa "Ya" atau "Tidak". Masih ada beberapa skala pengukuran lain. Nanti kita mendiskusikannya tersendiri. --- Tulisan Sebelumnya: Pilah-Pilih Definisi
