Mengapa Quick Count (Selalu) Akurat, Survei Elektabilitas (Sering) Meleset?

17 Maret 2013 21:41:12 Dibaca :
Mengapa Quick Count (Selalu) Akurat, Survei Elektabilitas (Sering) Meleset?
www.opinimeter.com

Analisis ini sudah diposting di timeline @opinimeter

Bbrp pertanyaan diajukan pada @opinimeter kenapa berbagai hasil survei pilkada DKI dan pilkada Jabar dan daerah lainnya berbeda antar lembaga survei?. Berikut ini penjelasannya

1. Cek dulu apakah survei-survei tersebut pada durasi waktu yang sama/hampir sama. Survei adalah snapshot opini publik, mestinya hasil sama jika berbarengan

2. Cek apakah ada klaim lembaga survei bahwa responden dipilih secara acak (random). Jika responden dipilih secara acak, bisa dibandingkan dengan survei yang acak juga

3. Karena survei dengan pemilihan responden tidak secara acak hasilnya pasti akan beda, sehingga tidak bisa dibandingkan dengan survei yang respondennya dipilih secara acak pula

4. Lalu cek berapa besaran error yg diumumkan pada masing2 survei? bandingkan apakah kedua hasil survei berada pada rentang yg berhimpit atau tidak?

5. Misal pada survei lembaga X, elektabilitas si A 30% dengan error +/- 5%. Artinya elektabilitas si A berada pada satu titik antara 25% hingga 35%

6. Pada survei lembaga Y, elektabilitas si A 36% dengan error +/- 3%. Artinya elektabilitas si A berada pada satu titik antara 33% hingga 39%

7. Kalau kedua survei dibandingkan, masih ada titik yang berhimpit pada angka 33%-35%. Artinya kedua survei pada dasarnya punya hasil yang sama secara statistik

8. Pada survei lembaga Z, elektabilitas si A 20% dengan error +/- 3%. Artinya elektabilitas si A  berada pada satu titik antara 17% hingga 23%

9. Hasil survei lembaga Z ini berbeda dengan lembaga X dan Y, karena rentang hasil survei Z tidak berhimpit dengan hasil X & Y. Tapi belum tentu lembaga Z yang keliru !

10. Bisa saja survei lembaga X dan Y yang keliru memperkirakan elektabilitas si A. Karena apa? adanya faktor penting yaitu non-sampling error (NSE)

11. Besaran error yg kerap disebut-sebut oleh lembaga survei (yaitu Margin of Error) hanya mengacu pada Sampling Error. non-Sampling Error diklaim 0 (nihil)

12. Jadi memakai istilah Margin of Error (MoE) keliru, karena seharusnya kita menyebutnya dengan Sampling Error. MoE = Sampling Error + non-Sampling Error

13. Sampling error adalah tingkat kesalahan yg dimungkinkan secara statistik karena penarikan sampel (sampling). Ini bisa diperkirakan & ada rumus statistiknya

14. Bagaimana hitung sampling error (SE) dalam survei? Rumus: 100% dibagi akar dari jumlah responden. Jika responden=400 orang, akar 400=20, maka SE adalah 100%/20=5%

15. Apa saja non-sampling error? Kualitas pelatihan pewawancara, kontrol atas kegiatan lapangan, bunyi & panjang kuesioner, independensi, Quality Control, analisis dan lain-lain

16. Bagaimana menghitung non-sampling error (NSE) ? Tidak bisa. NSE berbeda-beda tiap lembaga survei karena tergantung pada "jam terbang" para penelitinya

17. Ada dua survei berbarengan dan teknik samplingnya tepat tapi hasilnya berbeda secara statistik, pasti sumber masalahnya pada non-sampling error

18. Jika hasil keduanya berbeda, pasti salah satu atau kedua survei tersebut mengandung non-sampling error yg besar, sehingga hasilnya jadi berbeda

19. Dua survei berbarengan dengan metode sampling yang tepat & disertai kontrol yang ketat untuk menihilkan non-sampling error, seharusnya hasilnya akan sama

20. Dua lembaga yang punya hasil survei beda, bisa jadi sama-sama kurang ketat dalam mengontrol non-sampling Error, sehingga hasil survei keduanya sama2 keliru

21. Jadi jika dua lembaga survei rilis hasil yang berbeda padahal berbarengan & responden dipilih secara acak, bisa salah satunya keliru atau keduanya keliru

22. Karena itu tidak heran, semua lembaga survei keliru memrediksi Jokowi. Karena survei2 tersebut memiliki non-sampling error yang cukup besar pada saat itu

23. Bukan Jokowi yang "tancap gas" saat masa tenang, tetapi lembaga-lembaga survei yang kurang piawai melakukan pengukuran elektabilitas Jokowi

24. Namun tdk satupun lembaga survei mengaku gagal dalam "mengatasi" non-sampling error. Alasan klisenya terjadi perubahan signifikan pada masa tenang

25. Sekarang lembaga survei bak jamur,banyak yg cukup mahir dalam sampling tapi belum tentu mahir menihilkan non-sampling error. Tergantung jam terbang peneliti

26. Karena itu publik hendaknya menyadari banyaknya versi hasil survei opini publik adalah bagian dari proses belajar para pollster di Indonesia

27. Survei sebagai alat ukur dalam politik mulai dikembangkan 1997 dipelopori LP3ES. Kami di @opinimeter termasuk salah satu penelitinya era itu

28. LP3ES juga menggelar pelatihan gratis metode polling untuk wartawan & litbang media massa & aktifis LSM tahun 1999-2002 dalam puluhan gelombang

29. Namun survei politik makin menarik perhatian publik sejak era pemilihan langsung presiden mulai 2004 dan pilkada langsung mulai 2005

30. Lembaga-lembaga survei yang populer baru berdiri 2003, tujuh tahun setelah LP3ES rutin merilis hasil survei politiknya di sebuah majalah nasional

31. Sebagian politisi awalnya tidak percaya hasil Quick Count LP3ES pada pileg dan pilpres 2004, karena diprediksi partainya kalah, capresnya kalah

32. Masyarakat makin yakin akurasi statistik dalam survei dan quick count. Kini masyarakat menanti-nanti hasil survei & Quick Count tiap pemilu & pilkada

33. Dengan banyaknya versi hasil survei yang berbeda-beda, masyarakat makin faham membedakan mana lembaga survei abal-abal dan mana lembaga survei kredibel

34. Akan terbukti lembaga survei yang kredibel yang bertahan. Lembaga survei kualitas "jamur" akan hilang dengan sendirinya, setelah musimnya berlalu

35. Untuk memrediksi elektabilitas tidak cukup diwakili dengan pertanyaan: "jika pilkada hari ini, pilih siapa?". Pengukuran elektabilitas cukup kompleks

36. Ada beberapa dimensi yang harus digunakan dalam melakukan pengukuran aspek krusial seperti elektabilitas. Tidak sesederhana pertanyaan kuesioner tadi

37. Kredibilitas survei tergantung jam terbang penelitinya dalam hal non-Sampling Error. Tidak cukup hanya menguasai cara penarikan sampel acak

38. Semua pakai metode sampling yg sama, tapi instrumen kuesioner, manajemen lapangan, quality control & analisis tergantung jam terbang penelitinya

39. Diharapkan publik pemerhati survei-survei politik mendapat sedikit pencerahan. Jika ada pertanyaan silahkan follow atau mention@opinimeter

Download Company profile OPINIMETER INDONESIA klik www.opinimeter.com/op.pdf

Zulfahmi Fahmi

/opinimeter

www.opinimeter.com follow @opinimeter Peneliti survei sejak Pemilu 1999. Bukan pecahan dari lembaga survei manapun. Profil kami download di www.opinimeter.com/op.pdf
Selengkapnya...

KOMPASIANA ADALAH MEDIA WARGA, SETIAP KONTEN DIBUAT OLEH DAN MENJADI TANGGUNGJAWAB PENULIS.

Siapa Yang Menilai Tulisan Ini ?