Apakah Survei Indo Barometer Jokowi Kedua Dapat Dipercaya?

Pro Kontra atas suatu hasil survei sudah biasa. Sebagian yang Pro dapat saja karena justifikasi netral tetapi sebagian lagi dapat juga karena karena konflik kepentingan. Hal yang sama juga berlaku untuk kelompok yang kontra.

Sekarang coba kita lihat hasil survei Indo Barometer tentang tingkat kepuasan masyarakat atas kinerja Presiden Jokowi. 

Menurut hasil survei lembaga ini yang antara lain dipublikasikan oleh Bisnis.com, 16 Februari, kemarin, tingkat kepuasan masyarakat terhadap kinerja Presiden Joko Widodo di periode pemerintahan kedua mencapai 70,1%.

Coba hasil survei Indo Barometer ini kita cermati dari beberapa pendekatan. Kita mulai dari hasil survei Kompasianer atas kinerja 100 Hari Kabinet Jokowi - Ma'ruf Amin, lanjut ke track records kegiatan survei Indo Barometer, dan terakhir evaluasi atas metodologi yang digunakan oleh Indo Barometer dalam survei yang dilakukan sekarang.

Respon Politisi 

Politisi Partai Demokrat, Ferdinan Hutahaen, misalnya,  menyatakan hasil survei Indo Barometer itu lucu tidak layak untuk dipercaya. Pernyataan ini seperti dirilis oleh Alinea.id, seperti dibawah ini.

Semestinya Indo Barometer melakukan survei terhadap kinerja pemerintah secara menyeluruh dan bukan kinerja pribadi orang per orang. Jika yang disurvei adalah kinerja pribadi, bisa saja responden atau masyarakat menjawab berdasarkan kesukaan mereka terhadap figur, alias bukan murni kinerja. Hal ini, cenderung subjektif.

Isu ini akan dibahas dalam topik metodologi survei yang disajikan pada alinea-alinea terakhir artikel ini.

Survei Kompasianer

Kompasianer Almizan (Almizan53) tayang artikel dengan judul "70 Persen Kompasianer Kecewa dengan 100 Hari Jokowi - Ma'ruf". 

Artikel yang tayang pada tanggal 2 februari 2020 ini melaporkan bahwa ada 35 artikel Kompasianer yang tayang dalam topik pilihan 100 Hari Jokowi Ma'ruf Kompasiana. 

Agar dapat memberikan insights, pemahaman yang jelas dan dalam, 35 artikel itu dipilah-pilih penulis in ke dalam tiga kelompok tone, yaitu, tone kecewa, tone netral, dan tone puas.

Hasil survei ini memperlihatkan bahwa hanya ada satu artikel atau kurang dari tiga persen yang menyuarakan kepuasan pada kinerja 100 hari Kabinet Jokowi Maruf Amin. Selanjutnya, ada 10 artikel dengan tone netral.

Artikel dengan tone netral ini ternyata sebagian netral berimbang dan sebagian lagi netral tanpa opini. Selebihnya, 24 artikel (70%) menyuarakan kekecewaan atau ketidakpuasan atas kinerja 100 hari termaksud. 

Temuan ini cukup mengejutkan sebab sebelumnya Kompasianer cenderung Pro Jokowi. Ini terlihat lebih jelas dalam rally panjang Pilpres 2019 yang lalu. 

Track Records Indo Barometer

Mungkin kita masih ingat bahwa banyak sekali lembaga survei humaniora yang melakukan kegiatan survei rally panjang ajang kontestasi Pileg dan Pilpres 2019. 

Untuk jenis Pemilu Pilpres, kita dapat melihat dengan jelas bahwa sebagian hasil survei memiliki kecenderungan atau tone Pro pasangan pasangan Jokowi Ma'ruf dan sebagian lagi dengan tone kemenangan Prabowo Sandi.

Track records atau rekam jejak hasil survei Indo Barometer tentu saja dapat kita rujuk pada rangkaian kegiatan Pilpres April 2019 yang lalu. 

Terlepas dari tingkat kredibilitas Indo Barometer dalam rangkaian kegiatan survei Pilpres 2019, hasil survei Indo Barometer cenderung berpihak kepada pasangan Jokowi - Ma'ruf Amin.

Metodologi Survei

Menurut Bisnis.com tersebut diatas metodologi yang digunakan oleh Indo Barometer yang digelar pada 9---15 Januari 2020 menggunakan 1.200 responden dan tingkat akurasi atau margin of error 3% . 

Tersaji hanya waktu survei, jumlah sampel (responden), dan margin of error. Informasi ini jelas tidak berbicara banyak tentang kualitas dan/atau kredibilitas survei yang dilakukan itu. 

Sebelum lebih jauh membahas metodologi survei yang dilakukan oleh Indo Barometer ini, mungkin kita lihat dulu cacat bawaan atau sisi-sisi rawan dari suatu survei. 

Sisi-sisi rawan suatu survei bukan yang dilakukan oleh Indo Barometer saja tetapi dilakukan oleh siapa saja, pribadi atau pun institusi survei, adalah sebagai berikut.

Pertama. 

Responden menjawab hanya untuk sekadar menyenangkan pewawancara atau enumerator. Misal, jika dalam persepsinya pewawancara berorientasi Pro Jokowi, maka jawabannya cenderung mengarah ke jawaban-jawaban dan/atau narasi-narasi yang Pro Jokowi. Sebaliknya berlaku hal yang sama.

Kedua.

Adanya konflik kepentingan. Responden yang saat ini bekerja dan/atau berafiliasi dengan pemerintah termasuk berafiliasi dengan BUMN cenderung memberikan jawaban yang Pro kinerja Jokowi - Ma'ruf Amin. Sebaliknya berlaku hal yang sama.

Ketiga.

Responden sebetulnya lupa akan hal-hal yang terkait dengan pertanyaan responden atau pertanyaan dalam daftar kuesioner. Jawaban yang diberikan dengan demikian hanya asal menjawab saja. Ia tidak begitu peduli apa benar atau salah jawaban yang diberikan itu.

Kita tidak memiliki informasi bagaimana Indo Barometer mengendalikan tiga isu rawan tersebut diatas pada survei kinerja Jokowi saat ini.

Margin of Error

Media biasanya selalu mempublikasikan tingkat margin of error (MoE) dari suatu survei yang dilakukan. Ini sebetulnya tidak begitu terkait dengan kredibilitas suatu survei.  Nilai MoE berbanding terbalik dengan jumlah responden; semakin besar jumlah responden semakin kecil angka MoE.

 Di sisi lain MoE juga melaporkan kesalahan dalam proses sampling. Wikipedia menulis:

The term "margin of error" is often used in non-survey contexts to indicate observational error in reporting measured quantities. 

Sekali lagi, kita tidak memiliki informasi MoE yang mana yang dimaksud oleh Indo Barometer dalam kegiatan survei ini.  

Daftar Kuesioner

Seberapa jauh kredibilitas dari suatu survei juga ditentukan dari kualitas daftar kuesioner yang dibuat. Sayang, jarang ada lembaga survei dalam negeri termasuk Indo Barometer yang membuka akses publik atas daftar kuesioner pada survei yang dilakukan.

Kesimpulan 

Ada empat unsur yang digunakan penulis untuk mengukur kredibilitas hasil survei lembaga survei Indo Barometer ini. Keempat unsur tersebut adalah: (i) opini publik; (ii) hasil survei Kompasianer; (iii) track records survei Indo Barometer, dan (iv) metodologi survei yang digunakan oleh Indo Barometer.   

Secara kualitatif, hasil survei Indo Barometer tersebut tidak cukup kredibel. Tidak cukup kuat untuk dapat dipercaya sesuai dengan standar survei baku. Ini terutama disebabkan terbatasnya informasi yang dipublikasikan terkait metodologi survei yang digunakan.