Angka produksi perikanan budidaya hingga saat ini menjadi alat evaluasi berisiko tinggi. Padahal instansi yang dievaluasi adalah instansi yang juga melakukan pengukuran angka produksi itu sendiri. Akibatnya, pada situasi kelemahan kelembagaan, angka produksi bukan lagi urusan perhitungan teknis, tetapi sudah berubah menjadi permasalahan politis.
Kondisi tersebut memang tidak pernah dibuktikan ketidakbenarannya, tetapi rasanya sulit untuk mengingkarinya. Terlepas dari hal itu, sekalipun menggunakan prinsip-prinsip statistika, maka kita masih perlu bertanya: apakah produksi setiap tahun akan mengalami kenaikan yang nyata?
Kita perlu berintrospeksi sebelum menjawabnya, melihat kembali tindakan apa saja yang selama ini dilakukan untuk meningkatkan produksi perikanan budidaya. Sebuah kenaikan produksi hanya mungkin apabila tindakan kita berbeda dari tahun sebelumnya.
Perbedaan tersebut bisa dalam bentuk kegiatan yang lebih tepat untuk meningkatkan produksi atau jangkauan kegiatan yang lebih besar, atau sifat pengungkit (leverage) yang lebih baik sehingga efek berantai bagi pembudidaya menjadi terasa.
Sebaliknya, kalau kegiatan itu tidak berbeda dengan tahun-tahun sebelumnya, maka kecenderungan produksi juga tidak akan naik. Einstein mengatakan, "Kegilaan adalah ketika kita melakukan hal yang sama, tetapi mengharapkan hasil yang berbeda."
Kita juga perlu mengetahui metode statistik yang digunakan agar kita bisa menempatkan angka produksi pada kondisi yang semestinya. Sebelum melakukan survai, sesuai dengan metode statistik perikanan budidaya, setiap awal tahun dinas kelautan dan perikanan menentukan sampel rumah tangga perikanan (RTP). Akibatnya, dari tahun ke tahun, sampel RTP Â bisa jadi berbeda.
Apa pengaruh perubahan sampel survai yang merupakan pengamatan tidak lengkap ini? Andi Hakim Nasoetion, mantan rektor IPB, menyatakan, "Kelemahan pengamatan tak lengkap ialah bahwa apa yang dimunculkan tidak pernah merupakan kepastian. Statistik rangkuman  yang didapatkan dari suatu survai selalu dipengaruhi oleh cara menentukan pemilihan contoh dan cara mengadakan kualifikasi pengukuran. Oleh karena itu, walaupun suatu survai diulang dua kali dengan cara yang sama tetapi dengan contoh yang berlainan, statitik rangkuman yang dihasilkan akan selalu dipengaruhi keragaman."
Coba perhatikan, misalnya, suatu populasi terdiri dari 3 pembudidaya. Pembudidaya lele (L) produktivitasnya (kg/ m2) 16, patin (P) 10, dan gurami (G) 11. Dengan demikian rata-rata populasi adalah 12,33.
Apabila dari 3 pembudidaya tersebut di survai sebanyak 2 sampel, maka kemungkinan yang terambil adalah L dan G atau L dan P atau G dan P dengan rata-rata produktivitas berturut-turut 13,5; 13,00; 10,50. Karena ketidakpastian tersebut, kualitas suatu survai salah satunya bisa dilihat dari selang parameter, kian sempit selang yang terbentuk, hasil survai tersebut semakin bisa diandalkan.
Misalnya, G dan P terpilih sebagai sampel dengan rata-rata produktivitas 10,50. Pada tingkat kepercayaan 90% maka akan diperoleh selang parameter 7,34-13,66. Dari survai ini, kita menyatakan bahwa rata-rata produktivitas populasi adalah angka yang tidak diketahui, namun kita yakin angka tersebut terletak antara 7,35 hingga 13,66.
Uraian di atas memberikan petunjuk, apabila RTP sampel dalam setiap tahun berbeda dan pada saat bersamaan kita menilai bahwa dari tahun ke tahun pembangunan perikanan budidaya yang dijalankan cenderung sama, maka produksi perikanan budidaya bisa jadi naik turun, bukan karena populasinya berbeda tetapi hanya karena kesalahan percontohan. Oleh karena itu, naik turunnya produksi perikanan budidaya adalah hal yang wajar dalam survai perikanan budidaya.
