Kelemahan ini membuat basis nasional angka 7,56 tidak dapat diuji. Tanpa verifikasi yang dijelaskan, publik tidak tahu apakah responden Indonesia seluruhnya datang dari penduduk Indonesia, pengguna dari luar negeri, atau pengisi yang memilih negara secara bebas.
Kelima, IndexMundi tidak membuka sistem pengendalian kualitas responden. Tidak ada penjelasan publik mengenai pencegahan pengisian berulang, deteksi bot, penyaringan jawaban tidak wajar, pemeriksaan IP, moderasi manual, penghapusan responden bermasalah, maupun audit data. Halaman survei dan tabel hasil tidak menjelaskan prosedur tersebut.
Tidak adanya penjelasan ini bukan bukti bahwa data pasti dimanipulasi. Namun publik juga tidak memiliki dasar untuk memastikan bahwa data terlindungi dari responden ganda, bot, mobilisasi terkoordinasi, atau jawaban palsu.
Keenam, IndexMundi mencantumkan margin of error 5,70 persen tanpa membuka dasar statistik yang memadai. Untuk 296 responden, angka tersebut identik setelah pembulatan dengan rumus margin of error maksimum pada asumsi sampel acak sederhana. Padahal IndexMundi tidak menunjukkan bahwa 296 responden itu dikumpulkan melalui sampel acak sederhana atau desain probabilitas.
AAPOR menegaskan bahwa margin of error konvensional terkait dengan survei probabilitas. Untuk sampel nonprobabilitas, ukuran presisi perlu dijelaskan bersama model, asumsi, dan metode perhitungannya. AAPOR bahkan menyarankan agar istilah margin of error dihindari untuk sampel nonprobabilitas agar tidak menimbulkan kebingungan.
Karena IndexMundi tidak membuka model, asumsi, desain sampel, maupun mekanisme pembobotannya, angka 5,70 persen tidak dapat dipakai untuk memberi legitimasi ilmiah terhadap skor 7,56.
Ketujuh, skor dua desimal 7,56 terlihat presisi, tetapi rumus pembentukannya tidak dipublikasikan. Formulir hanya meminta pengisi memilih satu dari lima kategori: bukan masalah, masalah kecil, masalah rata-rata, masalah serius, atau masalah sangat serius.
Namun IndexMundi tidak menjelaskan bagaimana lima kategori itu diubah menjadi skor 0 sampai 10, apakah tiap kategori berbobot sama, bagaimana jawaban kosong diperlakukan, dan apakah ada penyesuaian statistik.
Angka dua desimal menciptakan kesan ketelitian yang tidak dapat diperiksa publik karena formula dasar penghitungannya tidak dibuka.
Kedelapan, ranking dibangun dari perbedaan skor yang sangat tipis tanpa interval kepercayaan atau uji statistik. Indonesia diberi skor 7,56. Bolivia berada tepat di bawahnya dengan 7,54. Brasil dan Peru berada di atas dengan 7,63. Selisih Indonesia dengan Bolivia hanya 0,02 poin, sedangkan selisih dengan Brasil dan Peru hanya 0,07 poin.
IndexMundi tidak mempublikasikan standar deviasi, distribusi jawaban, interval kepercayaan atas rata-rata skor, atau pengujian statistik yang membuktikan perbedaan tersebut signifikan. Ranking kemudian mengubah selisih yang mungkin tidak bermakna menjadi narasi dramatis tentang posisi suatu negara.
Kesembilan, klaim “peringkat ke-18 dunia” terlalu jauh. Yang dapat dibuktikan hanya Indonesia berada di urutan ke-18 dari 100 entitas yang dimuat dalam tabel IndexMundi. Daftar itu juga mencampurkan negara berdaulat dengan entitas seperti Puerto Rico, Aruba, dan Hong Kong. IndexMundi tidak membuka aturan inklusi, ambang minimum respondrn, alasan suatu entitas masuk atau tidak masuk, maupun dasar mengapa daftar tersebut hanya memuat 100 entitas.
Indonesia tidak dapat disebut peringkat ke-18 dari seluruh negara di dunia hanya berdasarkan tabel 100 entitas yang tidak menjelaskan cakupan pembandingnya secara transparan.
Kesepuluh, klaim bahwa Indonesia memiliki kepolisian “paling korup di Asia Tenggara” juga tidak lengkap secara faktual. Tabel memuat Indonesia, Thailand, Filipina, Malaysia, Kamboja, Vietnam, dan Singapura. Brunei Darussalam, Laos, Myanmar, dan Timor-Leste tidak terdapat dalam ranking yang ditampilkan.
Indonesia hanya dapat disebut memiliki skor tertinggi di antara negara Asia Tenggara yang tercantum dalam tabel IndexMundi. Menyimpulkan bahwa Indonesia tertinggi di seluruh Asia Tenggara adalah generalisasi yang melampaui cakupan data.
IndexMundi sendiri menyebut indeks itu sebagai ukuran subjektif atas persepsi penduduk mengenai masalah korupsi polisi. Bahkan bila metodologinya kuat, instrumen tersebut tetap tidak mengukur jumlah perkara korupsi yang terbukti, pengalaman suap secara langsung, integritas seluruh personel, kualitas pengawasan internal, putusan pengadilan, atau tingkat korupsi faktual di institusi kepolisian.
“Rilis ini tidak menyatakan bahwa IndexMundi memalsukan data. Namun data publik yang tersedia cukup untuk menunjukkan bahwa indeks tersebut tidak dapat diaudit secara layak, tidak terbukti representatif secara nasional, tidak memiliki periode pengumpulan data yang terbuka, tidak menjelaskan pembaruan responden, dan tidak memberikan dasar metodologis yang memadai untuk menyematkan label survei terbaru,” tegas Haidar Alwi.
Sampai IndexMundi membuka metode rekrutmen responden, periode lapangan, desain sampel, verifikasi domisili, pembobotan, rumus skor, data distribusi jawaban, pengendalian bot, pengendalian responden ganda, dasar margin of error, serta jadwal pembaruan data, skor 7,56 harus dibaca secara terbatas.
“Skor itu hanyalah hasil yang ditampilkan dari 296 pengisi formulir IndexMundi yang memilih Indonesia. Ia bukan suara sahih seluruh rakyat Indonesia, bukan ukuran korupsi faktual Polri, dan tidak layak dijadikan dasar pemberitaan yang menyebutnya sebagai survei terbaru untuk melabeli Polri sebagai institusi kepolisian paling korup di Asia Tenggara atau peringkat 18 dunia,” tuntas Haidar Alwi.
