KONTEN media sosial yang mengklaim Polri sebagai institusi kepolisian paling korup di Asia Tenggara dan menempati peringkat 18 dunia berdasarkan survei IndexMundi seketika berubah menjadi kebenaran publik. Padahal survei tersebut mengandung banyak sekali cacat metodologi.
Ironisnya para pakar, pengamat, kaum terdidik, bahkan media ternama turut tenggelam dalam klaim yang menyesatkan tersebut.
Mereka menelan mentah-mentah tanpa pernah tergerak untuk membuka tautan sumbernya, membaca dan menganalisis metodologinya, apalagi memeriksa validitas datanya.
Buku-buku tebal yang berjejer di rak mereka, gelar akademis yang mentereng, serta ruang redaksi yang katanya menyaring berita, seketika lumpuh oleh penyakit malas membaca yang akut—membuktikan bahwa di era banjir informasi ini, kemampuan mengecek fakta telah kalah telak oleh dorongan untuk sekadar ikut viral.
Penelusuran atas halaman survei, tabel hasil, formulir pengisian, dan pengumuman resmi IndexMundi menemukan sedikitnya 10 kelemahan serius yang membuat indeks tersebut tidak memenuhi standar transparansi, representativitas, dan keterujian untuk dijadikan rujukan nasional.
Masalah pertama sekaligus paling fatal adalah IndexMundi sendiri menyatakan bahwa survei global itu dimulai dengan “menanyai para pengunjung situs” mereka.
Pernyataan itu membuktikan sumber responden berasal dari pengunjung situs yang bersedia mengisi formulir, bukan dari sampel warga Indonesia yang dipilih melalui mekanisme acak, panel nasional, survei tatap muka, telepon, atau rancangan pengambilan sampel yang dapat diuji publik.
Konsekuensinya sangat jelas. Unit yang dihimpun bukan otomatis “masyarakat Indonesia”, melainkan pengunjung situs yang datang, melihat formulir, lalu memilih untuk berpartisipasi.
Model seperti ini rentan terhadap bias seleksi diri. Orang yang terdorong mengisi survei bisa memiliki pengalaman, kemarahan, preferensi politik, tingkat paparan media, kemampuan bahasa, akses internet, atau jaringan sosial yang berbeda dari rata-rata penduduk Indonesia.
Jumlah 296 responden yang tercatat untuk Indonesia tidak dapat mengubah masalah tersebut menjadi survei nasional. Banyaknya jawaban tidak otomatis menghasilkan keterwakilan. Bahkan ribuan responden tetap tidak dapat digeneralisasi kepada seluruh penduduk bila sumber responden, cara perekrutan, dan komposisinya tidak diketahui.
Kelemahan kedua, IndexMundi tidak membuka dasar bahwa 296 pengisi formulir yang memilih Indonesia dipilih secara acak dan representatif.
Halaman tabel hanya menampilkan skor rata-rata 7,56, jumlah responden 296, dan margin of error 5,70 persen. Tidak tersedia informasi mengenai sebaran responden menurut provinsi, kota dan desa, pendidikan, pekerjaan, pendapatan, kelas sosial, atau tingkat akses internet.
Tidak ada pula penjelasan mengenai kerangka sampel, kuota demografis, pembobotan data, tingkat responden, cara merekrut peserta, atau dasar untuk memastikan bahwa komposisi 296 pengisi formulir mendekati struktur penduduk Indonesia.
Tanpa informasi itu, tidak ada dasar objektif untuk menyatakan bahwa skor 7,56 mencerminkan persepsi nasional.
Kelemahan ketiga tampak langsung pada formulir survei. Formulir hanya memperlihatkan satu penilaian umum mengenai seberapa besar masalah korupsi polisi di negara tempat pengisi tinggal, pilihan negara, gender, dan usia.
Tidak tampak mekanisme verifikasi domisili, identitas, kewarganegaraan, lokasi pengisian, ataupun pembuktian bahwa pengisi benar-benar tinggal di negara yang dipilih.
Seseorang cukup memilih “Indonesia” dari daftar negara yang tersedia. Tanpa prosedur verifikasi yang dibuka kepada publik, tidak dapat dipastikan apakah seluruh responden yang dihitung sebagai Indonesia benar-benar berasal dari penduduk Indonesia, apakah responden berasal dari satu orang yang mengisi berulang kali, atau apakah ada mobilisasi kelompok tertentu yang memengaruhi hasil.
Kelemahan keempat adalah ketiadaan periode pengumpulan data yang jelas. IndexMundi mengumumkan survei globalnya pada 11 Oktober 2015, tetapi halaman hasil yang dipakai untuk mengangkat klaim terhadap Indonesia tidak menjelaskan kapan 296 responden tersebut dikumpulkan, kapan survei ditutup, apakah datanya masih diperbarui, atau apakah jawaban lama dicampur dengan jawaban yang masuk bertahun-tahun setelahnya.
Tanpa tanggal lapangan yang jelas, publik tidak mengetahui umur data tersebut. Skor 7,56 tidak dapat secara otomatis diperlakukan sebagai gambaran persepsi publik pada 2026.
Persepsi terhadap kepolisian sangat mungkin berubah akibat kasus besar, penegakan hukum, pergantian kebijakan, dinamika politik, pemberitaan media, atau pengalaman langsung masyarakat pada periode yang berbeda.
Kelemahan kelima terletak pada penggunaan margin of error 5,70 persen yang memberi kesan seolah-olah survei ini memenuhi ukuran presisi statistik. Untuk 296 responden, angka 5,70 persen identik dengan hasil rumus margin of error maksimum yang lazim dipakai pada asumsi sampel acak sederhana: 1,96 × √(0,25/296) = 5,696 persen.
Pola itu juga terlihat pada negara lain. Untuk 644 responden di Honduras, tabel menampilkan 3,86 persen, sama dengan hasil rumus margin of error maksimum pada sampel acak sederhana. Untuk 5.897 responden di Meksiko, tabel menampilkan 1,28 persen, juga sejalan dengan rumus tersebut.
Masalahnya, IndexMundi tidak membuka bukti bahwa responden tersebut berasal dari sampel probabilitas atau sampel acak sederhana.
Padahal, American Association for Public Opinion Research atau AAPOR menegaskan bahwa margin of error konvensional dilaporkan untuk survei probabilitas. Untuk sampel nonprobabilitas, ukuran presisi hanya layak ditampilkan apabila modelnya dijelaskan, asumsi divalidasi, dan metode perhitungannya dibuka secara rinci.
IndexMundi tidak menjelaskan semua itu. Karena itu, angka margin of error 5,70 persen tidak dapat dipakai untuk membuktikan bahwa skor 7,56 akurat menggambarkan penduduk Indonesia. Angka tersebut hanya menciptakan kesan presisi statistik yang tidak dapat diverifikasi dari metodologi terbuka.
Kelemahan keenam, skor dua desimal yang terlihat presisi tidak didukung penjelasan rumus pembentukannya. Responden hanya diberi lima pilihan kategori, yakni bukan masalah, masalah kecil, masalah rata-rata, masalah serius, dan masalah sangat serius.
