Mengapa banyak temuan penelitian tak dapat dipercaya

Mengapa banyak temuan penelitian tak dapat dipercayaPeneliti tidak jujur ​​atau kesimpulannya dipengaruhi oleh kepentingan industri? Lightspring / Shutterstock Rizqy

Di luar masalah anggaran, dampak riset yang belum signifikan, dan buruknya pengelolaan data riset di Indonesia, keengganan peneliti menyediakan akses terbuka pada dati e materiale studinya juga membuat sain jalan di tempat.

Manipulasi metode statistik juga dapat menghasilkan temuan riset yang tidak kredibel. Manipulasi ini dapat disebabkan kecurangan peneliti atau adanya konflik kepentingan periset con dans dani industri yang hanya mau con hash positiv per un prodotto originale.

Kegelisahan ini dirasakan oleh beberapa peneliti yang tergabung dalam gerakan sosial #OpenScience (Sains Terbuka).

Saya mengurai masalah tersebut con argomento argomenti yang terinsipirasi dari artikel leggendario yang ditulis oleh Profesor Biostatistik dari Stanford University John Ioannidis, "Perché la maggior parte dei risultati di ricerca sono falsi. "

Krisis kredibilitas sains

Keengganan mengungkap prosedur penelitian menyebabkan krisis kredibilitas dalam sains. Contohnya, pada 2011, Daryl Bem, ahli parapsikologi dari Cornell University menerbitkan temuan penelitiannya yang sangat bombastis mengenai fenomena cenayang (antiveggenza) di jurnal amat bergengsi, Journal of Personality and Social Psychology, Terbitan American Psychological Association (APA). Bem melakukan 9 eksperimen, 8 diantaranya signifikan (nilai p <0.05) membuktikan bahwa manusia punya kemampuan memprediksi masa depan.

Peneliti lain yang penasaran mencoba melakukan replikasi atas penelitian Bem gagal mendapatkan hasil yang signifikan, tak seperti yang diklaim Bem, meskipun sudah mengikuti secara telito prosedur yang Bem tulis dalam artikelnya. Entah apa yang Bem lakukan sampai mendapatkan hasil yang mencengangkan tersebut.

Kasus lainnya terkait dengan riset obat-obatan. Mengenai meta-analisi penelitiana efektivitas obat Anti-Depresan bernama Fluoxetine (Prozac) menghasilkan kesimpulan bahwa efek Prozac cenderung plasebo, sehingga tak ada manfaatnya sama sekali. Padahal obat tersebut sangat laris-pada 2005 saja total penjualan Prozac mencapai US $ 22 miliar di seluruh dunia.


Ricevi le ultime novità da InnerSelf


Sementara, penelitano meta-analisis yang sedang saya lakukan mengenai dukungan sosial dan kecenderungan depresi sampai sampai pada kesimpulan bahwa tidak adanya bukti yang meyakinkan bahwa keduanya berkaitan. Saya menganalisis 5450 naskah publikasi yang diterbitkan dalam kurun waktu 20 tahun terakhir (1998-2018) yang ditulis dalam bahasa Indonesia. Namun hanya 13 artikel yang dapat dianalisis lebih lanjut. Ketiga belas artikel tersebut juga dianalisis kualitasnya dan sayangnya, semuanya rata-rata bermutu rendah.

Nilai p dan 'angka keramat 0.05'

Bagi peneliti yang menggunakan pendekatan kuantitatif, pemakaian teknik statistik per menguji hipotesis adalah keniscayaan. Hipotesi penelitia, yaitu suatu asumsi yang menjelaskan sebuah fenomena, umumnya terdiri atas hipotesis nol (tidak ada efek) e hip hipesis alternatif (ada efek).

Paradigma ini berakar dari tradisi post-positivisme Popperian, di mana penelitian merupakan upaya per melakukan falsifikasi, membrantikan bahwa hipotesis nol salah. Biasanya, peneliti menggunakan nilai p (p-value) atau taraf signifikansi sebagai indikator per menolak atau menerima hipotesis.

Lazim dipercayai, ketika nilai p <0.05 maka hipotesis nol ditolak, sedangkan nilai p> 0.05 maka hipotesis nol diterima, sehingga nilai p <0.05 menjadi semacam 'angka keramat' yang menentukan kesuksesan atau kegagalan penelitian. Kalau hasilnya signifikan, maka penelitian dianggap 'berhasil' menemukan efek yang signifikan, sedangkan sebaliknya, bila nilai p> 0.05 berarti kiamat bagi peneliti.

Tidak banyak jurnal yang mau menerbitkan hasil penelitian dengan kesimpulan, "tidak ada efek yang signifikan". Tak ada dosen pembimbing tugas akhir yang sumringah mendapati mahasiswa bimbingannya mendapat nilai p> 0.05. Implikasinya, peneliti terdorong per melakukan cara-cara tak terpuji, misalnya sengaja menggunakan jumlah sampel yang besar agar mendapatkan nilai p <0.05. Inilah penyakit yang bertahun-tahun mencekik kredibilitas sains.

Pada Maret 2016, American Statistical Association (ASA) mengeluarkan pernyataan pers yang menggegerkan komunitas sains soil nilai p. Ron Wasserstein, Direktur Eksekutif ASA, menyatakan nilai p tidak boleh lagi diperlakukan layaknya 'angka keramat,' lebih-lebih sampai menumpulkan logika dan rasionalitas para peneliti. Nilai p sesungguhnya tidak ada kaitannya con diterima atau ditolaknya hipotesis, ia hanya berarti "... Probabilitas peneliti lain akan mendapatkan data yang ekstrem, seandainya hipotesis nol adalah hipotesis yang benar".

Menggunakan nilai p untuk menolak dan menerima hipotesis sangat bermasalah dalam tataran praktis dan teoritis. Peneliti seharusnya lebih fokus pada besarnya efek. Misalnya, ketika seorang dokter yang ingin meneliti efektivitas obat tertentu dalam menyembuhkan penyakit, maka kesimpulan yang diinginkan adalah bukan apakah obat ini signifikan atau tidak, melainkan efektif atau tidak. Kalau efektif, seberapa besar efektivitasnya. Nilai p tidak menyediakan informasi apa pun soal efektivitas, sehingga peneliti perlu parametro lain yang disebut ukuran efek (dimensione dell'effetto).

Nilai p sangat sensitif dengan jumlah sampel. Meski ukuran efek sangat kecil, nilai p bisa menjadi sangat signifikan bila jumlah sampel besar. Sebaliknya, meski ukuran efek sangat besar, nilai p menjadi tidak signifikan jika jumlah sampel sangat kecil.

Akhirnya, efek sekecil apa pun dapat menjadi signifikan bila jumlah sampel sangat besar, sedangkan efek sebesar apa pun menjadi tidak signifikan jika jumlah sampel sangat kecil.

Dengan begitu, peneliti dapat con sengaja menambah jumlah sampel secara terus-menerus hanya agar mendapat nilai p <0.05 (p-hacking). Padahal strategi ini memperbesar kemungkinan peneliti mendapatkan falsi positivi, yaitu ketika peneliti menyimpulkan ada efek, padahal efek tersebut tak pernah ada.

Peneliti juga tak pernah peduli dengan potere statistico teknik analisis statistiknya. Padahal dalam statistik, potere statistico yang menentukan apakah temuannya akurat atau tidak, bukan nilai p. Bila suatu teknik (modello) statistik potente, maka peneliti punya peluang yang besar per mendeteksi adanya efek, kalau efek itu betul-betul ada. Analisis energia juga dapat membantu peneliti untuk merencanakan jumlah sampelnya agar jumlah sampel tak terlalu kecil, atau terlalu besar.

Menariknya, Giovanni Ioannidis menunjukkan bahwa sebagian besar penelitiano yang terpublikasi punya potere statistico yang cenderung rendah. Penelitian-penelitian di bidang psikologi misalnya, diperkirakan rata-rata hanya punya energia sebesar 50%, yang artinya peneliti hanya punya 50% peluang per mendeteksi adanya efek, kalau efek tersebut betul-betul ada.

Kelirunya penggunaan nilai p membuat sebagian besar hasil penelitian yang dipublikasikan di berbagai jurnal, termasuk jurnal dengan faktor dampak yang tinggi, sekadar menjadi bukti parahnya bias kognitif yang menjangkit para peneliti. Sekaligus menjadi penguat bahwa ada krisis kredibilitas yang amat serius yang harus segera diatasi oleh komunitas akademik.

Transparansi dan konflik kepentingan

Nilai informasi dari penelitian hanya dapat dipastikan melalui proses replikasi. Ketika peneliti laot tak mendapatkan hasil yang konsisten, maka klaim sebelumnya tentu meragukan. Desain penelitian seperti telaah sistematis (revisione sistematica) e meta-analisi juga dapat digakan per memastikan apakah temuan berbagai penelitian atas suatu gejala konsisten dan dapat dipercaya.

Kenyataannya, berbagai penelitian meta-analisis memberikan bukti bahwa kebanyakan penelitian memberikan informasi yang menyesatkan.

John Ioannidis mengatakan semakin suatu disiplin ilmu dianggap seksi dan dekat dengan kepentingan industri, maka kemungkinan besar mayoritas studi yang dilakukan dalam disiplin ilmu tersebut adalah falsi positivi.

Contohnya, tak sulit kita menemukan penelitian yang mengaitkan kemungkinan akan semakin maraknya peredaran rokok ilegal bila cukai tembakau dinaikkan drastis. Penitenziario ini sering digunakan oleh industri rokok sebagai dasar argumentasi mereka per menolak kebijakan kenaikan cukai.

Setelah dilakukan penelitiano telaah sistematis, hasil riset mereka cenderung membresar-besarkan skala pasar rook ilegal. Seolah-olah besar, padahal kenyataannya kecil sekali. Diduga temuan penelitian anti-kenaikan cukai rokok ini sangat didikte oleh kepentingan industri rokok, karena mereka yang mensponsori penelitian-penelitian tersebut. Padahal sejumlah riset telah membuktikan menaikkan cukai rokok adalah salah satu instrumen per la menurunkan prevalensi konsumsi rokok.

Lalu bagaimana?

Sains saat ini stagnan, karena peneliti menolak per terbuka. Sayangnya, Kementerian Riset, Teknologi dan Pendidikan Tinggi terlalu memfokuskan kebijakannya per i menggenjot kuantitas publikasi ilmiah, tapi menutup mata atas gejala degradasi kualitas penelitian dan integritas penelitinya. Meski jumlah publikasi ilmiah peneliti Indonesia diklaim menyalip Singapura, nyatanya artikel ilmiah peneliti Indonesia lebih banyak diterbitkan di prosiding, yaitu kumpulan naskah ilmiah yang dipresentasikan dalam suatu konferensi atau temu ilmiah, yang proses telaahnya umumnya dilakukan secara asal-asalan.

Per quanto riguarda i santi di kredibilitas, maka peneliti harus terbuka-mulai dari asumsi awal, prosedur pengambilan e analisis data, data mentah, sampai pada kemungkinan adanya konflik kepentingan. Hal ini dapat dilakukan salah satunya dengan pre-registrasi.

Sejatinya, saat ini sudah banyak portal daring yang dapat dimanfaatkan peneliti sebagai etalase pre-registrasi, dati mentah e materiale studinya, seperti Open Science Framework. Maka agar kerja sains menjadi progreside dan bermakna, tak ada jalan keluar lain-peneliti harus terbuka, atau tertinggal.

Tak salah bila ada yang menganalogikan, "Politikus boleh saja berbohong, karena ia harus selalu benar. Peneliti boleh saja salah, tapi ia tak boleh berbohong. "Saya setuju bahwa kualitas suatu penelitian terletak pada integritas dan standar moral penelitinya.The Conversation

Tentang nepulis

Rizqy Amelia Zein, Assistente Docente di Psicologia sociale e della personalità, Universitas Airlangga

Sumber asli artikel ini dari The Conversation. Baca artikel sumber.

enafarZH-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

segui InnerSelf su

facebook-icontwitter-iconrss-icon

Ricevi l'ultimo tramite e-mail

{Emailcloak = off}