Cara mudah mengatasi masalah sampah di jurnal ilmiah

Hirarki prestise memegang teguh kehidupan dan bisnis di dunia akademis. Sejumlah kecil universitas dan jurusan mendominasi dunia akademik. Faktanya, sebagian besar universitas menganggap gelar PhD mereka sendiri tidak cukup baik untuk disewa dan malah menginginkan gelar dari institusi yang lebih terkenal.

Apakah bias serupa merembes ke tinjauan sejawat, sebuah proses penting untuk menilai apakah penelitian cukup baik untuk diterima dalam kanon pengetahuan ilmiah? Menurut sebuah studi tahun 2023 selidiki bias dalam tinjauan sejawat, jawabannya tidak seperti yang Anda harapkan. Tetapi penelitian menunjukkan cara potensial untuk mengatasi masalah tersebut.

Tinjau ulasan sejawat

Sebelum kita masuk ke penelitian, inilah ringkasan peer review.

Para peneliti melakukan studi dan menulis laporan resmi tentang metode, analisis, dan hasil mereka. Mereka mengirimkan artikel ini ke jurnal akademik di mana editor kemungkinan besar akan langsung menolaknya. Namun, jika peringkatnya termasuk yang terbaik, penerbit mengirimkannya untuk tinjauan sejawat, kritik intensif oleh panel ahli anonim di lapangan. Banyak makalah juga langsung ditolak oleh para peninjau ini. Sisanya dikirim kembali ke penulis dengan permintaan rinci untuk revisi dan pekerjaan tambahan. Diminta untuk meninjau dan mengembalikan dokumen adalah kabar baik; pengeditan kualitas pada tahap ini sering mengarah pada penerimaan dan publikasi penelitian.

Secara tradisional, proses peer review bersifat single-blind, yang berarti pengulasnya anonim, tetapi penulisnya tidak. Artinya, peninjau dapat melihat nama penulis dan afiliasi akademiknya. Sebaliknya, review double-blind membuat kedua belah pihak anonim satu sama lain.

Putar satu mata menjadi buta ganda

Kembali ke pencarian: Review ekologi fungsional memberikan hampir 3.700 pengiriman naskah baru untuk peer review single atau double-blind. Sebagian besar artikel ditolak (79% secara keseluruhan). Artikel double-blind, secara keseluruhan, 15% lebih kecil kemungkinannya dibandingkan artikel single-blind untuk menerima kabar baik yang pada akhirnya akan diterima. Standar jurnal juga meningkat di bawah review double-blind.

Para peneliti kemudian membandingkan hasil peer review single dan double-blind, mencari korelasi statistik dengan jenis kelamin, lokasi geografis, dan bahasa penulis. Segera, terlihat jelas bahwa para wanita melakukan sedikit lebih baik dalam semua kasus. Artikel yang ditulis oleh wanita lebih mungkin dipilih oleh editor untuk tinjauan sejawat penuh. Skor ulasan wanita cenderung beberapa persen lebih tinggi daripada pria, dan artikel mereka pada akhirnya lebih mungkin menerima skor berita baik. Blinding tunggal atau ganda tidak memengaruhi bias khusus (dan lemah) ini.

Studi tersebut kemudian memeringkat penulis berdasarkan status sosial ekonomi negara mereka. Negara dengan sangat tinggi Indeks pembangunan manusia (HDI) mencakup sekitar 65 negara, seperti Amerika Serikat, sebagian besar Eropa, dan sebagian Asia, Oseania, dan Amerika Selatan. Khususnya, Cina, India, Brasil, dan india berada di bawah garis.

Dalam ulasan single-blind, artikel dari negara-negara HDI teratas cenderung menerima ulasan yang lebih baik dan 28% lebih mungkin diundang untuk dikirim ulang setelah diedit. Saat pemeriksaan dilakukan double-blind, perbedaan ini hampir seluruhnya hilang. Hasil double-blind review adalah sama apakah penelitian tersebut berasal dari negara dengan IPM sangat tinggi atau rendah.

Fenomena serupa muncul ketika penulis membandingkan hasil ulasan single-blind dan double-blind pada studi yang diajukan oleh penulis di negara-negara yang bahasa utamanya adalah bahasa Inggris versus negara-negara dengan bahasa asli lainnya.

Namun, di sini terdapat pelajaran dalam statistik: ketika studi ini menerapkan model kovariat statistik yang menganggap IPM sangat tinggi dan bahasa Inggris sebagai variabel, bahasa Inggris menjadi faktor yang tidak signifikan sementara IPM tetap sangat signifikan. Oleh karena itu, tampaknya fakta bahwa suatu negara sebagian besar berbahasa Inggris tidaklah penting. Efeknya mungkin karena HDI, dan kebetulan negara-negara berbahasa Inggris umumnya memiliki HDI yang sangat tinggi.

Single-blinding tampaknya tidak membuat peninjau bias terhadap penulis dari negara-negara HDI rendah. Sebaliknya, para pengulas tampaknya memiliki pendapat yang lebih baik tentang penulis dari negara-negara dengan HDI sangat tinggi. Double-blinding tidak memengaruhi artikel yang ditulis oleh penulis di negara dengan HDI rendah, tetapi secara signifikan mengurangi ulasan dan hasil untuk penulis di negara dengan HDI sangat tinggi.

Bias prestise?

Pada titik ini, wajar untuk bertanya-tanya apakah ini terjadi karena peninjau mengetahui peneliti yang bersangkutan atau, setidaknya, prestise universitas atau institusi mereka. Studi tersebut memunculkan kemungkinan ini tetapi tidak dapat menjawabnya. Tetap saja, ini adalah tebakan yang meyakinkan (atau setidaknya spekulasi). Sama seperti lulusan dari segelintir universitas mendominasi rekrutmen fakultas, artikel oleh penulis terkenal atau dari universitas bergengsi dapat diperlakukan dengan bias positif yang besar. Lagi pula, sebagian besar penulis terkenal dan universitas bergengsi ini berada di negara-negara HDI yang sangat tinggi.

Penting juga untuk mengenali keterbatasan studi korelasi statistik. Seperti kata pepatah lama tapi benar, korelasi tidak menyiratkan sebab-akibat. Seperti yang telah kita lihat, korelasi statistik yang kuat menjadi tidak signifikan setelah variabel HDI diperhitungkan. Sangat mungkin bahwa variabel lain, diketahui atau tidak diketahui, menentukan hasil ini.

Namun, proses peer review double-blind tampaknya memiliki manfaat yang jelas. Ini meningkatkan standar kualitas institusi paling bergengsi – yang “kaya” – di negara-negara yang lebih maju tanpa merugikan “yang miskin” yang kurang bergengsi. Selain itu, hal ini dilakukan tanpa secara eksplisit memilih atau mendukung satu kelompok di atas yang lain. Ini benar-benar buta.