如何在研究論文中發現偽造的學術結果?
有各種各樣的方法可以偽造結果——照片圖像、統計結果等——所以第一個問題取決于你正在審查的研究論文的類型。我的個人背景是社會科學研究,這有其自身的一系列挑戰——偽造的數據集、“創造性”的數據操縱、偽造的統計結果、精心挑選的定性訪談,……名單(不幸的是)很長。
沒有明顯的、一成不變的規則可用于從許多社會科學工作中發現偽造的結果。有時,它可能就像懷疑結果太干凈、太完美或太確定一樣簡單。人類受試者是混亂且充滿矛盾的,這就是為什么即使是最精心構思的研究也會產生違反直覺或令人困惑的結果。我知道這聽起來很憤世嫉俗,但有時懷疑的第一個跡象來自一組非常干凈、明確的發現。
發現偽造結果的另一種方法要困難得多,因為它要求您在統計和統計方法方面具有很強的(我的意思是很強的)背景,以便您可以識別報告的表格和結果中的不一致之處。一些作者試圖通過使用神秘的測試來模糊圖片(例如,為什么對一組具有低多重共線性的變量使用嶺回歸?為什么在您的數據集適中且線性路徑分析更合適時使用 MLE?為什么使用層次回歸如果您沒有測試所有交互效果?)大多數評論者沒有資格質疑。裁判看到 0.05 或更高的 alpha 水平并且很高興。關鍵是,大多數裁判對統計結果的評估能力只能中等,這還不夠好。它變成了一個自負的問題(“如果我誠實地告訴編輯我沒有資格分析這篇論文中的統計數據,他們會怎么看我?”)很多次,他們將其揮之不去并發表了一些大約一年后,該雜志的讀者發現統計異常并認識到它們無效或從中得出的結論沒有根據。當被問到時,這些作者通常很方便地“丟失了他們的數據”或由于保密協議而無法發布。是BS;他們最不希望有人看得太近。
如今,在越來越多的期刊中,編輯要求作者隨論文一起提交完整的數據集,他們可能會請自己的方法專家獨立評估研究結果。我認為這是完全公平的。我們還應該在我們的領域實施更嚴格的測試和復制標準。不幸的是,在許多社會科學研究中,對試圖復制結果的論文的需求很少。想一想:硬科學經歷了一個需要嚴格測試和重新測試、復制等的科學進步過程,而在社會科學中則不然。您最后一次看到標題中包含“復制”字樣的已發表文章是什么時候?快速回答:幾乎從不。
這讓我們何去何從?隨著對人類行為的非復制性研究幾乎完美的風暴掩蓋了數據集,有時有問題或使用不當的統計測試,然后由未經訓練的裁判進行評估。很多時候,這真的歸結于研究人員的原始訓練和個性——要么是那些遵循原則行為的人,要么是那些渴望名譽、晉升和臭名昭著的人,并且在忙著摸索著自己的方式時很少考慮違反倫理研究標準的人在學術階梯上。直到他們被抓住。