공정한 피어 리뷰의 중요성

피어 리뷰는 연구 논문이 국제 학술 저널에 게재되기 전에 거쳐야 하는 중요 과정 중 하나입니다. 이 과정은 논문 저자와 이해 관계가 없는 동료 전문 연구가들로부터 객관적이고 공정한 심사를 통해 논문의 개선점을 제공받음으로써, 최상의 학술 논문이 출판되게 함을 목적으로 하고 있습니다. 그렇다면 피어 리뷰가 얼마나 공정하게 이뤄질 수 있을까요? 이러한 궁금증에 대한 최근의 연구 논문들을 통해 답을 알아 보겠습니다.

피어 리뷰 과정에 대해 고찰한 연구 논문

라이스 대학의 Justin Esarey 교수의 최근 연구 논문은 정치학 분야에서의 피어 리뷰 과정에 대해 컴퓨터 시뮬레이션을 실행하여 얻은 결과를 분석했습니다. 그는 인터뷰에서 밝히길 연구 분야나 방법에 있어 유사점이 많은 자연 과학 분야 보다 그렇지 않은 정치학에서 피어 리뷰 시스템이 조금 덜 효율적이라고 했습니다.

먼저 Esarey교수는 시뮬레이션 실행과 결과 분석의 전제 조건으로 출판사 편집자가 피어 리뷰어 3명을 무작위로 지명하고, 심사원이 출판 거부를 하는 이유가 논문 품질과는 관계가 없다고 설정했습니다. 그의 연구에서는 논문이 출판되는 데에 있어 다음의 4가지 종류의 출판 시스템을 살펴보고 있습니다.

1. 3명의 피어 리뷰어가 만장 일치로 출판을 결정하는 시스템
2. 피어 리뷰어의 다수가 찬성하여 출판을 결정하는 시스템
3. 출판사 편집자가 4번째 심사원으로 참여하여, 다수가 찬성하여 출판을 결정하는 시스템
4. 피어 리뷰어들의 출판 결정과는 관계 없이, 출판사 편집자가 독단적으로 출판 여부를 결정하는 시스템

Esarey교수는 총 2,000 개의 논문을 대상으로 실행한 시뮬레에션 결과를 토대로 각 출판 시스템이 출판 승인 비율과 어떤 상관 관계가 있는 지를 살펴 보았습니다. 그 결과, 논문이 출판 승인되는 확률은 피어 리뷰어들이 만장 일치로 긍정적인 심사평을 제출하는 확률보다 낮았습니다.

다음으로 그는 과연 피어 리뷰가 가장 훌륭한 논문을 출판 가능하게 하는지를 살펴보았습니다. 이를 위해서 출판 승인 비율을 10%로 설정하고, 50,000개의 논문을 대상으로 500 명의 독자를 실험에 포함시켜 위와 동일한 방식으로 시뮬레이션을 실행했습니다. 그리고 출판이 승인된 모든 논문에 대한 독자 평가 점수의 평균치를 포함하여 분포도를 만들었습니다. 이 시뮬레이션을 2번 실행한 결과, 첫 번째는 4가지 출판 시스템 모두에서, 그리고 두 번째는 편집자가 투고된 논문 중 (질적으로 전체 논문의 평균치보다 낮은) 절반에 대해 먼저 출판 거부를 결정하고, 나머지 절반에 대해서만 피어 리뷰를 하는 것으로 진행했습니다. 그 결과, 4가지 출판 시스템에 의해 출판된 논문들이 독자 평가 평균 점수 0.8 (80백분위수) 부근에 중점적으로 분포했습니다. 다시 말해, 어떤 출판 시스템에 의해 출판된 논문일지라도 대부분은 독자 평가에서 상위10% 기준에 미치지 못했습니다. 더 나아가 독자들은 편집자에 의해 미리 출판 거부되지 않은 논문들 중 피어 리뷰어들 대다수가 출판에 동의한 논문의 12%정도가  품질이 떨어지는 논문이라고 평가했습니다.

 

출판사 편집자의 적극적 개입의 긍정적 측면

Esarey교수는 가장 바람직한 출판 시스템으로 모든 논문을 피어 리뷰 하지만 편집자가 출판 여부를 독자적으로 결정하는 것이라 보았습니다. 그의 주장에 따르면, 피어 리뷰 보고서는 논문에 대한 강점과 단점을 담고 있으되 논문 출판 여부는 결정하지 말아야 합니다. 이 경우 독자 중 6%만이 해당 출판 논문이 65 백분위수에 있다고 생각했습니다. 한편, 만약 편집자가 투고된 논문의 절반을 먼저 출판 거부한 후, 나머지 절반만을 피어 리뷰 한다면, 오직 1%의 독자만이 해당 출판 논문이 65 백분위수에 있다고 보았습니다.

Esarey교수는 시뮬레이션을 통해 피어 리뷰가 출판 거부된 논문들보다는 평균적으로 더 나은 논문의 출판을 가능하게 함으로써 피어 리뷰 없이 논문 출판을 결정하는 것보다는 낫다는 것을 보여주긴 하지만, 여전히 논문 출판 결정에 있어 운이 큰 역할을 한다는 것도 지적하고 있습니다. 어떤 출판 시스템에서든 최상의 논문은 출판되기 쉽게 마련이겠지만 평균 독자들이 80 백분위수에 있는 수준이라고 평가하는 논문도 (또는 편집자가 미리 출판을 거부하고 남은 논문에 대해 피어 리뷰를 하는 시스템에서 85 백분위수에 있는 수준의 논문) 동전을 던져 출판을 결정하는 것과 비슷하게 출판 승인을 받을 확률이 있기 때문입니다.

 

피어 리뷰에 관한 편견

위에서 살펴본 것 외에 공정한 피어 리뷰에 악영향을 미치는 다른 형태의 편견도 있습니다. 예를 들어, 여성과 사회적 소수 집단들은 연구비 지원, 논문 출판 또는 진급에 있어 많은 어려움을 겪고 있습니다. Andreas Neef는 최근 연구 논문에서 Frontiers저널들로부터 총 9,000 명의 편집자와 43,000명의 피어 리뷰어들을 분석한 결과를 발표했습니다. 그 결과, 여성들이 편집자, 피어 리뷰어, 논문 저자로서 비율이 충분히 반영되지 않고 있다는 것을 보여 주었습니다. 비록 과학 연구에 참여하고 있는 여성의 수가 상대적으로 적다는 점을 감안한다고 하더라도, 이러한 수적 열세는 문제입니다.  Neef는 2027년이나 되어야 여성이 논문 저자 수에 있어 수적 열세를 당하지 않게 되며, 여성 피어 리뷰어는 2034년, 여성 편집자는 2042년까지 기다려야 한다고 밝혔습니다. 덧붙여 이러한 상황이 변하려면, 여성에 대한 편견들을 부수는 사람들을 적극적으로 도와야 한다고 주장했습니다.

피어 리뷰가 학술 논문 출판 과정에 중요한 가치를 가진다는 것은 모두가 인정하는 사실입니다. 때문에 피어 리뷰의 공정성을 지키는 것이 매우 중요한 일입니다. 그러므로 공정한 피어 리뷰 에 대한 교육은 필수적이며, 이를 통해 최상의 연구물의 출판을 장려하여야 할 것입니다.

 

참고 문헌들

1. https://www.cambridge.org/core/services/aop-cambridge-core/content/view/B043BF82D20C1CB153446B7F07E3518D/S1049096517001081a.pdf/div-class-title-does-peer-review-identify-the-best-papers-a-simulation-study-of-editors-reviewers-and-the-scientific-publication-process-div.pdf
2. https://www.insidehighered.com/news/2017/10/16/new-simulation-study-says-peer-review-better-assuring-quality-random-publication
3. https://elifesciences.org/articles/21718