1인 피어리뷰 vs 2인 피어리뷰의 장단점

2명 이상의 저명한 학자가 피어 리뷰를 하는 경우를 종종 볼 수 있습니다. 출판사 입장에서 저널의 신뢰도와 객관성을 지키기 위해서는 번거로운 절차를 감안하더라도 시도해볼 만한 사항이기도 합니다. 그렇다면, 2인 피어 리뷰의 장점 중 하나로 꼽히는 객관성, 그리고 다른 사항들이 1인 피어 리뷰보다 월등히 앞선다고 볼 수 있을까요?

체조 등 일부 경기 종목의 심사평가는 가장 높은 점수를 준 심사위원의 판정과 가장 낮은 점수를 준 심사위원의 판정을 제외한 나머지 심사위원의 점수를 더하여 이루어지는 경우가 있습니다. 실명과 인적사항이 노출되는 심사위원 중에서도 극단적인 점수를 제외한 판정 방식이기에 합리적이라는 평가를 받고 있습니다. 하지만, 논문 심사 과정인 피어 리뷰는 이러한 장점을 살릴 수 없는 상황이 꽤 많습니다. 가장 높거나 낮은 점수를 줄 확률을 줄이고 싶어 하는 심리가 원인이라고 할 수 있겠습니다.

문제는 이러한 성향이 제출자의 인적 사항, 경력, 학연 등을 무의식 중에 피어 리뷰에 반영하게 된다는 데에 있습니다. 논문 내용 이외에도 제출자에 대해 알려진 사항이 많을수록 자신 외의 제2 피어리뷰어가 내릴 판정을 어느 정도 짐작할 수 있을 것이고, 피어리뷰어로서의 평판과 지위를 유지하기 위해 안정적인 결과를 내릴 가능성이 크기 때문입니다.

실제 사례는 다음과 같습니다. 한 물리학 저널은 연구자에게 2인 피어 리뷰를 선택할 수 있도록 했더니 약 20%의 제출자만이 2인에게 피어 리뷰를 받겠다고 하였습니다. 또한, 1인 피어 리뷰로 평가된 논문의 70%가 통과됐지만, 2인인 경우 50%만이 통과되는 데에 그쳤습니다. 성별 및 출신 국가에 따른 편견도 작용하게 될 것으로 예상하는 이도 있었습니다. 2017 웹 검색 및 데이터 마이닝 컨퍼런스에서도 비슷한 실험을 하였는데, 평판이 좋은 대학이나 기업의 논문이 더 높은 평가를 받기도 했습니다.

이렇듯, 심리와 선입견이 개입될 수 있기에 2인 피어 리뷰는 아직 해결해야 할 사항이 많은 것으로 생각됩니다. 특히 피어 리뷰는 해당 분야의 권위자가 진행하기 마련인데, 이러한 위치에 있는 이일수록 어느 저자, 어느 대학, 최소한 어느 국가의 저자인지 내용을 읽어보는 것만으로도 어느 정도 유추가 가능하다는 데에 있습니다.

여러 명이 평가할수록 더 정확하고 객관적인 결과가 나올 것이라 생각하는 이가 대다수이지만, 이러한 심리적 요인 등으로 인해 2인 피어 리뷰는 항상 더 객관적이라고 보기는 어려운 상황입니다. 하지만, 장점도 충분히 있는 만큼 이를 보완할 방법이 있다면 피어 리뷰의 신뢰도를 향상하는 좋은 수단이 될 것입니다. 이를 위해 2명의 피어 리뷰어가 서로 상의 후 평가를 하는 방법, 편집장이 최종 결정을 내리는 방법 등이 거론되었으며, 발전이 기대되는 상황입니다.