10

공개논문심사 VS 맹검 : 어느 것이 좋을까?

피어 리뷰 (Peer Review)의 개요

피어리뷰 (Peer Review)란, 연구 논문이 관련된 학계의 한 사람 또는 그 이상의 종사자들에 의해 평가되는 과정을 일컫습니다. 단순한 오류를 발견하는 것을 넘어, 같은 분야의 관계자들이 서로 간의 객관적인 평가를 통해 넓게는 집단 내 전반적인 발전을 위해, 논문 심사 뿐 아니라 기업 내 인센티브, 승진과 같은 인사 평가에도 활발히 활용되고 있습니다. 피어리뷰는 주체 기관에 따라 각자 다른 용도로 이용되는데, 일반적인 과학 저널의 경우 투고된 연구 논문의 수준, 과학적 가치와 취지 등이 본 저널에 실릴지 여부를 결정하기 위해 피어리뷰를 활용합니다. 이 외에도 사설 또는 정부 출연 연구 자금 지원 기관에서 보조금을 신청한 프로젝트의 과학적 가치를 평가하기 위해 피어리뷰의 과정을 거치기도 합니다.

공정하게, 그리고 편견이 없게 : 맹검 (Blind / Masked Peer Review)

피어 리뷰의 기본 과정은 원작자는 검토자가 누군지 모른채, 검토자 만이 저자를 알고 있는 일종의 블라인드 테스트의 형식을 갖는 ‘맹검 (Blind / Masked Peer Review)’이라는 형식의 리뷰 방법입니다. 이 경우, 검토자의 익명성이 보장되어, 안정된 상태에서 원작자에 대한 과감하고 솔직한 평가를 할 수 있다는 장점이 있습니다. 이에 더해, 더욱 공정한 검토를 위해 검토자 역시 원작자를 모르는 형식으로, 검토자와 원작자가 서로를 모르는 상태에서 완전히 익명성이 보장된 채 시행되는 이중맹검 (double-blinded / masked review)의 방법도 있습니다.

시대의 변화를 타고 나온 새로운 형식 : 공개논문심사 (Open Peer Review)

최근 인터넷의 발달과 오픈액세스 운동이 활발하게 이루어지는 새로운 변화는 이러한 논문 검토 과정에도 변화를 불러왔습니다. 바로 ‘공개논문심사 (Open Peer Review)’로, 검토자와 원작자 모두가 서로를 아는 상태의 오픈된 환경에서 리뷰가 이루어지며 특히 온라인 출판물들을 중심으로 활발해지고 있습니다. 코넬대학교 인터넷 문서보관서인 “arXiv”는 공개 심사의 대표적인 성공 사례로 꼽히며, 물리, 수학 및 관련 제분야들의 논문들이 다양한 사람들의 적극적인 평가가 이루어지고 있습니다. 연구자들은 출판 전 상태의 논문을 이 온라인 보관소에 저장해 두고, 오픈 액세스의 경로로 들어온 불특정다수의 리뷰어들이 자유로이 쓴 의견들을 참고할 수 있습니다.

맹검 Vs. 공개논문심사 : 피어리뷰 시스템의 맹점

하지만 맹검과 공개논문심사 모두 완전성을 갖추고 있는 시스템은 아닙니다. 맹검 (이중 맹검 포함)의 경우 리뷰어의 익명성을 통한 공정함을 최대 장점으로 갖지만, 비평가들은 아래와 같은 단점들을 언급합니다.

  • 저널 에디터의 선택 : 피어리뷰 시스템은 학술지 또는 연구 자금 지원 기관의 에디터가 논문을 선택해 검토자에게 보내는 것에서 시작됩니다. 이러한 점에서 에디터의 공정성은 피어 리뷰 절차에 있어 매우 중요합니다.
  • 검토자의 문제점 : 저널 에디터가 나의 논문을 선택해 검토자에게 보냈다고 해도, 검토자의 깐깐함, 자질, 공정성과 같은 다양한 변수가 존재합니다. 또한 일부 경우, 아직 출판 전의 논문을 검토한 리뷰어가 검토 결과를 미루고 연구 내용을 도용하여 자신의 이름으로 발표하는 사례도 존재합니다.
  • 저자의 문제점 : 일부 논문 저술자의 경우, 논문 검토자를 몰라야 한다는 맹검의 기본 원칙을 깨고, 자신의 리뷰어에게 별도의 인사를 전하는 사례가 있었습니다.

위에 언급된 단점들은 ‘공정성’이라는 장점을 살리기 위해 세운 ‘익명성’이라는 원칙이 오히려 논문의 검증 단계를 투명히 하지 못한다는 맹점을 만들어 발생했습니다. 그러나, 이 익명성이 사라진 새로운 방식의 논문 검증 방식인 공개논문심사 역시 완벽한 방법이라고 할 수는 없습니다. 바로 아래와 같은 이유 때문 입니다.

  • 검토자의 자질 부족 : 오픈 액세스의 기본 취지는 일반인이 높은 수준의 학술 자료들에 자유롭게 접근 할 수 있는 방안을 마련하는 것에서 그칠 뿐, 다양한 피드백이나 평가 등은 기대할 수 있는 부속 효과에 불과합니다. 그렇기 때문에, 부족한 자질의 검토자가 잘못된 피드백을 남길 가능성이 전문적인 검토자에게 논문을 보내는 형식의 맹검보다 훨씬 높으며 이는 전체적인 평가의 흐름을 어지럽힐 수 있습니다.
  • 논문 저자들 및 리뷰어들의 미비한 참가율 : 공개 논문 심사의 시작은 논문 원작자가 공개 논문 심사에 참가하겠다는 것을 승인한 뒤부터 시작됩니다. 그러나 다수의 온라인 학술지들의 노력에도 불구하고 저자들 중 약 5%만의 동의를 얻어내는데 그쳤고, 이중 54%의 논문들 만이 검토를 받을 수 있었습니다. 리뷰어들 역시 익명으로 남기를 원하는 성향이 많다는 것을 방증한다고 볼 수 있습니다.

어느 방법을 선택해야 하는가

피어 리뷰 시스템의 대표적인 두 종류인 맹검과 공개논문심사는 저자와 리뷰어의 관계가 상반된다는 특징을 갖지만, 서로의 단점을 보충하는 형태라기 보다는 시대와 환경의 변화에 따라 등장한 다른 형태의 방법으로 보는 것이 옳습니다. 따라서, 어느 한 방법의 더 나음과 그름을 절대적으로 기준으로 판단할 수는 없습니다. 다만, 자신의 논문 및 연구의 성향에 따라 두 시스템의 장단점을 세심히 비교해 본 후, 더욱 적합한 방법을 활용하는 것이 피어리뷰 시스템을 가장 현명하게 활용하는 방법이 될 수 있습니다.

X

회원가입 후 더보기

무료로 보실 수 있는 기사 횟수에 제한이 있습니다. 구독하시면 논문작성
및 저널 출판에 관한 다양한 자료를 횟수제한 없이 이용하실수 있습니다.

  • 500개 이상의 출판뉴스
  • 50개 이상 웹세미나
  • 10개 이상 전문가 진행 팟캐스트
  • 10개 이상 이북
  • 10개 이상 체크리스트
  • 50개 이상 인포그래픽
여러분의 의견을 나눠주세요

대학교 입장에서 연구 및 학문 글쓰기 AI도구 활용에 대한 의견을 공유해 주세요.