10

새로운 논문 평가 관점: “결론을 고려하지 않는” 피어리뷰

연구 결과가 최초 가설과 다르게 나올 때면 고민에 빠지기 마련이며, 저널 게재에 대한 두려움이 들 수도 있습니다. 논문 평가는 사람이 하는 것이니 항상 100% 객관적일 수는 없으며, 주어진 가설의 달성 여부에 대한 가중치는 평가자마다 다를 수 있습니다.

 

이때문에 가설과 다른 결과가 나오면 내용과 결과를 공개하길 꺼려합니다. 하지만, 연구결과가 애초 가정과 다르거나 의미 없어 보인다고 해도 연구 자체의 의미가 퇴색되는 것은 아니며, 다른 연구에 도움이 될 수 있습니다. 연구자 입장에서는 연구 결과 출판이 중요하고, 따라서 출판될 가능성이 낮다고 판단하여 연구 자체를 덮어 버리는 경우가 많은 것도 사실입니다. 가설과 다르거나 의미 없는 결과로 보일 때면, 결과를 조작하고 싶은 충동을 느낄 수도 있습니다. 물론 이런 일들은 학계 전체, 그리고 더 나아가서 논문 독자, 대상 기관, 심지어는정책결정에까지 영향을 미칩니다.

 

최근 한 저널이 흥미로운 실험을 진행했습니다. BMC Psychology라는 오픈 저널이 ‘결론을 고려하지 않는(result-free)’ 피어리뷰 방식을 만들었습니다. 피어리뷰 과정 서 리뷰어가 결론 부분을 보지 못하게 하고 논문의 목적과 취지, 방법론에 얼마나 충실한지를 보고 논문을 평가하는 방식입니다.

 

이 방법은 두 번의 단계를 거치는데, 첫 번째 리뷰에서 리뷰어는 제출된 논문의 결론을 보지 않고 논문의 취지와 방법론만 가지고 평가합니다. 다음 단계에서 리뷰어는 동일한 논문을 논문의 결론을 포함하여 평가하게 되는데, 결론 자체가 유효한가가 아니라 그 결론이 취지와 방법론에 정합성을 갖는지를 평가합니다. 논문 게재 여부도 이 기준에 의해 결정됩니다.  이 저널은 과학계 의 연구자나 저널 모두 과학 연구 그 자체가 아닌, 의미 있는 결과의 도출 여부 만을 평가하려 든다고 비판했습니다. 실패한 연구와 실험도 그 자체로 과학적 의미를 가질 뿐만 아니라 과학계에 기여하는 바가 큽니다. 이를 공개하고 공유하면 다른 연구자들이 같은 실수를 범하지 않아도 하고, 임상 실험과 같은 경우 환자에게 무효하다고 판명된 치료법을 다시 행하지 않아도 됩니다.

 

결과의 유효성에 대한 집착 때문에 어떤 분야에서든 실제로 신뢰할 수 없는 연구결과가 나오고 있습니다. 결과도 결과지만, 연구자의 목적 적합성, 치열한 고민도 정당한 평가를 받아야 합니다. 이러한 실험을 통해 연구자가 연구 자체의 취지에 더 충실하게 되어, 의미 있는 결과만 출판한다는 편견도 개선할 수 있길 기대합니다.

X

회원가입 후 더보기

무료로 보실 수 있는 기사 횟수에 제한이 있습니다. 구독하시면 논문작성
및 저널 출판에 관한 다양한 자료를 횟수제한 없이 이용하실수 있습니다.

  • 500개 이상의 출판뉴스
  • 50개 이상 웹세미나
  • 10개 이상 전문가 진행 팟캐스트
  • 10개 이상 이북
  • 10개 이상 체크리스트
  • 50개 이상 인포그래픽
여러분의 의견을 나눠주세요

대학교 입장에서 연구 및 학문 글쓰기 AI도구 활용에 대한 의견을 공유해 주세요.