저널 에디터는 어떤 경우에 리뷰어 코멘트를 수정할까요?

젊은 연구원에게 출판 논문 하나하나는 큰 의미입니다. 연구원이라면 누구나 알고 있겠지만, 논문 출판을 위한 준비 과정부터 엄청난 시간과 노력이 소요됩니다. 논문 한 편이 피어리뷰 단계까지 도달한다면, 당연히 결과를 학수고대하게 됩니다. 피어리뷰 코멘트를 주의 깊게 읽고 답하기 위해 최선을 다하는 것이 다음의 할 일입니다.

리뷰어 코멘트는 대부분 유용하고 건설적입니다. 일부는 큰 도움이 되지 않을 수 있지만, 그래도 긍정적 효과는 기대할 수 있습니다. 하지만 피어리뷰 코멘트가 아무런 도움이 되지 않고, 되려 무례하기만 한 경우도 있습니다. 이러한 코멘트는 연구원의 경력에 크나큰 해를 입히고, 연구원의 자신감과 의욕을 꺾는 부정적인 영향을 줄 수 있습니다.

무례한 코멘트가 얼마나 흔한가요?

최근에 여러 연구원에 따르면, 피어리뷰어로 부터 이러한 문제를 겪었다는 답변이 있었습니다. PeerJ의 새 연구에서는, 46개국에서 과학자 1106명을 대상으로 설문조사를 실시했습니다. 연구는 14개 학문분야를 다루었으며, 응답자는 익명으로 유지되었습니다.

과학자의 절반 이상이 “비전문적인” 피어리뷰 코멘트를 최소한 한 번 받았다고 응답했습니다. 많은 연구원들이 적어도 한 번 이상 이러한 경험이 있는 것입니다. 이런 문제는 너무나도 흔하기 때문에, 페이스북에 25,000명의 회원이 모여 이 문제를 논의하는 그룹도 있다고 합니다!

비전문적 코멘트에는 건설적이지 않거나 인신공격적이거나, 너무 가혹한 표현이 담겨 있는 등, 무조건 논문을 비판하는 내용이 포함되어 있습니다. 예를 들어, 한 연구원에 따르면, 스페인 성씨가 적혀 있다는 이유로 영문이 좋지 않을 것으로 판단되어 논문을 정성 들여 읽을 필요가 없었다는 리뷰어의 코멘트를 받았다고 합니다.

저널 에디터가 제대로 역할을 수행할까요?

University of Melbourne의 메타 연구가(metaresearcher)인 Fiona Fidler는 투고 논문에 대한 자신의 평가가 저자에게 전달되기 전에 수정되었고, 어떨 때는 동의없이 논문의 내용이 대폭 바뀐 사실을 발견하고서 격분했습니다. 예를들어, “매우 공감합니다”의 표현이 “전반적으로 공감합니다”로 바뀌었고,  “좋은 사례입니다”는 “아직 연구가 필요합니다”가 되었습니다. 최악의 경우를 들자면, Educational and Psychological Measurement 저널에 보내는 자신의 피어리뷰 보고서의 최종 의견에서 사소한 수정을 전제로 논문 승인을 제안했는데, 이 내용이 에디터가 저자에게 보내는 리젝션 레터(rejection letter)에 잘못 표시된 것을 알게 되었습니다.

그녀는 저널 에디터에게 설명을 요구했고, 차후에 이러한 현상이 얼마나 널리 일어나고 있는지 알아보기 위해 비슷한 사건을 겪은 논문 저자이면서 University of Groningen 심리학자인 Rink Hoekstra와 협력했습니다.

그들은 동료들과 함께 생태학, 경제학, 의학, 물리학, 심리학 분야에서 영향력 높은 저널의 에디터 322명을 대상으로 피어리뷰 보고서 수정이 타당하다고 여기는 시기를 연구 조사했습니다. 올해 초 오픈 사이언스 프레임워크(Open Science Framework)에서 출판 전 논문(preprint)으로 게시되어 현재 eLife에서 검토 중인 이 연구에 따르면, 에디터 응답자의 91%가 피어리뷰 보고서에서 수정할 곳을 한 군데 이상 발견했습니다. 응답자의 80% 이상은 리뷰어가 모욕적인 언어를 사용하거나 저자에 대해 부적절한 개인적 코멘트를 남기면 수정할 것이라고 답했습니다. 하지만 응답자의 8%는 허가도 없이 리뷰어의 전반적인 제안사항을 수정할 것이라고 답했습니다. 이 조사 결과는 Fiona와 전체 연구계에 충격적이었습니다.

저널 에디터가 리뷰어 코멘트를 수정하는 것을 받아들여야 할까요?

피어리뷰 보고서 수정이 허용되는 경우와 허용되지 않는 경우에 대한 명시적인 지침을 제공하는 저널은 거의 없습니다. Alfred는 리뷰어가 수정을 거부할 수 있는 권한을 저널이 도입해야 한다고 말합니다. 아무리 선한 의도로 임하는 에디터가 있더라도, 명확한 정책이 있다면 이는 투명하고 편향 없는 프로세스를 보장할 것이라고 그녀는 덧붙입니다. 많은 저널은 보호 장치를 갖추고 있습니다. 또한, 대부분의 저널들은 모든 리뷰와 편집 결정사항을 리뷰어와 공유하며, 리뷰어의 코멘트가 저자들에게 어떻게 전달되는지 명확히 하고 있습니다. 하지만 설문조사에 참여한 에디터 중 약 20%는 저널이 보고서나 결정 통지서를 리뷰어에게 보내지 않는다고 보고했습니다.

가끔 피어리뷰 보고서들의 의견이 서로 크게 다르다면, 에디터는 한두 명의 피어리뷰어를 더 초청해 “공통의 의견”에 도달할 수 있는지 확인합니다.  또한, 경험이 많거나 우수한 논문을 출판한 리뷰어라거나, 아니면 오랫동안 관계를 맺어온 리뷰어에게 에디터는 더 큰 가중치를 부여할 수 있습니다.

에디터도 해당 분야의 전문가이며 엇갈린 리뷰에 대응해 판단하는 경험을 쌓습니다. 논문을 승인할지 거절할지 최종 결정하는 사람은 리뷰어가 아니라 에디터임을 기억해야 합니다. 이 결정은 여러 요소를 고려해 내려집니다.