자동 피어리뷰 솔루션의 도입

허위 내용을 담은 논문이 피어리뷰를 거쳐 출판된 경우가 종종 발생하곤 하는데, 컴퓨터의 도움을 받는 자동 피어리뷰도 이러한 면에서 자유로울 수는 없습니다. 최근, 이탈리아 연구진은 인간이 쓴 것과 유사한 레퍼리 리포트를 작성하는 소프트웨어를 개발했습니다.

현재의 피어리뷰는 모두 사람이 직접 하고 있으며, 한계나 문제점이 있는 것도 사실입니다. 그러나, 문제가 있더라도 피어리뷰 과정 자체를 자동화하는 것은 기술적인 문제를 떠나 규범적으로도 문제가 될 수 있습니다. 일부 연구자는 IT기술이 아무리 발전하더라도 리뷰를 자동화된 시스템에 맡기는 것은 정통한 방법이 정도가 아니라고 여기며, 불순한 의도로 악용될 수 있다고 말합니다. 자동 피어리뷰 소프트웨어를 제작한 에릭 메드벳(Eric Medvet)은 비양심적인 학자나 악성 저널이 이런 소프트웨어를 악용할 수도 있다고 봅니다.

피어리뷰 과정의 전체가 아니라 일부를 자동화할 수도 있습니다. 모든 평가 과정을 자동화할 수는 없더라도 일부 역할과 기능을 소프트웨어에 맡기는 것이 더 효율적이라는 전제입니다. 예를 들어, 통계 처리의 정확성 검토는 사람보다 컴퓨터가 더 정확할 것입니다. 알고리즘, 데이터 마이닝, 텍스트 마이닝 등이 적절히 활용된다면 인간이 범하는 실수를 보완할 수 있고, 따라서 피어리뷰의 ‘인간적인 한계’를 극복하는데 도움이 될 수도 있다고 봅니다.

오픈 액세스 저널인 BioMed Central은 피어리뷰 과정의 특정 부분들을 자동화하는 것이 가능한지 검토하는 프로젝트를 행했습니다. 논문의 중복제출 검사 소프트웨어(Aries)와 표절 검증 소프트웨어(iThenticate) 과 같은 방식으로 텍스트 마이닝을 통해 피어리뷰의 일부 과정을 자동화한 것입니다. 이 저널에 실린 일부 논문은 일반적인 피어리뷰 과정을 거치면서 StatReviewer라는 통계 처리 및 논문작성의 일관성을 점검하는 소프트웨어에도 적용시켜 보았습니다.

StatReviewer라는 소프트웨어는 논문의 작성 형식과 통계가 일관성이 있는지를 점검합니다. 논문형식의 일관성을 점검하기 위해서는 논문 작성의 가이드라인인 CONSORT나 STARD에 따라 논문을 점검합니다. StatReviewer와 같은 프로그램이 리뷰어나 에디터의 역할과 지식을 대체할 수는 없지만, 학술논문 출판 과정의 투명성을 높일 수 있을 것입니다.

평가 시스템에 대한 비판과 문제가 있긴 하지만, 피어리뷰는 저널에 제출된 논문의 질과 수준을 평가하는데 아직 가장 적합한 평가시스템으로 평가받고 있습니다. 저널은 피어리뷰 과정을 더욱 투명하고 효율적으로 운영하기 위해 노력하고 있고, 위와 같은 소프트웨어의 도움을 받을 수 있겠습니다. 표절 여부를 점검하는 프로그램은 이제 논문 출판시스템에 보편적인 수단이 되었습니다만, 피어리뷰를 보완하는 소프트웨어에 대해서는 편집인과 리뷰어의 반응을 좀 더 지켜 보아야 할 것 같습니다. 궁극적으로 피어리뷰 과정의 일부를 자동화하더라도 기존의 피어리뷰 과정을 대체하는 것이 아니라 보완해 주는 것이어야 하고, 저널 에디터가 더 좋을 결정을 내릴 수 있도록 도와 주어야 합니다.