피어리뷰의 발전과 과학적인 피어리뷰를 위한 움직임

과학적인 피어리뷰 과정을 만들자’ 라는 과격한 제목의 논평을 게재하였습니다. 현재의 피어리뷰가 과학적이지 않다고 느꼈기에 작성한 글이겠지요. 저자인 드러몬드 레니는 ‘세계 의학 학회’의 회장을 역임하였으며, 뉴잉글랜드 의학저널의 부편집장 등 각종 저널의 요직을 맡아왔습니다.

네이처와 뉴잉글랜드 의학저널은 과학저널이며, 학술 논문이 실립니다. 그렇다면, 과학논문의 피어리뷰가 과학적이지 않다는 것은 어떻게 의미일까요? 이 논평은 서두부터 다소 도발적입니다.

피어리뷰는 자기비평적 과학이라는 극찬을 받고 있다. 그러나, 이는 휴먼 시스템이다. 피어리뷰 담당자는 편견과 오해를 가질 수 있으며, 지식 수준의 차이가 있다. 그렇기 때문에, 피어리뷰는 종종 편견에 사로잡히거나 비효율적일 수도 있다. 때로는 부패하고, 때로는 가식적이며, 도용의 유혹에 빠지기도 하다. 최선을 다한다 해도, 피어리뷰가 얼마나 과학적인 식별을 하고 있는지는 알 수 없다. 간단하게 말하자면, 현재의 피어리뷰는 비과학적이다.

레니는 30년 동안 피어리뷰의 향상, 즉 과학계의 발전에 힘써온 인물입니다. 그는 의사로서 커리어를 쌓기 시작한 후, 뉴잉글랜드 의학저널과 미국 의사 협회 저널 （JAMA: The Journal of the American Medical Association）에서 근무한 경험을 바탕으로, 30년의 피어리뷰 경력을 쌓았습니다.

1983년, 그가 JAMA에서 근무하고 있을 때의 일입니다. 편집장이 피어리뷰를 주제로 한 컨퍼런스를 제안했고, 그는 그 아이디어에 큰 관심을 보였습니다. 이렇게 첫 피어리뷰 컨퍼런스（Peer Review Congress）가 1989년, 시카고에서 개최되었습니다. 피어리뷰어의 인구통계, 피어리뷰 빈도, 맹시험 등에 대한 연구가 보고되었고, 레니는 ‘현실적인 데이터’에 흥분했었다고 합니다.

이러한 연구 덕분에, 현재의 우리는 피어리뷰에 대해서 많은 것을 알 수 있다. 예를 들면, 논문을 평가하는데 걸리는 시간, 피어리뷰를 하는 사람들 사이에서의 의견 불일치 비율, 신뢰할 수 있는 저널의 비용, 나아가서는 피어리뷰의 부정행위 발생에 대해서도.

의학자인 레니가 집착하는 것은, 임상실험 논문과 그에 대한 피어리뷰의 문제입니다. 2002년, 레니는 투고 논문에 제시된 임상실험 결과 대부분이 실험 과정을 거쳤다는 점을 호의적으로 평가했고, 공표된 결과에 반영된다는 점을 분명히 하였습니다. 게다가 다른 연구에서는, 이러한 편향성의 90% 이상은, 비 호의적인 치료법이 논문에 담기지 않는다는 점, 후원단체가 원치 않는다는 점 등으로 인해 발생한다고 알게 되었습니다. 편향적 출판(publication bias)으로 인해 의약품의 효능이 실제보다 높아 보인다고도 합니다.

레니는 피어리뷰 역사의 발자취를 아래와 같이 기록합니다.

1978-1979	예일 대학과 하버드 대학에서 부정 연구가 발각되어, 이를 세상에 알렸다.
1978-1992	‘옥스포드 주산기 임상실험 데이터베이스’가 이안 찰머스에 의해 설립된다. 이후, ‘코크란 연합’과 계통적 분석을 설립・확립한다.
1986	여러 번의 조사에 의해, 임상실험에서의 ‘출판 편향’이 분명해진다. 원인은 임상실험 논문저자들이 결과를 공표(출판)하지 않는 것에 있다.
1989	과학적 부정행위를 정의하는 규제와 신청절차가 연방법에 명문화된다. 피어리뷰는 부정 연구를 막기 힘들다.
1989	최초의 피어리뷰 컨퍼런스（Peer Review Congress）가 일리노이주 시카고에서 개최된다. 피어리뷰어에게 저자의 인적사항을 기밀로 한다.
1993	출판된 의료 연구논문을 재평가 하기 위해 설립된 ‘코크란 연합’이 편향성을 연구한다.
1996	‘임상실험 보고에 관한 통합기준 (CONSORT: Consolidated Standards of Reporting Trials)’ 성명이 저자와 피어리뷰어의 체크 리스트와 함께 공표된다.
1999	“영국의사회 저널（BMJ）”의 무작위 실험에 나타난 증거에 입각하여, 오픈 피어리뷰를 도입한다.
2000-현재	온라인 저널이 새로운 형태의 피어리뷰를 선보이고 있다.
2004	임상실험의 사전등록이 필수 조건이 된다.
2006	‘EQUATOR네트워크’가 논문의 가이드라인을 만들기 위해 설립된다.
2010	‘빌 리스트(Beall’s list)’가 의심스러운 피어리뷰를 하는 “포식(predatory)” 저널에게 경고한다.
2014-현재	(ORCID, CASRAI, F1000워킹 그룹)을 포함하는 그룹이 피어리뷰어를 서포트하고, 보수를 지급하기 위해 설립된다.
2017	2017 ‘제8회 피어리뷰 회의’가 시카고에서 개최될 예정.

 

‘포식 저널(predatory journal)’이란, 피어리뷰 속도 등을 찬양하는 문구로 연구자를 유혹하고, 높은 게재료를 요구하지만, 불충분한 피어리뷰 때문에 비판 받는 온라인 저널을 가리키는 말입니다.

이러한 피어리뷰의 역사에서 피어리뷰어의 익명성도 정해져 왔습니다. 레니와 동료들은 과거논문을 언급하면서, 맹시험, 즉 저자도 피어리뷰어도 익명인 피어리뷰는 비효율적이고 관료적인 부담을 늘린다고 주장합니다. 또, 그는 영국 의사회 저널（BMJ）에서의 ‘오픈 피어리뷰’의 경험을 아래와 같이 이야기합니다.

10년 전, “BMJ”는 피어리뷰 중, 저자와 피어리뷰어가 이름을 서로 밝히고, 논문 게재 시에 피어리뷰어의 이름을 밝히는 오픈 피어리뷰를 진행하였고, 많은 논문이 접수되어 피어리뷰가 진행되었다. 현재는 피어리뷰어의 인적사항을 의무적으로 공개하고 있으며, 이 저널의 실험은 질문법의 중요성을 시사했다. 만일, 조사표에서 ‘피어리뷰에 서명하십니까?’라고 묻는다면 대부분의 사람들은 거절한다. 그러나, 편집자가 ‘본 저널은 서명이 포함된 피어리뷰를 원합니다. 피어리뷰를 하시겠습니까?’라고 물으면,거절하는 사람이 매우 적다. 나는 이러한 ‘오픈 피어리뷰’라는 브랜드가 가장 논리적이며, 실행가능성도 높다고 생각한다. 현행 ‘맹시험 피어리뷰’에서는 저자가 전폭적 확신을 갖고 피어리뷰어를 오인하며, 이 때문에 억울한 방관자에게 비난의 화살이 쏟아진다.

추후, ‘맹시험 피어리뷰’를 대신하는 ‘오픈 피어리뷰’ 외에도, ‘사전 피어리뷰’나 ‘게재 후 피어리뷰’ 등, 여러 피어리뷰법이 시도되어 왔으며, 새로운 접근법에 대해 연구해야 한다고 말합니다. 또한, 기존 피어리뷰도 계속 조사해야 한다고도 합니다. 즉, 피어리뷰 자체도 평가 받는 시대가 된 거것입니다.

2014년에는 스탠포드 대학의 ‘메타-연구 혁신센터（METRICS’ 가 과학 연구 과정을 조사하고, 향상시키는 것을 목적으로 설립되었습니다. 2015년에는 이러한 주제에 특화된 저널 연구 공정성과 피어리뷰（Research Integrity and Peer Review)가 창간되었습니다.

그러나, 레니는 1986년에 최초의 ‘피어리뷰 회의’때 제기된 문제의 일부는 아직 해결되지 않았다고 합니다. 또한, 2017년 개최 에정인 ‘제8회 피어리뷰 회의’에서, 보다 본격적인 논의가 있을 것으로 기대됩니다.

이제 더 과학적인 피어리뷰를 기대할 수 있겠지요?

저자 소개: 가유카와 쥰지

1969년생, 아이치현 출신. 작가・편집자・번역가. 메이지학원 대학, 일본대학, 고쿠시칸대학 비상근 강사. 저서 “바이오화 사회”（세이도샤) 등, 공동 번역서 “역습하는 테크놀로지”（에드워드 테너 저술, 하야카와 쇼보) 등, 감수서 “노출된 삶”（아드리안나 페트리나 저술, 모리카와 마이코 외 번역, 진분서원 ）. 박사（사회학）.