네이처, 재현 연구 논문 출판 거부 사례

모든 연구 논문은 그 과정 및 결과가 재현 가능해야 합니다. 그래야만 연구의 신빙성과 진실성을 검증할 수 있기 때문입니다. 이런 이유로 많은 연구자들이 발표된 자료를 바탕으로 연구를 재현하여 그 결과를 또 다른 논문의 형식으로 발표하기도 합니다. 네덜란드에 위치한 막스 프랭크 언어심리학 기관(Max Planck Institute for Psycholinguistics)에서 일하는 몬테 니에울란드(Monte Nieuwland)와 그의 동료들은 2015년에 발표된 연구 논문을 재현하기 위한 시도를 했고, 그 결과를 논문 형식으로 작성해 세계적인 학술지 네이처(Nature)에 발표하고자 했습니다. 네이처(Nature)는 처음에는 출판에 관심을 보였으나 이후 재현 연구 논문이라는 이유로 출판을 거부한 것으로 알려졌습니다. 이 글에서는 재현 연구의 의미와 중요성에 대해서 이야기해 보겠습니다.

재현 연구란?  

재현 연구는 타인의 논문을 토대로 이미 진행된 연구를 재현해 보는 것을 의미합니다. 이미 이뤄진 연구에 대한 검증을 위해 사용되기도 하고, 연구를 재현하는 의미에서 확장해 새로운 사실을 발견하거나 새로운 연구 아이디어를 얻는 데 목적을 두기도 합니다. 많은 연구들이 산업 기준을 충족하는 환경에서 실험을 진행할 자격이 충분히 되는 전문 인력을 통해 체계적으로 재현 연구를 진행합니다. 네이처(Nature) 학술지도 이런 상황을 잘 알고 있기에 초반에는 만테 니에울란드와 그의 동료들의 논문을 출판하는 것에 관심을 보였던 것입니다. 나중에 거절하기는 했다고 하더라도 말입니다.

재현 연구의 중요성

모든 연구 논문은 연구 환경에 대한 세세하고 정확한 기록을 바탕으로 합니다. 연구의 결과와 그 과정을 기록한 자료를 바탕으로 최종 논문이 작성되기 때문입니다. 이때 연구의 모든 환경과 과정을 기록된 자료와 동일하게 재현했을 때, 같은 결과가 도출된다면 이를 ‘재현성’이 있는 연구라고 칭합니다. 많은 사람들이 연구의 결과에 대해 관심을 표현하는 만큼 연구의 내용을 정리한 논문이 세상에 발표될 때는 그 안에 기록된 정보가 정확하고 유익한 내용이 될 것을 기대하는 심리가 존재합니다. 그리고 기록된 정보의 정확성, 연구의 신빙성을 입증하는 것은 연구의 재현이 가능한가, 즉 ‘재현성’의 존재 여부에 달리게 됩니다. 연구의 전 과정을 그대로 재현했음에도 불구, 과정이 똑같이 도출되지 않는다면 그것은 연구 과정 또는 기록된 데이터 중 무언가 잘못되었다는 것을 의미할 수 있기 때문입니다. 따라서 연구의 신빙성을 입증하는 데 ‘재현성’이 중요하게 여겨지는 만큼 정확한 ‘재현 연구’의 진행 역시 매우 중요합니다.

도표와 그래프에 변화 줘보기 

출판된 연구 논문 또는 저널의 경우, 도표나 그래프가 원고에 포함된다 하더라도 그 쓰임이 정적입니다. 하지만, 디스틸(Distill)을 사용한다면 각 실험 모델에 변화를 줄 수 있고, 실험의 제약 사항 또는 입력값에 변동을 준 뒤 이것이 실험 결과에 어떤 변화를 주는지 확인할 수 있습니다. 연구 논문을 정적으로 읽어나가는 것을 넘어서 연구 결과를 도출해 낸 수치를 변화시켜가며 연구 과정을 심도 있게 들여다볼 수 있게 된 것입니다. 모든 연구자 및 유저들이 디스틸(Distill)을 사용하여 연구 과정 및 결과를 도표 및 그래픽과 상호 소통하며 이해할 수 있습니다.

재현 연구의 필요성

네이처를 포함한 많은 저널들이 공식적으로 재현 연구 논문에 관한 각자의 입장을 표명했습니다. 맥스 프랭크언어심리학 기관(Max Planck Institute for psycholinguistics)의 몬테 니에울란드(Monte Nieuwland)가 최근에 밝힌 바에 따르면 논문 출판의 선도적인 입장에 있는 많은 잡지들이 재현 연구 결과를 담은 자신들의 논문을 출판하는 것을 꺼려 할 수 있다고 밝혔습니다. 이 논문은 몬테 니에울란드(Monte Nieuwland)와 그의 동료들이 함께 진행한 것으로 2015년에 네이처 신경과학(Nature Neuroscience)에 실린 레롱(Lelong)과 그의 동료들이 출판한 연구 결과를 검증하기 위한 것이었습니다. 왜냐면 2015년도에 실린 레롱(Lelong)의 논문이 본 연구 진행 과정에서 발견된 안 좋은 결과들은 누락시키고 샘플 내용을 더 좋게 포장하였고, 샘플 사이즈 또한 증강하였기 때문입니다. 하지만 논문은 피어 리뷰도 받지 못한 채 거절당했습니다. 이런 사실은 bioRxiv를 통해 온라인에도 발표가 되었습니다. 그리고 많은 사람들이 이 사안에 대해 관심을 드러낸 것으로 알려져 있습니다. 연구가 진행되고 논문이 발표되기까지 수많은 사람들이 연구의 신빙성을 확인하기 위해 여러 검증 절차를 거칩니다. 그리고 이러한 검증 절차는 논문이 발표된 후에라도 끊임없이 되풀이되어야 할 것입니다. 그래야만 잘못된 연구 결과가 사실인 것처럼 세상에 알려지는 것을 방지할 수 있고 이를 통해 인력과 재화의 낭비를 예방할 수 있기 때문입니다. 그렇기 때문에 더더욱 재현 연구 논문의 출판을 거절한 ‘네이처(Nature)’의 결정을 선뜻 납득하기가 어렵고, 오히려 학술 출판을 선도하는 네이처(Nature)와 같은 기관들이 재현 연구의 진행과 논문 작성을 고무시켜야 한다는 생각이 드는 이유입니다.