연구재현성 문제

연구 결과의 재현성은 과학에서 기초 중의 기초라고 할 수 있습니다. 자신 이외에 어느 누구도 같은 과정으로 같은 결과를 얻지 못한다면 연구 결과의 참신성과 신뢰도를 인정 받을 수 없습니다. 발표된 연구결과가 정말로 원했던 결과인지, 우연에 의한 것은 아닌지 혹은 오류가 아닌지 구분할 수 없게 되기 때문입니다.

작년 네이처(Nature)지에서 약 1,500명의 연구자들에게 재현성에 대한 설문 조사를 한 결과(http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970), 연구 결과 재현성에 ‘위기’가 닥치고 있는 것 아니냐는 지적이 나오고 있습니다. 응답자 중 52%가 ‘심각한 위기다’라고 답했고, 38%는 ‘문제가 있으나 그렇게 심각하지는 않다’라고 답했습니다. 응답자가 어느 연구 분야에 있는지에 따른 문항도 있었는데, 여기서는 위에서 말한 결과와는 조금 상반되는 것으로, 연구자 대부분이 자신이 속한 분야의 최소 절반의 논문이 신뢰할 만하다 라고 답했고 그 중에서도 특히 물리학과 화학 분야의 연구자들이 가장 높은 신뢰도를 나타냈습니다.

이렇듯 서로 상반되는 결과에 대해 존스 홉킨스 대학의 미생물학자인 Arturo Casadevall 박사는 “현재 재현성이란 무엇이라든가 어떤 것이어야 한다는 명확한 정의가 없다”며 “다음 단계는 무엇이 문제인지 확인하고 그에 대한 의견 합치를 보아야 한다”라고 말했습니다. 이와 관련하여 재현성이라는 개념을 조금 더 세분화한 학자도 있습니다. 일리노이 대학의 Victoria Stodden교수는(https://www.edge.org/response-detail/25340) 계산적 재현성, 실험적 재현성과 통계적 재현성으로 세분화하여 설명했습니다.

다시 네이처지의 설문 조사 결과로 돌아와, 이 설문 조사에서는 다른 사람의 논문 결과 재현에 실패했을 때 해당 연구자에게 연락을 취해 보았는가 라고 하는문항도 있었습니다. 이에 대해서는 전체 응답자의 20% 미만의 연구자들만이 그렇다 라고 대답했습니다. 왜 연락을 취하지 않았느냐는 질문에 대해 다음과 같이 대답했습니다.  ‘그런 얘기를 꺼내기가 조금 어렵다’ 던가, ‘조언이나 질문을 던지는 것은 현재 내 연구 주제를 밝히는 것 같다’, ‘능력이 없어 보이거나 비난조로 얘기하게 될까 봐’ 등의 이유였습니다.

연구 결과의 재현성 확보는 단지 논문의 신뢰도 뿐만이 아니라, 연구자 본인의 커리어, 더 나아가서는 과학 전반에 매우 중요하며 또 도움이 됩니다. 따라서 맨 처음 말한 ‘재현성 위기’에 대한 해결 방법을 생각해 본다면 다음과 같을 것입니다. 먼저, 관련 데이터를 조금 더 상세히 공유하거나, 더 나은 통계적 분석을 통해 결과를 설명하는 것입니다. 그리고 논문 제출 전에 연구실에서 다시 한 번 같은 실험을 반복해 보는 것 또한 좋은 방법일 것입니다. 혹은 연구와는 관련 없는 제3자가 연구 결과를 검증하거나 재현해 보는 방법도 생각해 볼 수 있을 것입니다. 이와 관련해서는 일부 연구자들은 재생 이니셔티브(Reproducibility Initiative)라는 단체를 조직해 서로의 연구 결과를 공유하고 조언을 얻고 있습니다(http://validation.scienceexchange.com/#/reproducibility-initiative). 또한, 저널에서는 재검증을 해 본 내용을 담은 논문 출판을 장려하는 것도 고려해 봐야 할 것입니다.