연구 재현성 위기, 사회과학 저널에까지 파급

연구의 재현성은 과학적 연구가 동일한 방법론과 동일한 결과가 전달되는 방식으로 문서화 되어야 합니다. 이는 연구 자료가 정확하게 문서화 되어 있고 중요한 정보를 배제하지 않는 경우에만 가능합니다. 또한 연구 재현성을 보장하기 위해서는 전체 데이터 세트와 코드를 쉽게 액세스할 수 있도록 해야 합니다.

현대의 모든 과학 연구물들은 실험 과정과 그에 따른 결과물들이 재현 가능하여야 합니다. 이를 근간으로 현대 과학이 발전해 왔다고 해도 과언은 아닙니다. 따라서 지난 10여 년 전부터 시작된 연구 결과물이 재현되지 않는다는 재현성 위기는 과학계에 심각한 영향을 끼쳐왔습니다. 이 재현성 위기는 결국 학술 저널에 출간된 과학연구와 논문의 타당성에 대한 의구심을 키워왔습니다. 일련의 과학자들과 연구자들이 몇몇 논문 실험을 재현하려고 시도하였지만 같은 결과를 도출해내지 못했습니다. 최근의 예를 들면, 지난 5년 동안 발표된 50개의 암에 대한 연구 논문들 중 단지 8개의 연구 결과만을 재현할 수 있었습니다. 이러한 암 생물학에 대한 조사 이후, 최근의 다른 연구가 보여준 것처럼, 재현성 위기는 사회과학에까지 퍼져 나가기 시작했습니다.

사회과학에서의 연구 재현성

Nature’s Human Behavior에 실린 최신 연구는 사회과학에서의 이러한 재현성 위기를 잘 보여주고 있습니다. California Institute of Technology가 주축이 되어 여러 대학교의 연구자들로 이루어진 협력연구팀이 사회과학에서의 재현성 위기를 살펴보기로 하고, 과학 학술지 저널 중 가장 권위적인 Science와 Nature에 처음으로 실린 독창적인 21개의 연구물을 재현하려고 시도하였습니다. 이 논문들은 2010년에서 2015년 사이에 출판된 논문들로써, 분석적 사고와 종교적 의구심, 또는 시험 중 느끼는 불안감과 실질 성과 사이의 연관성과 같은 사회 과학의 여러 주제에 기반을 둔 것이었습니다.

이러한 재현 연구로부터 얻어진 결과는 사회과학 분야에서도 재현성 위기가 존재한다는 것을 확인시켜주었습니다. 즉, 3분의 1 이상 (21개의 연구물들 중 8개)의 출판된 연구물들의 결과를 재현할 수 없었던 것이었습니다. 더욱이 또 다른 연구들에서 얻어진 증거는 이러한 오리지널 연구에서의 결과들과 재현성 테스트에서 얻어진 결론들 사이에는 연관성이 적다는 것을 보여주었습니다.

연구자들의 입장

이러한 사회과학에서의 재현성 위기에 대한 결과가 과학계에 있어 가장 권위있는 두 개의 저널에서 출판되었기에 큰 주목을 받았습니다. Charlottesville에 소재한 University of Virginia의 Brian Nosek 교수는 세간의 이목을 끄는 이런 종류의 발견들은 미디어의 중요한 주목을 끌 수 있지만, 이러한 주목은 긍정적인 것과 부정적인 것을 다 포함한다고 말했습니다. Nosek교수는 또한 시험 중 받는 스트레스와 성과에 대한 연구를 예로 들며, 비록 이 연구 결과 중 일부는 재현할 수 없었지만, 이러한 연구물들이 여전히 중요한 정보를 제공한다는 점을 지적하기도 하였습니다. 이 재현 연구에서 사용된 샘플 사이즈는 오리지널 연구에서 사용된 것에 비해 거의 다섯 배 정도 컸는데, 이 샘플 사이즈에서의 차이와 같은 일부 소소한 차이들이 이러한 결과를 야기할수도 있다고 하였습니다. Nosek 교수는 이 경우 “의미 있는 결과를 얻은 연구는 실제적 효과 크기에 대한 과장 확대였을 것 같다”라고 말했습니다.

위기의 재현성: 진실 또는 거짓?

일부 연구자들은 오리지널 연구 결과물들이 과장되었다고 하지만 다른 이들은 단순히 거짓이라고 주장합니다. 하지만 이에 대한 것은 여전히 과학계와 학술계의 더 큰 입장에서  보면 중대한 문제입니다. Stockholm School of Economics의 Magnus Johannesson 교수에 따르면, 이 재현 연구는 ‘통계학적으로 의미 있는’ 과학적 발견물들에 대해 조심스러운 해석이 반드시 이루어져야 한다는 것을 보여줍니다. 가장 권위 있는 학술지들이 출판한 연구물일지라도, 실험의 재현은 반드시 이루어져야 합니다. 이점에 대해 응답으로 학술계에서는 지난 과거 몇 년에 걸쳐 몇 가지 재현성 연구를 실행하였는데, 한 예로 2013 년에 시작된 암 생물학이라는 재현성 프로젝트를 들 수 있습니다. 이 프로젝트는 암 생물학에 있어 중요한 50개의 연구에 대한 재현성을 테스트하기 위한 것입니다. 현재까지, 10개의 재현 연구에 대한 결과물들이 eLife에 출판되었습니다.

과학계 재현성의 미래

재현성 위기는 사회 과학과 학술 전체에 다방면에 걸쳐 널리 영향을 끼치고 있습니다. 2년 전 심리학 분야에서 두 개의 고전적 연구물들이 재현성 테스트를 통과하지 못했을 때 대서특필 되었습니다. 재현성에 대한 이러한 미디어의 주목은 과학계에 대한 선의로 작동할 수 있습니다. Stanford University의 John Ioannidis연구원은, “우리가 알고 있는 지식의 정확도를 개선하기 위해 얼마나 많은 노력을 하고 주목 받게 되었는지 보여줍니다”라고 견해를 밝혔습니다. Ioannidis연구원과 다른 많은 연구자는 재현성 위기가 받는 주목이 과학계와 학술계를 위해 유익할 것이라고 보고 있습니다. 재현성 프로젝트나 Nature’s Human Behavior의 연구 같은 더 많은 연구 프로젝트들이 학술계 내의 재현성 위기감을 끌어낼 것이고 제거할 것입니다.

결국 과학 연구의 타당성을 조사하기 위해 취해진 솔선 행위가 끊임없는 방식으로 사회를 돕고 있습니다. 이러한 접근이 학술계에서 제대로 작동한다면 모든 생명 연구 영역들도 이러한 조사와 정밀 검토로부터 혜택을 받게 될 것입니다.

 

참고 문헌들

1.  https://www.enago.com/academy/alarming-reproducibility-crisis-invading-social-sciences-journals/
2.  https://www.sciencealert.com/replication-results-reproducibility-crisis-science-nature-journals
3. https://www.nature.com/articles/s41562-018-0399-z
4. https://www.sciencealert.com/two-more-classic-psychology-studies-just-failed-the-reproducibility-test