과학연구에서의 실험 재현 가능성과 신뢰성의 중요성

과학연구 분야에서 실험 재현 가능성과 신뢰성은 매우 중요합니다. 이는 연구자들끼리 서로의 논문을 리뷰 하거나 공동연구를 할 때도 중요합니다. 또한 이것은 과학자들이 연구비 지원기관 등 다양한 이해집단 및 일반대중들과 소통할 때도 필요합니다. 과학연구에 신뢰가 없다면, 연구자들이 서로의 연구들을 불신하게 되고, 이것은 과학의 진보를 더디게 합니다. 최근 과학연구 분야에서는 몇 년 전부터 실험의 재현 가능성과 신뢰성에 대한 논란의 화두가 되어 왔습니다.*

2016년 네이쳐지가 1,576명의 연구자들을 대상으로 실험의 재현 가능성과 관련된 설문조사를 했습니다. 이 중 70% 이상의 연구자들은 다른 연구자들의 실험을 재현하려고 시도해봤지만, 재현에 실패했다고 답했습니다. 그리고 과반수 이상은 자신의 실험을 재현하는데 실패했습니다. 여기서 재현 가능성에 대해 좀 상반된 태도가 나타났습니다. 자세히 설명하자면, 52%의 응답자들이 재현 가능성에 상당한 문제가 있다고 답했습니다. 그러나 31%의 응답자들 만이 실험 재현에 실패하는 것이 곧 연구가 잘못되었다는 것을 의미한다고 답했습니다. 그리고 대부분의 응답자들은 출판된 논문을 신뢰한다고 말했습니다. 73%의 응답자들은 자기 분야에서 최소한 절반의 논문들을 신뢰할 수 있다고 답했습니다. 특히, 물리학자들과 화학자들은 이에 더 긍정적이었습니다.

그런데 문제는 위처럼 실험 재현에 실패할 확률이 높은데도 실험 과정이 제대로 측정되지 않거나, 이러한 문제가 논의되지 않는다는 것입니다. 20% 미만의 응답자들만이 자신의 실험 재현 실패와 관련해서 다른 연구자들로부터 문의를 받았다고 답했습니다. 이는 과학연구 분야에서 실험 재현 실패에 대해 공개적으로 논의하기가 쉽지 않다는 것을 의미합니다. 만약 어떤 연구자가 특정 실험을 재현하기 위해 원저자에게 도움을 요청한다면, 자신이 무능하거나 혹은 문제를 제기하려는 것처럼 보일 수도 있고, 자신의 연구에 대해서도 노출해야 하기 때문입니다. 또한 실험 재현에 성공한다고 해서 이것에 대해 논문을 출판할 인센티브가 없습니다. 반대로 연구자가 실험 재현에 실패한 것을 논문으로 출판하려 해도 출판사들이 이를 꺼리는 경향이 있습니다.

실제 실험 재현이 실패하는 요인은 다양합니다.* 우선 실험 디자인과 방법, 통계 또는 컴퓨터 연산 방식 등에 대한 데이터가 충분하지 못하거나, 잘못 기술된 경우입니다. 더 치명적인 것은 원래의 실험에 쓰였던 데이터가 없는 경우입니다. 다음은 데이터 에러입니다. 대부분의 실험에서 데이터를 수집하고 모으며, 결함 있는 데이터를 정리하는 작업을 하고, 분석에 적합한 방식으로 데이터 포맷을 바꾸고, 이를 최종 분석합니다. 그런데 이 과정의 어느 부분에서든 문제가 발생할 수 있습니다. 또는 원시 데이터에 문제가 있을 수 있습니다. 데이터 문제 외에 인과관계의 모델링을 잘못하는 경우, 또는 통계분석에 결함이 있는 경우도 있습니다. 마지막으로 의도적인 데이터 조작 문제의 경우도 있습니다.

그렇다면 위와 같은 실험 재현성의 문제가 제기되는 대한 근본적인 원인은 무엇일까요? 같은 네이쳐지 설문조사에서 60% 이상의 응답자들이 ‘출판에 대한 압박감’을 주요 원인이라고 답했습니다. 결국 이것은 학내 연구자들간의 연구비 지원금 수령과 연구직 자리에 대한 치열한 경쟁과 관련이 있습니다.

연구 과정 자체에 초점을 두고 실험의 재현 가능성 문제를 개선하기 위한 방법으로는 첫째,  학계에 올바른 연구 방법론적 기준을 정립해야 합니다. 즉, 실험 재현 가능성에 대한 기준을 매우 엄격하게 수립하고, 연구자들이 이에 맞춰 실험을 하고 논문을 작성하도록 해야합니다. 둘째, 연구자들이 자신의 연구 데이터와 방법을 저장하는 비용을 줄여줘야 합니다. 이것은 소프트웨어, 컴퓨팅 플랫폼, 디지털 아카이빙 인프라 등과 관련됩니다. 또한 실험 재현 가능성의 중요성에 대한 인식을 높이기 위해 실험 재현 프로젝트를 지원하는 것도 좋을 것입니다.* 끝으로 가장 본질적인 해결책은 학술저널, 연구비 지원기관, 연구기관 등이 함께 협력하여 연구자들의 출판 부담을 덜어주고, 과학연구의 신뢰성 및 실험 재현 가능성에 대한 공정한 표준과 원칙을 마련하고, 이를 실천해 갈 수 있도록 지원하는 것입니다.

코멘트는 닫힙니다.