10

연구 전현성(preproducibility)이라고 들어보셨나요?

전현성(Preproducibility)이 재현성을 보장한다

재현성에 대해서는 들어 보았어도, 전현성(preproducibility)는 처음 듣는다. 이는 캘리포니아 대학 통계학과 교수인 스타크 (Philip B. Stark)교수가 네이처에 기고한 글에서 제안한 개념으로, 재현가능한 연구를 보장할 수 있는 한 방법이라 설명한다. 여기서 스타크 교수는 논문에서 실험 방법과 분석 방법에 관한 충분한 기본 정보가 부족한 원고를 평가하는 것이 어렵다고 말했다. 전현성(preproducibility)은 “레시피”와 같이 누구나 따라 할 수 있고, 충분한 기본 자료가 있어 재현 가능하도록 하는 것으로서, 목록과 다르게 상세히 어떻게 실험이 진행되는지 “보여줄 수 있는” 것이라고 정의한다.

만약 전현성을 보여주는 자세하고 상세한 기본 실험과 분석 정보가 빠져 있다면, 연구는 ‘보여주는 것’이 아닌 ‘믿어야 하는 결과’로 변한다. 이러한 논문은 재현성이 떨어진다. 같은 시스템 안에서, 같은 조건에서, 특정 프로그램을 사용하여 결과가 나오는 실험에서, 정확한 정보가 부재하기 때문이다. 재현 불가능한 연구는 학계에 치명적인 손실을 준다. 의학과 연계되는 생명 분야 연구의 경우, 재현 불가능한 연구는 치료를 지연시키고 환자와 과학자의 시간을 낭비하며 수십억 달러의 연구비를 낭비한다. 안타깝게도, 이러한 재현 불가능한 연구는 널리 퍼져있다. 미국 세포 생물 학회 (American Society for Cell Biology)가 발표하지 않은 2015년 조사에 따르면, 조사 응답자의 2/3 이상이 적어도 한 번은 발표된 논문의 실험 결과를 재현할 수 없었다고 답했다. 제약 회사에 근무하는 생의학 연구자의 경우, 꽤 신뢰도 있는 학회지에서 조차 약 1/4 혹은 그 이하의 논문 결과만이 재현 가능하다고 응답하기도 했다.

연구 중 많은 압박이 재현 불가능한 연구를 낳는다

재현가능하고, 재현가능하도록 충분한 정보를 제공한 전현성이 있는 논문을 작성하는 것은 매우 중요하다. 연구자들 또한 장기적인 가치가 있는 과학적 연구 작품을 만들고 싶어하지만, 안타깝게도 여러 가지 압박감과 편견은 훌륭한 과학적 관행을 방해한다.

학계에 종사하는 과학자들은 아주 실존적인 유혹에 직면해 있다. 금전적 보상은 과학자들의 경력에 직접적으로 영향을 미치는 논문 혹은 연구라는 보상보다 덜 중요하다. 과학자들에게 있어 더 높은, 더 잘 알려진 학술지에 실리는 논문은 펀딩 기회, 더 많은 논문 기재 기회, 수상이나 기타 과학자로서 인정을 받을 수 있는 기회를 제공한다. 이러한 현실에서, 연구자들은 과학적 성취를 널리 알리는데 연구 내용보다는 연구에 대한 평가에 더 의존하게 되고, 눈에 더 띄고 빠르며 화려한 연구를 진행하는데 중심을 두게 된다.

더불어 이러한 압력을 증폭시키는 것은 본인 스스로의 아이디어에 찬성하고 동의하고 싶어하는 인간 자체에 기인한 편견이다. 인간은 스스로의 선입견을 따르지 않는 결과를 무시하거나, 스스로에게 맞춰 사실을 재구성하려는 큰 유혹을 항상 받는다. 특정 데이터를 삭제하거나 조작하는 것도, 논문 내용 및 연구자 스스로의 아이디어를 정당화 하기 위함이다. 반복실험, 검증된 시약의 사용, 적절한 대조군 설정 등과 같은 좋은 연구 방법은 사치스럽거나 다소 불편한 것으로 치부되며 버려지기도 한다.

텍사스 주 휴스턴에 있는 MD 앤더슨 암 센터 (MD Anderson Cancer Center)의 약 140명의 연수생을 대상으로 실시한 익명의 조사에 따르면 실험 결과가 그것을 지지하지 않아도 연구 책임자의 가설을 증명해야 하는 압력을 받았다는 응답자가 거의 1/3에 달했으며 약 ​​1/5가 자신들이 발표한 연구 결과가 재현가능 할 것 같지 않다고 답변했다. 응답자의 절반 정도가 실험실 내에서 연구 및 공부를 마치기 위해 영향력 있는 학술지에 실릴 논문을 발표해야 한다는 압박을 받고 있기도 했다.

GIP(Good Institutional Practice)가 답이다

완전히 비윤리적인 연구에 대한 학계의 대책이 일부 있긴 하지만, 비윤리적이고 재현 불가능한 연구 결과를 방지하거나 객관적인 연구 결과를 육성하기 위한 강력하고 투명한 프로세스가 있는 기관은 거의 없다. 이에 C. Glenn Begley, Alastair M. Buchan 그리고 Ulrich Dirnagl는 이들이 기고한 네이처의 글에서 공공 기금을 받는 연구기관이 연구의 무결성과 재현성을 보장하기 위해 가축 사육, 생물 안전 및 임상 작업에 일상적으로 적용되는 것과 동일한 종류의 감독과 지원을 적용해야 한다고 제안했다.

동물 연구를 수행하기 위해 조사관은 면허를 소지하고 계속 교육을 받아야 한다. 금융 기관은 대표자를 지정하여 규정 준수 여부를 모니터링하고, 해당 대리인은 규제 기관의 책임하에 관리한다. 방사능 및 인간 배아 줄기세포 작업에도 이와 유사한 감독이 사용된다. 이러한 기능은 ARRIVE (동물 실험: 생체 내 실험보고) 및 MIAME (마이크로 어레이 실험에 대한 최소 정보) 지침과 NIH 및 National에서 요구하는 데이터 공유와 같은 연구 수행을 위한 확립 된 지침을 포함하도록 확대될 수 있다. 이처럼 과학계에서도 독성평가나 화학 물질을 시험하기 위한 표준 실험 실무 체계가 이미 있다. 이러한 시스템은 일정 정도 이상의 일관성, 품질 및 무결성을 보장하기 위해 도입되었다. 또한, 법규를 준수하도록 권장하기 위한 절차도 상세히 마련되어 있다. 학계는 연구자들이 연구할 때에도 이러한 시스템을 구축하고 실천해야 한다. 바로 GIP(Good Institutional Practice)이다.

GIP에는 다음과 같은 규칙이 확립되고 시행되어야 한다.

  • 보고 시스템: 연구자가 우려를 제기하거나 실수가 있었다면 이를 인정할 수 있는 통로이다. 연구자들이나 대학원생, 박사후 과정에 있는 이들이 자신의 커리어를 위험에 빠뜨리지 않고, 좋지 않은 연구에 대한 우려를 표명할 수도 있다.
  • 트레이닝과 표준절차: 대학교수나 연구 책임자들은 연구원이 연구 방법과 과정을 이해하고 있는지에 대해서 결정하고 평가한다. 의무 교육을 통해 엄격한 실험 설계, 연구 표준 및 데이터의 객관적인 평가에 대한 공통된 이해를 보장한다. 체리 픽킹과 같은 문제가 생기지 않도록 데이터 공유를 비롯해, 연구 표준절차를 설립하고 이를 지원, 감사 및 인정하도록 한다.
  • 기록 및 품질 관리: 실험 노트 및 기타 분석기기 기록 등에 독립적인 검토가 가능해야 한다. 무작위로 감사를 실시하여 실험 데이터가 정당하게 기록되고 얻어지고 있는지를 검사한다.
  • 적절한 인센티브와 평가 시스템: 좋은 연구에 대한 근거가 부족하거나, 좋은 연구를 뒷받침 할 수 있는 기록 등이 빈약한 교수진, 실험실 혹은 연구자들은 금전적이든, 잠재적인 것이든 어떠한 처벌을 받아야 한다. 이와 같이 연구 기록을 충분히 하며, 신중하게 실험하고 공정하게 데이터를 얻는 연구자 및 이들을 지도하는 교수진들은 보상을 받아야 한다. 또 보상의 경우 단순한 기록뿐 아니라 진실된 멘토링이 수반되도록 멘토링에 대한 평가도 이루어져야 한다.
  • 시행: GIP를 보장하기 위한 여러 규칙을 정한 뒤, 연구 기관이나 대학은 이를 일상적이고 투명한 방식으로 시행 사항을 기록하여야 한다. 이를 시행하는 센터를 만들고, 이 부서에는 자금, 직원 배치, 조사, 처벌 등의 충분한 권한을 주어야 한다.
  • 17세기 후반, 보일의 철학이 주는 교훈
  • 과학적 결과를 전달하기 위해서는 누락될 수 없는 것들을 열거하고 기록하고 보고해야 한다. 이는 신중한 실험을 통해 지식을 구축하는 방법으로서의 과학이라는 생각으로 거슬러 올라간다. 화학자인 로버트 보일 (Robert Boyle)은 17세기 후반의 계몽주의 시대를 계기로 자신의 논란이 되는 공허한 생각을 밝히고 자기 일에 대한 묘사를 제공함으로써 자신에게 “내가 그들에게 말한 사람이 실수 없이, 그리고 거의 문제없이 가능한 한 이러한 비정상적인 실험을 반복할 수 있어야 합니다.”라고 말하기도 했다. 재현성 위기가 끝없이 언급되고, 전현성이 보장되지 않는 논문들이 쏟아지는 현실에서, 보일의 말이 주는 교훈을 모든 과학자들이 곱씹어 봐야 할 것이다.

Leave a Reply

avatar
  Subscribe  
Notify of
X

회원가입 후 더보기

무료로 보실 수 있는 기사 횟수에 제한이 있습니다. 구독하시면 논문작성
및 저널 출판에 관한 다양한 자료를 횟수제한 없이 이용하실수 있습니다.

  • 500개 이상의 출판뉴스
  • 50개 이상 웹세미나
  • 10개 이상 전문가 진행 팟캐스트
  • 10개 이상 이북
  • 10개 이상 체크리스트
  • 50개 이상 인포그래픽