임상시험 데이터 조작 실태

호기심으로 조작된 데이터를 밝히다

저명한 저널에 소개된 임상 논문이 만약 조작된 것이라면 믿을 수 있을까? 각 사람의 정보가 각각 들어간 임상 논문도, 데이터 조작을 피할 수는 없었다. 신기한 것은 이를 밝혀내고 수많은 논문을 철회했던 간단한 방법이다.

존 칼라일(John Carlisle)은 아주 간단한 통계적 시험을 통해 임상시험 데이터 조작을 찾아낸 마취과 의사이다. 지금도 아침 4시 30분에 일어나 한시간 반 동안 발표된 임상시험 논문의 데이터를 시험해 보기 위해 정리하고, 마취과 의사로 일하면서도 틈틈이 시간이 날 때 마다 임상시험 논문 데이터를 검사하고 있다.

칼라일이 데이터를 처음부터 검사하기 시작한 것은 지금으로부터 10년 전 일본 연구원인 후지이 요시타가(Yoshitaka Fujii)가 발표한 결과에 의심을 가진 후다. 데이터는 너무나도 깨끗해 보였던 무작위 실험결과를 가지고 그는 직접 통계 수치를 통해 확인해 보고자 했다. 간단한 P 테스트로 알아본 결과 무작위 통제 임상 연구의 우연한 데이터 패턴 가능성이 ‘극도로 작음’을 발견했다. 이에 후지이가 실은 저널의 편집자는 후지이가 일하고 있던 대학과 이전 대학에 조사를 요청했다. 다음 2012년 후지히는 일하고 있던 토호 대학교에서 해고당했으며 그의 논문 중 183편이 철회되기에 이르렀다.

바뀐 세계보건기구의 권고사항

칼라일의 호기심은 멈추지 않았다. 4년 후 칼라일은 다른 일본 마취과 의사인 후지이 (Fujii ‘s)와 종종 공동 저자로 연구 결과를 발표했었던 사이토(Yuhji Saitoh)의 연구 결과 데이터가 의심스러웠다. 그는 같은 방법으로 데이터에 문제가 있음을 입증했고, 사이토의 논문 53여 개가 철회되었다.

2017 년에 그는 마취과 저널에 16년 동안 발표된 5,000건이 넘는 시험 중 90건에서 의심스러운 데이터를 찾았다고 발표했다. 이와 더불어 이탈리아 외과 의사 마리오 쉬에트로마 (Mario Schietroma)가 발표한 임상 실습 결과가 신뢰할 만한 결과가 아니라고 주장했다. 칼라일의 이 주장은 WHO의 권고사항을 조정하는데 영향을 끼치기도 했다.

어떻게 조작된 데이터를 알아낼까?

그렇다면 세계 보건기구의 권고사항까지 바꿀 수 있었던 칼라일의 방법은 무엇일까? 바로 임상시험 참가자의 신장, 성별, 체중 및 혈압과 같은 기준 데이터를 임의의 모집단 표본과 알려진 분포와 비교하는 것이다.

다행히도 기 출판된 데이터를 다시 확인하기 위해 칼라일의 방법이 유일한 방법은 아니다. 네덜란드 틸버그 대학교(Tilburg University)에서 분석 방법을 연구하는 미셸 뉫젠(Michele Nuijten)은 자신이 기술한 통계가 내부적으로 일관성이 있는지 확인하기 위해 저널 기사를 스캔 할 수 있는 “통계 철자 검사기”(Statcheck) 이라고 하는 방법을 개발했다. “통계 철자 검사기”는 예컨대 결과 부문에 보고된 데이터가 계산된 P값과 일치하는지 확인한다. 수십 년 전의 저널에서 오류(일반적으로 숫자 오타)를 표시하는 데 사용되었다고 한다.

이 외에 네덜란드의 그로닝겐 대학교(University of Groningen)에서 심리학을 전공한 닉 브라운(Nick Brown)과 매사추세츠 주 보스턴에 있는 노스이스턴 대학교(Northeastern University)에서 과학적 방법을 연구하는 제임스 헤더(James Heathers)는 통계 계산을 재확인하기 위해 GRIM이라는 프로그램을 사용했다. 의심스러운 데이터에 주의 플래그를 놓는 다른 방법이다.

세계적인 트렌드인 데이터 신뢰성

위에서 언급한 도구들의 진정한 가치는 문제가 되는 데이터가 출판되기 전에 이를 심사하고 처음부터 문헌에 도달하기 전 사기 또는 실수를 방지하는 데 있을 것이다. 이러한 트렌드는 한국 연구계에도 많은 것을 시사한다. 논문 철회율이 아주 높은 한국에서 데이터 조작 및 사기 행각 그리고 오해를 살 수 있는 작은 실수도 미리 잡아내야 할 것이다. 가장 먼저 간단한 칼라일 방법을 사용해 보는 것은 어떨까?