잘못 설계된 연구투자를 위한 해결조치 방안 ‘등록 저널’

사회 및 생물 의학 분야에 걸쳐 과학적 결과의 신뢰성을 높이기 위해 연구 수행, 평가, 보고 및 인센티브  방법을 변경해야 한다는 절실한 인식이 있다.  4 년 전, 100건의 연구 결과를 재현하려고 시도한 결과 오직 3분의 1만이 재현성 가능한 연구임이 밝혀졌을 때 심리학계는 흔들리기도 했다. 하지만, 이러한 일은 심리학에서만 있는 것은 아니다. 저널의 유명한 정도와 상관없이 전임상 암 연구, 행동 사회 과학 및 실험 경제학 등 보통 사람들의 삶에 영향을 미치는 과학 연구 결과가 실제론 재현 가능하지 않은, 믿을 수 없는 결과인 경우는 슬프지만 흔한 현실이다. 그 때문에 논문 저널에서 검토되는 출판 방법이 바로 등록저널 Registered Report이다.

Registered Report가 생길 수 밖에 없는 편향

Registered Report 혹은, 등록 저널을 이해하기 위해서는 재현성이 떨어지는 연구 결과가 왜 이렇게까지 많이 발표되는 것인가? 부터 알아야 한다.. 이 현상에 대해서 논문 저자들만 책임이 있다고는 보기 어렵다. 왜냐하면 이에 대한 한 가지 이유로 바로 출판 편향이 있기 때문이다. 저널 편집자, 리뷰어와 저자는 부정적인 결과보다 긍정적이고 때로는 눈길을 확실하게 끄는 결과를 선호 할 수 있다. 그러나 부정적인 결과 혹은 무의미해 보이거나 영향력이 적은 결과는 출판을 통해 연구 커뮤니티에 도달하지 않으면 연구 자금과 연구자의 시간을 낭비하고 임상 연구의 경우 무익한 환자 참여로 이어질 수 있다. 이런 결과는 (Harking)으로 이어질 수 있는데 바로 결과가 알려진 후 가설을 세우는 행동을 일컫는다..  이 상황에서 연구원들은 이미 가지고 있는 데이터를 바탕으로 가설을 세우며, 또한 재현성 위기와 논문의 질에 관한 이야기에 빠지지 않는 p- 해킹을 하기도 한다. 이러한 비양심적인 데이터 수집과 잘못된 데이터 관리는 오히려 유의미한 과학결과를 불분명하게 하고, 더 이상 구분이 불가능하도록 만든다. 조사에 따르면, 일부 연구가 발표되지 않았거나 불필요하거나 잘못 설계되어 생물 의학에 대한 연구 투자의 85%가 낭비되고 있다고 한다. 이에 영향을 받을 수 있는 각종 분야의 연구원과 연구자금 지원자 혹은 기관들은 이러한 문제를 해결하기 위해 조치를 취해 왔다. 출판 편향을 막는 일이 시급한 것이었다. 그 방법으로 바로 등록 저널이 등장한 것이다.

등록저널 = 연구 제안서

등록 저널은 원래 registered report로서, 엘스비어에서도 한국어로 번역하지 않고 있으나, 출판 전 실험 프로토콜 등 전 과정을 상세히 등록하는 형식이다. 혁신적인 점은 리뷰 및 논문 출판의 결정이 데이터 수집 및 분석 단계 전에 있다는 것이다.  예컨대 등록 저널을 출판하고자 하는 연구원은 저널에 발표할 연구 프로젝트를 위한 기본 계획인 프로토콜 (protocol)을 제출한다. 여기에는 연구 설계에 대한 질문과 방법론, 상세한 분석 계획과 함께 질문할 연구 문제를 포함한다. 이를 저널의 편집자가 보고 연구 결과의 중요성이 아닌, 연구 질문의 중요성과 저널의 방향성에 따라 이 연구가 리뷰의 가치가 있는지를 판단하게 된다. 실험 방법은 바꿀 수 없으며, 실험 방법을 바꾸려면 복잡한 절차를 통해 이를 설명해야 한다. 연구 제안서를 직접적으로 저널에 내는 것과 흡사 하다. 진행할 실험에 대하여 온전하고 완전한 계획을 수립하였는지를 검토할 기회를 제공하는 것이다. 등록 저널은 실험의 재현성을 향상한다. 이의 저자는 제안한 분석 방법도 완전하게 설명하고 모든 전처리 단계 또한 설명해야 한다. 다중 비교를 할 경우 이때 필요한 매개변수 수정 사항도 설명해야 한다. 방법이 변경되면 최종 논문을 거절할 수 있음으로, 다른 방법으로 실험을 해야 할 경우 사전 승인된 분석과는 별도의 섹션에 제시되어야 한다. 분석법을 변경해야 할 경우 저널 편집자에게 문의해야 한다. 변경이 사소한 경우 승인될 수 있으나 변경이 중요한 경우에는 논문을 철회해야 한다. 과학자들은 1단계 동료 검토를 위해 업데이트된 제안서를 새로운 등록 보고서로 제출해야 한다. 결과가 알려지기 전에 게시하려는 이러한 행동은 저자와 편집자의 편향 가능성을 줄인다. 또한 데이터 수집이 시작되기 전에 연구원이 건설적인 리뷰어의 의견을 받는다면 연구의 질이 향상된다. 가장 중요하게도, 연구 설계의 잠재적인 문제가 있다면 너무 늦기 전에 파악하여 해결할 수 있는 것이 있다는 점은 혁신적이다.

200여개의 등록 논문 저널들

이미 여러 분야에 걸쳐 약 200개의 저널이 등록 보고서를 수용하고 있다. 그러나 이러한 출판 형식은 명확하게 정의된 가설이나 분석 계획이 없는 연구에는 적합하지 않다. 즉, 연구 디자인에 중점을 두어야 할 분야와 생명 과학 분야의 더 많은 저널로부터의 지원이 이러한 경향을 더욱 가속시키는 것을 도울 수 있다.
등록 보고서는 얼마 동안 사회 과학에서도 사용되었다. BMC Medicine은 이 형식을 채택한 최초의 의학 저널이다. 이 보고서는 투명성을 장려하고 저자에게 계획된 실험에 대한 조기 피드백을 제공한다. 등록 보고서는 임상 시험에서 숨겨진 결과 전환을 방지하는 데 도움이 된다. 모든 임상 시험에는 측정 가능한 결과가 있다. 약물 복용 후 혈압 수치일 수 있다. 약물이 혈압에 영향을 미치지 않지만, 콜레스테롤을 낮추는 것을 발견하면 임상 시험을 성공적으로 보이기 위해 결과를 바꿀 수 있다. 등록 보고서를 사용하면 제안서 1단계 검토를 거친 후에 결과를 변경할 수 없다. 임상 시험의 결과는 의학에 매우 중요하다. 이 등록 보고서는 처음부터 작성자가 무엇을 할지, 어떻게 할지에 대해 설명함으로써 과학연구와 논문의 투명성을 장려한다. 이는 임상 시험의 66%가 결과를 보고하지 않는 의학 연구에서 매우 필요하다. 방법에 필요한 세부 수준은 실험을 재현 할 수 있어야 함을 의미한다. 치료와 기술을 기반으로 신뢰할 수 있고 반복 가능한 결과가 필요한 현대사회에서, 이것은 과학 연구에서 재현성 위기를 극복하는 데에 도움이 될 것이다.

등록 저널을 지원하는 또 하나의 저널인 Nature Human Behavior에서 출판한 한 등록 저널은 자신의 능력을 정확하게 판단하는 사람들이 더 큰 삶, 경력 및 관계 만족도를 가지고 있는지에 대한 오랜 의문을 다루고 있다. 여기서 저자들은 이전에 문헌에 나온 5 가지 가설 중 어느 것도 지지되지 않는다고 확신을 가지고 결론을 내렸다. 한 가지 해결책이 제시 되지 않은 null 결과 값을 보여주는 결과였으나, 해당 학계에서 긍정적인 진전을 보여주고 있는 결과로 소개되었다. 눈길을 사로잡는 결과가 아닐지라도, 학계에 필요한 주제이면서 확실한 방법론으로 출판에 성공했다.

연구에서 프로세스는 최종 결과만큼 중요하다. 그렇기 때문에 더 많은 저널이 등록 저널을 고려해야 하고, 더 많은 자금이 수혜자에게 학문 전반에 걸쳐 장학금의 무결성을 유지하는 데 도움이 되는 형식으로 지급되거나 흘러야 할 것이다.