학술연구의 메타분석 ( Meta-Analysis): 더 큰 그림 그리기

학술연구에 있어 재현성 위기는 과학계에서 더는 새로운 문제가 아닙니다. 이문제를 검증하기 위해서, 암 연구자들은 명성 있는 저널에 게재된 연구 논문을 재현하기 위해 시도하였지만, 이 검증 연구 논문 중 단지 3분의 2만을 재현할 수 있었으며, 결국 특정 이론과 상충하는 가설과 논쟁만을 끌어냈습니다.. 만약 여러분의 연구 분야에 있어 관련된 문헌들이 서로 상충하는 결과를 주장한다면 어떻게 연구를 진행해야 할까요?

이런 문제가 발생하였을 때 짚고 넘어갈 수 있는 한 가지 방법은 메타 분석 (meta-analysis)를 통하는 것입니다. 이 통계학적 분석이 데이터로부터 가용한 결과를 끌어내고, 아직 해답을 구하지 못한 물음에 답을 해줄 것이며, 특정한 연구 문제에 대한 논쟁을 해결하는 데 도움을 줄 수 있습니다.

메타분석이란 무엇인가?

메타분석이란 단어는1976년 University of Colorado의 통계학자 Gene Glass에 의해 처음으로 조어되었는데, 그에 따르면 메타분석이란 “결과들을 통합하려는 목적을 위해 개별 연구를 많이 수집하고, 그 수집된 연구 자료에 대하여 통계학적으로 분석한 것”이라고 정의되었습니다.

다시 말해 메타분석은 특정 연구 문제에 관련된 모든 개별 데이터를 한곳에 모으고, 커다란 하나의 연구안으로 개별의 연구 결과물들을 효과적으로 합친 후, 그것을 통계학적으로 분석하는 방법입니다. 이것은 샘플 크기를 늘리며, 더 많은 변수를 참작하여 데이터를 더욱 정밀하게 분석하는 것입니다.

메타분석의 중요성

연구과제와 관련된 문헌들이 서로 상충한다면 단일한 결론을 끌어내기는 쉽지 않을 것입니다. 하지만 연구자로서 여러분은 연구 결과들이 어째서 서로 다른지 이해하기 위해서 모든 가능한 문헌들을 비교할 필요가 있습니다. 메타분석은 실험실 내에서나 현장에서 실험 반복 횟수나 재원의 소모 없이 서로 상충하는 결과를 보이는 연구에 대한 논쟁을 끝낼 수 있습니다. 예를 들자면, 임상시험를 위한 최상의 치료요법에 대한 결정이 필요할 때, 어떤 치료방법이 가장 효과가 있었는지를 메타분석을 통해 모든 연구 결과들을 분석함으로써 결정할 수 있게 해 줄 수 있습니다. 따라서 메타분석은 어떠한 연구이든지 간에 굉장히 중요한 가치가 있으며, 연구자들이 자주 인용할 수 있습니다.

메타분석이 항상 논쟁을 해결합니까?

적합하게 실행된 메타분석은 모든 사실을 고려하여 모든 변수를 반영해 검토합니다. 또한 메타분석은 모든 관련된 연구들을 고려하여 분석하기 때문에 메타분석의 결론을 믿을 수 있습니다. 그러나 이것이 듣는 것처럼 간단하지는 않습니다. 메타분석에 포함하기 위한 연구물을 선택하기 위해서는 다음과 같은 질문에 대한 답이 필요합니다.

  • 그 연구의 결과는 유효한가?
  • 다양한 연구들 사이의 변수가 서로 비교 가능한가? 이 변수들이란 일반적으로 연구에 참여한 사람, 인위적 개입과 그 결과, 임상적 다양성과 연구 설계에 있어서 차이점 등을 의미합니다.
  • 데이터 중 일부가 결과에 심각한 영향을 주는가?

예를 들면 메타분석은 폭력 비디오 게임이 젊은이들에게 공격성과 폭력성의 증가를 일으키는 지 여부에 대한 계속되는 논쟁을 해결할 수 없었습니다. 논쟁의 양쪽 관점에 대한 연구는 반대의 결말로 매듭지어졌습니다. 이 경우 메타분석은 논쟁을 줄이지 못하고 오히려 늘렸습니다. 

“많은 연구 자유도” 줄이기

만약 두 명의 (또는 그 이상) 연구자들이 같은 메타분석을 수행한다면, 같은 데이터로부터 분석되어 나온 결론은 같아야 할 것입니다. 따라서 최상의 메타분석을 위한 접근법은 어떤 연구 결과물을 분석 안에 포함할지 결정하기 전에 연구 기준을 결정하는 것입니다.

실패한 연구 결과들을 메타분석에 포함하는 것도 중요합니다. 만약 메타분석에서 어느 특정한 연구 결과를 제외한다면, 이것이 그 결과를 왜곡하는 결과를 가져올 수도 있습니다. 하지만 부정적인 결과를 저널에 출판하는 것은 긍정적 결과를 보기 어렵기 때문에, 메타분석에 부정적 연구결과물을 포함하는 것이 결코 쉬운 일이 아닙니다. 또한 일부 학회 발표문집이나 대학원 박사 논문 그리고 임상 시험 등재들은 출판되지 않은 데이터를 포함하기 때문에, 이러한 결과물을 모두 고려하여 분석하는 메타분석은, 규모가 작은 연구에서는 결코 결정될 수 없는 더 큰 그림을 보여줄 수 있습니다.

여러분은 메타분석이 유용한 연구 수단이라고 생각하십니까? 메타분석을 이용하여 얻은 발견을 증명하기 위해 실제적인 테스트가 필요하다고 생각하십니까?

메타분석 연구가들은 동료 과학자들에게 많은 것들에 대해 생각하게 해 주지만, 그들이 전하고자 하는 메시지는 간단합니다. 즉, 하는 것들에 대해 더 잘 이해한다면, 더 잘할 수 있을 것입니다.

Leave a Reply

avatar
  Subscribe  
Notify of