H- 지수 (H- index)의 개발자마저 인정할 수 밖에 없었던 H- 지수의 한계점

H- 지수 (H-index)는 연구자의 생산성과 영향력을 측정하기 위해 학계에서 가장 널리 사용되는 지표 중 하나입니다. 그러나 2005년, 호르헤 허쉬 (Jorge Hirsch)가 처음으로 과학적 성취도의 객관적인 지표로써 H- 지수을 제안했을 때, 그는 이 지표가 이론 물리학 외부에서까지 널리 사용될 것이라고 예상하지 못했습니다. 샌디에고 캘리포니아 대학 (University of Califonia)의 물리학자인 허쉬 (Hirsch)는 “H- 지수에 대해 논문 출간을 할 것인지 하지 않을 것인지는 아직 확실하지 않다.” 라고 말하여 “나는 H- 지수가 그렇게 큰 파장을 일으킬 것이라고 생각하지 않는다.” 라고 덧붙였습니다. 그러나 H- 지수는 학계에서 연구자가 발표한 논문의 수와 논문의 피인용수를 모두 고려하는 지표입니다. 또한 현재는 구직자와 보조금 신청자들까지도 평가하는 데에 널리 사용되는 도구가 되었습니다. 또한 널리 사용되는 그 쓰임새와는 별개로 H- 지수는 허쉬가 물리 및 사회저널 (Physics and Society)에서 언급했듯이 과학자들이 치열하게 논쟁하는 주제 중 하나가 되었습니다. 이번 글에서는 H- 지수에 대해 논의해 보도록 하겠습니다.

앞서 설명한 H- 지수를 처음 제안한 허쉬는 “과학계의 절반정도가 H-지수를 좋아하고 나머지 절반은 이를 싫어한다” 라고 H- 지수를 표현했습니다. 과학계 내에서 H- 지수는 연구자가 선두 그룹에 속하는지 혹은 후발 그룹에 속하는 지에 대한 좋은 평가 기준이 됩니다. 허쉬는 H- 지수가 여전히 과학적 성취를 평가하기 위한가장 객관적인 척도 중 하나라고 믿고 있지만 그는 또한 “H- 지수는 막대하게 실패할 수 있으며 또한 의도치 않은 심각한 부정적 결과를 초래하는 원인이 될 수 도 있다.” 라고 설명하기도 했습니다. H- 지수의 단점 중 하나는 연구자의 혁신적인 사고를 억압할 수 있다는 것입니다. 예로 들어, 높은 H- 지수를 가진 교수 아래에서 일하는 학생의 경우, 교수의 높은 H- 지수를 바탕으로 교수가 그 분야 내의 가장 권위자라고 생각하기 때문에 배우는 지식에 대해 의문을 갖지 않고 그대로 수용하는 문제가 발생할 수 있습니다.

그 밖에도 높은 H- 지수에 대한 열망으로 연구자들이 본인의 점수를 높이기 위해 연구주제를 정할 때에 H- 지수가 높은, 즉 인기있는 연구주제를 선택하도록 하여 연구주제의 편중을 낳을 수 있는 문제가 있습니다. 허쉬는 “과학은 대중적이고 유행하는 것에 대해 너무 민감한 경향이 있습니다.” 라도 말하며 더 많이 인용된 논문일수록 논문의 타당성에 대해 의문을 제기하기 어려운 상황이 일어날 수 있다고 지적했습니다.

분야에 따라 달라지는 H- 지수

  2,307 명의 피인용수가 많은 연구자에 대한 2012년도의 분석에 따르면 H- 지수는 분야에 따라 매우 다양한 것으로 나타났습니다. 이 분석에 의하면 임상 의학 및 화학 연구자들에게서 평균 H- 지수가 가장 높았고, 수학자 및 컴퓨터 과학자들은 가장 낮은 H- 지수를 받은 것을 볼 수 있습니다.

허쉬는 H- 지수 측정법이 주류에서 벗어난 연구, 즉 초전도성에 대한 자신의 연구에서 관찰 한 것에서 벗어나지 않는다고 지적합니다. 허쉬는 “일반적으로 어려운 분야 혹은 받아들여지지 않는 주제에 대한 논문을 쓰면 사람들이 그 연구를 잘 보지 않고, 연구자들이 그러한 사람들에게 연구 주제를 고려하게 하는 것은 힘든 일입니다.” 라고 말하며 “사람들이 연구를 받아들인다는 것이 항상 옳은 것은 아닙니다.” 라고 덧붙였습니다. 홀 초전도성 이론 (theory of hole superconductivity )에 대한 허쉬의 연구는 30 년에 걸쳐 진행되었으며 이 기간은 그의 발표된 전체 논문 작업 중 약 절반을 차지합니다. 그러나 위의 논문들은 그의 총 인용수에 대해 10 % 미만의 인용수를 차지 하였으며 H- 지수에 기여하는 인용수에서는 약 절반 미만의 비율을 차지하였습니다. 이에 대해 허쉬 (Hirsch)는 홀 초전도성 이론에 대한 그의 논문이 “나의 피인용 연구들 중 다른 연구들보다 훨씬 더 중요하다” 고 썼지만, 위의 결과만을 본다면 H- 지수만으로 그 중요성을 평가할 수는 없다는 문제가 발생합니다. 허쉬는 “만일 우리가 피인용수 과 H 표시를 믿는다면, 초전도성에 대한 나의 업적은 하나도 중요하지 않은 것이 된다” 고 말했습니다. 그 부분에 대해서 허쉬는 “이러한 경우에 따르면 나의 H- 지수는 실패한 지표로 작용하는 것에 대해 후회되는 점들이 생깁니다.” 라고 말했습니다. 그러므로 H- 지수에 대해서 허쉬는 징계, 저자 직책 및 연구원과 함께 일하는 동료 수와 같은 측면에 대한 평가를 포함하여 채용위원회 및 자금 지원 기관이 후보자의 경력 등의 다른 측면 또한 고려해야 한다는 점을 촉구합니다. 허쉬는 “작업의 본질을 살펴 봐야합니다. 다른 연구자의 H- 지수만으로 그의 연구성과나 연구의 의미에 대해 결정을 한다면 잘못된 사람을 고용하게 될 수 있고 더 나아가 중요한 일을 할 가능성이 높은 인재에게 보조금을 주지 않게 되는 사건이 발생할 수 도 있습니다. 그러므로 H- 지수는 조심스럽게 사용해야하는 지표입니다.” 라고 허쉬는 말하며 H- 지수의 개발자임에도 불구하고 H- 지수의 한계점에 대해 인정하고 꾸준히 문제점을 제기하는 모습을 보였습니다.

H- 지수로 평가할 수 없는 5가지 요소

1. 경력의 정도 및 기간은 평가될 수 없습니다.

크게 호평 받은 논문이 몇 권 있는 신입 조교수인 연구원 A와 중간 정도의 인용수준을 받으며 몇 년 동안 연구한 연구원 B 두 명의 H- 지수는 어떻게 차이가 생길까요? 두 연구원은 동일한 H- 지수를 가질 수 있지만 둘의 인용 레코드에 대해서는 큰 차이가 생길 수 있습니다. 크게 호평 받은 논문이 있더라도 H- 지수는 총 출판물의 수에 많이 제한되는 점이 있습니다. 그렇기에 연구원 A는 훌륭한 논문으로 인해 많이 인용되었더라도 H- 지수는 4로 제한됩니다.

2. 당신이 논문에서 첫번째 저자인지 혹은 열 네번째 저자인지에 대한 여부는 판단될 수 없습니다.

H- 지수는 당신의 이름이 논문에 있는지 아닌지에 대해서만 고려합니다. 즉, 지수에서는 저자들의 논문에 대한 기여도는 고려되지 못합니다. 이러한 점은 공동 연구자로서 많은 출판물에 이름이 실린 유명인사에게만 유리하고 작용할 수 있습니다.

3. 인용이 긍정적 참조인지 부정적 참조인지에 대한 여부는 평가될 수 없습니다.

논란의 여지가 있거나 그 이후 반증되지 않았기 때문에 논문이 많이 인용된 경우, 부정적 참조임에도 불구하고 H- 지수의 평가에서는 이를 반영할 수 없습니다.

4. 출판 저널의 영향 계수 (impact factor)는 고려되지 않습니다.

H- 지수는 영향 계수 (impact factor)를 고려하지 않고 논문이 단순히 피인용된 횟수만을 고려합니다. 또한 영향 계수 (impact factor)의 경우 모든 저널 기사의 평균으로 계산되므로 단일 논문의 영향에 대해서는 평가할 수 없습니다.

5. 과학적 영향을 미치는 지에 대한 여부는 평가되지 않습니다.

H- 지수에서 과학 저널에 게재된 출판물 외에 어떠한 “과학적 영향”이 있는지에 대해서는 고려되지 않습니다. 과학을 대중에게 알리는 일을 진행하며, 과학 봉사활동에 참여하고 있는지 또는 차세대 위대한 과학자들을 훈련시키는 멘토로 일하고 있는지에 대해 H- 지수는 평가하지 않습니다.

위의 H- 지수로 평가할 수 없는 5가지 요소에서도 볼 수 있듯이 허쉬가 과학적 산출물의 양과 질을 측정하기 위한 의도로 H- 지수를 설계했을 수도 있지만, 이에는 몇 가지 주요한 결함이 있음은 분명합니다. H- 지수가 평가 척도로써 많은 작용을 하는 것은 틀림없지만 우리는 H- 지수만으로 연구를 평가하지 않아야 할 것입니다. 또한 H- 지수가 평가하지 못하는 요소들에 대해 이해하며 그러한 부분에 대해서도 깊게 생각하는 자세를 가져야 합니다. H- 지수로 연구를 평가받을 때에 긍정적 혹은 부정적으로 영향을 받은 일이 있으신가요? H- 지수의 평가 척도로 인해 문제가 발생한 경험이 있으신가요? 당신이 연구들을 평가할 때에 H- 지수는 어느 정도의 영향을 미치나요? 위의 질문엔 대한 생각이나 혹은 또 다른 논의 주제가 있으시다면 아래의 댓글을 통해 남겨주세요.