말할 것도 없이, SCI Impact Factor는 논문의 질을 평가하는 가장 편리한 잣대로 사용되고 있다. (한국에서 IF가 본격적으로 중요하게 여겨졌던 것은 아마도 BK21 사업 이후가 아닌가 하는 생각이 든다.)
그러나 이 SCI IF가 과연 논문의 가치를 제대로 평가하고 있는가에 대해서는 끊임없이 의문이 제기되어 왔다. 여기에는 여러 가지 이유들이 있지만, 이보다 더 나은 방법을 제시하고 널리 사용되도록 하는데 큰 어려움이 있는 것도 사실이다.
2009년의 SCI IF가 새로 발표가 되었다고 한다. 여기서 주목해볼만한 점은, 과학 분야에서 New England Journal of Medicine 다음으로 2위를 차지한 잡지가 Acta Crystallography – Section A 였다는 점이다. 이 잡지는 2008년에 비해 SCI IF가 무려 20배 이상 증가한 49.926을 기록했다. 이 것은 이 잡지에 2008년에 실린 “A Short History of SHELX“라는 논문 한 편이 무려 6600번 이상 인용되었기 때문이다. X선 결정 과정에서 SHELX (Bruker AXS의 SHELXTL 포함)을 사용한 경우에는 이 논문을 인용해 달라는 요청이 있었기 때문이라고 한다. 재미있는 사실은, 2009년에 이 논문과 같이 많이 인용되는 논문이 또 나타나지 않는 한, 다음해의 IF는 이전과 비슷한 2 정도에 머무를 것이라는 예상이 나오고 있다는 것이다.
하나의 튀는 데이터가 전체 데이터를 설명하는 평균값을 교란시키는 경우 의미있는 결과를 얻으려면 average가 아닌 median 값을 사용해야 하는 것은 기본적인 사실이다. Average를 사용하고 있는 SCI IF가 비판받고 있는 중요한 이유 중의 하나이다. 만약 IF 계산을 위해 median 값을 사용하고 있다면, 한 두 편의 논문이 한 저널의 IF를 20배 이상 차이나게 만드는 이런 일은 일어나지 않았을 것이다.
또 하나의 논란거리는 철회된 논문에 대한 것이다. 논문을 철회하더라도, 그 논문이 받은 인용 횟수를 원 데이터에서 빼지 않는다는 사실 때문인데, 한국인들에게는 너무나 잘 알려진 황우석 박사의 철회된 논문이 아직 Science지의 IF에 기여하고 있다는 주장도 찾아볼 수 있다.
Thomson Reuter가 SCI IF 계산을 위해 사용하고 있는 데이터 자체도 의심받고 있는 상황임을 감안해 보면 “잘못된 데이터를 사용해서 잘못된 방식으로 계산된 값”인 SCI IF가 널리 사용되고 있는 현실은 뭔가 아쉬움이 남는 상황임에 틀림없다. 이를 대치할만한 좋은 방법이 있는지도 문제이지만, 어떤 방법이 나왔을 때 그것이 과학계를 전반적으로 만족시킬 수 있을지, 그리고 그 여부를 어떻게 판단할 것인지 등의 문제 역시 간단한 것은 아니다.
어찌되었건, SCI IF가 어떤 이유로 어떤 비판을 받고 있는지를 잘 아는 것은, 그 숫자를 어떻게 보고 어떻게 사용해야 하는지에 대해 좀더 성찰을 하도록 도와줄 것이라고 생각한다.
관련 링크 : New impact factors yield surprises
