학술출판의 가장 큰 특징중의 하나는 절대적인 신뢰성에 있습니다. 바로 피어리뷰에 의해서죠. 절차나 방법에 좀 논란이 있는 것이 사실이지만 많은 이들이 현재의 시스템에 동의하고 있습니다. 대형 출판사에서는 여러가지 단점들을 해결하기 위해 고심하는뎅, 전통적인 피어리뷰관행의 한계에 대해서 알아보도록 하죠.
피어리뷰어들이 하지 않는 것 :
통계치 확인
피어리뷰어들은 통계전문가가 아니기 때문에 모든 종류의 통계분석에 있어서 전문가는 아닙니다. 물론 연구성과에 기재된 데이터들의 적절한 실험이 잘 행해졌는지 알기를 원하지만 결과나 실험에서 명확한 에러만 발견할 수 있을 뿐이죠. 계산을 다시 해본다던가 하지는 않고 그렇게 하길 기대하지도 않습니다.
날데이터 검사
피어리뷰어들은 또한 날데이터를 확인하지 않습니다. 이러한 것들은 리뷰과정을 더 지체하게 하기 때문입니다. 만일 그들이 통계분석과 관련된 문제점을 발견했다면 수정제한은 매우 제한적이며 원래 데이터를 이용해 수정해야 하는 것은 저자의 몫입니다.
실험재현
리뷰어가 날데이터를 모두 확인하는게 현실적이지 않겠죠? 실험과 관련해서도 마찬가지 입니다. 리뷰어들은 논문이 다른이들로 하여금 재 실험을 할만큼 충분한 상세사항을 제공하고 있는지 확인하지만 실제 유효한 실험인지에 대해서는 리뷰어가 확인할 수 있는 사항은 아닙니다.
저자상세사항 확인
학술출판에 있어서의 최근의 문제중의 하나는 적절한 저자권 (authorship) 을 확인하고 정의하는 일입니다. 간혹 몇몇 논문을 보면 가짜 저자를 내세우거나 혹은 본인의 이름이 논문에 실렸는지도 모르는 사례가 종종 발생하고 있기 때문입니다. 피어리뷰어들은 원고에 적인 연구자들에 대해 잘 알수도 있지만 대부분은 잘 모르는 것이 일반적입니다. 그들 모두를 확인하고 실제 관련이 있는 인물인지 아는 것은 불가능하죠. 그러므로 리뷰어들은 저자의 성실한 자세에 의존할 수 밖에 없습니다.
Conflicts of Interest 확인
Conflicts of interest 은 사람들의 편견과 같은 인식에 깊에 관여할 수 있어서 모든 원고에 관련된 COIs 들을 밝히는 것이 필요합니다. 피어리뷰어들이 이러한 것을 밝히는 것은 불가능하기 때문에 저자들이 반드시 포함해 주어야 하는 부분입니다. 리뷰어들은 그러한 선언이 당연히 이뤄어지는 것으로 생각하며 논문에서 관련된 이슈를 발견하여 제기할 수는 있으나 이는 그들의 기본에서 확장된 업무라고 봐야 합니다.
이상적인 세계에서라면, 이러한 모든 사항이 논문이 출판되기 전에 모두 감지되어야 하는 것이겟지만, 이는 현상황에서는 현실적이지 않습니다. 현상태에서 피어리뷰는 여전히 필수적인 상황이며 논문이 주요 방향으로 잘 흘러가고 결과의 해석에 특별히 미치는 영향이 있는지 확인하는 역할을 합니다. 당신이 읽는 어떤 논문도 완벽할 수는 없다는 사실을 인지하되, 더 많은 출판을 할 수록 어떤 연구가 다른 연구보다 더 영향력있는지를 알아내는 능력이 생길 수 있다는 사실을 명심하십시오. 아티클을 읽을때 비판적인 견지를 유지하려고 노력하되, 출판 이후에 발견되는 단점을 가지고 전체 출판 시스템을 비하할 수는 없습니다. 천천히 그러나 확실하게 이러한 성과들은 새로운 피어리뷰모델을 건설하고 강화시켜 나갈 것입니다.
이러한 문제점에 대해 좀 더 자세한 정보를 원한다면 다음을 클릭하세요.
The Reproducibility Initiative
Increasing statistical scrutiny at Science and other journals
