개요
동료심사(peer review)는 과학 문헌의 신뢰성을 보장하는 표준으로 여겨진다. 그러나 신경과학 분야에서 리뷰 요청 수락률이 20~50%에 불과하다는 사실은 심각한 문제를 낳는다. 소수의 ‘항상 리뷰하는’ 과학자들이 심사 과정을 지배하게 되고, 이들이 편향된 의견을 공유할 경우 잘못된 연구 결과가 동료심사를 통과해 문헌에 자리잡을 수 있다.
HHMI 그룹 리더 Jakob Voigts가 The Transmitter에 발표한 분석에 따르면, 단 15~20명의 강한 의견을 가진 연구자 그룹만으로도 특정 리뷰 필터 버블이 형성될 수 있다.
핵심 요약
- 신경과학 주요 저널의 리뷰 요청 수락률: 분야·저널별로 20~50%
- 리뷰 수락률 50% 이상이어야 편향된 리뷰를 피할 수 있다는 계산 결과
- 잠재적 리뷰어 풀이 50명 미만인 세부 분야가 많음
- 소규모 편향 그룹(15~20명)이 항상 리뷰를 수락할 경우, 베이즈 정리로 계산하면 그 영향력이 불균형적으로 커짐
- 동일한 오해를 공유하는 그룹이 리뷰 풀에서 과잉 대표되면, 잘못된 연구 결과가 반복적으로 통과될 수 있음
수학적 배경: 왜 15~20명이 문제인가
논문 한 편을 심사하려면 보통 3명의 리뷰어가 필요하다. 에디터는 거절당하면 다음 후보를 계속 접촉한다. 여기서 수학이 작동한다.
리뷰 수락률이 낮을수록, 실제로 심사에 참여하는 사람의 풀은 극도로 좁아진다. 항상 리뷰를 수락하는 사람이 전체 리뷰어 후보의 15%를 차지하더라도, 베이즈 정리에 따르면 실제 심사에서 이들이 차지하는 비율은 훨씬 높아진다.
계산 예시:
- 리뷰어 후보 100명
- 일반 수락률: 20%
- 편향된 항상-수락 그룹: 15명 (100%)
- 결과: 3명의 리뷰어 중 2명이 이 그룹에서 나올 확률이 상당히 높음
이는 편향된 소규모 그룹이 자신들의 관점을 지지하는 논문은 통과시키고, 반박하는 논문은 차단하는 리뷰 필터 버블을 만들 수 있다는 뜻이다.
왜 신경과학이 특히 취약한가
신경과학은 몇 가지 구조적 특성 때문에 이 문제에 더 취약하다.
세부 분야의 고도 분화: 세부 분야 콘퍼런스가 소규모 강의실에 전체 분야 연구자를 수용할 수 있을 만큼 커뮤니티가 작다. 잠재적 리뷰어가 50명 미만인 경우가 흔하다.
통합 이론의 부재: 물리학과 달리 신경과학에는 결과를 검증할 수 있는 포괄적 이론 프레임워크가 없다. 따라서 동료심사가 오류를 걸러내는 더 중요한 역할을 한다.
사일로화된 서브필드: 전문성이 고도로 분화되어 외부 관점에서의 검토가 드물다. 같은 가정을 공유하는 집단이 서로의 논문을 심사하게 된다.
필터 버블이 실제로 일어나면
개별적인 잘못된 아이디어(예: 백신-자폐증 연관설)는 저널리즘이나 소셜 미디어를 통해 퍼질 수 있다. 그러나 과학계는 “동료심사가 결국 이를 바로잡는다"고 가정한다.
리뷰어 필터 버블은 이 자기수정 메커니즘을 무력화한다. 같은 오해를 공유하는 소규모 집단이 리뷰 풀을 지배하면:
- 잘못된 실험 접근법을 사용한 논문이 반복적으로 통과된다
- 대안적 해석을 제시하는 논문은 지속적으로 차단된다
- 오류가 누적되어 해당 분야의 문헌 전체가 편향된다
- 재현 실패나 철회 논문이 나올 때까지 오류가 수년간 유지된다
제안된 해결 방향
Voigts는 핵심 개선안으로 리뷰 수락률 50% 이상 유지를 제시한다. 이 수준에서만 편향된 소규모 그룹의 영향력이 수학적으로 희석된다.
그 외에 구조적 개선이 논의된다:
- 에디터가 다양한 관점을 가진 리뷰어를 의도적으로 선택
- 리뷰 부담을 커뮤니티 전체에 분산시키는 인센티브 구조
- 오픈 리뷰 또는 리뷰어 이름 공개로 책임성 강화
- 서브필드 경계를 넘는 크로스-리뷰 장려
실무자가 볼 핵심 포인트
AI 연구자와 ML 커뮤니티에도 이 문제는 무관하지 않다. NeurIPS, ICML 등 주요 AI 학회의 리뷰 프로세스도 유사한 구조적 문제를 안고 있다. 특정 방법론이나 프레임워크를 선호하는 소규모 그룹이 심사를 장악할 경우, 다른 접근법의 논문이 불이익을 받을 수 있다.
과학 출판 시스템 자체에 대한 시사점도 중요하다. 이 분석은 “동료심사를 통과했다"는 말이 더 이상 품질의 충분한 보증이 될 수 없음을 수학적으로 보여준다. 프리프린트가 확산되는 이유 중 하나가 이런 구조적 문제에 대한 반응이기도 하다.
수락률 데이터는 2024~2025년 주요 신경과학 저널 에디터 서베이에서 수집됐다. 시뮬레이션 코드는 오픈소스로 공개되어 있어 자신의 서브필드에 적용해볼 수 있다.
원문 출처
원문: Lack of reviewers threatens robustness of neuroscience literature — Jakob Voigts / The Transmitter (2026-03-02)