신약이 효과가 있다고 증명된 통계, 그 통계 자체가 결함투성이라면? 브라운대 공중보건대학원 연구팀이 JAMA Neurology에 발표한 연구 서한은 알츠하이머 신약 평가에 쓰이는 핵심 통계 기법이 약물 효능을 최대 29배까지 부풀릴 수 있다고 경고했다.

핵심 요약

  • 문제의 통계법: 분위 집계(quantile aggregation) — 환자를 그룹화하고 결과를 평균화해 패턴을 찾는 방법
  • 29배 과장: 아밀로이드 제거와 인지 기능 개선 사이의 관계를 실제보다 29배 강하게 보이게 만듦
  • 적용 사례: Eli Lilly의 알츠하이머 치료제 도나네맙(donanemab) 데이터 재분석에 사용
  • 결정적 증거: 실패한 임상시험(solanezumab) 데이터를 이 방법론으로 돌리자, 효과가 있었던 것처럼 허위 결과 생성
  • 연구팀 강조: 이 발견이 신약의 효과를 완전히 부정하는 건 아니며, 더 엄밀한 통계 방법론이 필요하다는 뜻

‘분위 집계’란 무엇인가

분위 집계는 임상시험 참가자들을 특정 기준으로 그룹화하고, 각 그룹의 개별 결과를 평균화한 뒤 그룹 간 패턴을 찾는 방식이다. 개별 데이터의 복잡한 노이즈를 줄여 명확한 추세를 드러낼 수 있다는 장점으로 주목받았다.

이 방법은 원래 Eli Lilly의 알츠하이머 치료제 도나네맙에 관한 데이터 재분석에서 등장했다. 분석은 제약사 측 과학자들이 주도했다. 연구팀은 뇌에 쌓이는 단백질인 아밀로이드(amyloid)를 제거하면 인지 기능 저하를 늦출 수 있는지를 이 방법으로 평가했다.

왜 29배가 나오는가

브라운대 Sarah Ackley 역학 교수 연구팀이 최근 임상시험 조건을 모사한 시뮬레이션을 돌린 결과, 분위 집계가 아밀로이드 감소와 인지 기능 개선 사이의 상관관계를 실제보다 29배 강하게 보여준다는 사실을 발견했다.

이유는 두 가지다.

첫째, 개인 간 변동성을 지운다. 많은 환자의 결과를 그룹으로 묶어 평균화하면, 개인마다 다른 인지 기능 변화의 편차가 사라진다. 결과는 매끄럽고 예측 가능해 보이지만, 현실은 훨씬 지저분하다.

둘째, 무작위 배정을 무너뜨린다. 임상시험의 핵심은 약물 투여 집단과 위약 집단을 철저히 분리하는 것이다. 분위 집계는 이 두 집단을 하나로 섞어버린다. 그 결과, 아밀로이드 감소가 인지 기능 개선을 실제로 유발했는지, 아니면 다른 요인이 작용했는지를 판별할 수 없게 된다.

실패한 약이 성공으로 둔갑한 사례

연구팀은 이 결함을 입증하기 위해 결정적인 실험을 했다. 2014~2023년에 진행된 solanezumab 임상시험 데이터를 활용했다. 이 시험에서 solanezumab은 아밀로이드 제거에도, 인지 기능 저하 억제에도 효과가 없다는 결론이 이미 나온 상태였다.

연구팀이 이 실패 데이터를 도나네맙 재분석에 사용된 분위 집계 모델에 입력했더니 놀라운 결과가 나왔다. 아밀로이드 감소와 인지 기능 개선 사이에 강한 상관관계가 있는 것처럼 보였다. 즉, 완전히 실패한 약이 성공한 것처럼 보이는 허위 분석이 나온 것이다.

Ackley 교수는 “이 방법론은 기본적으로 잘못된 결과를 만들어낼 수밖에 없다는 걸 입증했다"고 말했다.

연구의 한계와 강조점

연구팀은 이 연구가 알츠하이머 신약 전체의 효과를 부정하는 것이 아님을 분명히 했다. 연구의 핵심은 특정 통계 방법론의 구조적 결함이지, 도나네맙이나 다른 신약 자체를 문제 삼는 것이 아니다.

Ackley 교수는 알츠하이머 연구에서 데이터 공유의 필요성도 강조했다. 특히 Medicare 등 공공 의료 프로그램이 신약 비용을 부담하게 되는 시점에서, 독립적이고 엄밀한 방법론 검증이 더욱 중요해진다. 제약사와 무관한 학술 연구자들이 이런 방법론적 감사를 자유롭게 수행할 수 있어야 한다는 것이다.

실무자가 볼 핵심 포인트

  • 알츠하이머 신약 관련 보도·연구를 접할 때: 사용된 통계 방법론이 무엇인지 확인하는 습관이 필요하다. 분위 집계를 사용했다면, 결과 해석에 주의가 필요하다.
  • 임상시험 설계의 핵심은 무작위 배정 보존: 어떤 통계 기법도 무작위 배정을 무너뜨리면 인과관계를 주장할 수 없다. 분석 방법이 실험군과 대조군을 섞는다면 결과 신뢰성에 의문을 가져야 한다.
  • ‘아밀로이드 가설’ 자체는 여전히 논쟁 중: 아밀로이드를 제거하면 인지 기능 저하를 막는다는 가설은 여전히 완전히 검증되지 않았다. 이번 연구는 그 검증에 사용된 방법론마저 결함이 있었다는 점에서 이중으로 중요하다.
  • 데이터 공유와 독립 검증의 가치: 연구팀이 제약사로부터 독립적인 위치에서 이 결함을 발견했다는 점은 학술 독립성의 중요성을 보여준다. 고비용 신약 평가에서는 독립적 재분석 데이터 접근권이 필수적이다.

원문: New Math Method Inflates Alzheimer’s Drug Success by 29x — Juan Siliezar, Neuroscience News / Brown University