실제 사람들의 스마트워치 기록과 혈액 검사 자료로 만든 4,084개 건강 퀴즈로 AI가 개인 건강 데이터를 제대로 읽는지 시험한 연구

실제 사람들의 스마트워치 기록과 혈액 검사 자료로 만든 4,084개 건강 퀴즈로 AI가 개인 건강 데이터를 제대로 읽는지 시험한 연구

무엇이 문제였나 — 스마트워치는 매일 심박, 수면, 걸음 수를 모으지만 AI가 그 긴 기록을 제대로 해석하는지는 잘 검증되지 않았다. 어떻게 풀었나 — 연구진은 200명 실제 사용자의 기록으로 10지선다형 문제 4,084개를 만들고 14개 AI 모델을 비교했다. 그래서 뭐가 좋아졌나 — 가장 좋은 모델도 72.9%였고 대부분은 60%를 넘지 못해, 실제 기록을 계산하고 해석하는 일이 아직 어렵다는 점을 보였다.

학생의 1년치 출석, 과제, 시험 기록을 주고 다음에 어떤 도움이 필요한지 묻는 시험과 비슷하다. 교과서 지식만으로는 부족하고, 실제 기록을 하나씩 읽어야 답할 수 있다.

논문 정보

Ji Soo Lee, Xilun Chen, Pierce Chuang, Ashish Shenoy, et al. · Meta · KAIST · Korea University · arXiv preprint (arXiv:2609.05405v1) · 2026

왜 중요한가

건강 AI가 그럴듯한 일반 조언을 하는 것과, 한 사람의 실제 기록을 보고 근거 있는 답을 하는 것은 다르다. 이 벤치마크는 AI가 ‘내 데이터’를 읽고 계산해 답할 수 있는지를 숫자로 확인하게 해준다.

핵심 지표

어떻게 동작하나

WearableQA는 200명 실제 사용자의 최대 500일 일별 웨어러블 기록, 17개 혈액 바이오마커, 나이·성별·BMI·인종 정보, 5개 핵심 웨어러블 지표의 코호트 백분위를 사용한다. 웨어러블 지표는 심혈관·활동/에너지·수면·스트레스 영역의 16개 일별 신호로 구성된다. 전체 4,084개 문항은 16개 유형으로 나뉘며, 약 2.7k개는 원시 기록에서 추세·이상·상관·회복 등을 계산하는 데이터 추론이고 약 1.4k개는 생리·임상적 해석이 필요한 건강 추론이다. 문항은 문헌 기반 또는 population-grounded 방식으로 만든다. 문헌 기반 문항은 11개 anchor paper와 최소 2개 독립 같은 방향 연구로 확인한 관계만 쓰며, population-grounded 문항은 28일 창에서 효과크기, bootstrap/leave-one-out 강건성, cross-user null test 기반 FDR 조건을 통과한 패턴만 쓴다. 정답은 mean, cv, lagged_correlation, slope, rolling_mean, threshold_flags 같은 계산 프리미티브의 결정적 계산 그래프로 도출된다. 이후 중복 제거, 답 위치 균형, 보기 검증, 정답 누설 제거, GPT-5.4·Gemini-3.1-Pro·Claude-Opus-4.6 검토와 사람 검증을 거쳐 품질을 관리한다. 평가는 14개 LLM에 대해 동일 프로토콜로 수행되며 정확도와 95% Wilson 신뢰구간을 보고한다.

핵심 수식:

keep(pattern) = [|\rho| \ge 0.5 \land \text{same-sign in both half-windows}] \land [\text{margin} \ge 0.15 \text{ when comparative}] \land [\text{bootstrap}_{30} \ge 0.80 \land \text{leave-one-out stable}] \land [\text{FDR} \le 0.20]

이 식은 population-grounded 후보 패턴을 문항으로 남길 때의 핵심 게이트를 요약한 것이다. |ρ|≥0.5와 양쪽 half-window의 같은 부호는 강한 결합이 창 전체에서 일관됨을 뜻한다. 비교형 문항에서는 1등 선택지가 2등보다 최소 0.15 이상 앞서야 한다. bootstrap 30회 중 80% 이상 재현되고 하루를 하나씩 빼도 결과가 유지되어야 하며, 서로 다른 사용자를 일부러 섞은 cross-user null test에서 경험적 FDR이 0.20 이하인 패턴만 유지된다.

한계와 주의할 점

• 참여 사용자가 200명이라 인구통계학적 대표성은 제한적일 수 있다.
• 문항마다 최대 500일치 시계열을 텍스트로 제공하므로 토큰 비용이 크고 더 긴 기간으로 확장하기 어렵다.
• 이미지 기반 표현은 GPT-5.4 평가에서 오히려 정확도를 낮췄다(image-grid 36.6%, image-grouped 34.1%).
• 건강 추론 중 cross-signal prediction 유형은 8.3~40.5%에 머물러, 사용자별 다중 신호 관계를 해석하는 일이 특히 어렵다.
• 일부 모델은 정의적으로 관련된 신호 쌍은 잘 맞히지만 경험적으로 읽어야 하는 신호 쌍에서는 크게 떨어져, 사전지식과 실제 데이터 추론이 분리되어 측정된다.
• 소형 모델의 위치 편향: Llama-3.2-3B는 direct-answer 모드에서 한 보기를 51.5% 선택했고, CoT에서는 최대 선택률이 13.5%로 줄었다.
• 사전지식 의존: Gemini-2.5-Pro는 정의적 쌍 87.8%, 경험적 쌍 36.3%로 51.5포인트 차이를 보였다.
• 데이터 추론 약점: GPT-4o는 건강 추론 53.5% 대비 데이터 추론 25.3%로, 측정값에서 직접 답을 계산하는 단계가 약했다.
• 교차 신호 예측 실패: Llama-3.1-8B는 cross-signal prediction 유형에서 8.3%로 무작위 10%보다 낮았다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

웨어러블 시계열 에이전트에 결정적 계산 도구 키트 장착

장기 시계열을 다루는 헬스 에이전트의 데이터 추론 단계에 본 논문의 프리미티브 라이브러리(mean, cv, lagged_correlation, slope, rolling_mean, threshold_flags 등)를 도구로 노출한다. 모델이 자연어로 대략 판단하는 대신 정답 후보를 계산하는 함수를 호출하게 만든다. 논문에서는 GPT-5.4에서 row baseline 51.2%가 agentic fixed-repr 71.3%로 향상됐고, multi-view 선택은 추가 이득을 주지 않았다.

적용 지점 — 웨어러블/시계열 데이터 추론 에이전트의 도구 호출 단계

기대 효과 — GPT-5.4 기준 overall 51.2% → 71.3% (+20.1%p), cross 45.7% → 76.5% (+30.8%p)

CoT 추론 유도 프로토콜을 헬스 추론 표준으로 채택

장기 기록을 활용해 답해야 하는 헬스 추론 호출에 논문의 CoT 지시문을 기본 지시문으로 채택한다. 전체 정확도 기준 CoT는 일부 모델에서 direct-answer 대비 개선을 보였으며, 특히 Claude-Opus-4.6은 +19.6포인트, GPT-5.4는 +17.7포인트, Gemini-2.5-Pro는 +18.6포인트 향상됐다. 다만 Gemini-3.1-Pro는 +1.6포인트, 일부 소형 모델은 효과가 작거나 음수였으므로 모델별 검증이 필요하다.

적용 지점 — LLM 호출 직전 프롬프트 템플릿과 응답 파서

기대 효과 — 모델에 따라 -0.8~+19.6%p, 강한 프로프라이어터리 모델 일부에서 큰 개선

교차 신호 추론용 시차 상관·임계 플래그 합성 템플릿 신설

본 논문에서 cross-signal prediction은 8.3~40.5%로 낮았다. 헬스 에이전트에 두 신호의 lagged_correlation(max_lag=3), argmax_pair, threshold_flags를 조합한 템플릿을 넣어, 모델이 두 신호 관계를 한 번에 직관으로 판단하지 않고 계산 가능한 단계로 나누게 한다.

적용 지점 — 다중 신호 건강 표현형 추정·예측 단계

기대 효과 — cross-signal prediction 병목을 계산 도구 기반으로 완화할 가능성

정의적 vs 경험적 신호 쌍 분해 채점기를 모델 회귀 가드로 도입

같은 strong-coupling band에서 정의적 쌍(예: 걸음 수와 active energy expenditure)과 경험적 쌍(예: resting heart rate와 stress level)을 따로 채점한다. 두 점수의 격차가 크게 벌어지면 신규 모델 릴리즈 게이트에서 데이터 근거 부족 위험으로 표시한다. 논문에서는 Gemini-2.5-Pro가 87.8% 대 36.3%로 51.5포인트 차이를 보였다.

적용 지점 — 신규 LLM/에이전트 릴리즈 직전 회귀 가드 채점 단계

기대 효과 — 정의-경험 격차 조기 탐지로 실사용 시 데이터 무시 답변 회귀를 사전에 차단

단계별 도입 로드맵

원문 PDF: 2026-09-08-wearableqa-a-benchmark-for-health-reasoning-over-real-world-wearable-dat.pdf