실제 과학 자료를 보고 AI가 법칙을 찾는 능력을 시험하는 평가 도구다.

실제 과학 자료를 보고 AI가 법칙을 찾는 능력을 시험하는 평가 도구다.

무엇이 문제였나 — 기존 시험은 교과서 공식이나 인공 자료를 쓰는 경우가 있어, AI가 공식을 외운 것인지 자료에서 규칙을 찾은 것인지 구분하기 어렵다. 어떻게 풀었나 — 이 연구는 과학 논문과 실제 측정 자료를 모아, 자료를 직접 분석하는 시험과 가상 실험을 설계해 숨은 규칙을 찾는 시험을 만들었다. 그래서 뭐가 좋아졌나 — 아홉 개 모델을 비교한 결과, 자료에 잘 맞는 공식이라도 과학적으로 타당하지 않을 수 있고, 새 규칙을 찾거나 좋은 후보를 고르는 일은 여전히 어렵다.

정답 공식을 외워 쓰는 시험과, 측정 자료를 살펴 규칙을 찾아내는 시험을 함께 치르는 것과 비슷하다. 답이 자료에 잘 맞는지와 과학적으로 말이 되는지를 따로 살핀다.

논문 정보

Yiming Huang, Ziche Liu, Zhuohang Wu, Yiqian Wang, Junxia Cui, Xinkai Zou, Lingjun Mao, Nan Huang, Naicheng Yu, Kaijie Zhu, Yue Ma, Kun Zhou, Letian Peng, Jingbo Shang · University of California San Diego, University of California Irvine, Cushing Academy, University of California Santa Barbara · arXiv (arXiv:2609.01552) · 2026

왜 중요한가

AI가 과학 연구를 돕는 데 쓰이려면 자료를 잘 맞추는 것뿐 아니라 결과가 과학적으로 말이 되는지도 확인해야 한다. 이 벤치마크는 실제 논문과 자료를 바탕으로 두 측면을 나누어 평가하고, 알려진 공식을 기억해 내는 능력과 새로운 규칙을 찾는 능력도 구별하려 한다.

핵심 지표

어떻게 동작하나

연구진은 여섯 과학 분야의 논문과 공개 자료를 선별해 118개 문제를 구성했다. 66개는 하나의 공식을 쓰는 문제이고 52개는 여러 집단에 걸쳐 공통 형태와 집단별 매개변수를 찾는 문제다. SCILAWS-REAL에서는 고정된 실제 자료로 공식을 제안하게 하고, 논문에 근거한 기준으로 예측 적합도 SN과 과학적 타당성 SV를 별도로 평가한다. SCILAWS-PARALLEL에서는 출판 공식에 구조 변형을 더해 숨은 법칙을 만들고, 실제 자료에서 추정한 잔차를 보정해 가상 실험 세계를 구성한다. 모델은 제한된 실험 질의로 자료를 모아 숨은 구조를 찾아야 하며, 구조 복원 점수 SS는 다섯 단계로 채점한다. 아홉 개 모델은 같은 ReAct 방식의 에이전트 틀과 최대 30회의 상호작용 기회를 사용했다. SCILAWS-PARALLEL의 실험 질의는 문제별 제한을 따르며 최대 10회의 실험 호출이 허용된다.

핵심 수식:

S_N(t) = clip(1 - 1/2 · m_sub/m_ref, 0, 1)  (rmse, smape, log_mae; 낮을수록 좋음)\nS_N(t) = clip(0.5 + 1/2 · (m_sub - m_ref)/(1 - m_ref), 0, 1)  (r²; 높을수록 좋음)\nSV(t) = a_t · M_t/N_t

m_sub는 제출 공식의 원 지표 점수, m_ref는 가장 강한 수집 출판 공식의 원 지표 점수다. clip은 점수를 0~1로 제한한다. 기준 공식은 SN=0.5, 완벽한 예측은 1.0이다. a_t는 반조작 검사를 통과하면 1, 실패하면 0이다. M_t는 타당성 기준 중 만족한 항목 수, N_t는 전체 항목 수다.

한계와 주의할 점

• SCILAWS-PARALLEL의 숨은 법칙은 출판 공식의 구조 변형으로 합성된다. 출판 구조와 다른 유형의 법칙을 발견하는 능력은 직접 평가하지 않는다.
• 타당성 기준은 출처 논문에서 정해진다. 향후 문헌의 기준을 넘어서는 발견이 낮은 점수를 받을 가능성이 있다.
• 타당성과 구조 복원은 LLM 심사 모델이 채점한다. 다섯 명의 전문가와 비교한 일치도가 전문가 간 범위에 들었다고 보고하지만, 자동 심사의 한계는 남는다.
• SCILAWS-REAL과 SCILAWS-PARALLEL은 평가 목표가 다르다. 전자는 실제 자료의 예측 적합도와 타당성을, 후자는 합성된 숨은 구조의 복원을 측정한다.
• Best-of-N 선택 연구는 GPT-5.4-mini를 대상으로 했다. 이 선택 병목이 모든 모델에서 같은 정도로 나타나는지는 이 실험만으로 확인되지 않는다.
• 기억한 공식의 재현: Canon 문제에서는 GPT-5.5가 출판 기준보다 나은 점수를 낸 비율이 21%였고, Moat에서는 54%였다. 알려진 공식의 기억과 자료에서 새 형태를 찾는 일이 다르게 작동할 수 있다.
• 적합도와 타당성의 엇갈림: 적합도와 타당성의 순위 일치도는 태스크 내 모델 쌍에서 54.9%였다. 핵물리 사례에서는 가장 잘 맞는 공식이 실제로 없는 공명 봉우리를 만들어 타당성 검사를 통과하지 못했다.
• 새 구조 복원의 어려움: 출판 공식에 추가된 항까지 포함한 전체 법칙 복원은 콜드 리콜 티어 전반에서 약 8%였다. GPT-5.5는 전체 태스크 기준으로 21%를 복원했다.
• 후보 선택의 한계: 5개 후보 그룹의 60%에서 선택된 답이 같은 그룹의 다른 후보에 두 평가 기준 모두에서 뒤처졌다. 20개 후보 중 자체 선택 결과의 12.7%가 파레토 전선에 있었고, 무작위 선택은 9.6%였다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

기억과 새로운 규칙 찾기를 별도로 보고하기

모델이 자료를 보기 전에 출판 공식을 떠올리는지 평가하고, 회상 여부에 따라 결과를 나누어 비교한다. 논문에서는 GPT-5.5가 출판 공식보다 나은 비율이 Canon에서 21%, Moat에서 54%였다고 보고한다. 이는 결과 해석을 위한 분리 분석의 근거가 된다.

적용 지점 — 과학 공식 후보를 생성하고 평가하는 시스템

기대 효과 — 기존 공식의 재현과 자료에서 새 구조를 찾는 결과를 구분해 보고할 수 있다.

여러 후보의 선택 방식을 평가하기

각 후보의 예측 적합도와 타당성을 별도로 평가하고, 자체 선택 결과를 후보 풀의 최고값 및 두 기준의 공동 균형과 비교한다. 논문에서 GPT-5.4-mini의 N=20 자체 선택 공동 균형 점수는 0.61, 오라클은 0.93이었다.

적용 지점 — 여러 공식 후보를 생성해 하나를 채택하는 시스템

기대 효과 — 후보 생성과 선택 중 어느 단계가 성능을 제한하는지 확인할 수 있다.

적합도와 별도로 과학적 타당성 점검하기

최종 공식에 대해 논문에 근거한 행동 및 구조 기준과 추가 자유도를 이용한 점수 조작 여부를 검사한다. 연구는 적합도와 타당성의 일치도가 태스크 내 비교에서 54.9%였다고 보고하며 두 평가를 분리한다.

적용 지점 — 과학 자료 분석 시스템의 공식 검토 절차

기대 효과 — 자료 적합도만으로 과학적 타당성을 판단하는 오류를 줄일 수 있다.

원문 PDF: 2026-09-03-can-llms-discover-scientific-laws-in-real-and-parallel-worlds.pdf