실제 과학 자료를 보고 AI가 법칙을 찾는 능력을 시험하는 평가 도구다.
실제 과학 자료를 보고 AI가 법칙을 찾는 능력을 시험하는 평가 도구다. 무엇이 문제였나 — 기존 시험은 교과서 공식이나 인공 자료를 쓰는 경우가 있어, AI가 공식을 외운 것인지 자료에서 규칙을 찾은 것인지 구분하기 어렵다. 어떻게 풀었나 — 이 연구는 과학 논문과 실제 측정 자료를 모아, 자료를 직접 분석하는 시험과 가상 실험을 설계해 숨은 규칙을 찾는 시험을 만들었다. 그래서 뭐가 좋아졌나 — 아홉 개 모델을 비교한 결과, 자료에 잘 맞는 공식이라도 과학적으로 타당하지 않을 수 있고, 새 규칙을 찾거나 좋은 후보를 고르는 일은 여전히 어렵다. ...