개요

AI가 수학 올림피아드 문제를 풀 수 있다는 건 이제 놀랍지 않다. 하지만 현역 수학자들이 연구하는 수준의 문제라면 어떨까? Georgia Tech과 공동 저자들이 발표한 RMA(Research Math Agents) 는 문헌 탐색·지식 구축·반복 검증을 아우르는 멀티에이전트 프레임워크로, First Proof 벤치마크 10문제 중 8개를 해결하며 GPT-5.2R과 Aletheia를 넘어섰다.

핵심 요약

  • 대상: 경쟁 수학·형식 증명이 아닌, 실제 수학 연구자 수준의 문제 (장기 추론 + 문헌 근거 + 반복 정제 필요).
  • 구조: 초기화·제안·검증 에이전트가 공유 메모리를 통해 협력하는 멀티롤·멀티라운드 워크플로.
  • 성과: First Proof 벤치마크 10문제 중 8문제 해결 — GPT-5.2R, Aletheia 대비 우위.
  • 핵심 발견: 성능 향상은 단일 컴포넌트가 아닌, 구조화된 추론 모듈 + 반복 정제 + 검증자 피드백의 상호작용에서 나온다.

본문

왜 “연구 수준” 수학인가

AI의 수학 능력 평가는 주로 두 갈래였다. 하나는 AIME·IMO 같은 경쟁 수학, 다른 하나는 Lean·Coq 같은 형식 증명 시스템. 두 방식 모두 문제가 명확히 정의돼 있고, 기존 솔루션이나 형식 체계가 있다.

실제 수학 연구는 다르다. 새로운 정리를 증명하려면 방대한 문헌을 이해하고, 가설을 세우고, 실패한 시도를 수정하고, 논리적 비약 없이 읽히는 증명을 써야 한다. RMA는 바로 이 영역을 목표로 한다.

RMA의 설계: 분업하는 에이전트 팀

RMA는 하나의 강력한 모델이 아니라 역할이 분리된 에이전트들의 협업으로 구성된다.

세 가지 핵심 에이전트:

  • Initializer(초기화 에이전트): 문제를 분석하고 초기 증명 전략을 수립한다. 관련 문헌을 탐색해 지식 뱅크를 구축하는 역할도 맡는다.
  • Proposer(제안 에이전트): 증명 후보를 생성한다. 이전 시도의 피드백을 반영해 반복적으로 개선한다.
  • Verifier(검증 에이전트): 제안된 증명의 논리적 타당성을 점검한다. 오류를 발견하면 Proposer에게 피드백을 돌려보낸다.

세 에이전트는 공유 구조화 메모리(shared structured memory) 를 통해 연결된다. 한 에이전트가 발견한 관련 정리, 이전 시도의 실패 원인, 유망한 접근법 등이 이 메모리에 축적되고, 다른 에이전트들이 이를 참조하며 작업한다.

다섯 가지 전문화 모듈:

에이전트들은 내부적으로 다음 모듈들을 활용한다:

  1. 문제 분석: 문제를 하위 목표로 분해
  2. 문헌 탐색·이해: 관련 논문과 정리 파악
  3. 공정 비교: 기존 방법과의 차이 명확화
  4. 지식 뱅크 구축: 재사용 가능한 수학적 사실 축적
  5. 증명 검증: 논리 오류·비약 탐지

실험: First Proof 벤치마크

연구팀은 First Proof 벤치마크를 평가 기준으로 삼았다. 이 벤치마크는 다양한 수학 분야의 전문 수학자들이 제출한 연구 수준 문제 10개로 구성된다. 단순히 정답만 맞추는 것이 아니라, 전문가가 직접 증명의 논리적 완결성과 가독성을 평가한다.

결과:

  • RMA: 10문제 중 8문제 해결
  • GPT-5.2R, Aletheia 대비 논리적 타당성과 가독성 모두 우위

절제 연구(ablation study)에서 흥미로운 사실이 드러났다. 어떤 단일 모듈도 혼자서는 전체 성능을 설명하지 못한다. 구조화된 추론 모듈, 반복 정제 루프, 검증자 피드백 — 이 세 가지가 함께 작동할 때 비로소 성능이 극대화된다.

의미와 한계

RMA의 등장은 AI가 수학 연구의 실질적 도우미로 기능할 수 있음을 시사한다. 논문 저자들은 코드와 구현을 수락(acceptance) 후 공개할 예정이라고 밝혔다.

다만 몇 가지를 주의해야 한다. First Proof 벤치마크는 10문제로 작다. 전문가 평가는 주관적 요소가 개입한다. GPT-5.2R이나 Aletheia와의 비교가 동일 조건에서 수행됐는지도 독립 검증이 필요하다. 그리고 10문제 중 2문제는 여전히 해결하지 못했다.

실무자가 볼 핵심 포인트

  1. 멀티에이전트 + 공유 메모리 설계가 핵심. 단일 모델로 해결이 어려운 장기 추론 과제는 역할 분리된 에이전트 협업이 효과적임을 다시 확인.
  2. 반복 정제 루프는 필수. 첫 시도의 오류를 검증자가 잡아 재시도하는 구조 없이는 성능이 크게 낮아진다.
  3. 문헌 기반 추론(grounding)이 연구 수준 문제의 열쇠. 기존 수학 지식을 올바르게 탐색하고 연결하는 능력이 일반 수학 능력만큼 중요하다.
  4. 평가 방식 자체가 진지하다. 정답/오답 이분법이 아닌, 전문가의 질적 평가를 채택한 점에서 실제 연구 유용성을 측정하려는 의도가 보인다.
  5. 코드 공개 후 재현 검증이 중요. 현재는 저자 자체 보고 결과이므로, 공개 이후 커뮤니티의 재현 시도를 지켜볼 필요가 있다.

원문: RMA: an Agentic System for Research-Level Mathematical Problems — arXiv:2605.22875