필즈상 수학자 테런스 타오가 철학자 Tanya Klowden과 함께 AI 시대 수학의 본질에 관한 논문을 내놨다. “수학이란 무엇인가"라는 오래된 질문을 AI가 증명을 생성하고 검증하는 시대에 다시 꺼낸 것이다.
핵심 요약
- 수학적 감각(mathematical “smell”): 경험 많은 수학자가 논증을 검증하기 전에 느끼는 직관적 신뢰도. Thurston이 ‘smell’이라 부른 이 감각은, AI 생성 증명에는 없을 수 있다.
- 코페르니쿠스적 전환: 인간 지능을 유일한 인지 중심이 아니라 “여러 인지 형태 중 하나"로 재정의하는 관점 전환을 제안한다.
- 형식화의 분업: 정리의 서술은 인간이, 증명의 검증은 자동화 도구에 맡기는 분업이 현재로선 최선이다.
- 학생 AI 지침: “적팀(red-team)” 방식, 즉 자신의 풀이를 AI에 검토 맡기는 용도는 권장. 스스로 풀 수 없는 문제의 답을 AI에 직접 요청하는 것은 학습을 저해한다.
- 꼬리 위험 분석: AI 존재 위험에 예상값(expected value) 분석을 쓰는 것은 부적절하다. 확률 모형이 안정적이지 않기 때문이다.
증명에도 감각이 있다
수학자 William Thurston이 처음 꺼낸 개념에서 출발한다. 그는 경험 많은 수학자가 증명의 모든 줄을 검증하기 전에 그 논증이 맞는지 틀렸는지를 직관적으로 느낀다는 사실에 주목했다. Thurston은 이 즉각적·전언어적 인지 감각을 일부러 ‘smell(냄새)‘이라 불렀다 — 세련된 미적 감각이 아니라, 뭔가 이상하면 코부터 찌르는 그 날것의 감지 능력을 뜻하기 때문이다. Tao는 같은 개념을 “인과적 내러티브"라는 말로도 표현한다. 좋은 증명은 결론이 왜 성립하는지, 어디가 핵심인지를 드러낸다.
문제는 AI가 생성한 증명이다. 형식 검증기(formal verifier)가 “OK"를 반환해도, 그 증명이 왜 작동하는지 아무도 설명하지 못하는 상황이 가능하다. Tao는 이를 “감각 없는(odorless) 증명"이라 부른다. 형식적으로는 흠잡을 데 없지만, 수학적 이해를 전혀 전달하지 않는다.
이것이 단순한 미적 문제가 아닌 이유가 있다. 수학은 효율적 계산 도구이기도 하지만, 다음 세대 수학자를 양성하고 수학적 직관을 쌓아가는 누적적 과정이기도 하다. 감각 없는 증명만 쌓이면, 미래 수학자는 무엇을 배우게 될까.
코페르니쿠스적 전환
논문 6절에서 Tao는 더 큰 질문을 꺼낸다. 인간 지능을 인지의 유일한 중심으로 보는 관점을 버리자는 것이다. 지동설이 지구를 우주의 중심에서 끌어내렸듯, AI 시대는 인간 지능을 “여러 인지 형태 중 하나"로 재정위할 것을 요구한다.
이는 AI를 단순한 도구로 보는 시각과 다르다. 망치는 망치를 사용하는 인간 없이는 의미가 없다. 그러나 수학적 증명을 생성하고 검증하는 AI는 인간 인지와 어떤 관계인지 그 질문 자체를 새로 써야 한다. Tao는 이 질문에 답을 내놓기보다 “질문 자체를 정확히 정식화하는 것"이 이 논문의 목표라고 밝힌다.
형식화의 분업
자동 형식화(autoformalization) 기술은 자연어 수학 텍스트를 Lean, Coq 같은 증명 보조기 언어로 변환한다. Tao는 이 흐름에 주목하면서도 중요한 경계선을 긋는다.
형식화된 정리의 서술은 인간이 생성하거나 검토해야 한다. 우리가 무엇을 증명하려 하는지, 그 서술이 실제로 우리가 의도한 것인지는 인간의 판단이 필요하다. 반면 증명 자체의 검증은 자동화 도구에 위임하는 것이 현재로선 합리적인 분업이다.
학생은 AI를 어떻게 써야 하나
댓글 섹션에서 Tao가 직접 제시한 원칙이 가장 실용적이다. “적팀/청팀(red-team/blue-team)” 구분이다.
권장(적팀) 사용:
- 내가 직접 작성한 풀이나 증명을 AI에게 검토하게 한다
- 문헌 검색, 역사적 맥락, 코드 생성 — 단 내가 결과를 직접 검증할 수 있는 경우
회피해야 할 사용:
- 스스로 풀 수 없는 문제의 증명 전략을 AI에 직접 요청하는 것
- 만약 꼭 필요하다면, “AI가 이 전략을 제시했는데 어디가 잘못됐는지 찾아라” 방식으로 전환
Tao의 핵심 기준: “AI 출력물을 추가 지원 없이 수업에서 스스로 설명할 수 없다면, 그것은 워크플로우에 포함되면 안 된다.”
AI 위험과 예상값 분석의 한계
한 댓글에서 꼬리 위험(tail risk) 분석 방법론을 문제 삼았다. Tao의 답변이 주목할 만하다. 예상값(expected value) 분석은 두 가지를 전제한다: 안정적인 확률 모형과 충분한 반복 시행. AI 존재 위험은 둘 다 없다.
그렇다면 대안은 무엇인가? Tao는 “중간 규모 실패에 대한 인프라 복원력(resilience) 구축"을 제안한다. 최악의 시나리오를 정확히 계산하려는 시도 대신, 지금 당장 대비 가능한 중간 규모 리스크에 집중하자는 것이다.
실무자가 볼 핵심 포인트
- AI 증명 사용 기준: 형식 검증기가 통과했어도, “왜 이 증명이 작동하는가"를 설명할 수 없다면 수학적 감각을 얻은 것이 아니다. 수학 교육·연구에서 AI 출력물을 받아들이는 기준을 여기에 맞춰야 한다.
- 학습에서 AI 의존 경계: 스스로 풀 수 없는 문제를 AI에 맡기는 순간 학습이 멈춘다. “AI가 생성한 풀이를 비판하는 것"과 “AI가 풀이를 대신 생성하는 것"은 학습 효과에서 정반대다.
- 형식화 프로젝트 설계: 정리 서술은 사람이 쓰고, 증명 검증은 자동화하는 분업 원칙은 현재 수준의 Lean/Coq 도입 전략으로 즉시 적용 가능하다.
- AI 위험 논의의 틀: 예상값 기반 분석보다 “현실적 중간 규모 실패 시나리오에서의 복원력"으로 프레임을 바꾸면 실행 가능한 대비책이 나온다.
원문 출처
원문: Mathematical Methods and Human Thought in the Age of AI — Terence Tao & Tanya Klowden | arXiv: 2603.26524