개요
OpenAI가 2026년 초 진행한 ‘파라미터 골프’ 챌린지는 단순한 기술 경연이 아니었다. 16MB 크기 제한과 10분 학습 예산이라는 엄격한 제약 안에서 FineWeb 데이터셋의 손실을 최소화하는 이 대회는, AI 코딩 에이전트가 머신러닝 연구 방식 자체를 어떻게 바꾸는지 보여주는 실험이기도 했다.
핵심 요약
- 규모: 8주간 1,000명 이상 참가, 2,000건 이상 제출
- 제약 조건: 16MB 아티팩트(모델 가중치 + 학습 코드), 8×H100 기준 10분 학습 시간
- 특이점: 대부분의 참가자가 AI 코딩 에이전트를 적극 활용
- 부가 효과: 인재 발굴 채널로도 기능
무엇이 놀라웠나
기술 혁신의 다양성
상위권 제출물들은 방향이 제각각이었다. 훈련 최적화에 집중한 팀은 Muon 가중치 감쇠, 스펙트럼 임베딩 초기화, 잔차 믹스 스케줄링을 조합해 성능을 끌어올렸다. 양자화 분야에서는 GPTQ-lite를 훈련 후 적용하거나, 전체 Hessian GPTQ를 활용한 압축 경로가 등장했다.
테스트 타임 학습도 주목받았다. 문서 경계에서 리셋하면서 이미 채점된 청크만 적응하는 LoRA 기반 접근법은 모델 개선과 평가 전략의 경계를 밀어붙였다. 새로운 아키텍처 아이디어도 나왔다. CaseOps 토크나이저, 부분적 독점 셀프 어텐션인 XSA, 반복 레이어로 순환 구조를 구현한 미니 깊이 순환이 대표적이다.
비기록 트랙에서는 상태 공간 모델과 JEPA를 결합한 시도, 바이트 레벨 H-Net 같은 실험적 접근이 두드러졌다. 비기록 트랙 상위 제출물 중 절반 이상이 기준선 1.22 BPB를 돌파했고, 1위는 1.12 BPB를 기록했다.
AI 에이전트가 경쟁 방식을 바꿨다
이번 챌린지에서 가장 의미 있는 변화는 참가자 대다수가 AI 코딩 에이전트를 사용했다는 점이다. 에이전트 덕분에 실험 설정이 빨라지고, 낯선 코드를 파악하는 비용이 줄었으며, 아이디어 검증의 마찰이 크게 낮아졌다.
하지만 부작용도 있었다. 기존 상위 점수를 소폭 변형한 제출물이 급증하면서 노이즈가 늘었다. 규칙 밖의 접근법이 높은 점수를 내면, 다른 에이전트들이 그 방향으로 줄줄이 따라가는 현상도 발생했다. 하루 수백 건의 제출을 수작업으로 검토하는 것은 불가능했고, OpenAI는 결국 내부적으로 Codex 기반 트리아지(분류) 봇을 개발해 제출물을 자동 모니터링하고 인간 검토가 필요한 항목만 걸러냈다.
커뮤니티에서도 에이전트 활용이 이어졌다. @notapplica와 그들의 코딩 에이전트는 경쟁 기간 내내 ‘라이브 업데이트’ 게시판을 운영하며 주요 제출물을 설명하고 다른 참가자들이 경쟁 흐름을 따라갈 수 있도록 도왔다.
실무자가 볼 핵심 포인트
엄격한 제약이 창의성을 부른다 — 16MB 한계와 10분 학습 시간이라는 조건이 오히려 다양한 아키텍처·압축·최적화 실험을 이끌어냈다. 자유로운 환경보다 제약된 환경이 기술적 혁신을 더 선명하게 드러낸다.
AI 에이전트는 진입 장벽을 낮춘다 — 에이전트 없이는 시도조차 어려웠을 실험들이 이번 대회에서 실제로 제출됐다. 비기록 트랙에서 실험적 아키텍처가 많이 등장한 것도 이와 무관하지 않다.
에이전트 주도 제출물은 관리 비용을 높인다 — 제출 속도와 복잡성이 인간 검토 속도를 초과하면 별도의 자동화 도구가 필요해진다. 대회 운영자뿐 아니라 기업 내 코드 리뷰, 프로젝트 관리에도 적용되는 교훈이다.
오픈 챌린지는 인재 발굴 채널이 될 수 있다 — OpenAI는 이번 챌린지를 인재 발굴 채널로 활용했다. 포트폴리오나 이력서보다 실제 기술적 집요함이 잘 드러나는 형식이다.
커뮤니티가 에이전트로 스스로 조직화했다 — 공식 운영 외에도 커뮤니티 내 에이전트 기반 도구들이 자발적으로 생겨났다. AI 에이전트가 단순 도구를 넘어 공동체의 조직 방식까지 바꾸고 있다는 신호다.