개요
Cursor가 Composer 2 전체 훈련 과정을 담은 기술 보고서를 arXiv(2603.24477)에 공개했다. 오픈소스 기본 모델 Kimi K2.5에서 출발해 코드 중심 후속 사전학습, 대규모 강화학습까지의 전 과정을 다루며, 실제 Cursor 환경을 최대한 가깝게 재현하는 데 초점을 맞췄다. Sasha Rush가 작성한 이 보고서는 훈련 레시피 어블레이션, 에이전트 행동 조정, 평가 스위트 설계까지 구체적으로 공개한다.
핵심 요약
- 📄 arXiv 기술 보고서 전면 공개 — 훈련 레시피, 인프라, 어블레이션 포함
- 🧠 2단계 훈련: 코드 중심 후속 사전학습 → 대규모 강화학습
- 📊 CursorBench 61.3점 — Composer 1.5 대비 37% 개선, 프런티어 모델 수준
- 🌐 SWE-bench Multilingual 73.7 / Terminal-Bench 61.7
- ⚙️ Anyrun: 수십만 개 격리 코딩 환경 병렬 실행 내부 플랫폼
- 💸 비슷한 성능 모델 대비 훨씬 낮은 추론 비용으로 파레토 최적 달성
1. 후속 사전학습 + 대규모 RL
Composer 2 훈련은 두 단계로 구성된다.
1단계 — 후속 사전학습: Kimi K2.5 기반 모델에 코드 중심 데이터 혼합으로 사전학습을 추가 수행한다. 핵심 발견은 사전학습 손실을 낮출수록 다운스트림 RL 성능이 향상된다는 것이다. 더 나은 기반 지식이 안정적으로 더 뛰어난 에이전트 성능으로 이어진다는 점을 실험으로 확인했다.
2단계 — 대규모 강화학습: RL 훈련은 배포된 모델이 실제로 사용하는 것과 동일한 도구와 하네스가 갖춰진 실제 Cursor 세션에서 이루어진다. 개발자가 Composer에 요청하는 작업 전체 분포를 반영한 문제로 훈련하며, 평균 성능과 best-of-K 성능을 모두 향상시켰다. 이는 모델이 기존에 알려진 해법을 반복하는 게 아니라 새로운 해결 경로를 능동적으로 학습하고 있음을 의미한다.
2. CursorBench — 실제 개발 세션 기반 평가
공개 벤치마크의 한계는 명확하다. 작업이 지나치게 구체적으로 정해져 있고, 해결 방식이 제한적이며, 코드베이스도 작다. 이런 벤치마크는 개발자가 실제로 하는 일을 제대로 반영하지 못한다.
Cursor는 자사 엔지니어링 팀의 실제 코딩 세션을 바탕으로 CursorBench를 구축했다. 주요 특징:
- 프롬프트가 짧고 모호함 (실제 개발자 지시와 유사)
- 여러 파일에 걸쳐 수백 줄의 변경이 필요한 작업
- 훈련과 평가 전반에 걸쳐 동일 벤치마크 사용
Composer 2는 CursorBench에서 61.3점을 기록해 Composer 1.5 대비 37% 개선됐으며, 가장 강력한 프런티어 모델과 견줄 만한 수준을 달성했다.
3. 공개 벤치마크 성능
| 벤치마크 | Composer 2 |
|---|---|
| CursorBench | 61.3 (+37% vs Composer 1.5) |
| SWE-bench Multilingual | 73.7 |
| Terminal-Bench | 61.7 |
비슷한 모델 대비 훨씬 낮은 추론 비용으로 이 성능을 달성해, 대화형 개발 워크플로우에서 정확도와 비용의 파레토 최적 균형을 제공한다.
4. 인프라 — Blackwell 커널, 완전 비동기 RL, Anyrun
Composer 2 훈련에는 대규모 인프라 개발이 수반됐다:
- 맞춤형 저정밀도 커널: Blackwell GPU에서 효율적인 MoE 학습을 위해 특수 설계
- 완전 비동기 RL 파이프라인: 여러 리전에 걸쳐 운영되는 비동기 방식으로 학습 효율 극대화
- Anyrun: 수십만 개의 격리된 코딩 환경을 병렬 실행하는 Cursor 내부 컴퓨트 플랫폼
보고서는 가중치 동기화, 장애 허용(fault tolerance), 환경 충실도에 대한 접근 방식을 전 스택에 걸쳐 상세히 공개한다.
실무자가 볼 핵심 포인트
| 포인트 | 의미 |
|---|---|
| 사전학습 손실 ↓ → RL 성능 ↑ | 기반 모델 품질이 에이전트 RL의 상한선을 결정 |
| 실제 환경 RL | 합성 환경이 아닌 실 배포 환경에서 훈련 → 실사용 성능 격차 최소화 |
| CursorBench 설계 | 자체 벤치마크 구축이 모델 정렬에 핵심 — 공개 벤치마크의 한계 직접 해결 |
| Anyrun 플랫폼 | 수십만 병렬 환경 운영 기술 → 향후 더 큰 RL 스케일링의 기반 |
| 비용 파레토 | 프런티어 수준 성능 + 낮은 추론 비용 조합 → 프로덕션 배포 경쟁력 |
