개요
강력한 오픈소스 LLM이 수백 개 쌓였다. VIDRAFT의 Darwin Family는 여기서 시작한다. 이미 존재하는 모델들의 가중치 공간에 원하는 능력이 잠들어 있다면? 새로 훈련하는 대신 그 잠재력을 꺼내면 된다. Darwin-28B-Opus는 그래디언트를 한 번도 쓰지 않고 GPQA Diamond 88.89%를 찍었다. 완전 훈련된 부모 모델을 뛰어넘는 수치다.
핵심 요약
- 훈련 제로: SFT, RLHF, GRPO 없이 오픈소스 가중치 재조합만으로 프론티어 수준 추론 달성
- GPQA Diamond 88.89%: 표면 패턴 매칭을 막기 위해 설계된 벤치마크에서 진짜 추론 능력 확인
- 14차원 적응형 머지 게놈: 레이어가 아닌 컴포넌트(어텐션, FFN, 임베딩) 단위 재조합
- MRI-Trust Fusion: 레이어별 추론 기여도를 진단하고 진화 탐색과 결합 — 수동 튜닝 불필요
- 이종 아키텍처 교배: Transformer 어텐션 레이어와 Mamba SSM 레이어를 교배하는 아키텍처 매퍼
왜 재조합인가
훈련의 가정을 뒤집는다
기존 가정은 이렇다. 포스트 트레이닝(RLHF, DPO, GRPO)이 없으면 고성능 추론 모델은 나오지 않는다. Darwin Family는 이 가정에 반론을 제기한다. 오픈 웨이트 모델들의 가중치 공간에는 현재 추출되는 것보다 훨씬 많은 잠재 능력이 담겨 있다. 훈련 대신 재조합이 그 열쇠다.
비용의 벽
RLHF 스케일의 훈련에는 B200/H200 클러스터가 필요하다. Darwin Family는 이 진입 장벽을 수십 배 낮춘다. 그래디언트 계산이 없으니 대규모 GPU 클러스터가 필요 없다. 오픈소스 에코시스템이 성장할수록 사용 가능한 부모 모델이 늘고, 재조합 공간도 지수적으로 넓어진다. 오픈소스 커뮤니티가 훈련하는 새 모델 하나하나가 Darwin의 재료가 된다. 별도 투자 없이 생태계 전체의 발전을 흡수하는 구조다.
세 가지 핵심 메커니즘
① 14차원 적응형 머지 게놈
기존 모델 머지는 레이어 단위 혼합 비율을 조정했다. Darwin의 머지 게놈은 컴포넌트 단위로 내려간다. 어텐션, FFN, MLP, LayerNorm, 임베딩을 개별 및 블록 수준에서 따로 재조합한다. 레이어 단위 균일 혼합으로 잡히지 않는 능력 패턴을 14개 차원의 탐색 공간에서 꺼낸다.
② MRI-Trust Fusion
핵심 기여다. 두 요소를 결합한다.
MRI(Model Reasoning Importance): 각 레이어가 추론 능력에 얼마나 기여하는지 진단한다. 어느 레이어가 추론에 결정적인지, 어느 레이어가 교체 가능한지 수치로 나온다.
학습 가능한 신뢰 파라미터: MRI 진단 신호와 진화적 탐색의 균형을 맞춘다. 기존 머지 방법의 고질병이었던 수동 튜닝을 없앤다. 진단 결과와 탐색 결과를 자동으로 조율해 최적 재조합을 찾아간다. 어느 레이어에서 진단을 더 믿고 어느 구간에서 탐색을 더 믿을지를 파라미터가 스스로 결정한다. 사람의 개입 없이 수렴하는 이 메커니즘이 Darwin의 재현성을 보장한다.
③ 아키텍처 매퍼
이종 아키텍처 간의 교배를 가능하게 한다. 지금까지 Transformer와 Mamba 계열(SSM) 모델은 별개의 에코시스템이었다. 아키텍처가 다르면 레이어 구조 자체가 달라 단순 가중치 복사가 불가능했다. 아키텍처 매퍼는 이 경계를 넘는다. Transformer 어텐션 레이어와 Mamba SSM 레이어를 교배해 하이브리드 구조를 만든다. 분리되어 있던 오픈소스 에코시스템 전체가 하나의 재조합 재료 풀이 된다.
실험 결과
Darwin-28B-Opus는 그래디언트를 단 한 번도 쓰지 않았다. 사전 훈련도, SFT도, RL도 없다. 순수 가중치 재조합만으로 나온 결과가 GPQA Diamond 88.89%다. GPQA Diamond는 표면 패턴 매칭을 막기 위해 설계된 벤치마크다. 구글 검색이나 기억으로 맞힐 수 없고, 진짜 추론 능력만이 통한다. 여기서 88.89%는 완전 훈련된 자체 부모 모델을 넘는 수치다.
규모별 성능은 4B에서 35B까지 일관되게 오른다. 자식 모델이 다시 부모가 되는 재귀적 다세대 진화에서도 안정성을 유지한다. 한 번의 재조합으로 끝나지 않고, 세대가 쌓일수록 점진적으로 성능이 올라가는 구조가 확인됐다. 이 재귀적 구조가 안정적으로 수렴한다는 점이 훈련 없는 최적화가 실용 가능하다는 핵심 근거다.
실무자가 볼 핵심 포인트
- 재조합이 훈련의 대안이 됐다 — 오픈소스 모델 가중치에 이미 잠재된 능력이 현재 추출되는 것보다 훨씬 많다는 증거다. 새 훈련 없이 기존 모델 조합만으로 SOTA를 넘는 경로가 열렸다
- 비용 장벽이 무너진다 — B200/H200 클러스터 없이 프론티어 수준 추론 모델을 만든다. 소규모 팀도 대형 랩 수준 추론 모델에 접근한다
- 오픈소스가 쌓일수록 Darwin의 가치가 올라간다 — 부모 모델이 늘수록 재조합 공간이 지수적으로 넓어진다. 오픈소스 생태계 성장이 곧 Darwin의 자산이다
- GPQA Diamond는 속임수가 없다 — 표면 패턴 매칭을 설계 단계에서 차단한 벤치마크다. 여기서 88.89%는 진짜 추론 능력 지표다
- 이종 아키텍처 교배가 에코시스템을 하나로 묶는다 — Transformer와 Mamba가 교배 가능하다면 앞으로 나올 신규 아키텍처도 Darwin 프레임워크 안으로 들어온다