규모보다 전문화 — 3B 모델이 GPT-5, Claude Opus를 이긴 방법

개요

“AI는 클수록 좋다.” 지난 3년간 기업 AI 도입 전략을 지배해 온 암묵적 공식이다. 그런데 이 공식에 균열이 생겼다. Dharma-AI가 발표한 DharmaOCR 벤치마크는 30억 파라미터 특화 모델이 GPT-5, Claude Opus, Gemini Pro를 포함한 모든 상용 프론티어 API를 품질·비용·안정성 세 축에서 동시에 앞섰다는 사실을 실증했다. 비용 차이는 52배다. 이 결과가 왜 중요한지, 무엇이 이를 가능하게 했는지를 짚는다.

핵심 요약

• 품질 1위: DharmaOCR 3B 모델 0.911 — Claude Opus 4.6(0.833), Gemini 3.1 Pro(0.820), GPT-5.4(0.750) 전부 하회
• 비용 52배 절감: 동일 작업량 기준 Claude Opus 4.6 대비 52배 저렴
• 안정성 최고: 텍스트 변성율(text degeneration) 0.20% — 동급 특화 모델(0.40%)과 범용 모델(1.41%) 모두 앞섬
• 결정 변수는 파라미터 수가 아님: 모델의 학습 이력이 배포 태스크에 얼마나 가까운가가 성능을 결정
• 재현 가능한 파이프라인: SFT + DPO 파인튜닝 — 충분한 자원을 갖춘 기업이면 복제 가능

본문

“큰 모델이 최선"이라는 기본값의 탄생

GPT-4가 등장한 이후 기업 AI 조달의 기본값은 단순했다. 가장 큰 프론티어 모델을 선택하라. 이 공식은 틀리지 않았다. GPT-4, Claude 3, Gemini 1.5를 거치며 모델 품질은 파라미터 수·학습 컴퓨트와 함께 꾸준히 올랐고, 스케일링 법칙(Kaplan et al., 2020)이 이를 이론적으로 뒷받침했다. 틀린 모델을 선택하는 비용이 프리미엄 API를 쓰는 비용보다 크다는 인식도 합리적이었다.

문제는 비교 대상에 있었다. 기존 비교는 항상 ‘큰 범용 모델 vs. 작은 범용 모델’이었다. ‘큰 범용 모델 vs. 작지만 특화된 모델’ 비교는 충분히 이뤄지지 않았다.

벤치마크가 보여준 것

Dharma-AI의 DharmaOCR 벤치마크는 브라질 포르투갈어 OCR — 인쇄 문서, 손글씨, 법률·행정 문서 — 를 대상으로 했다. 태스크 특정성이 높아 특화 효과가 명확하게 드러나는 도메인이다.

품질 비교 (복합 점수, 높을수록 좋음)

1위와 2위 간 격차(0.078)는 나머지 비교군 전체에서 인접 순위 간 격차 중 가장 크다. 단순히 앞선 게 아니라 확연히 앞선 것이다.

비용: 특화 3B 모델은 Claude Opus 4.6 대비 52배 저렴하게 운용됐다. 품질-비용 파레토 프론티어에서 이 모델은 왼쪽 위에 홀로 위치한다. 프론티어 API들은 모두 오른쪽 아래에 몰려 있다.

안정성: 텍스트 변성율(생성이 반복 루프에 빠져 사용 불가능한 출력을 내는 비율)은 0.20%로 전체 최저였다.

결정 변수: 파라미터 수가 아닌 분포 정렬

같은 아키텍처(Qwen2.5-VL-3B)로 실험하면 차이가 명확해진다. OCR에 미리 특화된 Nanonets-OCR2를 베이스로 SFT+DPO를 적용하면 0.921, 텍스트 변성율 0.20%. 동일 아키텍처의 범용 모델에 같은 파이프라인을 적용하면 0.793, 텍스트 변성율 1.41%. 아키텍처도 같고 파인튜닝 과정도 같다. 다른 것은 모델이 배포 태스크에서 얼마나 떨어진 곳에서 출발했느냐뿐이다.

논문은 이를 명시한다: “맥락적 특화(contextual specialization)가 파라미터 수보다 결정적일 수 있다.” 프레임을 바꾸면 이렇다. 기존 조달 기본값은 파라미터 수가 주 변수, 학습 이력이 부 변수였다. 이 논문이 제안하는 프레임에서는 순서가 뒤집힌다. 태스크에 대한 분포적 정렬(distributional alignment)이 주 변수, 파라미터 수는 그 정렬 효과를 증폭하는 여러 요소 중 하나다.

특화는 작아서 감수하는 타협이 아니다. 특화는 정렬되는 방법이다.

SFT + DPO: 재현 가능한 파이프라인

DharmaOCR가 사용한 파인튜닝 파이프라인은 두 단계다.

1. SFT(Supervised Fine-Tuning): 도메인 특화 데이터로 지도 학습. 범용 모델 대비 텍스트 변성율이 대부분의 경우 감소한다.
2. DPO(Direct Preference Optimization): SFT 이후 선호도 최적화. SFT 대비 텍스트 변성율이 추가 감소한다.

논문은 이 파이프라인을 “충분한 자원을 갖춘 기업이면 복제할 수 있다"고 명시한다. 특수한 연구 인프라가 아닌, 기업 AI팀이 실행 가능한 레벨이라는 뜻이다.

일반화의 범위와 한계

논문은 이 결과가 모든 엔터프라이즈 워크로드에 일반화된다고 주장하지 않는다. 이 결과는 OCR이라는 특정 도메인, 특정 언어(브라질 포르투갈어), 특정 측정 방법 위에서 나온 것이다. 특화 효과가 큰 도메인(문서 처리, 법률 텍스트, 의료 기록, 특정 언어 처리)에서는 이 결과가 강하게 재현될 수 있지만, 범용 추론이나 창의적 생성처럼 태스크 경계가 넓은 영역에서는 다른 결론이 나올 수 있다.

실무자가 볼 핵심 포인트

1. 조달 기본값을 태스크별로 검증하라 — “가장 큰 모델"이 아니라 “이 태스크에 가장 잘 정렬된 모델"이 올바른 질문이다. 도메인이 명확할수록 특화 모델과 프론티어 API의 격차가 벌어진다.
2. 52배 비용 차이는 ROI 계산을 바꾼다 — 동일 품질에서 비용이 52배 낮다면 특화 모델 개발에 투자할 break-even point는 훨씬 빨리 온다. 볼륨이 클수록 특화 투자의 경제성이 압도적으로 유리해진다.
3. SFT + DPO 파이프라인은 기업 AI팀의 표준 역량이 돼야 한다 — 논문이 제시한 파이프라인은 특수 연구 환경이 아닌 기업 실행 수준에서 재현 가능하다. 반복적·고볼륨 도메인 특화 태스크가 있다면 내부 특화 모델 개발을 ROI 관점에서 다시 평가할 시점이다.
4. 텍스트 변성율은 프로덕션 안정성의 핵심 지표다 — 0.20% vs 1.41%는 단순한 품질 차이가 아니다. 고볼륨 자동화 파이프라인에서 변성 빈도는 인간 검토 비용, 재처리 비용, 다운스트림 오류 전파로 직결된다. 안정성 지표를 벤치마크에서 제외하는 것은 프로덕션 결정을 잘못된 정보로 내리는 것이다.

원문: Specialization Beats Scale: A Strategic Variable Most AI Procurement Decisions Overlook — Dharma-AI