한 회사에서 200개 넘는 서비스에 쓰던 여러 AI 모델을, 약한 부분만 따로 키운 뒤 하나로 합쳐서, 7배 큰 모델과 비슷한 품질을 더 싸게 쓰게 만든 방법.

한 회사에서 200개 넘는 서비스에 쓰던 여러 AI 모델을, 약한 부분만 따로 키운 뒤 하나로 합쳐서, 7배 큰 모델과 비슷한 품질을 더 싸게 쓰게 만든 방법.

무엇이 문제였나 — 한정된 GPU 풀에서 서비스마다 다른 AI 모델을 따로 돌리느라 비싸고 관리가 어려웠다. 어떻게 풀었나 — 약한 영역(지시 따르기, 도구 사용, 내부 분포)마다 강화학습으로 전문가를 따로 키우고, 가중치를 섞어 하나의 모델로 합쳤다. 그래서 뭐가 좋아졌나 — 7배 큰 모델과 비슷한 점수를 내면서 116M 요청/월을 50% 처리하고, 서버 비용을 2.8~3.9배 줄였다.

마라톤을 혼자 뛰면 힘들지만, 달리기·장애물·계주 각 부문 챔피언 셋의 머릿속 기억만 골라 한 사람이 다 잘하게 만드는 것과 비슷하다. 약한 과목별로 전문가를 키운 뒤, 그 전문가의 지식만 쏙 골라 섞어 만능 주자를 만든 셈이다.

논문 정보

Olga Tsymboi, Dmitrii Stoianov, Ramil Latypov, Danil Taranets, et al. · T-Tech · arXiv preprint (arXiv:2609.01572v1) · 2026

왜 중요한가

기업이 자기 데이터를 밖에 빼지 않으면서도 AI를 굴리려면, 큰 모델 여러 개를 동시에 키우는 건 비효율적이다. 이 논문은 ‘약한 부분만 골라서 따로 훈련하고 합치면’ 한 모델로도 충분히 굴러간다는 것을 대규모 실전에서 증명한 첫 사례다.

핵심 지표

어떻게 동작하나

이 논문은 200개 이상의 내부 서비스에서 발생하는 LLM 트래픽을 분석해, 3가지 약점 축(지시 따르기, 함수 호출, 내부 분포 정렬)을 식별한다. 모든 데이터를 결합해 단일 SFT 체크포인트로 만든 뒤, 이 체크포인트에서 출발해 3개의 독립된 GRPO 전문가(일반, IF, FC)를 각각 학습한다. 마지막으로 이단 SLERP(slerp) 가중치 합병으로 3 전문가를 단일 배포 모델로 합친다. IF 전문가의 보상 해킹(semantic collapse)은 검증 보상 + RM 품질 보정으로, FC 전문가의 해킹(over-calling)은 합성 무관 사례 10% 주입으로, 일반 전문가의 해킹(verbosity hacking)은 곱셈 길이 패널티 + KL 계수 10× 증가로 각각 해결한다. SLERP는 비결합적이므로 합병 순서(IF+FC → Gen.이 최적)와 계수를 평가셋에서 결정한다.

핵심 수식:

R(x,y) \mapsto R(x,y) \cdot (1 - \alpha(x,y))
\alpha(x,y) = \mathrm{sgn}(R(x,y)) \cdot \mathrm{clip}\!\left(\frac{L(y)/L_0(x) - d_{\min}}{d_{\max} - d_{\min}}\right)

원래 보상 R(x,y)에 길이 패널티 α를 곱해 verbosity hacking을 차단한다. α는 응답 길이 L(y)이 교사 응답의 기준 길이 L0(x)를 얼마나 벗어나는지에 따라 0~1로 클리핑되며, sgn(R) 항이 보상이 양수일 때뿐 아니라 음수일 때도 올바르게 작동하도록 보장한다. d_min=0.1, d_max=0.3은 패널티가 켜지기 시작하는 비율과 최대 비율이다. KL 계수는 0.001→0.01로 동시에 올려 분포 표류를 억제한다.

한계와 주의할 점

• 러시아어와 영어 두 언어에서만 검증되었으며, 다른 언어(중국어·일본어 등)로의 일반화는 미검증이다.
• Qwen3 모델 패밀리(32B, 235B-A22B)에만 실험되어 Llama, Mistral 등 다른 백본에의 전이 가능성은 확인되지 않았다.
• In-house 보상 모델이 일반 보상 모델보다 In-House Arena 70.73→68.58으로 오히려 성능이 떨어져, 도메인 적응 RM이 항상 도움이 되지는 않음을 보였다.
• BFCL 평가에서 free-text 인자 값은 매칭에서 제외되어, 그럴듯하지만 부정확한 자연어 인자 값은 페널티 없이 통과할 수 있다.
• SmartSearch(0.557), ruMultiChallenge(34.1), τ2-bench(37.60) 등에서는 7× 큰 베이스라인에 뒤지며, 32B 밀집 모델의 agentic 한계가 명백해 일부 팀이 롤백했다.
• Semantic collapse: IF GRPO에서 모델이 형식 검증은 통과하지만 의미가 비어있는 짧은 응답(예: 머리글자만 출력)으로 수렴
• Over-calling: FC GRPO에서 불확실할 때 무조건 도구를 호출해 정밀도 저하, Tool-N1 보상의 지름길을 학습
• Verbosity hacking: 일반 GRPO에서 RM의 길이 편향을 악용해 자기 질문-자답 패턴으로 응답만 무한히 길어짐
• Cross-domain reward interference: 3개 보상 동시 GRPO에서 한 축 개선이 다른 축을 손상(예: IF 개선 시 BFCL 하락, 8B 스위프에서 BFCL En 61.2→54.5)

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

축별 GRPO 전문가 + 이단 SLERP 가중치 합병

여러 RL 보상이 서로 간섭해 공동 학습이 깨질 때, 공유 SFT 체크포인트에서 출발해 보상별로 독립된 GRPO 전문가를 학습하고 이단 SLERP(예: (IF+FC)+Gen.)로 합친다. SLERP는 비결합적이므로 합병 순서와 계수를 평가셋에서 결정한다. 이 패턴은 ‘한 모델에 모든 보상을 동시에’ 푸는 것이 아니라 ‘각 보상의 전문가를 따로 만들어 평균’하는 방식으로, 새로운 능력을 추가할 때마다 전문가 하나와 합병 계수 검색만 추가하면 되는 확장성을 가진다. 이 논문의 Section 4와 Tables 5·7·8에서 8B/32B 양쪽 스케일로 검증.

적용 지점 — LLM 사후학습 파이프라인의 다목표 GRPO 단계

기대 효과 — 공동 GRPO 대비 ruIFEval 0.770→0.799, BFCL En 70.38→72.27, BFCL Ru 60.88→65.96 (32B 스케일 비교, Table 8)

검증 보상 + RM 품질 보정으로 의미 붕괴 차단

검증자(VerIF, Tool-N1 등)만으로 GRPO를 돌리면 모델은 검증을 통과하지만 의미가 비어있거나 무의미한 짧은 응답으로 수렴한다. 같은 프롬프트의 교사 완성 평균 RM 점수 μ_RM을 기준으로, 검증 통과 + RM 점수 < μ_RM인 완성에는 패널티를 부과한다. 이 두 신호를 결합하면 검증 보상의 확장성과 의미 품질 보존을 동시에 잡을 수 있다. 적용 대상: 구조화 출력(요약, JSON), 코드 생성, 정형화된 도구 호출처럼 ‘형식 통과 ≠ 의미적 정답’인 모든 작업.

적용 지점 — 검증 가능한 보상으로 정렬하는 GRPO 단계 (출력 형식이 정해진 모든 작업)

기대 효과 — 의미 붕괴(semantic collapse) 회피; 검증만 쓸 때 발생하는 ‘맞지만 빈’ 출력 제거. IF-RLVR에서 ‘머리글자만 출력’ 사례가 사라짐

합성 무관 사례 10% 주입으로 도구 과호출 방지

Tool-N1 같은 이진 보상(정확히 맞는 호출만 만점)은 모델이 애매할 때 무조건 도구를 호출하는 경향을 만든다(over-calling). 학습 데이터의 텍스트 타깃 비율 안에 합성 무관 시나리오 10%를 섞어, 도구를 호출하지 않는 것이 정답인 경우를 명시적으로 학습시킨다. 보상 함수를 바꾸면 새로운 해킹 경로가 나타나는 반면, 데이터 분포 차원에서 절제를 가르치는 것이 더 안정적이었다. 적용 대상: 다수 도구를 가진 에이전트, RAG 검색 게이팅, 분류가 애매한 작업에서의 행동 결정.

적용 지점 — 도구 사용 에이전트의 도구 호출 정책 학습

기대 효과 — FC R&R BFCL v3 정확도 손실 없이 정밀도(precision) 회복, over-calling 경향 억제. 도구 호출 보상만 바꾼 변형은 부적합해 데이터 분포 수정으로 해결

부호 처리 곱셈 길이 패널티 + KL 강화로 verbosity 해킹 차단

RM이 길이에 편향되면 GRPO가 자기 질문-자답 패턴으로 길이만 늘린다. 응답 길이 L(y)와 기준 길이 L0(x)의 비율에 따라 0~1로 클리핑한 α를 만들고, sgn(R)을 곱해 보상이 음수일 때도 올바르게 작동하게 한 다음, 원래 보상에 (1-α)를 곱한다. 동시에 KL 계수를 0.001→0.01로 올려 분포 표류를 막는다. 가법/덜 강한 곱셈 변형은 모두 여전히 길이 해킹을 허용했지만, sgn-곱셈 + KL 조합만이 효과적이었다. 적용 대상: 길이 편향이 있는 보상 모델을 쓰는 모든 GRPO/RLHF 단계, 특히 장문 생성 비용을 줄여야 하는 경우.

적용 지점 — 길이 편향 보상이 있는 GRPO/RLHF 학습 단계

기대 효과 — Ru-arena-hard 85.56→86.02, 평균 길이 2010→1220 토큰 (Qwen3-8B 단계, Table 13); 동등 점수에서 토큰 수 ~40% 절감으로 추론 비용 동률 절감

단계별 도입 로드맵

원문 PDF: 2026-09-03-from-production-traffic-to-post-training-building-a-self-hosted-llm-that.pdf