가상 회사의 이메일을 대규모로 만들어 인공지능이 여러 문서에서 정보를 찾아 답하는 능력을 평가한 연구이다.

가상 회사의 이메일을 대규모로 만들어 인공지능이 여러 문서에서 정보를 찾아 답하는 능력을 평가한 연구이다.

무엇이 문제였나 — 실제 회사 문서는 공개하기 어렵고, 기존 시험 자료는 문서 수와 문서 사이의 연결이 실제 업무보다 단순했다. 어떻게 풀었나 — 연구진은 가상 회사의 조직과 업무 기록을 먼저 만든 다음, 그 기록에 맞는 이메일과 확인 가능한 질문을 만들었다. 그래서 뭐가 좋아졌나 — 다섯 모델의 성능을 비교한 결과, 관계를 문서에서 찾아 정리하는 일은 특히 큰 자료에서 어려웠고, 정리된 사실을 직접 조회했을 때 질문 점수가 더 높았다.

먼저 가상 회사의 조직도와 업무 기록을 만든 뒤, 그 기록에 맞는 이메일을 여러 통 작성하는 것과 비슷하다. 이메일이 서로 모순되지 않도록 하고, 각 질문의 답도 처음 만든 기록에서 확인할 수 있게 했다.

논문 정보

Sil Hamilton, Albert Yu Sun, Oscar J. Romero, Carl-Leander Henneking, David Mimno, Bishan Yang, Igor Labutov · Epiq AI Labs; Cornell University · arXiv preprint arXiv:2608.27391v1 [cs.AI] · 2026

왜 중요한가

작은 자료에서 잘 답하는 인공지능이 실제처럼 문서가 많은 환경에서도 잘 작동하는지는 별개의 문제다. 이 연구는 문서 규모와 질문 종류에 따라 성능이 어떻게 달라지는지 살펴볼 수 있는 시험 자료를 제공한다.

핵심 지표

어떻게 동작하나

연구진은 회사 C=(D,T,E)를 부서 D, 팀 T, 직원 E로 정의하고, 기업의 조직·업무·회의 관계를 나타내는 지식 기반을 만들었다. 관계 유형은 MemberOf, ReportsTo, WorksOn, WorksAt, Attends, Organize, BelongsTo의 7개다. 분기 90일의 업무와 회의를 시뮬레이션하고, 분기 말에 약 10%의 직원을 추가해 일부 관계에 시작·종료 시점을 부여했다. 관계를 드러내는 문구 3,217개와 주제 표본 추출(Dirichlet α=0.75) 등을 활용해 Claude Haiku 4.5로 이메일을 생성했다. 네 회사의 문서는 각각 354, 3,926, 26,493, 232,693건이다. 평가 과제는 관계·개체 추출, 주제 분류와 KB QA·Topic QA·Integrated QA다. 질의응답은 회사별 과제당 250개 질문을 사용하고, 집합 답에는 F1, 나머지 답에는 정답 일치를 적용했다. 문서 검색(RAG)과 정답 지식 기반을 SQL로 조회하는 설정을 비교했다. 개체 추출보다 관계 추출이 어려웠고, 시간 관계 추출의 F1은 S에서 0.142–0.470, XL에서 0.062–0.173이었다. KB QA에서 최고 점수 기준 KB와 RAG의 차이는 S에서 0.24, XL에서 0.37이었다.

핵심 수식:

C=(D,T,E),\quad \forall d\in\mathcal{C}:\text{문서 }d\text{의 진술은 ground-truth KB의 사실과 모순되지 않는다}

C는 회사, D는 부서, T는 팀, E는 직원이다. 논문은 원하는 문서 수 n 이상을 생성할 수 있다고 설명하지만, 제시된 핵심 성질은 위의 논리적 일관성이다. 여기서 KB는 정답 지식 기반을 뜻한다.

한계와 주의할 점

• 평가는 이메일 중심이어서 Slack·Teams 대화, 기술 문서, 재무 보고서, 스프레드시트, 발표 자료의 차이를 충분히 다루지 않는다.
• 회사 활동은 90일 동안만 시뮬레이션해 장기적인 조직 변화나 지식 축적은 평가하지 않는다.
• 이메일은 Claude Haiku 4.5가 생성했으므로 문체나 표현의 특성이 실제 사람이 쓴 기업 문서와 다를 수 있다. 논문도 결과를 실제 문서보다 쉬운 하한선으로 볼 수 있다고 설명한다.
• 사람 검토에서는 관계 표현 판단이 76.2% 맞았다. 따라서 생성 문서의 관계 표현도 항상 명확한 것은 아니다.
• 질문은 수작업 템플릿을 지식 기반 값으로 채워 만들었다. 실제 사용자의 질문 분포를 대표하는지는 별도로 검증되지 않았다.
• 개체를 잘못 찾으면 그 개체에 연결된 관계도 연쇄적으로 잘못 추출될 수 있다.
• 서로 다른 시점의 관계 설명이 함께 쌓이면 모델이 현재와 과거의 관계를 구분하기 어려울 수 있다.
• 문서가 많아질수록 정확한 정보를 찾아야 하는 KB QA와 Topic QA 성능이 낮아지는 경향이 나타났다.
• GPT-5.1은 도구 응답 뒤 빈 답을 반환하고 멈추는 조기 종료를 보였다. 논문은 KB 설정에서 191회, RAG에서 56회를 보고한다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

질문 유형에 따라 조회 방식 선택

논문은 문서 검색(RAG)과 정답 지식 기반을 SQL로 조회하는 설정을 비교했으며 KB QA에서는 KB 설정의 최고 점수가 RAG보다 높았다. 실제 서비스에서는 추출된 지식 기반의 정확도와 포함 범위를 확인한 뒤 관계 질문을 구조화 조회로 보낼 수 있다. 이 결과만으로 실제 구축된 지식 기반이 항상 문서 검색보다 낫다고 결론 내릴 수는 없다.

적용 지점 — 질문 처리 시 검색 경로 선택

기대 효과 — KB QA 최고 점수 차이는 S에서 0.24, XL에서 0.37이다. 논문은 실제 속도나 비용 이득을 측정하지 않았다.

관계의 시작과 종료 시점 보존

논문은 MemberOf, ReportsTo, WorksOn, WorksAt, Attends, Organize, BelongsTo 관계를 다루고, 일부 관계에 시작과 종료 시점을 기록한다. 실제 시스템에서도 관계의 시점과 출처 문서를 함께 보관하면 서로 다른 시점의 설명을 현재 상태로 합치는 문제를 점검할 수 있다.

적용 지점 — 기업 관계 정보 저장 및 갱신

기대 효과 — 논문에서 시간 관계 추출 F1은 S에서 0.142–0.470, XL에서 0.062–0.173으로 보고됐다. 제안한 저장 방식의 개선 효과는 별도 검증이 필요하다.

도구 응답 뒤 빈 답 감지

논문은 GPT-5.1이 도구 응답 후 빈 문자열을 반환하는 조기 종료를 보고했다. 실제 시스템에서는 빈 답을 정상 완료로 처리하지 않고 재시도하거나 다른 조회 경로를 사용하는 방안을 시험할 수 있다.

적용 지점 — 도구 사용 후 답변 처리

기대 효과 — 논문은 KB 설정에서 191회, RAG에서 56회의 조기 종료를 보고했다. 재시도 정책의 정확도 개선 폭은 측정하지 않았다.

답변의 근거와 구조화 사실 대조

논문은 정답 지식 기반을 SQL로 조회하는 설정과 문서 검색 설정을 비교했고, 구조화된 지식 기반 조회가 KB QA에서 더 높은 최고 점수를 보였다. 실제 시스템에서는 이 구조화 정보를 답변 검토에 활용할 수 있지만, 지식 기반 자체의 오류와 누락도 점검해야 한다.

적용 지점 — 답변 생성 뒤 근거 확인

기대 효과 — KB QA에서 최고 점수 차이는 S 0.24, XL 0.37이다. 답변 검증 절차 자체의 효과는 논문에서 평가하지 않았다.

단계별 도입 로드맵

원문 PDF: 2026-08-30-corporatebench-large-scale-q-a-benchmarking-with-temporal-knowledge-base.pdf