가상 회사의 이메일을 대규모로 만들어 인공지능이 여러 문서에서 정보를 찾아 답하는 능력을 평가한 연구이다.
가상 회사의 이메일을 대규모로 만들어 인공지능이 여러 문서에서 정보를 찾아 답하는 능력을 평가한 연구이다. 무엇이 문제였나 — 실제 회사 문서는 공개하기 어렵고, 기존 시험 자료는 문서 수와 문서 사이의 연결이 실제 업무보다 단순했다. 어떻게 풀었나 — 연구진은 가상 회사의 조직과 업무 기록을 먼저 만든 다음, 그 기록에 맞는 이메일과 확인 가능한 질문을 만들었다. 그래서 뭐가 좋아졌나 — 다섯 모델의 성능을 비교한 결과, 관계를 문서에서 찾아 정리하는 일은 특히 큰 자료에서 어려웠고, 정리된 사실을 직접 조회했을 때 질문 점수가 더 높았다. ...







