이 논문은 과학 논문을 찾을 때 주제만 비슷한 자료가 아니라, 문제의 해결책·더 넓은 원리·구체적인 사례를 구분해 찾는 방법을 제안한다.

이 논문은 과학 논문을 찾을 때 주제만 비슷한 자료가 아니라, 문제의 해결책·더 넓은 원리·구체적인 사례를 구분해 찾는 방법을 제안한다.

무엇이 문제였나 — 기존 검색은 주제가 비슷한 자료를 찾는 데 집중해, 그 자료가 해결책인지 넓은 원리인지 구체적인 사례인지 구분하기 어려웠다. 어떻게 풀었나 — 논문에서 문장 사이의 관계를 알려 주는 표현을 찾아, 세 가지 역할별 검색 자료와 평가용 시험 자료를 만들었다. 그래서 뭐가 좋아졌나 — 역할별로 검색 모델을 학습하자 정답을 더 높은 순위에서 찾았고, 평가자가 유효하다고 본 대안도 더 자주 검색했다.

도서관에서 주제만 보고 책을 고르는 대신, 문제를 푸는 책·큰 원리를 설명하는 책·실제 사례를 보여 주는 책으로 나누어 찾는 것과 같다.

논문 정보

Maayan Sharon, Tom Hope · The Hebrew University of Jerusalem; The Allen Institute for AI (AI2) · arXiv preprint (cs.CL) · 2026

왜 중요한가

연구자는 비슷한 주제의 논문만으로는 지금 필요한 아이디어를 찾기 어려울 수 있다. 자료가 문제 해결에 도움이 되는지, 더 넓은 원리를 보여 주는지, 구체적인 사례인지 나눠 찾으면 필요한 방향의 근거를 찾기 쉬워진다.

핵심 지표

어떻게 동작하나

RATIO는 query 문장 q와 찾으려는 관계 r∈{ADDRESS, BROADEN, SPECIFY}를 입력받아, 문헌 후보 문장 c를 그 관계에 맞는 순서로 정렬하는 과제다. 저자들은 수동 검토, 여러 LLM, 규칙 기반 표현 확장을 거쳐 4,252개 연결 표현을 구성했다. 생성된 후보 4,256개를 LLM이 분류했고, 최종 표현 중 데이터에서 실제로 나타난 809개를 전문가 2명이 검토했다. 약 366.6M개의 연속 문장쌍에서 약 3M개의 query–positive 쌍을 추출했다. 논문 발행일을 기준으로 훈련(2015년부터 2025년 9월 30일까지), 검증(2025년 1012월), 시험(2026년 1월 1일5월 5일)을 나눴다. 각 분할 안에서 세 연산은 같은 후보 풀을 공유하며, 목표 관계 밖의 연결 표현에서 얻은 문장도 어려운 오답 후보로 추가했다. 세 검색 모델을 연산별로 in-batch negative를 이용한 대조 학습 방식으로 미세조정했다. 총 훈련 비용은 1,800 GPU hours였고 평가·검색에는 282 hours가 들었다. 주 평가인 silver test set은 17,579개 질의로 구성됐다. 평가 프롬프트의 사람 판정 일치 F1은 ADDRESS .83–.84, SPECIFY .86–.87, BROADEN .76이었다. 별도의 400개 질의별 상위 10개 후보 평가에서, 두 프롬프트가 모두 유효하다고 판정한 후보가 하나 이상 있는 비율은 미세조정 모델에서 SPECIFY 89.0%, ADDRESS 76.5%, BROADEN 29.0%였다.

핵심 수식:

\hat{C}^{k}_{r}(q)=\hat{c}_{1},\ldots,\hat{c}_{k},\quad \text{rank candidates }c\in\mathcal{C}\text{ by }s(q,c\mid r)
\mathcal{L}=-\frac{1}{N}\sum_{i=1}^{N}\log\frac{\exp\!\left(20\,\operatorname{cos}(q_i,p_i)\right)}{\sum_{j=1}^{N}\exp\!\left(20\,\operatorname{cos}(q_i,p_j)\right)},\quad \tau=0.05

첫 식은 query q와 요청된 관계 r에 대해 후보 문장들을 점수 s(q,c|r) 순으로 정렬해 상위 k개를 반환한다는 과제 정의다. 손실식은 배치의 각 query q_i와 정답 p_i의 유사도를 다른 정답 p_j와 비교하는 Multiple Negatives Ranking Loss다. 논문은 scale을 20으로 두며 이에 대응하는 온도는 τ=0.05다.

한계와 주의할 점

• 성능은 개선됐지만 여전히 낮다. silver test에서 가장 좋은 ModernBERT-embed-large의 MRR@10은 SPECIFY 46.7%, ADDRESS 24.5%, BROADEN 27.3%다. 저자들은 ADDRESS와 BROADEN 질의 대부분에서 정답을 충분히 잘 찾지 못했고, MRR@100도 MRR@10보다 최대 0.8점 높을 뿐이라고 보고한다.
• 데이터 규모가 연산별로 크게 다르다. 전체 쌍 가운데 SPECIFY는 2,779,177개, ADDRESS는 222,707개, BROADEN은 15,592개다. silver test의 BROADEN 질의도 584개여서 결과 해석에 주의가 필요하다.
• 학습 자료는 연결 표현이 있는 인접 문장쌍에서 만들어졌다. 따라서 그런 표현이 없거나 다른 문장 구조로 표현된 유효한 관계를 충분히 다루지 못할 수 있다. 실험 대상도 컴퓨터 과학 분야의 전체 논문 문장 중 일부 후보에 한정된다.
• 계산 비용은 보고됐지만 실제 서비스의 질의당 응답 시간이나 색인 구축 비용은 보고되지 않았다.
• 정답 문장 하나만 기준으로 하는 지표는 다른 유효한 후보를 놓칠 수 있고, 후보 평가에는 사람 판정에 맞춰 조정한 LLM이 쓰였다. BROADEN 목록 선호 판정은 순서를 바꿨을 때 82.2%만 안정적으로 같았으며, 첫 번째 목록의 선택 비율은 45.4%로 위치 효과도 보고됐다.
• 주제가 비슷해도 요청된 관계에 맞지 않으면 오답이다. 후보 풀이 여러 관계의 문장을 공유하므로, 검색기는 문장이 질의와 어떤 관계인지 함께 판단해야 한다.
• 연결 표현이 모호하거나 앞 문장을 가리키지 않으면 잘못된 학습쌍이 생길 수 있다. 저자들은 ‘In general,’처럼 앞 문장과 특정 관계를 보장하지 않는 표현을 제외했지만, 모든 표현의 모호함을 없애기는 어렵다.
• BROADEN의 학습 자료와 평가 표본은 다른 연산보다 작다. 따라서 이 관계를 찾는 성능이 불안정할 수 있다.
• 채굴된 정답이 유일한 정답이라고 볼 수 없다. 미세조정 ADDRESS 모델은 정답이 상위 10개에 없더라도 평가자가 유효하다고 본 다른 후보를 찾은 질의가 41.2%였다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

검색 요청에 맞춰 관계별 검색기를 선택하기

검색 요청에 ADDRESS, BROADEN, SPECIFY 중 하나를 지정하고 해당 관계에 맞춰 학습한 검색기를 호출한다. 결과에는 관계 유형과 출처를 함께 표시한다. 논문은 관계별 미세조정의 검색 성능을 평가했으며, 이런 도구 적용의 효과는 별도로 확인해야 한다.

적용 지점 — 검색 도구와 연구 보조 작업의 분기

기대 효과 — 논문의 silver test에서 ModernBERT-embed-large MRR@10은 미세조정 후 기준 모델 대비 ADDRESS 약 2.4배, SPECIFY 약 1.7배, BROADEN 약 1.6배였다.

장기 기억 검색 결과를 관계별로 다시 정렬하기

범용 검색으로 후보를 모은 뒤, 필요한 관계에 맞는 검색기로 다시 정렬한다. 후보에 관계 유형과 출처를 붙여 이후 검토에서 각 자료의 역할을 알 수 있게 한다. 이 응용은 논문에서 직접 시험하지 않았다.

적용 지점 — 장기 기억 회수 및 검색 후보 재정렬

기대 효과 — RATIO의 silver test에서 ModernBERT-embed-large MRR@10은 SPECIFY 26.7%→46.7%, ADDRESS 10.2%→24.5%, BROADEN 17.3%→27.3%였다.

문장 연결 표현을 이용해 관계별 자료 모으기

연속 문장과 그 사이의 연결 표현을 이용해 관계별 학습 자료를 만들 수 있다. 문장 자체에서 연결 표현을 제거하고 관계 정보를 별도로 보관한다. RATIO는 이 방법으로 문장 수준 검색 자료를 구성했으며, 지식 그래프에서의 효과는 시험하지 않았다.

적용 지점 — 관계 유형을 포함한 지식 그래프의 자료 구축

기대 효과 — RATIO는 연결 표현을 이용해 총 3,017,476개의 query–positive 쌍을 만들었다. 이를 그래프 검색에 적용했을 때의 효과는 별도 검증이 필요하다.

검색 후보를 관계의 유효성에 따라 검토하기

검색 후보가 정답 문장과 일치하는지만 보지 않고, 요청한 관계를 실제로 만족하는지 검토한다. RATIO는 사람 판정에 맞춰 조정한 두 LLM 판정이 모두 동의하는 후보를 유효하다고 보는 평가를 사용했다. 운영 시스템에서 이 방법을 쓰려면 추가 검토가 필요하다.

적용 지점 — 검색 결과의 후보 검토 및 재검색 판단

기대 효과 — 논문에서 미세조정 ADDRESS 모델은 정답이 상위 10개에 없더라도 평가자가 유효하다고 본 대안이 존재한 질의가 41.2%였다.

새 분야의 문헌에서 관계별 학습 자료 만들기

새 분야의 문서에서 연결 표현 후보를 모으고, 사람과 LLM이 그 표현이 관계를 분명하게 나타내는지 검토한다. 인접 문장쌍에서 학습 자료를 만들고 발행일에 따라 시험 자료를 나눈다. RATIO의 방법을 새 분야에 적용할 때는 표현 목록과 평가 결과를 다시 확인해야 한다.

적용 지점 — 새 문헌 분야의 관계별 검색 학습 자료 구축

기대 효과 — RATIO는 최종 연결 표현 4,252개 가운데 실제 문헌에서 쓰인 809개를 확인하고, 약 1.1M개 논문에서 약 3M개의 쌍을 추출했다. 새 분야의 효과는 논문에서 평가하지 않았다.

단계별 도입 로드맵

원문 PDF: 2026-08-30-ratio-a-benchmark-for-retrieval-across-typed-ideation-operations-in-scie.pdf