이미지 검색 모델이 '빨간 컵이 파란 그릇 왼쪽' 같은 세부 설명을 잘 구분하지 못하는 문제를, 더 똑똑한 모델의 채점표를 가르쳐서 해결한 연구다.
이미지 검색 모델이 ‘빨간 컵이 파란 그릇 왼쪽’ 같은 세부 설명을 잘 구분하지 못하는 문제를, 더 똑똑한 모델의 채점표를 가르쳐서 해결한 연구다. 무엇이 문제였나 — 기존 MLLM 임베딩 모델은 ‘속성-객체 결합’ 같은 조합을 구분하지 못해, 비슷한 그림을 헷갈려 했다 어떻게 풀었나 — 같은 모델이라도 ‘교차 어텐션 재순위 모델’로 쓰면 이런 차이를 잘 본다는 사실을 이용해, 재순위 모델의 5단계 채점표를 임베딩 모델에 증류(가르침)했다 그래서 뭐가 좋아졌나 — 조합 추론 성능은 크게 끌어올리면서 일반 이미지 검색 능력은 유지했고, 다중 조건 검색(MCMR) 같은 실전 벤치마크에서도 이 개선이 그대로 옮겨갔다 ...
