https://techllm.github.io/tags/%EC%9E%84%EB%B2%A0%EB%94%A9/Recent content in 임베딩 on TechLLMHugokoSat, 05 Sep 2026 07:59:04 +0900https://techllm.github.io/posts/core-improving-compositional-reasoning-in-mllm-embedding-via-reranker/Sat, 05 Sep 2026 07:59:04 +0900https://techllm.github.io/posts/core-improving-compositional-reasoning-in-mllm-embedding-via-reranker/MLLM 기반 임베딩 모델이 '속성-객체 결합' 같은 조합 추론을 잘 못 한다는 사실을, 같은 백본을 재순위(reranker)로 쓰면 정확히 구분된다는 관찰에서 출발한다. 합성된 5단계 난이도 후보 리스트와 Rank-KL 증류로 재순위 모델의 미세한 판단을 임베딩 공간에 이식했고, 8B 규모에서 reranker는 Jina 대비 +10.7점, embedding은 평가 대상 중 최고 평균을 달성했다.https://techllm.github.io/posts/colpali-document-retrieval-vision-language-model/Sun, 31 May 2026 17:27:26 +0900https://techllm.github.io/posts/colpali-document-retrieval-vision-language-model/ColPali는 PDF 문서를 OCR·레이아웃 파싱 없이 페이지 이미지 자체를 Vision LLM(PaliGemma)으로 임베딩해 검색하는 방법이다. ColBERT 방식의 늦은 인터랙션(late interaction)으로 텍스트 전용 시스템보다 ViDoRe 벤치마크에서 더 높은 성능을 보인다.https://techllm.github.io/posts/build-rag-from-scratch-python/Tue, 12 May 2026 07:01:00 +0900https://techllm.github.io/posts/build-rag-from-scratch-python/벡터 DB, 임베딩, 코사인 유사도까지 — RAG의 핵심 구성 요소를 외부 프레임워크 없이 Python으로 직접 구현하는 방법을 단계별로 살펴본다.