https://techllm.github.io/tags/rag/Recent content in RAG on TechLLMHugokoThu, 01 Oct 2026 07:34:00 +0900https://techllm.github.io/posts/incremental-pooled-llm-evaluation-for-cost-effective-retrieval-model-s/Thu, 01 Oct 2026 07:34:00 +0900https://techllm.github.io/posts/incremental-pooled-llm-evaluation-for-cost-effective-retrieval-model-s/검색 모델 N개를 평가할 때 각 시스템의 상위 K문서를 모두 LLM 심사위원에게 개별적으로 판정시키는 O(N·Q·K) 비효율을, 시스템들이 가져오는 문서의 합집합을 한 번만 심사하고 그 판정을 재사용하는 풀링(pooled) 방식으로 줄였다. 4개 공개 벤치마크에서 인간 판정(gold qrels)과의 nDCG@10 Spearman 상관이 0.69–0.95, 97%의 시스템 간 순서가 qrels 부트스트랩 불확실성 범위 안에서 보존됨을 보였고, 62개 구성 production 배포에서 4.9× 비용 절감(총 $800)을 달성했다.https://techllm.github.io/posts/recite-agentic-reasoning-for-faithful-citation/Sun, 20 Sep 2026 07:32:18 +0900https://techllm.github.io/posts/recite-agentic-reasoning-for-faithful-citation/ReCite는 인용 추천을 단순 유사도 검색에서 '주장-근거 일치 검증'으로 전환한 decoupled 에이전트 프레임워크다. CiteLocator(인용 위치 인식), QueryPlanner(의도 기반 검색어 계획), Master Brain(반성적 검증·재검색) 3단계로 구성되며, Qwen3-4B 기반 경량 시스템으로 1.6T 매개변수 DeepSeek-V4-Pro보다 높은 strict 인용 F1 39.15%를 달성한다.https://techllm.github.io/posts/mistral-ocr-4-structured-output-rag/Wed, 24 Jun 2026 09:16:00 +0900https://techllm.github.io/posts/mistral-ocr-4-structured-output-rag/Mistral이 새로 공개한 OCR 4는 단순히 문서에서 글자를 뽑아 주는 도구가 아닙니다. 글자가 페이지 어디에 있는지(바운딩 박스), 그 덩어리가 무엇인지(제목·표·수식·서명 같은 블록 분류), 모델이 얼마나 확신하는지(페이지·단어별 신뢰도)까지 한꺼번에 돌려줍니다. 170개 언어를 지원하고 컨테이너 하나로 자체 호스팅이 되며, 가격은 1,000페이지에 4달러. RAG·에이전트·기업 검색 파이프라인의 '인용 가능한 입력'으로 설계됐다는 점이 핵심입니다.https://techllm.github.io/posts/7-types-of-agent-memory-technical-guide/Mon, 22 Jun 2026 20:13:00 +0900https://techllm.github.io/posts/7-types-of-agent-memory-technical-guide/LLM은 본래 기억이 없습니다. 진짜 에이전트를 만들려면 7가지 메모리 유형을 어떻게 쌓아 올리는지 알아야 합니다. 각 유형이 무엇을, 어디에, 얼마나 오래 저장하는지 정리합니다.https://techllm.github.io/posts/colpali-document-retrieval-vision-language-model/Sun, 31 May 2026 17:27:26 +0900https://techllm.github.io/posts/colpali-document-retrieval-vision-language-model/ColPali는 PDF 문서를 OCR·레이아웃 파싱 없이 페이지 이미지 자체를 Vision LLM(PaliGemma)으로 임베딩해 검색하는 방법이다. ColBERT 방식의 늦은 인터랙션(late interaction)으로 텍스트 전용 시스템보다 ViDoRe 벤치마크에서 더 높은 성능을 보인다.https://techllm.github.io/posts/paddleocr-3-5-transformers-backend-document-ai/Wed, 27 May 2026 20:14:00 +0900https://techllm.github.io/posts/paddleocr-3-5-transformers-backend-document-ai/PaddleOCR 3.5가 Hugging Face Transformers를 추론 백엔드로 지원한다. engine='transformers' 한 줄로 PyTorch 스택과 자연스럽게 통합된다. RAG·Document AI·검색 파이프라인 구축에 직접 활용 가능하다.https://techllm.github.io/posts/aris-agentic-relationship-intelligence-social-robots/Sun, 17 May 2026 13:15:00 +0900https://techllm.github.io/posts/aris-agentic-relationship-intelligence-social-robots/Monash University 연구팀이 로봇이 사용자 간의 사회적 관계를 지식 그래프로 기록하고 추적하는 ARIS 시스템을 개발했다. Pepper 로봇 기반 사용자 연구(N=23)에서 기존 언어 모델 대비 인지력, 생명성, 유사인간성, 호감도 모두 유의미하게 향상.https://techllm.github.io/posts/granite-embedding-multilingual-r2/Sat, 16 May 2026 20:21:00 +0900https://techllm.github.io/posts/granite-embedding-multilingual-r2/IBM이 Apache 2.0으로 공개한 다국어 임베딩 모델 R2. 97M 모델이 MTEB 다국어 검색 60.3으로 sub-100M 1위, 311M 모델은 65.2로 오픈 모델 2위. ModernBERT 기반으로 R1 대비 컨텍스트 64배(32K), 코드 검색 +19.7점.https://techllm.github.io/posts/build-rag-from-scratch-python/Tue, 12 May 2026 07:01:00 +0900https://techllm.github.io/posts/build-rag-from-scratch-python/벡터 DB, 임베딩, 코사인 유사도까지 — RAG의 핵심 구성 요소를 외부 프레임워크 없이 Python으로 직접 구현하는 방법을 단계별로 살펴본다.https://techllm.github.io/posts/gemini-api-file-search-multimodal-rag/Sun, 10 May 2026 23:30:00 +0900https://techllm.github.io/posts/gemini-api-file-search-multimodal-rag/구글이 Gemini API File Search에 세 가지 업데이트를 추가했다. 멀티모달 검색, 커스텀 메타데이터 필터링, 페이지 단위 출처 표시로 검증 가능한 프로덕션급 RAG 구축이 가능해졌다.https://techllm.github.io/posts/oncoagent-oncology-multi-agent/Sun, 10 May 2026 18:30:00 +0900https://techllm.github.io/posts/oncoagent-oncology-multi-agent/온코에이전트는 70개 이상의 NCCN·ESMO 가이드라인에 기반한 8노드 LangGraph 멀티에이전트 시스템으로, AMD MI300X에서 56배 처리량 향상을 달성하면서 Zero-PHI 정책으로 환자 데이터를 완전 보호한다.https://techllm.github.io/posts/ai-eval-costs-new-compute-bottleneck/Sun, 10 May 2026 09:00:00 +0900https://techllm.github.io/posts/ai-eval-costs-new-compute-bottleneck/HAL 리더보드는 9개 모델 평가에 4만 달러를 썼다. PaperBench 1회 실행 비용은 9,500달러. AI 평가 비용이 학계와 안전 기관이 감당할 수 없는 수준에 도달했다.https://techllm.github.io/posts/langgraph-agentic-ai-system-teddynote-meetup/Thu, 07 May 2026 21:00:00 +0900https://techllm.github.io/posts/langgraph-agentic-ai-system-teddynote-meetup/에이전틱 AI 밋업 2025 Q1에서 테디노트가 발표한 LangGraph 실전 활용법. Advanced RAG의 한계, 라우팅 두 가지 방식, 메모리(단기/장기), Human-in-the-Loop, 멀티에이전트 슈퍼바이저 패턴까지 핵심만 정리했다.https://techllm.github.io/posts/langchain-vs-langgraph-difference/Thu, 07 May 2026 14:50:00 +0900https://techllm.github.io/posts/langchain-vs-langgraph-difference/같은 LangChain 생태계 안에 공존하는 LangChain과 LangGraph. 선형 파이프라인과 비선형 그래프라는 구조적 차이를 중심으로, 각 프레임워크의 작동 방식과 적합한 사용 시나리오를 정리합니다.https://techllm.github.io/posts/ibm-ai-agent-memory-explained/Sat, 02 May 2026 23:10:00 +0900https://techllm.github.io/posts/ibm-ai-agent-memory-explained/IBM의 AI agent memory 설명을 바탕으로, 에이전트 메모리의 개념과 단기·장기·에피소드·의미·절차 기억의 실무적 의미를 정리한다.https://techllm.github.io/posts/letta-agent-memory-context-engineering/Sat, 02 May 2026 00:14:00 +0900https://techllm.github.io/posts/letta-agent-memory-context-engineering/Letta의 Agent Memory 글을 바탕으로, 에이전트 메모리를 단순 저장소가 아니라 컨텍스트 엔지니어링 문제로 이해하는 방법을 정리한다.https://techllm.github.io/posts/context-engineering-ai-agents/Fri, 01 May 2026 09:55:00 +0900https://techllm.github.io/posts/context-engineering-ai-agents/Mem0의 컨텍스트 엔지니어링 가이드를 바탕으로 AI 에이전트가 제대로 일하게 만드는 맥락 설계, 메모리, RAG, 압축 전략을 정리한다.https://techllm.github.io/posts/state-of-ai-agent-memory-2026-mem0/Thu, 30 Apr 2026 18:25:00 +0900https://techllm.github.io/posts/state-of-ai-agent-memory-2026-mem0/Mem0의 State of AI Agent Memory 2026을 바탕으로 에이전트 메모리 벤치마크, graph memory, 통합 생태계, OpenMemory MCP 흐름을 정리한다.https://techllm.github.io/posts/openai-privacy-filter-pii-masking-on-prem-guide/Fri, 24 Apr 2026 08:48:00 +0900https://techllm.github.io/posts/openai-privacy-filter-pii-masking-on-prem-guide/OpenAI Privacy Filter는 PII 탐지와 마스킹을 위한 양방향 토큰 분류 모델이다. Apache 2.0, 128K 컨텍스트, 온프레미스 배포, 파인튜닝 가능성까지 갖춰 실무형 전처리 레이어로 주목할 만하다.