Mixture of Experts on TechLLMhttps://techllm.github.io/tags/mixture-of-experts/Recent content in Mixture of Experts on TechLLMHugokoThu, 25 Jun 2026 19:45:00 +0900바이두 Unlimited OCR — KV 캐시가 늘지 않는 3B 문서 파서https://techllm.github.io/posts/baidu-unlimited-ocr-rswa-kv-cache/Thu, 25 Jun 2026 19:45:00 +0900https://techllm.github.io/posts/baidu-unlimited-ocr-rswa-kv-cache/바이두가 공개한 Unlimited OCR은 3B MoE(활성 500M) 모델입니다. 디코더 어텐션을 R-SWA로 바꿔 KV 캐시를 상수로 묶었고, OmniDocBench v1.5에서 93.23점으로 DeepSeek OCR을 6점 차이로 앞섰습니다.