Speculative-Decoding on TechLLMhttps://techllm.github.io/tags/speculative-decoding/Recent content in Speculative-Decoding on TechLLMHugokoFri, 11 Sep 2026 08:17:18 +0900경찰 바디캠 영상을 30초씩 나눠 미리 요약하고, 나중에 질문을 받으면 중요한 장면을 다시 확인한 뒤 근거가 있는 답만 보여주는 도구다.https://techllm.github.io/posts/omnieye-efficient-multimodal-forensic-video-intelligence-for-law-enfor/Fri, 11 Sep 2026 08:17:18 +0900https://techllm.github.io/posts/omnieye-efficient-multimodal-forensic-video-intelligence-for-law-enfor/OmniEye는 경찰 바디캠(BWC) 영상을 기관 내부 장비에서 분석하기 위한 멀티모달 영상 인텔리전스 시스템이다. 30초 윈도우(5초 오버랩)마다 영상 30프레임과 16kHz 모노 오디오를 Gemma 4 12B 기반 모델이 함께 인식하고, 결과를 단일 SQLite workspace에 저장해 FTS5+BM25와 구조화 필터로 검색한다. 질의 응답 에이전트는 후보 윈도우를 검색한 뒤, 인용 직전에 현재 턴에서 해당 원본 픽셀과 오디오를 다시 인식한 윈도우만 인용할 수 있다.샤오미 MiMo × TileRT, 상용 GPU 8장으로 1조 파라미터 모델 초당 1000 토큰 돌파https://techllm.github.io/posts/xiaomi-mimo-tilert-1t-1000-tokens-per-second/Tue, 09 Jun 2026 10:53:00 +0900https://techllm.github.io/posts/xiaomi-mimo-tilert-1t-1000-tokens-per-second/샤오미 MiMo 팀과 TileRT 시스템 그룹이 손잡고 1조 파라미터 모델을 표준 8-GPU 노드에서 초당 1000 토큰 이상으로 디코딩한 'MiMo-V2.5-Pro-UltraSpeed'를 공개했다. 비결은 FP4 양자화·DFlash speculative decoding·TileRT 런타임이 한 묶음으로 짜인 모델-시스템 코디자인이다.