https://techllm.github.io/tags/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0/Recent content in 논문 리뷰 on TechLLMHugokoTue, 10 Nov 2026 07:33:15 +0900https://techllm.github.io/posts/redevoagent-automatic-red-teaming-agent-with-experience-driven-skill-e/Tue, 10 Nov 2026 07:33:15 +0900https://techllm.github.io/posts/redevoagent-automatic-red-teaming-agent-with-experience-driven-skill-e/RedEvoAgent는 여러 jailbreak 도구를 조합해 실제 실행 환경의 블랙박스 AI 에이전트를 시험하는 자동 레드팀 방법이다. 도구별 효과 측정과 공격 기록을 바탕으로 간결하고 읽기 쉬운 공격 지침을 만들고, 별도 검증 점수가 기존 지침보다 높을 때만 채택한다. 논문은 여러 벤치마크·모델·실행 환경에서 고정 공격 및 기존 자동 레드팀 방법보다 대체로 높은 공격 성능과 적은 도구 호출을 보고한다. 다만 AgentHarm에서 검증 점수 상승이 시험 성능 하락으로 이어진 사례가 있어 일반화에 주의가 필요하다.https://techllm.github.io/posts/how-much-rank-does-lora-need-rank-error-bounds-for-transformer-attenti/Mon, 09 Nov 2026 07:35:16 +0900https://techllm.github.io/posts/how-much-rank-does-lora-need-rank-error-bounds-for-transformer-attenti/이 논문은 다운스트림 작업의 입력 분포에서 이미 얻어진 목표 attention을 LoRA가 각 랭크에서 얼마나 정확히 재현할 수 있는지 이론적 상·하한으로 분석한다. 원래 가중치의 특이값만 보는 대신, 실제 작업의 query와 key가 활성화하는 업데이트 방향을 이용해 attention KL의 rank–error 곡선을 구한다. 결과는 attention 확률 분포의 오차에 관한 이론이며, head 출력이나 최종 작업 성능을 보장하지 않는다.https://techllm.github.io/posts/memtoc-benchmarking-memory-tool-conflict-resolution-in-large-language/Sun, 08 Nov 2026 07:32:58 +0900https://techllm.github.io/posts/memtoc-benchmarking-memory-tool-conflict-resolution-in-large-language/MemToC는 도구가 돌려준 값과 모델의 내부 기억 중 어느 쪽이 맞는지 통제해, 모델이 단순히 한 출처를 선호하는지 아니면 정답에 따라 선택하는지를 측정하는 벤치마크다. 품질 검토를 통과한 사실 질문 542개로 6,504개 평가 에피소드를 구성해 open-weight 모델 5종을 평가했다. 네 instruction-tuned 모델은 기억만 맞고 도구가 틀린 경우 정답을 6.5–17.1%만 유지했으며, 두 출처가 모두 틀린 경우에도 78.4–86.0%에서 틀린 도구 값을 반복했다.https://techllm.github.io/posts/wikiskill-compiling-agent-experience-into-persistent-knowledge-for-ski/Sat, 07 Nov 2026 07:36:06 +0900https://techllm.github.io/posts/wikiskill-compiling-agent-experience-into-persistent-knowledge-for-ski/WikiSkill은 에이전트의 실행 기록을 별도의 지속 위키에 축적하고, 이를 바탕으로 재사용 가능한 작업 스킬을 반복 개선하는 프레임워크다. 5개 벤치마크와 5개 모델 평가에서 각 모델의 가장 강한 비교 진화법보다 평균 성능이 3.3~12.0점 높았다. 위키를 유지하지 않는 설정과의 절제 실험은 지속 지식 축적이 핵심임을 보여준다. 또한 진화된 스킬은 다른 모델과 모델 계열로 전이되어 자기 모델로 만든 스킬보다 나을 때도 있으며, 이는 스킬 발견과 스킬 실행 능력이 서로 다른 능력임을 시사한다.https://techllm.github.io/posts/llms-in-digital-eda-a-perspective-on-shifting-roles-from-generation-to/Fri, 06 Nov 2026 07:33:16 +0900https://techllm.github.io/posts/llms-in-digital-eda-a-perspective-on-shifting-roles-from-generation-to/이 Perspective는 LLM 기반 EDA 시스템의 역할을 한 번 생성하는 Generator, 도구 피드백으로 반복 수정하는 Agent, 여러 EDA 단계의 결정을 조율하는 Orchestrator로 구분한다. 저자들은 46개 시스템을 분류하고, Orchestrator가 표준화된 도구 연결, 단계 간 설계 상태 유지, 결정 기록을 통해 설계 규모가 커질 때의 한계를 줄일 수 있다고 주장한다. 역할별 성능 비교는 선행 연구를 바탕으로 집계한 것이며 일부 값은 추정치다.https://techllm.github.io/posts/beyond-f1-evaluating-coverage-and-failure-recovery-in-ai-model-securit/Thu, 05 Nov 2026 07:33:14 +0900https://techllm.github.io/posts/beyond-f1-evaluating-coverage-and-failure-recovery-in-ai-model-securit/이 논문은 조건부 F1만으로는 AI 모델 보안 스캐너의 실질적인 판정 능력을 알기 어렵다고 보고, 분석 완료와 최종 판정률, 오탐, 실패 복구를 함께 평가한다. 라벨이 있는 135개 패밀리에서 ModelScan은 판정을 내린 67개 결과의 precision·recall·F1이 모두 100%였지만, 판정률은 49.6%였다. ModelAudit는 135개 모두 판정했으나 정상 패밀리 65개 중 60개를 위험으로 경고했다.https://techllm.github.io/posts/persona-execution-separation-an-architecture-pattern-for-evolving-llm/Wed, 04 Nov 2026 07:33:11 +0900https://techllm.github.io/posts/persona-execution-separation-an-architecture-pattern-for-evolving-llm/이 논문은 에이전트의 말투와 지시가 바뀌어도 조직 자산을 변경하는 실행은 계속 승인·기록·감사되어야 한다는 문제를 다룬다. 이를 위해 persona가 있는 대화 영역과 persona 없는 실행 영역을 서로 다른 신뢰 영역에 두고, 승인표·민감정보 검사(DLP)·감사 기록을 적용하는 계약 브리지로 연결하는 Persona–Execution Separation(PES)을 제안한다.https://techllm.github.io/posts/boosting-llm-exploration-via-weak-model-guidance-in-rlvr/Tue, 03 Nov 2026 07:35:27 +0900https://techllm.github.io/posts/boosting-llm-exploration-via-weak-model-guidance-in-rlvr/이 논문은 RLVR 학습에서 큰 모델의 정책 엔트로피가 빠르게 낮아져 여러 정답 경로를 찾는 폭이 줄어드는 문제를 완화한다. 작은 보조 모델이 만든 풀이를 일부만 남겨 prefix로 사용하고, 일정 비율의 학습 사례에서만 큰 모델이 그 앞부분을 이어 풀게 한다. 6개 수학 벤치마크의 평균 pass@128은 Qwen2.5-7B에서 vanilla GRPO의 67.76%에서 70.71%로, Qwen2.5-Math-7B에서 69.30%에서 71.22%로 높아졌다.https://techllm.github.io/posts/study-of-resistive-switching-dynamics-and-memory-states-equilibria-in/Mon, 02 Nov 2026 07:34:12 +0900https://techllm.github.io/posts/study-of-resistive-switching-dynamics-and-memory-states-equilibria-in/이 논문은 CMO/HfOx 아날로그 ReRAM의 산소 빈자리 이동, 전자 홉핑 전도, 열 효과를 결합한 물리 기반 compact model을 제시한다. 외부 직렬 저항과 비현실적인 결함 농도 방지, 결함 상태에 따라 달라지는 홉핑 특성, 전자 전도의 변동성을 반영해 I-V 곡선, 단일 펄스 SET 동역학, 양방향 누적 전도도 변화를 실험과 비교한다. Dynamic Route Map으로 준정적 구동의 평형 결함 상태와 펄스 구동의 Symmetry Point가 같은 상태에 놓일 수 있음을 보인다.https://techllm.github.io/posts/corporatebench-large-scale-q-a-benchmarking-with-temporal-knowledge-ba/Sun, 01 Nov 2026 07:32:49 +0900https://techllm.github.io/posts/corporatebench-large-scale-q-a-benchmarking-with-temporal-knowledge-ba/이 논문은 시간에 따라 바뀌는 지식 기반에서 기업 문서 263,466건을 생성하고, 문서 검색·관계 추출·질의응답 능력을 평가하는 CORPORATEBENCH를 제안한다. 네 가상 기업의 조직과 업무 기록을 먼저 만들고 그 사실을 뒷받침하는 이메일을 생성해, 문서 간 일관성과 계산 가능한 정답을 확보한다. 다섯 모델을 평가한 결과 문서가 커질수록 관계 추출과 일부 질의응답이 어려워졌으며, 정답 지식 기반을 직접 조회한 설정의 점수가 문서를 검색하는 설정보다 높았다.https://techllm.github.io/posts/update-disturbance-resilient-analog-reram-crossbar-arrays-for-in-memor/Sat, 31 Oct 2026 07:33:09 +0900https://techllm.github.io/posts/update-disturbance-resilient-analog-reram-crossbar-arrays-for-in-memor/이 논문은 350 nm CMOS 공정에 집적한 CMO/HfOx 아날로그 ReRAM에서 병렬 가중치 갱신 중 비대상 셀의 값이 바뀌는 현상을 조사했다. HfOx 안에 미리 만든 나노 크기 전도성 필라멘트가 전기장과 열을 좁은 영역에 집중시켜 스위칭 반응을 비선형으로 만들며, 소자 측정에서는 60 ns 펄스 스위칭과 100k 교란 펄스까지의 안정성을 보였다. 5×5 배열 칩에서 병렬 문자 매핑도 시연했다.https://techllm.github.io/posts/ratio-a-benchmark-for-retrieval-across-typed-ideation-operations-in-sc/Fri, 30 Oct 2026 07:32:51 +0900https://techllm.github.io/posts/ratio-a-benchmark-for-retrieval-across-typed-ideation-operations-in-sc/RATIO는 과학 문헌 검색의 관련성을 주제 유사도가 아니라 세 가지 발상 역할로 정의한다. ADDRESS는 문제의 해결 접근법, BROADEN은 더 일반적인 관점, SPECIFY는 구체적인 사례를 찾는다. 저자들은 전문을 가진 과학 논문에서 연결 표현으로 3,017,476개의 query–positive 쌍을 만들고, 사람 검토를 거친 LLM 판정으로 평가했다. 연산별 미세조정은 검색 성능을 크게 높였지만, 특히 ADDRESS와 BROADEN은 여전히 개선 여지가 크다.https://techllm.github.io/posts/logos-an-agent-harness-on-a-cross-process-bus/Thu, 29 Oct 2026 07:35:00 +0900https://techllm.github.io/posts/logos-an-agent-harness-on-a-cross-process-bus/이 논문은 언어 모델 호출을 상태 없는 순수 함수로 보고, 입력 합성과 출력 처리를 모델 밖의 작업으로 놓아 교차 단계 상태가 특정 프로세스에 묶이지 않는다는 점을 바탕으로 spatiotemporal-composability calculus의 가역성 보장을 프로세스 경계 너머로 확장한다. 네 보조정리와 정리 4.5는 추적 가능한 효과가 발생 시점에 영속 transcript에 anchor를 기록하고 각 키에 단일 writer가 있을 때 충실한 다중 프로세스 구현이 성립함을 보인다.https://techllm.github.io/posts/on-the-maintenance-and-co-evolution-of-agent-plugins-an-empirical-stud/Wed, 28 Oct 2026 07:39:36 +0900https://techllm.github.io/posts/on-the-maintenance-and-co-evolution-of-agent-plugins-an-empirical-stud/이 연구는 Claude Code 플러그인 생태계의 저장소 1,926개, 플러그인 8,351개, 플러그인 변경 커밋 77,773개를 분석해 개발·유지보수와 구성요소 간 동시 변경 양상을 정리한다. 플러그인의 34.4%가 둘 이상의 구성요소를 결합하고 전체 커밋의 34.9%를 Claude가 공동 작성하는 등 새로운 개발 생태계가 형성되고 있다.https://techllm.github.io/posts/understanding-evolution-strategies-for-llm-reasoning-broader-reasoning/Tue, 27 Oct 2026 07:34:28 +0900https://techllm.github.io/posts/understanding-evolution-strategies-for-llm-reasoning-broader-reasoning/이 논문은 매개변수에 작은 변화를 준 모델들을 평가해 학습 방향을 정하는 Evolution Strategies(ES)를 GRPO와 비교한다. 두 방법 모두 실험에서 Pass@1을 높였지만, ES는 GRPO보다 큰 K에서 평균 Pass@K가 높았고, GRPO는 일부 실험에서 학습 뒤 Pass@16·Pass@32가 기준 모델보다 낮았다. ES의 큰 매개변수 변화는 소수의 큰 변화에 성능 향상이 집중되는 현상과 함께 나타났으며, 평가한 설정에서는 기존 능력이 대체로 유지됐다.https://techllm.github.io/posts/video-generative-models-as-geometry-learner/Mon, 26 Oct 2026 07:41:25 +0900https://techllm.github.io/posts/video-generative-models-as-geometry-learner/GeoNeXt는 사전학습된 비디오 생성 모델을 단일 이미지의 깊이와 표면 법선 추정에 맞게 조정하는 방법이다. 이미지와 두 기하 정보를 비디오의 연속 프레임처럼 함께 복원해 서로의 일관성을 학습하며, 59K 학습 샘플로 여러 미관측 데이터셋에서 기존 생성형 통합 모델보다 좋은 성능을 보였다.https://techllm.github.io/posts/an-enclosed-mode-is-a-gauge-choice-topology-relative-to-reach-in-certi/Sun, 25 Oct 2026 07:34:12 +0900https://techllm.github.io/posts/an-enclosed-mode-is-a-gauge-choice-topology-relative-to-reach-in-certi/이 논문은 sampling gate가 확인하는 것은 도달 가능한 질의 집합 R에서의 모델뿐이며, 그 밖의 차이는 gate만으로 판별할 수 없다는 점을 보인다. 따라서 위험은 위상 구조 자체보다 오류 영역이 유능한 계획기의 실제 도달 범위와 겹치는지에 달려 있다. 열린 고리의 틈이 계획기 쪽을 향하면 blind model의 play cost가 0.999에서 γ=0.15일 때 0.001로 줄지만, 같은 폭의 숨은 틈에서는 1.116으로 유지된다.https://techllm.github.io/posts/efficient-swe-agent-benchmarking-via-trajectory-aware-evaluation/Sat, 24 Oct 2026 07:34:54 +0900https://techllm.github.io/posts/efficient-swe-agent-benchmarking-via-trajectory-aware-evaluation/PTA-IRT는 과거 소프트웨어 에이전트가 문제를 푼 과정 요약을 평가에 활용해, 일부 과제만 실행하고도 전체 벤치마크 성적과 모델 순위를 추정한다. 네 가지 SWE-bench에서 10% 과제만 평가했을 때 기존 IRT 기준 방법들보다 점수 오차와 순위 복원 성능이 전반적으로 좋았으며, 과정 정보는 새 에이전트의 평가 시점이 아니라 과거 데이터로 학습할 때 사용된다.https://techllm.github.io/posts/falcon-fault-tolerant-magnetic-tunnel-junction-based-in-memory-stochas/Fri, 23 Oct 2026 07:34:05 +0900https://techllm.github.io/posts/falcon-fault-tolerant-magnetic-tunnel-junction-based-in-memory-stochas/FALCON은 MTJ 메모리 내부에서 저불일치(LD) 패턴 기반의 결정적 확률 비트열 생성과 로직-인-메모리(LIM) 연산을 결합해, 고비용 난수 생성기(RNG) 없이 완전한 ALU 연산(곱셈·스케일 덧셈·나눗셈·절댓값 차·min/max)을 수행하는 고신뢰성 인메모리 아키텍처다.https://techllm.github.io/posts/hardware-acceleration-of-block-diffusion-llm-for-edge-devices/Thu, 22 Oct 2026 07:34:27 +0900https://techllm.github.io/posts/hardware-acceleration-of-block-diffusion-llm-for-edge-devices/이 논문은 요청을 한 건씩 처리하는 엣지 기기에서 블록 확산 LLM의 반복적인 메모리 읽기 비용을 줄이기 위해 메모리 구조 WIFiV-LPDDR, KV 정밀도 조절 BRQ-KV, FFN 재사용 DAT-FFN을 함께 설계한다. 모델 기반 평가에서 1.5B/7B 모델의 평균 에너지 감소율은 3.79×/3.96×, 평균 지연시간 속도 향상은 2.88×/4.44×였으며, 보고된 압축 설정의 벤치마크 점수 하락은 각 기준 대비 1%p 미만이었다.https://techllm.github.io/posts/llm-inference-on-imc-noc-architecture-with-balanced-dataflow-and-fine/Wed, 21 Oct 2026 07:33:06 +0900https://techllm.github.io/posts/llm-inference-on-imc-noc-architecture-with-balanced-dataflow-and-fine/본 논문은 IMC(메모리 내 연산), NMC(메모리 근처 연산), INC(네트워크 내 연산)를 통합한 LEAP 하드웨어와 이를 위한 파티셔닝·매핑·스케줄링 프레임워크를 제안한다. 정적 가중치는 IMC, 동적 데이터는 NMC, 부분 결과 축소는 INC가 맡는다. 또한 입력 처리(prefill)와 토큰 생성(decode)에 서로 다른 자원을 배정하는 LEAP-D 모드를 평가한다.https://techllm.github.io/posts/recent-developments-in-transformer-inference-deployment-on-fpga-platfo/Tue, 20 Oct 2026 07:33:00 +0900https://techllm.github.io/posts/recent-developments-in-transformer-inference-deployment-on-fpga-platfo/이 논문은 2024년부터 2025년 5월까지 발표된 FPGA 기반 트랜스포머 추론 연구를 체계적으로 검토한다. 세 저장소에서 찾은 411편을 단계적으로 걸러 관련도 점수 25점 이상인 57편을 분석했다. 구현 방식과 최적화 기법을 분류하고 처리량과 전력 효율을 비교하지만, 모델·하드웨어·측정 조건이 서로 달라 순위를 직접적인 우열로 해석하기 어렵다고 강조한다. 표준 벤치마크와 더 나은 결과 보고가 필요하다는 것이 주요 결론이다.https://techllm.github.io/posts/selective-agent-guidance-via-entropy-learning-autonomous-policies-from/Mon, 19 Oct 2026 07:32:15 +0900https://techllm.github.io/posts/selective-agent-guidance-via-entropy-learning-autonomous-policies-from/SAGE는 학습 중 정책의 정규화 엔트로피가 임계값을 넘을 때 VLM 교사를 호출해 제안 행동을 실행하고, 학생 정책은 학생 행동에 PPO를, 교사 행동에 행동 복제(BC)를 적용해 학습하는 프레임워크다. 교사 행동의 BC 가중치에 환경에서 얻은 advantage를 반영하는 AWBC도 선택적으로 사용하지만, 실험에서 일반 BC보다 일관되게 낫지는 않았다. 6개 통제 환경에서 훈련 단계의 VLM 호출률은 1.2~13.3%였고, 평가 때는 VLM을 호출하지 않는다.https://techllm.github.io/posts/beyond-scores-understanding-llm-as-a-judge-mechanisms-in-summarization/Sun, 18 Oct 2026 07:32:45 +0900https://techllm.github.io/posts/beyond-scores-understanding-llm-as-a-judge-mechanisms-in-summarization/요약 평가 모델 Themis와 Prometheus의 내부 점수 계산을 인과추적, 로짓 렌즈, 어텐션 헤드 제거 실험으로 분석했다. 두 모델 모두 15층 아래의 어텐션이 오류 정보를 비교·전달하고, 그 위의 MLP가 평점을 통합하는 흐름을 보였으며, 평점 결정은 각각 L26과 L25에서 뚜렷해졌다. Themis의 기반 모델인 Llama-3-8B와 비교하면, 파인튜닝은 아래쪽 MLP의 마지막 위치 기여를 낮추고 결정 층을 L28에서 L26으로 앞당긴 것으로 나타났다.https://techllm.github.io/posts/can-llms-discover-scientific-laws-in-real-and-parallel-worlds/Sat, 17 Oct 2026 07:32:17 +0900https://techllm.github.io/posts/can-llms-discover-scientific-laws-in-real-and-parallel-worlds/SCILAWS-BENCH는 381편의 과학 논문과 약 800만 개의 실측 자료를 바탕으로 118개 문제, 291개 후보 법칙을 모은 평가 벤치마크다. 실제 자료를 분석하는 SCILAWS-REAL과, 실제 자료의 잡음 특성을 반영한 가상 실험 세계에서 새로 만든 숨은 법칙을 찾는 SCILAWS-PARALLEL을 함께 제공한다. 아홉 개 모델의 평가에서 예측 성능이 과학적 타당성을 보장하지 않으며, 모델은 알려진 법칙을 재현하는 것보다 새로운 구조를 찾는 데 어려움을 겪고, 여러 후보 중 좋은 답을 고르는 데도 한계를 보였다.https://techllm.github.io/posts/discriminative-world-models-for-web-agents/Fri, 16 Oct 2026 07:31:44 +0900https://techllm.github.io/posts/discriminative-world-models-for-web-agents/웹 에이전트용 월드 모델은 흔히 다음 화면을 HTML이나 접근성 트리 같은 정해진 형식으로 생성하도록 학습된다. 이 논문은 그 대신, 예측한 다음 상태의 표현만 보고도 같은 화면에서 다른 행동을 했을 때의 결과와 구별할 수 있도록 학습하는 predicted-state matching을 제안한다. WebArena의 Go-Browse 궤적에서 만든 데이터에는 7,730개 분기점과 30,920개 행동 결과 비교 사례가 포함된다.https://techllm.github.io/posts/gradient-update-mismatch-rethinking-conflict-free-training-of-physics/Thu, 15 Oct 2026 07:32:18 +0900https://techllm.github.io/posts/gradient-update-mismatch-rethinking-conflict-free-training-of-physics/GUM(Gradient-Update Mismatch)은 그래디언트 수술로 만든 무충돌 방향이 옵티마이저 변환을 거치며 다시 충돌 상태가 되는 현상이다. GUA(Gradient-Update Alignment)는 옵티마이저 제안 방향을 충돌-프리 콘 위로 사영해 적용 업데이트 단계의 충돌을 Rp=0으로 만들고, 옵티마이저 내부 상태를 부드럽게 정렬해 같은 충돌이 다음 스텝에서 재발하지 않도록 한다. 6개 PDE 벤치마크에서 상대 L2 오차를 개별 설정 최대 98.2%까지 줄이며, 모든 평가 설정에서 적용 단계 충돌을 완전히 제거했다.https://techllm.github.io/posts/from-production-traffic-to-post-training-building-a-self-hosted-llm-th/Wed, 14 Oct 2026 07:33:20 +0900https://techllm.github.io/posts/from-production-traffic-to-post-training-building-a-self-hosted-llm-th/데이터 주권 제약으로 자가 호스팅을 강제받는 대기업 환경에서, 200개 이상 내부 서비스로 분산된 LLM 트래픽을 단일 32B 모델로 통합한 사후학습(SFT+GRPO+SLERP) 레시피를 제시한다. 세 축(지시 따르기, 함수 호출, 내부 분포 정렬)별로 독립 GRPO 전문가를 학습해 이단 SLERP로 가중치를 합병함으로써, 파라미터 7배 큰 Qwen3-235B-A22B-Instruct-2507와 동등 이상의 품질을 절반 크기로 달성했다.https://techllm.github.io/posts/large-language-models-llms-for-telecom-root-cause-analysis-rca-a-struc/Tue, 13 Oct 2026 07:33:05 +0900https://techllm.github.io/posts/large-language-models-llms-for-telecom-root-cause-analysis-rca-a-struc/5G/6G 통신망의 Root Cause Analysis(RCA)에 LLM을 직접 적용할 때 생기는 환각, 불안정한 추론, 구조화된 망 증거와의 불일치를 줄이기 위해 SEKA-FT를 제안한다. 이 방법은 이종 텔레메트리를 canonical context로 정리하고, 중간 진단 체크를 거치는 decision-path reasoning과 evidence-grounded explanation을 하나의 fine-tuning target으로 학습한다.https://techllm.github.io/posts/predictors-of-loneliness-in-older-adults-using-multimodal-analysis-of/Mon, 12 Oct 2026 07:33:05 +0900https://techllm.github.io/posts/predictors-of-loneliness-in-older-adults-using-multimodal-analysis-of/310명의 노인을 대상으로 한 1,465건의 반구조화 전화 면담에서 텍스트(LIWC, LDA, n-gram)와 음성(Librosa, OpenSMILE, Whisper) 특징을 결합한 멀티모달 모델이 자기보고 외로움 점수(CEL)와 Pearson r=0.298의 상관을 보였다. 이는 텍스트 단독 최고 성능인 LIWC r=0.269, 결합 텍스트 r=0.283, 오디오 단독 결합 r=0.195보다 높다.https://techllm.github.io/posts/scaling-inference-prefill-with-high-radix-photonic-interconnects/Sun, 11 Oct 2026 07:35:21 +0900https://techllm.github.io/posts/scaling-inference-prefill-with-high-radix-photonic-interconnects/이 논문은 MoE 기반 LLM 추론의 prefill 단계에서 전기식 scale-up 연결이 통신 병목과 rack 경계를 만들며 TTFT를 제한한다는 문제를 정량화한다. XLA/MLIR 기반 비용 모델로 3D-integrated photonic interconnect를 시뮬레이션한 결과, 통신 지배 구간에서 prefill latency가 2.1–3.2×, communication-limited 구성에서 2.8–5.8× 개선되고, 1152-GPU scale-up pod가 1M-token context 처리에 핵심임을 보인다.https://techllm.github.io/posts/safeevolve-harness-policy-co-evolution-from-agent-experience-for-safet/Sat, 10 Oct 2026 07:33:10 +0900https://techllm.github.io/posts/safeevolve-harness-policy-co-evolution-from-agent-experience-for-safet/LLM 에이전트의 안전성을 위해 외부 하네스(안전 프롬프트·계층형 스킬 뱅크)와 내부 정책(모델 파라미터)을 함께 진화시키는 경험 주도형 공진화 프레임워크를 제안한다. 완료된 on-policy 궤적에서 추출한 안전 신호를 bounded·versioned 하네스 업데이트와 2단계 SFT-RL 정책 최적화에 번갈아 투입한다.https://techllm.github.io/posts/studentsim-training-llm-based-student-simulators/Fri, 09 Oct 2026 07:32:25 +0900https://techllm.github.io/posts/studentsim-training-llm-based-student-simulators/본 논문은 실제 학생의 희소한 학습 기록만으로 학생별 AI 시뮬레이터를 만드는 두 단계 프레임워크 STUDENTSIM을 제안한다. 핵심은 여러 학생 데이터를 먼저 묶어 공통 오답 패턴과 가이드 반응을 학습한 뒤, 각 학생의 소량 기록으로 개별 특성을 입히는 것이다. 저자들은 행동 충실도(F)와 가이드 반응성(R)이라는 두 지표를 정의하고, 체스·L2 영어 작문·수학의 60명 학생으로 구성한 STUDENTSIMEVAL에서 StudentSim이 GPT-5.4보다 세 도메인 모두에서 두 지표가 높음을 보인다.https://techllm.github.io/posts/race-aimc-selective-inference-for-heterogeneous-analog-in-memory-accel/Thu, 08 Oct 2026 07:32:39 +0900https://techllm.github.io/posts/race-aimc-selective-inference-for-heterogeneous-analog-in-memory-accel/RACE-AIMC는 여러 개의 서로 다른 아날로그 인메모리 가속기 중 온라인에서 켤 단일 가속기와 신뢰 임계값을 오프라인에 고정하고, 그 가속기가 직접 답한 입력들에 대한 오류율의 95% 상한을 독립 certificate split으로 인증하는 프레임워크다. CIFAR-10 시뮬레이션 5회 독립 실행에서 모든 인증 상한이 10% 목표 이하였고, 평균 70.88%의 입력을 단일 가속기가 직접 처리했으며, 평균 95% 오류 상한은 7.83%, 최악은 8.87%였다.https://techllm.github.io/posts/unison-a-co-designed-near-memory-scheduler-of-session-kv-residency-for/Wed, 07 Oct 2026 07:32:31 +0900https://techllm.github.io/posts/unison-a-co-designed-near-memory-scheduler-of-session-kv-residency-for/LLM 에이전트 루프는 툴 대기 동안 세션 KV 캐시를 유지해야 하므로, 기존의 recency·timeout 정책은 살아 있는 대기를 cold로 잘못 취급한다. UNISON은 메모리 계층 옆에 배치된 이벤트 기반 근메모리 스케줄러로, SPEAR(eviction)와 TIDE(tier placement)가 단일 랭킹 상태를 공유하며 gap EMA와 turn-indexed hazard로 다음 참조 거리를 근사한다.https://techllm.github.io/posts/does-your-agent-s-memory-survive-a-model-upgrade-a-controlled-study-of/Tue, 06 Oct 2026 07:33:51 +0900https://techllm.github.io/posts/does-your-agent-s-memory-survive-a-model-upgrade-a-controlled-study-of/에이전트 메모리를 새 모델로 옮길 때 어떤 형식이 살아남는지를 네 가지 저장 방식(원본 이력·검색·요약 노트·구조화 지식 그래프)을 48개 합성 이력에서 비교했다. 고정 스키마 지식 그래프(KG-fixed)는 모델 작성자가 바뀌어도 정확도 차이가 +0.0004 ± 0.0020으로 사실상 안정적이지만, 모델이 요약한 노트(NOTES)는 방향에 따라 −13.28pp 또는 +9.91pp로 크게 달라진다.https://techllm.github.io/posts/rp-opsd-reasoning-pivot-guided-on-policy-self-distillation-for-multili/Mon, 05 Oct 2026 07:34:35 +0900https://techllm.github.io/posts/rp-opsd-reasoning-pivot-guided-on-policy-self-distillation-for-multili/RP-OPSD는 다국어 추론 전이에서 모든 토큰을 균등하게 증류하던 기존 On-Policy Self-Distillation(OPSD)의 한계를, ‘추론 피벗(reasoning pivot)’과 ‘표면 표현(surface realization)’을 나누는 토큰 단위 RPT 게이트로 해결한다.https://techllm.github.io/posts/earlyeval-cheaper-agent-evaluation-via-early-outcome-prediction/Sun, 04 Oct 2026 07:33:43 +0900https://techllm.github.io/posts/earlyeval-cheaper-agent-evaluation-via-early-outcome-prediction/LLM 에이전트 평가 비용이 과도하게 높아진 문제를 해결하기 위해 본 논문은 '조기 결과 예측(early outcome prediction)' 패러다임을 제안한다. EarlyEval은 부분 실행 궤적에서 행동·텍스트·정답 특징을 추출하고, 성공/실패를 따로 예측하는 LightGBM 분류기 쌍으로 실행 중단 여부를 결정한다.https://techllm.github.io/posts/flip-don-t-shuffle-watermarking-llms-at-the-speed-of-inference/Sat, 03 Oct 2026 07:35:29 +0900https://techllm.github.io/posts/flip-don-t-shuffle-watermarking-llms-at-the-speed-of-inference/본 논문은 매 토큰마다 독립 베르누이 시험으로 그린 리스트를 결정하는 Stateless Bernoulli Watermarking(SBW)을 제안한다. KGW의 어휘 셔플과 SynthID의 토너먼트 패스를 O(1) CBRNG 임계값 검사로 대체해, 단일 fused 커널에서 실행 가능하며 중간 텐서 할당이 0이다. 또한 기존 방식에서는 한계가 있었던 풀 어휘(full-vocabulary) self-salt와 분산 추론(distributed inference) 환경에서의 호환성을 완벽히 지원한다.https://techllm.github.io/posts/hardware-aware-fp4-flashattention-4/Fri, 02 Oct 2026 07:33:17 +0900https://techllm.github.io/posts/hardware-aware-fp4-flashattention-4/Blackwell의 4비트 텐서 코어가 빨라져도 어텐션의 softmax 변환과 P 구성 단계가 병목이 되는 문제를, 점수를 MXFP4 확률 코드로 직접 매핑하는 Direct-P로 줄인 연구다. 비인과 forward는 GB200에서 BF16 대비 최대 2.13배 빠르고, B300에서는 D128/H64/S9472에서 3159 TFLOP/s에 도달한다. 학습 쪽에서는 forward에서 저장한 양자화 Q/K와 LSE를 backward가 재사용해 단일 GB200의 8.03B 모델 업데이트를 최대 1.14배 빠르게 한다.https://techllm.github.io/posts/incremental-pooled-llm-evaluation-for-cost-effective-retrieval-model-s/Thu, 01 Oct 2026 07:34:00 +0900https://techllm.github.io/posts/incremental-pooled-llm-evaluation-for-cost-effective-retrieval-model-s/검색 모델 N개를 평가할 때 각 시스템의 상위 K문서를 모두 LLM 심사위원에게 개별적으로 판정시키는 O(N·Q·K) 비효율을, 시스템들이 가져오는 문서의 합집합을 한 번만 심사하고 그 판정을 재사용하는 풀링(pooled) 방식으로 줄였다. 4개 공개 벤치마크에서 인간 판정(gold qrels)과의 nDCG@10 Spearman 상관이 0.69–0.95, 97%의 시스템 간 순서가 qrels 부트스트랩 불확실성 범위 안에서 보존됨을 보였고, 62개 구성 production 배포에서 4.9× 비용 절감(총 $800)을 달성했다.https://techllm.github.io/posts/language-models-can-control-their-own-attention/Wed, 30 Sep 2026 07:32:37 +0900https://techllm.github.io/posts/language-models-can-control-their-own-attention/저자들이 제안한 Declarative Attention(DA)은 모델이 chain-of-thought 안에 <global>, <focus>, <local> 태그를 넣어 어텐션할 영역을 직접 선언하게 하는 zero-shot 프로토콜이다. vLLM에 통합된 DA state machine이 태그를 파싱해 block-aligned KV cache mask를 동적으로 적용하고, 오프더셸프 모델 6종·15개 long-context 태스크에서 attention token을 31.1~52.0% 줄이되 정확도 손실은 1.27~2.75pp에 그친다.https://techllm.github.io/posts/mesh-native-physics-informed-graph-surrogates-for-tcad-in-the-loop-des/Tue, 29 Sep 2026 07:34:34 +0900https://techllm.github.io/posts/mesh-native-physics-informed-graph-surrogates-for-tcad-in-the-loop-des/TCAD 시뮬레이션을 사면체 메쉬 위에서 직접 동작하는 물리정보 GAT 대리 모델로 대체해 3D GaN FinFET 설계 공간 탐색 비용을 크게 줄이는 방법을 제안한다. 모델은 전위 ψ와 전자·정공 준페르미 레벨 Φn, Φp를 노드별로 예측하고, 데이터 손실에 유한체적 전류 연속 잔차를 결합한다. 5개 GATv2 모델의 딥 앙상블이 노드별 불확실성을 만들고, 능동학습 루프가 큰 후보 풀 중 가장 유익한 설계만 Sentaurus 풀 시뮬레이션으로 넘긴다.https://techllm.github.io/posts/cua-universe-a-scalable-and-dynamic-environment-for-hybrid-gui-cli-age/Mon, 28 Sep 2026 07:32:30 +0900https://techllm.github.io/posts/cua-universe-a-scalable-and-dynamic-environment-for-hybrid-gui-cli-age/실제 데스크톱 소프트웨어 16종을 GUI와 CLI 양쪽으로 조작 가능한 하이브리드 환경으로 자동 변환하는 파이프라인(CUA-Universe)을 제시한다. App-Forge·Task-Weave·Path-Steer 세 단계로 환경 구축, 과제 합성, 궤적 수집을 자동화하고, 이 데이터로 학습한 9B 모델은 CUA-Verse에서 Score +39.3점, OSWorld에서 SR +16.8점, OSWorld-MCP에서 Score +7.84점을 얻으면서 스텝과 토큰 사용량도 줄였다.https://techllm.github.io/posts/a-verifier-guided-explainable-reasoning-framework-with-gold-anchored-q/Sun, 27 Sep 2026 07:33:36 +0900https://techllm.github.io/posts/a-verifier-guided-explainable-reasoning-framework-with-gold-anchored-q/교육용 질문응답에서 LLM이 그럴듯하지만 검증하기 어려운 추론을 생성하는 문제를 해결하기 위해, gold answer에 정렬된 QLoRA 미세조정과 작업별 기호 검증기(FOL/Z3, 물리 공식·단위 솔버)를 결합한 group-relative RLVR 프레임워크를 제안한다. 438개 검증 샘플에서 P3(추론 명시성)는 50.68%에서 72.20%로 +21.52pt 상승했고, P1(최종 정답)과 P2(근거/단위 일관성)는 보정 SFT 기준선과 거의 같은 수준을 유지했다.https://techllm.github.io/posts/wearableqa-a-benchmark-for-health-reasoning-over-real-world-wearable-d/Sat, 26 Sep 2026 07:32:18 +0900https://techllm.github.io/posts/wearableqa-a-benchmark-for-health-reasoning-over-real-world-wearable-d/WearableQA는 200명 실제 사용자의 최대 500일치 웨어러블 시계열, 혈액 바이오마커, 인구통계에서 만든 4,084개의 10지선다형 건강 추론 벤치마크다. 논문은 데이터 계산 문제와 건강 해석 문제, 단일 신호와 다중 신호 문제를 나누는 16개 질문 유형을 제안하고, 문헌 근거와 대규모 코호트에서 검증한 패턴을 함께 쓰는 dual-grounding 절차로 정답을 결정적으로 계산한다.https://techllm.github.io/posts/execcritic-learn-to-test-test-to-improve-for-coding-agents/Fri, 25 Sep 2026 07:33:16 +0900https://techllm.github.io/posts/execcritic-learn-to-test-test-to-improve-for-coding-agents/EXECCRITIC는 코딩 에이전트에서 테스트 작성과 소스 코드 수정을 분리하는 test–verify–revise 프레임워크다. Test 에이전트가 이슈와 저장소를 보고 회귀 테스트 번들(test patch, 실행 명령, 행동 계약)을 만들고, fail-closed harness가 베이스 코드에서 깨끗하게 실패하는 테스트만 채택해 동결한다. Repair 에이전트는 이 고정 테스트의 실행 피드백만 보고 소스 코드만 수정한다.https://techllm.github.io/posts/convmem-convolutional-memory-for-long-context-reasoning/Thu, 24 Sep 2026 07:34:58 +0900https://techllm.github.io/posts/convmem-convolutional-memory-for-long-context-reasoning/ConvMem은 학습 없이 동작하면서(free of training) 동결된 LLM을 '의미 컨볼루션 커널'로 사용해 긴 문서를 계층적으로 처리하는 프레임워크다. 순차 메모리 에이전트의 O(N) 지연과 RL 기반 에이전트의 분포 외 과적합을 동시에 피하며, 컨텍스트 길이 28k~896k에서 RULER-HotpotQA와 OOD RULER-2WikiMultiHopQA 모두에서 training-free 베이스라인을 큰 차이로 앞선다.https://techllm.github.io/posts/fortunate-recall-ontology-driven-memory-lifecycle-management-for-persi/Wed, 23 Sep 2026 07:35:01 +0900https://techllm.github.io/posts/fortunate-recall-ontology-driven-memory-lifecycle-management-for-persi/Fortunate Recall은 LLM 메모리 시스템이 모든 개인 사실을 균일하게 취급해 발생하는 일관성 붕괴 문제를, 11개 행동 카테고리별 결정론적 수명주기 정책으로 해결한다. LifecycleBench에서 76.9% pass rate를 기록하며 Mem0 대비 confabulation을 절반 이하(전체 쿼리 13.0% vs 32.2%)로 줄이고, BEAM 외부 벤치마크에서도 46.8%로 Mem0 32.9%를 13.9pp 앞질렀다.https://techllm.github.io/posts/omnimed-fl-a-robust-multimodal-federated-learning-framework-for-clinic/Tue, 22 Sep 2026 07:33:04 +0900https://techllm.github.io/posts/omnimed-fl-a-robust-multimodal-federated-learning-framework-for-clinic/흉부 X-ray와 합성 임상 노트를 결합해 5-class 임상 상태 분류를 수행하는 멀티모달 연합학습 프록시 벤치마크다. 3,000개 공개 흉부 영상과 3,000개 클래스 조건 합성 노트를 환자 단위가 아니라 클래스 단위로 짝지어, 8가지 융합 규칙, 3가지 초기화, 4가지 결측 텍스트 대치 규칙과 여러 연합 베이스라인을 비교한다.https://techllm.github.io/posts/otter-two-transistor-one-rram-architecture-for-reliable-in-memory-comp/Mon, 21 Sep 2026 07:33:37 +0900https://techllm.github.io/posts/otter-two-transistor-one-rram-architecture-for-reliable-in-memory-comp/OTTER는 28 nm CMOS 위에 TaOx VCM RRAM을 집적한 6×6 mm² 연구용 칩으로, 한 RRAM 셀에 고구동(HD, W/L=10)·저구동(LD, W/L=2) 트랜지스터를 병렬로 붙인 2T1R 구조를 검증한다. SET은 LD로 세밀하게 제어하고 RESET은 HD로 수행해 LD-HD 구성에서 SET WL 1.8/2.2/2.4 V 조건 모두 on/off 비 5 이상을 유지했다.https://techllm.github.io/posts/recite-agentic-reasoning-for-faithful-citation/Sun, 20 Sep 2026 07:32:18 +0900https://techllm.github.io/posts/recite-agentic-reasoning-for-faithful-citation/ReCite는 인용 추천을 단순 유사도 검색에서 '주장-근거 일치 검증'으로 전환한 decoupled 에이전트 프레임워크다. CiteLocator(인용 위치 인식), QueryPlanner(의도 기반 검색어 계획), Master Brain(반성적 검증·재검색) 3단계로 구성되며, Qwen3-4B 기반 경량 시스템으로 1.6T 매개변수 DeepSeek-V4-Pro보다 높은 strict 인용 F1 39.15%를 달성한다.https://techllm.github.io/posts/h3dnas-hardware-aware-onnx-native-3d-point-cloud-model-compression/Sat, 19 Sep 2026 07:33:00 +0900https://techllm.github.io/posts/h3dnas-hardware-aware-onnx-native-3d-point-cloud-model-compression/H3DNAS는 원본 PyTorch 코드나 모델 클래스 없이 ONNX 계산 그래프만으로 3D 점구름 모델을 압축하는 하드웨어 인지형 NAS 프레임워크다. Channel Dependency Graph(CDG)는 Conv/Gemm 노드의 채널 의존성을 4개 연산자 클래스와 5개 제약 규칙으로 분석해 자유 파라미터 분율 ρf를 O(|V|+|E|)에 계산한다.https://techllm.github.io/posts/omnieye-efficient-multimodal-forensic-video-intelligence-for-law-enfor/Fri, 11 Sep 2026 08:17:18 +0900https://techllm.github.io/posts/omnieye-efficient-multimodal-forensic-video-intelligence-for-law-enfor/OmniEye는 경찰 바디캠(BWC) 영상을 기관 내부 장비에서 분석하기 위한 멀티모달 영상 인텔리전스 시스템이다. 30초 윈도우(5초 오버랩)마다 영상 30프레임과 16kHz 모노 오디오를 Gemma 4 12B 기반 모델이 함께 인식하고, 결과를 단일 SQLite workspace에 저장해 FTS5+BM25와 구조화 필터로 검색한다. 질의 응답 에이전트는 후보 윈도우를 검색한 뒤, 인용 직전에 현재 턴에서 해당 원본 픽셀과 오디오를 다시 인식한 윈도우만 인용할 수 있다.https://techllm.github.io/posts/online-change-point-detection-for-cooperative-multi-agent-reinforcemen/Wed, 09 Sep 2026 08:02:23 +0900https://techllm.github.io/posts/online-change-point-detection-for-cooperative-multi-agent-reinforcemen/이 논문은 협력적 다중 에이전트 강화학습(MARL)에서 학습 중 보상 구조나 협력 목표가 바뀌었을 때, 그 시점을 보상 흐름만으로 온라인 감지하는 경량 알고리즘 PPR(Patterns of Past Rewards)을 제안한다. PPR은 에피소드 단위 return에 단순이동평균(SMA), 지수가중 변화량 신호(EMV), 슬라이딩 윈도우 Kolmogorov-Smirnov 검정(KSWIN)을 순차 적용한다.https://techllm.github.io/posts/translation-as-a-decision-space-a-multi-agent-perspective-on-low-resou/Mon, 07 Sep 2026 07:55:14 +0900https://techllm.github.io/posts/translation-as-a-decision-space-a-multi-agent-perspective-on-low-resou/동일한 다국어 번역 모델을 세 가지 결정 제약(제로샷, 경량 파인튜닝, 영어 우회) 하에 실행하고, 그 출력을 '번역 에이전트'로 모델링하여 모델 내부의 의사결정 공간을 가시화하는 프레임워크를 제안한다. 터키어-시리아 아랍어 번역 실험(평가 5K, 안정화 5K)에서, 1 에폭·학습률 1e-5의 경량 안정화만으로 방언 마커 사용이 0.2266에서 0.4988로 약 2.2배 증가하고 구조적 길이 분산이 2.8761에서 1.1834로 58.8% 감소했다.https://techllm.github.io/posts/high-dimensional-learning-dynamics-of-attention-indexed-models/Sun, 06 Sep 2026 08:09:14 +0900https://techllm.github.io/posts/high-dimensional-learning-dynamics-of-attention-indexed-models/본 논문은 어텐션 행렬의 랭크가 임베딩 차원에 비례해 커지는 extensive-rank 체제에서 attention-indexed 모델의 고차원 학습 동역학을 분석한다. 핵심 발견은 population loss는 유한 차원의 order parameter(μ, Ω, Ψ)로 기술되지만, online SGD는 무한 차원의 matrix moment 계층을 생성한다는 점이다.https://techllm.github.io/posts/core-improving-compositional-reasoning-in-mllm-embedding-via-reranker/Sat, 05 Sep 2026 07:59:04 +0900https://techllm.github.io/posts/core-improving-compositional-reasoning-in-mllm-embedding-via-reranker/MLLM 기반 임베딩 모델이 '속성-객체 결합' 같은 조합 추론을 잘 못 한다는 사실을, 같은 백본을 재순위(reranker)로 쓰면 정확히 구분된다는 관찰에서 출발한다. 합성된 5단계 난이도 후보 리스트와 Rank-KL 증류로 재순위 모델의 미세한 판단을 임베딩 공간에 이식했고, 8B 규모에서 reranker는 Jina 대비 +10.7점, embedding은 평가 대상 중 최고 평균을 달성했다.https://techllm.github.io/posts/an-open-source-benchmark-suite-of-3d-ic-testcases/Fri, 28 Aug 2026 07:36:38 +0900https://techllm.github.io/posts/an-open-source-benchmark-suite-of-3d-ic-testcases/UCLA 연구팀이 CATCH 프레임워크를 토대로 2.5D/3D 이종집적 물리설계용 공개 벤치마크 묶음을 발표했다. 5종 액티브 다이, 2종 기판, 1종 TSV 통과형 다이로 구성된 재사용 칩렛 라이브러리에서 20개 설계를 4개 복잡도 범주로 자동 조합해 IEEE 3Dblox 표준 포맷으로 Dryad에 공개했다. 이로써 3D heterogeneous integration 연구의 공통·재현 가능한 평가 기반이 처음으로 마련된다.https://techllm.github.io/posts/automatic-model-card-generation-using-an-llm/Thu, 27 Aug 2026 07:39:27 +0900https://techllm.github.io/posts/automatic-model-card-generation-using-an-llm/MCTidy와 MCGenie 두 LLM 기반 시스템을 제안해 모델 카드를 Mitchell et al. 표준 템플릿으로 재구성하거나 저장소 파일·논문만으로 새로 생성한다. 48개 허깅페이스 베이스 모델 카드 평가에서 MCTidy는 중앙값 93.8% 정보 유지율, 98.1% 섹션 배치 정확도, 3회 실행 0.97 의미 일치율을 보였고, MCGenie는 생성 카드가 원본과 평균/중앙 0.9 코사인 유사도를 기록하고 48개 중 26개(54.17%)에서 환각·오류가 없는 완전 정확한 카드를 생성했다.https://techllm.github.io/posts/the-interaction-tax-when-communication-erases-diversity-in-multi-agent/Wed, 26 Aug 2026 07:38:13 +0900https://techllm.github.io/posts/the-interaction-tax-when-communication-erases-diversity-in-multi-agent/여러 LLM 에이전트가 서로의 완성된 답을 공유하면 1라운드 만에 다양성이 사라져 성능이 깎이는 '상호작용 세금(interaction tax)' 현상을 11개 검증기 점수 최적화 과제에서 정량적으로 입증한 연구. MoA처럼 제안 단계에서 서로의 출력을 보지 않고 독립적으로 생성한 뒤 점수만으로 합치는 방식만이 다양한 모델의 이점을 보존했다.https://techllm.github.io/posts/auso-action-level-unified-skill-optimization-from-internalization-to-u/Tue, 25 Aug 2026 07:40:36 +0900https://techllm.github.io/posts/auso-action-level-unified-skill-optimization-from-internalization-to-u/AUSO는 LLM 에이전트가 사용하는 '스킬(절차적 지식)'의 학습과 활용을 액션 단위에서 통합한 강화학습 프레임워크다. JSD(젠슨-샌넌 발산) 기반 정보 이득 신호로 각 행동이 스킬에 얼마나 민감한지 측정하고, 이를 teacher-guided internalization → autonomous exploration(GRPO) → action-level skill utilization의 3단계 커리큘럼으로 점진 전이시킨다.https://techllm.github.io/posts/which-eviction-policy-should-an-llm-cache-use-a-systematic-study-acros/Mon, 24 Aug 2026 07:38:48 +0900https://techllm.github.io/posts/which-eviction-policy-should-an-llm-cache-use-a-systematic-study-acros/동일한 프로토콜(CLEVER) 하 7개 캐시 축출 정책을 비교한 결과, 어떤 복잡한 정책도 LFU 대비 0.041pp를 넘기는 이득을 보이지 못했다. 다만 FIFO와 스트리밍 SISO는 좁은 캐시에서 LFU 대비 최대 8.67pp, 8.55pp 손실이 발생한다. packing 조건 분석은 정확 삽입-온-미스 환경에서 기하학적 축출이 받을 수 있는 신호가 적음을 설명하며, LLM 심사위원 기반 품질 감사에서 0.90 임계값 하 LMSYS/QQP 매치의 96~98%가 실제 답변 대체가 불가능함을 드러냈다.https://techllm.github.io/posts/contractscrub-a-benchmark-for-final-review-of-legal-contracts/Sun, 23 Aug 2026 07:41:27 +0900https://techllm.github.io/posts/contractscrub-a-benchmark-for-final-review-of-legal-contracts/계약서 '스크러빙'(거래 합의문 최종 검토에서 오류와 불일치를 찾는 작업)을 평가하기 위한 첫 번째 벤치마크 ContractScrub를 제안한다. 44개 CUAD 출처 계약서에 대해 9개 범주, 총 3,014개 주석 작업을 만들었고, 숙련 변호사들이 기존 오류를 주석하고 현실적인 추가 오류를 삽입했다. 주요 결과 표는 reasoning 설정의 9개 모델을 비교하며, 전체 부록 기준으로는 Gemma 4 26B까지 포함해 10개 모델을 다룬다.https://techllm.github.io/posts/inject-align-recover-staged-post-training-for-retrieval-free-document/Sat, 22 Aug 2026 07:37:41 +0900https://techllm.github.io/posts/inject-align-recover-staged-post-training-for-retrieval-free-document/IAR은 검색 없이도 고정된 문서 집합을 모델 파라미터에 내재화하는 3단계 사후학습 프레임워크다. Inject(구조적 문서 노출), Align(QA 정렬), Recover(모델 병합을 통한 일반 능력 복원)을 분리해 도메인 정확도와 일반 능력 사이의 운영점을 선택한다. Llama·Phi·Qwen·SmolLM 4개 모델군과 CC·CCI 두 데이터셋의 주 비교에서 Vanilla SFT 대비 평균 3.6pp 도메인 QA 정확도, 12.1pp 평균 일반 성능 향상을 보고한다.https://techllm.github.io/posts/code-health-in-llm-based-test-generation-effectiveness-and-token-effic/Fri, 21 Aug 2026 07:33:49 +0900https://techllm.github.io/posts/code-health-in-llm-based-test-generation-effectiveness-and-token-effic/본 연구는 CodeScene의 CodeHealth(CH) 지표가 LLM이 생성한 단위 테스트의 효과(line coverage, branch coverage, mutation score)와 입력 토큰 수에 어떤 관련이 있는지 Python 5,000개, Java 9,795개, C++ 9,825개, 총 24,620개 CodeContests 파일로 분석했다. Qwen3-Coder-30B-A3B-Instruct 단일 모델을 사용해 테스트를 한 번에 생성했고, CH가 높을수록 테스트 효과가 약하지만 일관되게 좋아지는 경향을 보였다.https://techllm.github.io/posts/can-large-language-models-explain-flight-safety-events-a-prior-guided/Thu, 20 Aug 2026 07:39:13 +0900https://techllm.github.io/posts/can-large-language-models-explain-flight-safety-events-a-prior-guided/항공기 QAR 시계열로 하드랜딩(VRTG ≥ 1.5g)을 분류하면서 그 원인을 자연어로 설명하기 위해, 통계 전문가(CatBoost)의 예측·확률과 분위수 기반 의미 라벨, 대비 few-shot 사례를 구조화 프롬프트에 주입하는 FlightLLM을 제안한다. A320 실비행 704편 데이터에서 Accuracy 81.56%, Precision 85.71%(Deepseek 백본)로 최우수 베이스라인 SDTAN(80.14 / 73.33)을 넘어서지만 Recall은 64.29%로 SDTAN(78.57)보다 낮다.https://techllm.github.io/posts/model-hypnosis-strong-control-of-ai-via-additive-subliminal-effects/Wed, 19 Aug 2026 07:40:14 +0900https://techllm.github.io/posts/model-hypnosis-strong-control-of-ai-via-additive-subliminal-effects/본 논문은 의미적으로 무관하고 개별적으로는 매우 약한 텍스트 단서(목록 속 동물 이름, JSON 메타데이터 값, 문장 paraphrase 선택, 오타 위치)가 log-odds 상에서 거의 가산적으로 누적되어 LLM의 이진 응답을 거의 확실하게 조종할 수 있는 '모델 최면(model hypnosis)' 현상을 보인다.https://techllm.github.io/posts/recipenet-a-hierarchical-transformer-for-recipe-data/Tue, 18 Aug 2026 07:41:20 +0900https://techllm.github.io/posts/recipenet-a-hierarchical-transformer-for-recipe-data/레시피 데이터(재료·조건 필드가 순서 있는 절차 단계로 묶인 표 형태 데이터)는 기존 tabular 학습 기법에 넣으려면 flatten·padding으로 고정 스키마로 바꿔야 하고, 그 과정에서 계층 구조와 절차 순서 정보가 소실된다. RecipeNet은 단계 내부 필드 상호작용을 처리하는 Step Fusion Encoder와 단계 간 의존성을 처리하는 Recipe-Level Sequence Encoder를 쌓은 계층 Transformer로, 관측된 필드만 토큰화해 가변 스키마를 그대로 수용한다.https://techllm.github.io/posts/foundations-of-independent-component-analysis/Mon, 17 Aug 2026 07:37:36 +0900https://techllm.github.io/posts/foundations-of-independent-component-analysis/독립 성분 분석(ICA)의 선형 모델 X=AZ+μ를 특성함수와 누적량 이론으로 정리한 자급적 수학 노트다. 소스 가정을 비상수, 비가우시안, 가우시안-프리로 단계적으로 강화하면서 각 경우에 어떤 모호성까지 식별가능한지 증명한다. 가장 강한 가우시안-프리 가정과 full column rank 혼합행렬 조건에서는 가산 가우시안 노이즈의 공분산이 비대각이거나 특이해도 독립 소스를 순열, 척도, 이송의 불가피한 모호성까지만 남기고 식별할 수 있음을 보인다.https://techllm.github.io/posts/exponential-convex-calibration-dimension-for-the-multi-label-jaccard-m/Sun, 16 Aug 2026 07:38:28 +0900https://techllm.github.io/posts/exponential-convex-calibration-dimension-for-the-multi-label-jaccard-m/본 논문은 다중라벨 Jaccard 손실의 정확한 convex calibration dimension이 지수적으로 커진다는 것을 보인다. 핵심 결과는 2^(s-1) ≤ CCdim(L^Jac) ≤ 2^s - 1이며, 이는 모든 정확 보정 convex surrogate가 라벨 수 s에 대해 지수적으로 많은 예측 좌표를 필요로 함을 뜻한다.https://techllm.github.io/posts/toward-a-gricean-retreat-probing-llms-for-knowledge-boundaries-and-ref/Sat, 15 Aug 2026 07:33:16 +0900https://techllm.github.io/posts/toward-a-gricean-retreat-probing-llms-for-knowledge-boundaries-and-ref/이 논문은 LLM이 모르는 개체를 만났을 때 그럴듯한 구체 정보를 지어내는 대신, 더 일반적이지만 참일 가능성이 높은 표현으로 물러날 수 있는지를 분석한다. T-REx/LAMA 기반 벤치마크에서 Pythia 모델의 내부 활성값을 조사한 결과, 모델 안에는 개체가 학습 데이터 안에 있었는지에 대한 신호와 곧 생성할 답변이 구체적인지 일반적인지에 대한 신호가 모두 존재했다. 그러나 실제 생성에서는 두 신호가 결합되지 않아, 모델은 unknown synthetic entity에도 specific completion을 강하게 선호했다.https://techllm.github.io/posts/structural-silence-when-ai-infrastructure-fails-speakers-of-underrepre/Fri, 14 Aug 2026 07:38:02 +0900https://techllm.github.io/posts/structural-silence-when-ai-infrastructure-fails-speakers-of-underrepre/이 논문은 약 2억 8,500만 명이 사용하는 벵골어가 AI 교육 도구와 언어 지원 인프라에서 겪는 네 가지 구조적 실패를 분석한다. 핵심 실패는 웹 콘텐츠 과소대표(전 세계 웹 콘텐츠 0.5% 미만), 영어 대비 약 67:1의 훈련 토큰 격차, 벵골어 문자 체계에 불리한 토큰화 페널티, 그리고 농촌 개인 인터넷 이용률 36.5%로 대표되는 연결성 배제다. 저자들은 이를 개별 연구자의 데이터 부족 문제가 아니라, 영어 중심 데이터 수집·토크나이저·평가·클라우드 배포 관행이 누적된 결과로 해석한다.https://techllm.github.io/posts/attention-path-fragility-as-an-uncertainty-signal-in-large-language-mo/Thu, 13 Aug 2026 07:36:03 +0900https://techllm.github.io/posts/attention-path-fragility-as-an-uncertainty-signal-in-large-language-mo/LLM의 답이 단순히 낮은 확률이라서 불확실한지뿐 아니라, 특정 어텐션 경로가 조금만 끊겨도 무너지는지로 불확실성을 읽는 학습-프리 신호 ASMI를 제안한다. ASMI는 어텐션 헤드를 무작위로 가린 여러 부분망의 예측 불일치를 상호정보량으로 측정하고, 동의어처럼 표면만 다른 후보의 흔들림은 의미 동의 커널로 할인한다. 근거 문서를 보고 답하는 QA에서는 확신은 높지만 경로가 취약한 오답을 찾아 confidence 필터의 남은 오류를 크게 줄였고, 폐북 지식 회상에서는 설계대로 MSP 같은 출력 기반 기준보다 낫지 않았다.https://techllm.github.io/posts/bdh-cq-in-context-learning-with-recurrent-latent-reasoning/Wed, 12 Aug 2026 07:38:01 +0900https://techllm.github.io/posts/bdh-cq-in-context-learning-with-recurrent-latent-reasoning/BDH-CQ는 150M 파라미터의 비-Transformer 계열 추론 시스템으로, 추론 시 제공된 예시를 재귀 기억에 누적하고 질의는 고차원 잠재 공간에서 반복 계산해 답만 디코딩한다. ARC-AGI-1 공개 평가 400개 태스크에서 118개를 해결해 29.5% pass@2를 기록했고, 태스크당 약 0.85 H200 GPU-초, H200 시간당 $3 가정에서 $0.00070의 계산 비용을 보고했다.https://techllm.github.io/posts/blast-radius/Tue, 11 Aug 2026 07:37:59 +0900https://techllm.github.io/posts/blast-radius/에이전틱 코딩에서 매 턴 전체 대화·파일·로그가 다시 전송되며 죽은 컨텍스트가 비용을 키우는 문제를 다룬다. 저자는 Blast Radius를 통해 다음 프롬프트가 얼마나 많은 새 컨텍스트를 남길지와 코드 의존성 그래프에서 어느 범위까지 영향을 줄지를 추정하고, NECROPHORESIS라는 가역 추방 연산으로 오래된 본문을 원문 그대로 온디바이스 아카이브에 보관한 뒤 작은 skeleton만 컨텍스트에 남긴다.https://techllm.github.io/posts/optimal-rates-for-learning-with-monotone-adversaries/Mon, 10 Aug 2026 07:40:08 +0900https://techllm.github.io/posts/optimal-rates-for-learning-with-monotone-adversaries/본 논문은 깨끗한 i.i.d. 표본을 본 뒤, 정답 라벨을 유지한 예시만 추가하는 monotone adversary가 학습 난이도를 얼마나 높이는지 minimax 관점에서 규명한다. VC 차원 d=0에서는 위험이 0이고, d=1에서는 모든 삽입 예산 m에 대해 Θ(1/n)이 가능하지만, d≥2에서는 알려진 유한 예산들에 대한 최악의 경우 최적 위험률이 Θ((min{d,n}/n)·log(en/min{d,n}))로 증가한다.https://techllm.github.io/posts/tytan-interactive-neurosymbolic-construction-of-analytic-semantic-sche/Sat, 08 Aug 2026 19:20:43 +0900https://techllm.github.io/posts/tytan-interactive-neurosymbolic-construction-of-analytic-semantic-sche/TYTAN은 관계형 데이터베이스(또는 CSV)와 한 줄 설명만으로 분석용 의미론적 스키마인 'ring'을 자동 구축하는 신경기호적 시스템이다. LLM이 의미를 제안하되 모든 결정을 DB 인스턴스에 대해 결정론적으로 검증(값 중첩·고유성·샘플 증거)하고, 증거가 부족하면 사용자에게 자연어 질문을 던진다. 8개 데이터베이스에서 참조 스키마의 모든 엔티티·속성을 100% 커버하고, 3,758개 자가 생성 검색 테스트를 전부 통과했다.https://techllm.github.io/posts/lighthouse-attention-long-context-pretraining/Sat, 08 Aug 2026 19:08:12 +0900https://techllm.github.io/posts/lighthouse-attention-long-context-pretraining/Lighthouse Attention은 Q/K/V를 대칭적으로 다중 해상도 피라미드로 풀링한 뒤, 상위 K개 엔트리만 골라 표준 FlashAttention에 통과시키는 학습 전용 희소 어텐션이다. selection이 어텐션 커널 밖에 있어 forward/backward가 dense 트랜스포머와 동일하며, 마지막에 짧은 dense-SDPA resume만 거치면 from-scratch dense baseline과 동등 이상의 loss를 1.4~1.7× 더 빠른 wall-clock에 달성한다.https://techllm.github.io/posts/resourced-authority-a-mechanism-design-model-for-participatory-governa/Sat, 08 Aug 2026 07:38:46 +0900https://techllm.github.io/posts/resourced-authority-a-mechanism-design-model-for-participatory-governa/이 논문은 AI 에이전트의 배포를 인간 이해관계자들이 지속적으로 통제하는 문제를 메커니즘 디자인으로 정식화한다. 거버넌스 통화와 컴퓨트를 분리하고, QF 기반 폭 가중 찬반 집계와 이력 현상 게이트, signed compute license로 승인을 자기 집행적으로 만든다. 핵심 정리로 sided incentive compatibility, early commitment, breadth-weighted authorization을 증명하고, 에이전트가 자신의 심사 유권자를 조작하는 문제를 중심 미해결 과제로 남긴다.https://techllm.github.io/posts/learning-when-to-trust-via-selective-context-preference-optimization/Fri, 07 Aug 2026 14:09:01 +0900https://techllm.github.io/posts/learning-when-to-trust-via-selective-context-preference-optimization/이 논문은 언어모델이 그럴듯하지만 틀린 문맥 신호에 휩쓸려 정답을 바꾸는 문제를 '선택적 신뢰(Selective Trust)'로 재정의한다. 23개 프론티어·오픈웨이트 모델을 MIST 벤치마크로 평가한 결과, 단일 오답 신호가 평균 17.1포인트의 정확도 손실을 일으키며 이 취약성은 보편적이었다. SCOPE라는 균형 잡힌 DPO 학습으로 Qwen3-4B·Llama-3.2-3B 두 계열에서 SC2W를 절반 가까이 줄이면서 clean·correct-context·irrelevant 제어 조건의 정확도를 모두 보존했다.https://techllm.github.io/posts/representational-separation-between-unitary-and-channel-quantum-genera/Fri, 07 Aug 2026 07:41:39 +0900https://techllm.github.io/posts/representational-separation-between-unitary-and-channel-quantum-genera/본 논문은 얕은 국소 양자회로에 하나의 공유 고전 난수 비트를 사용하는 Pauli 문자열을 중간층에 삽입하면, 같은 깊이의 순수 유니터리 Born 모델로는 표현할 수 없는 분포를 만들 수 있음을 증명한다. 1D 최근접 이웃 구조에서 이 분포를 순수 유니터리로 재현하려면 Ω(N) 깊이가 필요하며, MBQC(측정기반 양자계산)에서는 측정 결과의 피드포워드 제어만으로 이 공유 난수를 자연스럽게 구현할 수 있다.