https://techllm.github.io/tags/logit-lens/Recent content in Logit Lens on TechLLMHugokoSun, 18 Oct 2026 07:32:45 +0900https://techllm.github.io/posts/beyond-scores-understanding-llm-as-a-judge-mechanisms-in-summarization/Sun, 18 Oct 2026 07:32:45 +0900https://techllm.github.io/posts/beyond-scores-understanding-llm-as-a-judge-mechanisms-in-summarization/요약 평가 모델 Themis와 Prometheus의 내부 점수 계산을 인과추적, 로짓 렌즈, 어텐션 헤드 제거 실험으로 분석했다. 두 모델 모두 15층 아래의 어텐션이 오류 정보를 비교·전달하고, 그 위의 MLP가 평점을 통합하는 흐름을 보였으며, 평점 결정은 각각 L26과 L25에서 뚜렷해졌다. Themis의 기반 모델인 Llama-3-8B와 비교하면, 파인튜닝은 아래쪽 MLP의 마지막 위치 기여를 낮추고 결정 층을 L28에서 L26으로 앞당긴 것으로 나타났다.