논문분석 | TechLLM

벵골어는 세계적으로 많이 쓰이는 언어지만, 현재 AI 인프라는 벵골어 사용자에게 불리하게 만들어져 있다는 점을 보여주는 논문이다.

벵골어는 세계적으로 많이 쓰이는 언어지만, 현재 AI 인프라는 벵골어 사용자에게 불리하게 만들어져 있다는 점을 보여주는 논문이다. 무엇이 문제였나 — 벵골어 사용자는 많지만 벵골어 웹 콘텐츠는 전 세계 웹의 0.5% 미만이고, AI 학습 데이터도 영어보다 훨씬 적다. 어떻게 풀었나 — 웹 콘텐츠, 학습 토큰, 글자 쪼개기 방식, 인터넷 접근성이라는 네 층위에서 불평등이 어떻게 누적되는지 정리했다. 그래서 뭐가 좋아졌나 — 그래서 왜 중요한가: AI 교육 도구가 클라우드와 영어를 기본값으로 삼으면, 농촌 벵골어 학습자는 설명을 이해하기도 어렵고 도구에 접속하기도 어렵다. ...

ASMI 파이프라인: 목표 레이어 아래 prefix를 1회 캐시하고 S개의 마스킹된 suffix로 동일 greedy 응답을 점수화

AI 답이 튼튼한 여러 근거에 기대고 있는지, 아니면 한두 길이 막히면 바로 흔들리는지 확인해 위험한 답을 찾는 방법이다.

AI 답이 튼튼한 여러 근거에 기대고 있는지, 아니면 한두 길이 막히면 바로 흔들리는지 확인해 위험한 답을 찾는 방법이다. 무엇이 문제였나 — 모델이 답을 낼 때 쓰는 여러 어텐션 머리 중 일부를 일부러 꺼 보고, 같은 답이 계속 안정적으로 나오는지 본다. 어떻게 풀었나 — 근거 문서를 읽고 답해야 하는 문제에서는, 확신은 높아 보여도 내부 경로가 흔들리는 답이 실제로 더 자주 틀렸다. 그래서 뭐가 좋아졌나 — 반대로 문서 없이 기억만으로 맞혀야 하는 문제에서는 이 방법이 잘 통하지 않았고, 논문은 이 실패도 설계상 예상된 경계라고 본다. ...

ARC-AGI-1 점수 대비 태스크당 비용의 파레토 전선. BDH-CQ 150M의 29.5 pass@2, $0.00070 지점이 기존 leaderboard 비용-정확도 점들과 비교된다.

BDH-CQ는 색깔 격자 퍼즐의 예시 몇 개를 보고 규칙을 익힌 뒤, 풀이 과정을 글로 쓰지 않고 내부 계산만으로 답을 내는 작은 AI 모델이다.

BDH-CQ는 색깔 격자 퍼즐의 예시 몇 개를 보고 규칙을 익힌 뒤, 풀이 과정을 글로 쓰지 않고 내부 계산만으로 답을 내는 작은 AI 모델이다. 무엇이 문제였나 — 기존 추론 모델은 중간 풀이를 단어로 길게 만들어 비용과 시간이 커질 수 있다. 어떻게 풀었나 — BDH-CQ는 예시를 볼 때마다 내부 기억을 갱신하고, 답을 낼 때는 숫자로 된 내부 상태를 여러 번 다듬는다. 그래서 뭐가 좋아졌나 — 공개 ARC-AGI-1 평가에서 400문제 중 118문제를 두 번 시도 기준으로 맞혔고, 계산 비용은 문제당 $0.00070으로 보고됐다. ...

Blast Radius의 두 채널 구조: 컨텍스트 채널은 eviction budget H_t를 만들고, 코드 채널은 churn-weighted dependency reach를 통해 commit-pressure signal Π_t를 만든다.

AI 코딩 도우미가 오래된 기록을 지우지 않고 보관함으로 옮겨, 필요하면 다시 꺼내면서도 매번 읽는 양을 줄이는 방법이다.

AI 코딩 도우미가 오래된 기록을 지우지 않고 보관함으로 옮겨, 필요하면 다시 꺼내면서도 매번 읽는 양을 줄이는 방법이다. 무엇이 문제였나 — AI 코딩 도우미는 작업을 이어가기 위해 이전 대화, 파일 내용, 빌드 로그, 테스트 결과를 매번 다시 읽는다. 어떻게 풀었나 — 하지만 이미 끝난 작업 기록이나 거의 똑같이 반복되는 로그까지 계속 읽으면 비용과 컨텍스트 사용량이 커진다. 그래서 뭐가 좋아졌나 — 이 논문은 오래된 내용은 원문 그대로 보관하고 작은 표식만 남기는 방식으로, 필요하면 되돌릴 수 있게 하면서 토큰을 약 20% 줄였다고 보고한다. ...

훈련 데이터를 본 뒤 정답이 맞는 예시만 더 넣어도, 데이터의 순수한 무작위성이 깨져서 어떤 학습법도 일반적인 경우에는 로그만큼 더 느리게 배울 수 있음을 증명한 논문입니다.

훈련 데이터를 본 뒤 정답이 맞는 예시만 더 넣어도, 데이터의 순수한 무작위성이 깨져서 어떤 학습법도 일반적인 경우에는 로그만큼 더 느리게 배울 수 있음을 증명한 논문입니다. 무엇이 문제였나 — 문제: 실제 데이터셋은 수집 후 사람이 보거나 규칙으로 다듬는 경우가 많고, 그러면 표본이 처음 뽑힌 무작위 표본처럼 행동하지 않을 수 있습니다. 어떻게 풀었나 — 해결: 이 논문은 ‘정답 라벨을 가진 예시만 추가한다’는 제한된 조작만으로도 VC 차원 2 이상에서는 최적 오류율에 로그 요인이 반드시 붙는다는 하한을 보입니다. 그래서 뭐가 좋아졌나 — 결과: VC 차원 1은 예외적으로 Θ(1/n)을 유지하지만, VC 차원 2 이상과 Littlestone 차원 2 이상에서는 단순한 ERM의 로그 손실이 실제 최적률과 일치합니다. ...

노드에 고정 활성화를 둔 MLP와 엣지마다 학습 가능한 곡선을 둔 KAN의 구조를 나란히 비교한 도해

KAN, 파라미터 200개로 MLP 30만 개를 이겼다

MIT 연구진이 신경망의 곱셈 가중치를 전부 학습 가능한 곡선으로 바꿨더니, 매듭 이론 과제에서 파라미터 200개짜리 모델이 30만 개짜리 MLP보다 정확했습니다. 세 문장 요약 문제 — 지금의 신경망은 대부분 MLP(다층 퍼셉트론, 노드마다 정해진 활성화 함수를 두고 연결선에는 숫자 가중치 하나씩만 두는 구조)를 쌓아 만드는데, 데이터 뒤에 깔끔한 수식이 숨어 있는 과학 문제에서도 파라미터를 크게 늘려야 겨우 정확도가 나오고 학습한 내용을 사람이 읽어내기도 어렵습니다. ...

데이터베이스가 어떤 실세계 대상을 담고 있는지, AI가 추론하되 그 추론을 데이터로 직접 확인해서 틀린 부분을 잡아내는 자동 설명서 생성기다.

데이터베이스가 어떤 실세계 대상을 담고 있는지, AI가 추론하되 그 추론을 데이터로 직접 확인해서 틀린 부분을 잡아내는 자동 설명서 생성기다. 무엇이 문제였나 — 비전문가가 데이터를 쓰려면 ‘이 테이블이 무엇을 의미하는지, 어떻게 연결되는지’를 전문가가 손으로 적어야 하는 병목이 있었다. 어떻게 풀었나 — TYTAN은 DB 구조는 결정론적으로 분석하고, 의미 해석은 LLM에 맡긴 뒤, 모든 제안을 실제 데이터에 대해 검증하고 모호하면 사용자에게 한두 줄 질문한다. 그래서 뭐가 좋아졌나 — 그 결과 누구나 자연어로 복잡한 분석 질문을 할 수 있게 해주는 신뢰할 수 있는 데이터 설명서가 거의 자동으로 만들어진다. ...

학습 중에만 어텐션을 압축했다가 마지막에 원래 방식으로 돌려놓으면, 긴 문맥을 훨씬 빠르고 저렴하게 학습하면서도 정상적인 모델을 얻는다.

학습 중에만 어텐션을 압축했다가 마지막에 원래 방식으로 돌려놓으면, 긴 문맥을 훨씬 빠르고 저렴하게 학습하면서도 정상적인 모델을 얻는다. 무엇이 문제였나 — 긴 문맥(10만100만 토큰) 학습은 어텐션의 제곱 비용 때문에 GPU 시간과 메모리가 폭발한다. 어떻게 풀었나 — 질문·키·값을 같이 여러 해상도로 압축하고 중요한 것만 골라 표준 어텐션을 돌린 뒤, 마지막에 잠깐 원래 어텐션으로 마무리한다. 그래서 뭐가 좋아졌나 — 동일 토큰 예산에서 dense baseline보다 loss가 더 낮거나 같으면서 1.41.7× wall-clock을 절약하고, 512K에서는 21× 빨라진다. ...

Figure 1: 전체 구조 — 인간 거버넌스 통화 영역과 에이전트 컴퓨트 영역이 결합 맵 ρ와 안전 상한 Γ로만 연결되는 2-영역 분리(decoupling) 구조.

사람들이 AI 에이전트를 얼마나 오래, 어느 정도로 돌릴 수 있는지를 '투표+자원 배분' 방식으로 정하는 규칙을 만든 논문

사람들이 AI 에이전트를 얼마나 오래, 어느 정도로 돌릴 수 있는지를 ‘투표+자원 배분’ 방식으로 정하는 규칙을 만든 논문 무엇이 문제였나 — AI 에이전트는 누가, 얼마나, 언제까지 돌릴지에 대한 통제가 어렵다 어떻게 풀었나 — 사람들이 찬성/반대 자금을 내면 그걸 폭넓은 지지로 환산해 컴퓨터 사용량을 배정한다 그래서 뭐가 좋아졌나 — 지지자가 많을수록, 적은 돈이라도 여러 명이면 승인되도록 만들었다 ...