TechLLM

에이전트가 쌓아둔 기억을 새 모델이 이어받을 때, 어떤 기억 방식은 거의 그대로 살아남고 어떤 방식은 조용히 망가지는지 측정한 연구다.

에이전트가 쌓아둔 기억을 새 모델이 이어받을 때, 어떤 기억 방식은 거의 그대로 살아남고 어떤 방식은 조용히 망가지는지 측정한 연구다. 무엇이 문제였나 — 모델을 새것으로 바꿔도 저장된 기억을 그대로 쓰면 된다고 생각하기 쉽지만, 실제로는 새 모델이 옛 기억을 다르게 읽거나 검색이 빗나갈 수 있다. 어떻게 풀었나 — 연구진은 원본 기록, 검색용 조각, 요약 노트, 정해진 양식의 지식 그래프를 같은 조건에서 비교했다. 그래서 뭐가 좋아졌나 — 정해진 양식으로 저장한 기억은 모델이 바뀌어도 안정적이었지만, 모델이 자유롭게 쓴 요약 노트는 누가 쓰고 누가 읽느냐에 따라 성능이 크게 흔들렸다. 원본 기록을 남겨두지 않으면 망가진 요약 노트를 되살리기도 어렵다. ...

영어 풀이를 볼 때 답의 흐름이 실제로 바뀌는 지점만 찾아 그 부분을 집중해서 배우는 다국어 학습법

영어 풀이를 볼 때 답의 흐름이 실제로 바뀌는 지점만 찾아 그 부분을 집중해서 배우는 다국어 학습법 무엇이 문제였나 — 언어 모델은 영어로는 잘 풀 수 있는 문제도 저자원 언어로 풀 때 추론 흐름이 무너지는 경우가 많다. 어떻게 풀었나 — 이 방법은 영어 풀이를 보여줬을 때 다음 단어 선택이 크게 달라지는 지점을 찾아, 그런 지점에는 영어 풀이의 도움을 강하게 주고 나머지는 원래 언어 표현을 유지하게 한다. 그래서 뭐가 좋아졌나 — 12개 아프리카 언어를 포함한 17개 언어의 수학 추론 평가에서 기존 학습법보다 높은 성능을 보였다. ...

에이전트 평가를 끝까지 돌리지 않고, 중간 행동만 보고 성공할지 실패할지 미리 판단해 비용을 줄이는 방법이다

에이전트 평가를 끝까지 돌리지 않고, 중간 행동만 보고 성공할지 실패할지 미리 판단해 비용을 줄이는 방법이다 무엇이 문제였나 — 에이전트 평가는 한 번 돌릴 때도 비싸고, 개발 중에는 여러 번 반복해야 해서 부담이 크다 어떻게 풀었나 — 이 논문은 실행 중간의 행동 기록을 보고 결과가 충분히 뻔해진 순간 평가를 멈춘다 그래서 뭐가 좋아졌나 — 그 결과 단계와 토큰 사용량을 꽤 줄이면서도 최종 점수와 순위는 거의 비슷하게 유지했다 ...

AI가 쓴 글에 워터마크를 다는 작업을 매 단어마다 '동전 던지기'를 하는 방식으로 바꿔서, 속도 저하를 거의 없앤 연구

AI가 쓴 글에 워터마크를 다는 작업을 매 단어마다 ‘동전 던지기’를 하는 방식으로 바꿔서, 속도 저하를 거의 없앤 연구 무엇이 문제였나 — 기존 워터마킹은 매번 10만 개가 넘는 단어 목록을 새로 섞어야 해서 매우 느렸음 어떻게 풀었나 — 매 단어마다 워터마크 목록에 넣을지 말지를 독립적인 동전 던지기처럼 결정하도록 방식을 바꿈 그래서 뭐가 좋아졌나 — 기존 방식보다 6000배 빠르면서도 워터마크를 찾아내는 능력은 똑같이 유지됨 ...

AI가 문장이나 이미지를 처리할 때 자주 쓰는 어텐션 계산을 4비트 숫자로 더 빠르게 돌리려는 연구다.

AI가 문장이나 이미지를 처리할 때 자주 쓰는 어텐션 계산을 4비트 숫자로 더 빠르게 돌리려는 연구다. 무엇이 문제였나 — 문제: GPU는 4비트 곱셈을 아주 빨리 할 수 있지만, 어텐션 중간에서 확률값을 만드는 단계가 발목을 잡았다. 어떻게 풀었나 — 해결: 확률을 정밀하게 만든 뒤 줄이는 대신, 처음부터 GPU가 바로 쓸 수 있는 4비트 코드에 점수를 넣는다. 그래서 뭐가 좋아졌나 — 결과: 좋은 조건에서는 어텐션 forward가 BF16보다 최대 2.13배 빨랐고, 8B급 모델의 한 번 학습 업데이트도 최대 1.14배 빨라졌다. ...

여러 검색 모델을 비교할 때, 각 모델이 가져온 문서를 합쳐 한 번만 채점하고 그 점수를 계속 재사용해서 평가 비용을 크게 줄이는 방법이다.

여러 검색 모델을 비교할 때, 각 모델이 가져온 문서를 합쳐 한 번만 채점하고 그 점수를 계속 재사용해서 평가 비용을 크게 줄이는 방법이다. 무엇이 문제였나 — 새 임베딩 모델이 나올 때마다 검색 품질을 다시 측정하려면 사람이 문서 수만 개를 새로 채점해야 해서 비용이 막대했다. 어떻게 풀었나 — 모든 후보 모델이 가져온 문서의 합집합을 LLM 심사위원이 한 번만 채점하고, 새 모델이 추가될 때는 그 모델이 새로 가져온 문서만 추가로 채점한다. 그래서 뭐가 좋아졌나 — 그 결과 4.9배 비용 절감, 65–80% 재사용률, 인간 채점과 거의 같은 순위(상관 0.69–0.95)를 production에서 확인했다. ...

언어 모델이 답을 쓰는 도중에 '전체를 볼지, 특정 부분만 볼지, 방금 쓴 내용만 볼지'를 직접 표시하게 해서 긴 문서를 더 싸게 읽게 만드는 방법이다.

언어 모델이 답을 쓰는 도중에 ‘전체를 볼지, 특정 부분만 볼지, 방금 쓴 내용만 볼지’를 직접 표시하게 해서 긴 문서를 더 싸게 읽게 만드는 방법이다. 무엇이 문제였나 — 긴 문서를 다루는 모델은 답의 한 단어를 만들 때마다 앞의 긴 입력을 거의 다시 훑어야 해서 시간이 많이 든다. 어떻게 풀었나 — 이 논문은 모델이 답을 쓰는 중에 , , 같은 표시를 남기게 하고, 실행 시스템이 그 표시에 맞춰 필요한 부분만 읽게 한다. 그래서 뭐가 좋아졌나 — 큰 모델 두 종류에서 15개 긴 문서 과제를 평가했더니 읽어야 하는 양은 31.152.0% 줄었고, 정답률 하락은 1.272.75%p였다. ...

반도체 소자 안의 3차원 계산 격자를 그대로 읽는 신경망을 만들어, 오래 걸리는 정밀 시뮬레이션을 훨씬 빠른 예측으로 대신하게 한 연구다.

반도체 소자 안의 3차원 계산 격자를 그대로 읽는 신경망을 만들어, 오래 걸리는 정밀 시뮬레이션을 훨씬 빠른 예측으로 대신하게 한 연구다. 무엇이 문제였나 — 정밀 반도체 시뮬레이션은 한 설계안을 계산하는 데 몇 분에서 몇 시간이 걸려, 많은 후보를 비교하기 어렵다. 어떻게 풀었나 — 이 연구는 소자 내부의 3차원 점과 연결을 그래프로 보고, 각 지점의 전기 상태를 신경망이 예측하게 했다. 그래서 뭐가 좋아졌나 — 모델이 자신 없는 후보만 골라 실제 시뮬레이터에 다시 보내므로, 수천~1만 개 규모 후보를 훨씬 현실적인 비용으로 걸러낼 수 있다. ...

진짜 컴퓨터 프로그램 16개를 마우스 조작과 명령어 조작을 함께 연습할 수 있는 훈련장으로 만들고, 그 기록으로 AI를 가르친 연구다.

진짜 컴퓨터 프로그램 16개를 마우스 조작과 명령어 조작을 함께 연습할 수 있는 훈련장으로 만들고, 그 기록으로 AI를 가르친 연구다. 무엇이 문제였나 — 기존 컴퓨터 사용 AI는 화면을 보며 클릭만 하느라 오래 걸리거나, 명령어만 쓰다가 화면 상태를 놓치는 문제가 있었다. 어떻게 풀었나 — 이 논문은 Blender, LibreOffice, VLC, VS Code 같은 실제 앱을 설치하고, 각 앱에서 쓸 수 있는 명령어 도구를 찾아 붙인 뒤, 화면 조작과 명령어를 섞어 푸는 과제를 자동으로 만든다. 그래서 뭐가 좋아졌나 — 그 데이터로 9B 모델을 학습하자 성공률은 오르고, 같은 일을 끝내는 데 필요한 단계 수와 토큰 수는 줄었다. ...