가상 회사의 이메일을 대규모로 만들어 인공지능이 여러 문서에서 정보를 찾아 답하는 능력을 평가한 연구이다. 무엇이 문제였나 — 실제 회사 문서는 공개하기 어렵고, 기존 시험 자료는 문서 수와 문서 사이의 연결이 실제 업무보다 단순했다. 어떻게 풀었나 — 연구진은 가상 회사의 조직과 업무 기록을 먼저 만든 다음, 그 기록에 맞는 이메일과 확인 가능한 질문을 만들었다. 그래서 뭐가 좋아졌나 — 다섯 모델의 성능을 비교한 결과, 관계를 문서에서 찾아 정리하는 일은 특히 큰 자료에서 어려웠고, 정리된 사실을 직접 조회했을 때 질문 점수가 더 높았다. ...
메모리 칩에서 여러 값을 한꺼번에 고칠 때, 고치려는 칸만 바뀌게 하는 방법을 시험한 연구입니다. 무엇이 문제였나 — 메모리 칸을 행과 열로 연결한 칩에서는 한 칸을 고칠 때 다른 칸에도 약한 신호가 갈 수 있습니다. 어떻게 풀었나 — 연구진은 전기와 열이 작은 영역에 모이도록 만든 메모리를 사용해, 약한 신호에는 값이 잘 바뀌지 않는지 살펴봤습니다. 그래서 뭐가 좋아졌나 — 칩 실험에서는 약한 신호를 반복해도 일정 횟수까지 값이 안정적이었고, 숫자 인식 시험에서는 컴퓨터 시뮬레이션으로 학습 성능을 확인했습니다. ...
이 논문은 과학 논문을 찾을 때 주제만 비슷한 자료가 아니라, 문제의 해결책·더 넓은 원리·구체적인 사례를 구분해 찾는 방법을 제안한다. 무엇이 문제였나 — 기존 검색은 주제가 비슷한 자료를 찾는 데 집중해, 그 자료가 해결책인지 넓은 원리인지 구체적인 사례인지 구분하기 어려웠다. 어떻게 풀었나 — 논문에서 문장 사이의 관계를 알려 주는 표현을 찾아, 세 가지 역할별 검색 자료와 평가용 시험 자료를 만들었다. 그래서 뭐가 좋아졌나 — 역할별로 검색 모델을 학습하자 정답을 더 높은 순위에서 찾았고, 평가자가 유효하다고 본 대안도 더 자주 검색했다. ...
도구를 각각 독립된 프로그램으로 실행하고, 대화와 작업 기록은 프로그램 밖의 파일에 이어 적습니다. 그 결과 하나가 멈춰도 새 프로그램이 기록을 읽고 일을 이어갈 수 있습니다. 무엇이 문제였나 — 도구와 대화를 한 프로그램에 몰아 두면, 그 프로그램이 멈출 때 함께 멈춥니다. 어떻게 풀었나 — Logos는 도구를 각각 다른 프로그램으로 실행하고, 대화와 작업 기록은 계속 뒤에 덧붙여 저장합니다. 그래서 뭐가 좋아졌나 — 도구가 도중에 멈춰도 새 프로그램이 저장된 기록부터 읽어 일을 이어갔고, 이미 기록된 작업은 다시 실행하지 않았습니다. ...
AI 코딩 도우미에 기능을 더하는 플러그인들이 시간이 지나며 어떻게 만들어지고 고쳐지는지 살펴본 연구다. 무엇이 문제였나 — 플러그인은 설명 글, 설정, 실행 파일이 함께 있어 기존 소프트웨어와 같은 방식으로 관리되는지 알기 어려웠다. 어떻게 풀었나 — 연구진은 수천 개 플러그인의 변경 기록을 모아 어떤 부분이 바뀌고 함께 바뀌는지 살펴봤다. 그래서 뭐가 좋아졌나 — 특히 기술 설명 글과 실행 파일이 함께 바뀌는 일이 잦아, 둘을 같이 점검할 필요가 있음을 보였다. ...
여러 풀이 방식을 시험해, 한 번의 정답률과 여러 번 시도했을 때의 성공 가능성을 함께 높이는 학습법을 연구했다. 무엇이 문제였나 — GRPO는 한 번 뽑은 답의 정답률을 높일 수 있지만, 일부 실험에서는 여러 번 시도했을 때의 성공률이 기준 모델보다 낮아졌다. 어떻게 풀었나 — ES는 매개변수를 조금씩 다르게 바꾼 여러 모델을 시험하고, 점수가 높은 변화 방향을 모아 학습한다. 그래서 뭐가 좋아졌나 — 논문 실험에서 ES는 한 번의 정답률을 높이면서 여러 번 시도했을 때의 평균 성공률도 GRPO보다 높았다. ...
사진을 보고 장면의 거리와 표면 방향을 함께 그려 내는 AI를 비디오 생성 방식으로 만든 연구다. 무엇이 문제였나 — 사진 한 장만으로 물체까지의 거리와 표면이 향하는 방향을 정확히 알아내기는 어렵다. 어떻게 풀었나 — 사진과 거리 지도, 표면 방향 지도를 한 묶음의 연속된 장면처럼 함께 만들도록 비디오 AI를 바꿨다. 그래서 뭐가 좋아졌나 — 적은 학습 자료로도 여러 낯선 사진에서 두 정보를 함께 추정했고, 일부 비교에서 기존 방법보다 좋은 결과를 냈다. ...
시험에서 확인하지 않은 곳에 오류가 있어도, 로봇이 그곳에 갈 수 있는지에 따라 위험이 달라진다는 점을 연구했습니다. 무엇이 문제였나 — 일부 경로에서만 코드를 시험하면, 시험하지 않은 곳의 잘못된 규칙은 검사에서 드러나지 않을 수 있습니다. 어떻게 풀었나 — 연구진은 원형 장벽의 틈과 출발 위치를 바꿔, 숨은 오류가 실제 이동 경로에 영향을 주는지 살펴봤습니다. 그래서 뭐가 좋아졌나 — 빠진 장벽을 막는 울타리와 잘못 만들어진 장벽을 없애는 수정은 서로 달랐고, 각각 계획의 손해를 줄였습니다. ...
새로운 코딩 AI를 평가할 때, 과거 다른 AI들의 문제 풀이 과정을 참고하여 단 10%의 핵심 문제만 풀게 하고도 전체 실력과 순위를 정확히 맞히는 기술이다. 무엇이 문제였나 — 소프트웨어 개발 문제를 AI에게 일일이 다 풀게 해 실력을 시험하려면 시간과 비용이 막대하게 든다. 어떻게 풀었나 — 이전 AI들이 코드를 살펴보고 수정한 풀이 과정을 분석해 두고, 실력 차이를 가장 잘 가려낼 수 있는 소수의 핵심 문제만 골라낸다. 그래서 뭐가 좋아졌나 — 네 가지 실제 벤치마크에서 전체 과제의 10%만 평가하고도 기존 비교 기법들보다 전체 점수와 순위를 훨씬 더 정확하게 예측했다. ...