메모리(저장 장치) 안에서 직접 계산해 데이터 이동 낭비를 없애고, 최대 30%의 부품 오류에도 결과가 망가지지 않는 인공지능용 반도체 계산 방식을 제안했다. 무엇이 문제였나 — 기존 컴퓨터는 데이터를 저장 장치와 연산 장치 사이로 끊임없이 옮겨야 해서 전력 소모가 컸고, 작은 전기적 오류에도 전체 결과가 왜곡되기 쉬웠습니다. 어떻게 풀었나 — 이 기술은 숫자를 0과 1이 고르게 섞인 긴 띠(비트열) 형태로 표현하여 저장 장치 내부의 간단한 자성 회로로 사칙연산과 비교 연산을 직접 수행합니다. 그래서 뭐가 좋아졌나 — 극한의 소자 잡음이나 전압 강하 조건에서도 이미지 복원 작업을 안정적으로 처리하며, 기존 컴퓨터 대비 약 10배의 에너지 절감 효과를 보였습니다. ...
답을 만드는 동안 매번 다시 읽던 정보를 알맞게 줄여서, 휴대용 기기에서도 AI가 더 적은 전력으로 답하게 하는 방법을 제안한다. 무엇이 문제였나 — 작은 기기에서는 한 번에 한 요청만 처리하는 경우가 많아, AI가 답을 다듬을 때마다 큰 정보를 메모리에서 반복해서 읽는다. 어떻게 풀었나 — 중요한 정도에 따라 읽는 정보의 세밀함을 조절하고, 앞 단계에서 계산한 결과도 다음 단계에서 활용한다. 그래서 뭐가 좋아졌나 — 모의 실험에서 전력 사용과 응답 시간이 줄었고, 확인한 문제 풀이와 코드 작성 점수의 하락은 1%p보다 작았다. ...
LEAP는 언어모델의 데이터 종류에 따라 저장된 곳이나 가까운 곳에서 계산하고, 칩 안에서 결과를 모으도록 설계한 가속기 구조다. 무엇이 문제였나 — 언어모델은 계산할 때 모델의 가중치와 새로 만들어지는 중간 데이터를 계속 다룬다. 데이터를 옮기고 나눠 계산한 결과를 모으는 일이 성능과 전력에 영향을 준다. 어떻게 풀었나 — LEAP는 저장된 가중치는 메모리 안에서, 중간 데이터는 메모리 가까이에서 처리하고, 칩 안의 연결 장치가 나눠진 계산 결과를 모으게 한다. 그래서 뭐가 좋아졌나 — 저자들의 평가에서는 LEAP-A가 A100보다 처리량과 에너지 효율이 높았고, LEAP-D는 H100보다도 두 지표가 높았다. 이는 실제 칩의 실측 결과가 아니라 하드웨어 추정과 시뮬레이션에 기반한 비교다. ...
트랜스포머 AI를 FPGA에서 실행한 최근 연구들을 모아, 구현 방식과 장단점을 정리한 논문이다. 무엇이 문제였나 — 트랜스포머는 문장이나 이미지에서 중요한 관계를 찾는 AI 구조지만, 계산량과 메모리 요구가 크다. 어떻게 풀었나 — FPGA는 목적에 맞춰 회로를 구성할 수 있는 칩이며, 연구자들은 저장 방식과 숫자 정밀도, 계산 순서를 조정해 추론을 빠르게 하려 한다. 그래서 뭐가 좋아졌나 — 이 논문은 연구 57편을 분류하고 결과를 살펴보며, 연구마다 시험 조건이 달라 공정한 비교가 어렵다고 지적한다. ...
AI가 망설일 때 큰 모델에게 도움을 받고, 그 경험을 배워 나중에는 혼자 행동하는 방법이다. 무엇이 문제였나 — 문제: 보상이 드문 과제는 시행착오만으로 배우기 어렵고, 큰 모델을 매번 부르면 비용이 든다. 어떻게 풀었나 — 해결: AI가 여러 행동을 비슷하게 고민하는 상태에서만 큰 모델에게 물어보고, 그 행동을 따라 배우게 한다. 그래서 뭐가 좋아졌나 — 효과: 통제 환경에서는 학습 중 큰 모델 호출을 줄였고, 평가 때는 호출 없이 작동한다. 다만 결과는 교사가 유용한 안내를 주는지에 달려 있다. ...
요약을 평가하는 AI가 점수를 내는 과정을 층별로 살펴본 연구 무엇이 문제였나 — 연구진은 AI 평가자가 점수를 내는 내부 과정이 어떻게 진행되는지 조사했다. 어떻게 풀었나 — 요약에 오류를 넣고, 모델 안의 신호가 어느 층에서 처리되는지 추적했다. 그래서 뭐가 좋아졌나 — 두 평가자에서는 아래쪽 층이 오류 정보를 전달하고 위쪽 층이 점수를 정하는 흐름이 관찰됐다. ...
실제 과학 자료를 보고 AI가 법칙을 찾는 능력을 시험하는 평가 도구다. 무엇이 문제였나 — 기존 시험은 교과서 공식이나 인공 자료를 쓰는 경우가 있어, AI가 공식을 외운 것인지 자료에서 규칙을 찾은 것인지 구분하기 어렵다. 어떻게 풀었나 — 이 연구는 과학 논문과 실제 측정 자료를 모아, 자료를 직접 분석하는 시험과 가상 실험을 설계해 숨은 규칙을 찾는 시험을 만들었다. 그래서 뭐가 좋아졌나 — 아홉 개 모델을 비교한 결과, 자료에 잘 맞는 공식이라도 과학적으로 타당하지 않을 수 있고, 새 규칙을 찾거나 좋은 후보를 고르는 일은 여전히 어렵다. ...
웹페이지 전체를 다시 쓰게 하는 대신, 클릭 뒤에 어떤 결과가 생기는지를 다른 행동의 결과와 구별하도록 모델을 학습한다. 무엇이 문제였나 — 기존 방식은 다음 화면을 정해진 형식으로 만들어 내도록 학습하지만, 화면에서 중요한 변화가 잘 드러나지 않을 수 있다. 어떻게 풀었나 — 이 논문은 같은 화면에서 여러 행동을 했을 때의 결과를 비교해, 모델의 설명이 실제 행동의 결과를 가리키는지 학습한다. 그래서 뭐가 좋아졌나 — 논문 평가에서 다음 상태 매칭 정확도는 80.80%였고, WebPRMBench의 행동 순위 정확도와 WebArena-Lite 과제 성공률도 비교 기준보다 높았다. ...
물리 법칙과 경계 조건을 동시에 학습하는 신경망에서, 옵티마이저가 무충돌 방향을 다시 충돌 상태로 되돌리는 현상을 발견하고, 적용 단계에서 한 번 더 정렬하는 장치를 추가했다. 무엇이 문제였나 — PINN은 PDE 잔차, 경계, 초기 조건이라는 여러 손실을 함께 줄여야 하는데, 이 손실들이 서로 반대 방향으로 잡아당기는 일이 잦았다. 어떻게 풀었나 — 기존 그래디언트 수술은 옵티마이저에 들어가기 전 방향만 다듬었기 때문에, 모멘텀이나 Adam 같은 옵티마이저가 그 방향을 변형해 충돌이 다시 생겼다. 그래서 뭐가 좋아졌나 — 옵티마이저가 만든 실제 업데이트를 충돌-프리 콘 위로 다시 사영하고, 내부 통계도 함께 맞춰줘서 적용 단계 충돌을 0으로 만들었고, 상대 L2 오차가 최대 98.2%까지 줄었다. ...