답을 만드는 동안 매번 다시 읽던 정보를 알맞게 줄여서, 휴대용 기기에서도 AI가 더 적은 전력으로 답하게 하는 방법을 제안한다.
답을 만드는 동안 매번 다시 읽던 정보를 알맞게 줄여서, 휴대용 기기에서도 AI가 더 적은 전력으로 답하게 하는 방법을 제안한다. 무엇이 문제였나 — 작은 기기에서는 한 번에 한 요청만 처리하는 경우가 많아, AI가 답을 다듬을 때마다 큰 정보를 메모리에서 반복해서 읽는다. 어떻게 풀었나 — 중요한 정도에 따라 읽는 정보의 세밀함을 조절하고, 앞 단계에서 계산한 결과도 다음 단계에서 활용한다. 그래서 뭐가 좋아졌나 — 모의 실험에서 전력 사용과 응답 시간이 줄었고, 확인한 문제 풀이와 코드 작성 점수의 하락은 1%p보다 작았다. ...