아주 긴 질문을 AI가 빨리 읽게 하려면, GPU끼리 데이터를 주고받는 길을 전기선보다 훨씬 넓은 빛의 길로 바꾸는 것이 효과적임을 보인 논문이다.
아주 긴 질문을 AI가 빨리 읽게 하려면, GPU끼리 데이터를 주고받는 길을 전기선보다 훨씬 넓은 빛의 길로 바꾸는 것이 효과적임을 보인 논문이다. 무엇이 문제였나 — AI가 긴 문서를 한꺼번에 읽을 때 GPU들이 서로 많은 데이터를 주고받아야 해서 느려진다. 어떻게 풀었나 — 이 논문은 GPU 사이 연결을 광통신 기반의 더 넓고 멀리 가는 연결로 바꾸면 어떤 일이 생기는지 시뮬레이션했다. 그래서 뭐가 좋아졌나 — 특히 긴 문맥과 많은 GPU를 쓰는 경우 첫 답변까지 걸리는 시간이 크게 줄어들 수 있음을 보였다. ...