이미 가진 RTX 4090의 칩과 메모리를 새 PCB로 옮기는 1,600~1,700달러짜리 작업만으로 24GB 카드가 48GB 카드가 된다. Level1Techs의 Wendell은 이 방식으로 개조한 Zotac 4090 두 장을 꽂아 VRAM 96GB 환경을 만들었다. 같은 48GB를 제공하는 프로급 카드가 1만 달러를 넘는 상황에서 개조 비용은 절반에서 3분의 2 수준이고, 소형 dense 모델 추론에서는 앰페어 세대 RTX A6000보다 빨랐다. 대신 4090에는 NVLink가 없고 PCIe 피어투피어까지 비활성화돼 있어 GPU 사이 통신은 PCIe x8에 묶인다. ...
핵심 요약 문샷 AI가 공개한 키미 K3는 총 2조 8000억 파라미터인데, 토큰 하나를 처리할 때 896개 전문가 중 16개만 켭니다. 활성 비율이 약 1.8%입니다. 키미 델타 어텐션(KDA) 은 지난 토큰의 모든 계산을 다 펼쳐두는 대신, 작업 노트 한 장을 계속 고쳐 쓰는 선형 어텐션 방식으로 KV 캐시 폭증을 눌렀습니다. 발표 직후 미국 AI 반도체 주가가 흔들렸습니다. “소프트웨어가 이렇게 효율적이면 GPU를 덜 사도 되는 것 아니냐"는 계산이 돌았기 때문입니다. 그런데 2.8TB짜리 가중치를 어딘가에 올려두고, 흩어진 전문가끼리 실시간으로 통신시켜야 한다는 조건은 그대로입니다. HBM 용량과 대역폭은 여전히 병목입니다. 연산이 싸지면 예전엔 비싸서 포기했던 작업이 살아납니다. 저장소 전체 분석, 몇 시간짜리 에이전트 실행 같은 것들이죠. 제본스의 역설이 그대로 작동합니다. 앞으로의 경쟁력은 GPU를 몇 장 가졌느냐가 아니라, 같은 메모리에서 얼마나 많은 유효 작업을 뽑아내느냐로 옮겨갑니다. 2조 8000억인데 1.8%만 켠다 키미 K3의 숫자는 언뜻 모순처럼 보입니다. 총 파라미터는 2조 8000억. 그런데 토큰 하나를 처리할 때 실제로 계산에 참여하는 전문가는 896개 중 16개뿐입니다. ...
엔비디아 CUDA를 대체하겠다는 한국 AI 소프트웨어 스타트업 모레(Moreh)가 AMD·KT로부터 2,200만 달러 시리즈 B를 유치했다. AMD MI250으로 Nvidia A100 대비 GPU 처리량 116% 우위를 주장하며, 2,110억 파라미터 한국어 LLM 훈련도 완료했다.