https://techllm.github.io/tags/gpu/Recent content in GPU on TechLLMHugokoSat, 08 Aug 2026 00:03:00 +0900https://techllm.github.io/posts/rtx-4090-48gb-vram-upgrade-1600-dollars/Sat, 08 Aug 2026 00:03:00 +0900https://techllm.github.io/posts/rtx-4090-48gb-vram-upgrade-1600-dollars/Level1Techs의 Wendell이 보유한 Zotac RTX 4090의 GPU 칩과 메모리를 새 PCB로 옮겨 VRAM을 24GB에서 48GB로 늘렸고, 작업비는 GPU Lab 기준 1,600~1,700달러였다. 개조 카드 두 장으로 96GB 환경을 구성하면 같은 용량대 프로급 카드(1만 달러 이상) 대비 절반에서 3분의 2 비용에 그치고, 소형 dense 모델 추론에서는 앰페어 세대 RTX A6000보다 빨랐다. 발열과 소음은 AIDA64 스트레스에서 59~60dB·최대 84도, LM Studio 텐서 병렬 추론에서는 핫스팟 60도·45~48dB로 측정됐다. 다만 4090은 NVLink가 없고 PCIe 피어투피어도 막혀 있어 GPU 사이 통신이 PCIe x8에 묶이며, 토큰 생성 대역폭은 128GB LPDDR5 기반 Strix Halo가 앞선다.https://techllm.github.io/posts/kimi-k3-moe-kda-gpu-demand/Tue, 21 Jul 2026 15:29:00 +0900https://techllm.github.io/posts/kimi-k3-moe-kda-gpu-demand/문샷 AI의 2조 8000억 파라미터 모델 키미 K3는 토큰마다 전문가의 1.8%만 켭니다. 연산이 싸지면 GPU가 덜 필요해질까요. 실제로는 반대 방향의 수요가 열립니다. 초희소 MoE와 KDA, 그리고 2.8TB 가중치가 남기는 인프라 청구서를 정리했습니다.https://techllm.github.io/posts/moreh-amd-kt-series-b-moai-software/Thu, 26 Oct 2023 08:00:00 +0900https://techllm.github.io/posts/moreh-amd-kt-series-b-moai-software/한국 AI 소프트웨어 스타트업 모레(Moreh)가 AMD·KT 등으로부터 220억 원 규모 시리즈 B를 유치했다. AMD GPU로 Nvidia A100 대비 116% 높은 처리량을 달성했다고 주장한다.