AI Infrastructure / Photonic Interconnects on TechLLM

AI Infrastructure / Photonic Interconnects on TechLLMhttps://techllm.github.io/tags/ai-infrastructure-/-photonic-interconnects/Recent content in AI Infrastructure / Photonic Interconnects on TechLLMHugokoSun, 11 Oct 2026 07:35:21 +0900아주 긴 질문을 AI가 빨리 읽게 하려면, GPU끼리 데이터를 주고받는 길을 전기선보다 훨씬 넓은 빛의 길로 바꾸는 것이 효과적임을 보인 논문이다.https://techllm.github.io/posts/scaling-inference-prefill-with-high-radix-photonic-interconnects/Sun, 11 Oct 2026 07:35:21 +0900https://techllm.github.io/posts/scaling-inference-prefill-with-high-radix-photonic-interconnects/이 논문은 MoE 기반 LLM 추론의 prefill 단계에서 전기식 scale-up 연결이 통신 병목과 rack 경계를 만들며 TTFT를 제한한다는 문제를 정량화한다. XLA/MLIR 기반 비용 모델로 3D-integrated photonic interconnect를 시뮬레이션한 결과, 통신 지배 구간에서 prefill latency가 2.1–3.2×, communication-limited 구성에서 2.8–5.8× 개선되고, 1152-GPU scale-up pod가 1M-token context 처리에 핵심임을 보인다.