벤치마크 on TechLLMhttps://techllm.github.io/tags/%EB%B2%A4%EC%B9%98%EB%A7%88%ED%81%AC/Recent content in 벤치마크 on TechLLMHugokoFri, 22 May 2026 14:14:00 +0900IBM이 만든 오픈 에이전트 리더보드 — 모델이 아니라 시스템을 평가한다https://techllm.github.io/posts/open-agent-leaderboard-ibm/Fri, 22 May 2026 14:14:00 +0900https://techllm.github.io/posts/open-agent-leaderboard-ibm/같은 모델도 에이전트 구조에 따라 성능과 비용이 달라진다. IBM Research가 공개한 Open Agent Leaderboard는 전체 에이전트 시스템을 비교하는 최초의 오픈 벤치마크다.AI 평가가 새로운 compute 병목이 됐다 — $40,000짜리 벤치마크의 시대https://techllm.github.io/posts/ai-eval-costs-new-compute-bottleneck/Sun, 10 May 2026 09:00:00 +0900https://techllm.github.io/posts/ai-eval-costs-new-compute-bottleneck/HAL 리더보드는 9개 모델 평가에 4만 달러를 썼다. PaperBench 1회 실행 비용은 9,500달러. AI 평가 비용이 학계와 안전 기관이 감당할 수 없는 수준에 도달했다.오픈웨이트 중국 모델이 Claude·GPT-5.5·Gemini를 이겼다https://techllm.github.io/posts/kimi-k2-beats-frontier-models/Sun, 03 May 2026 19:55:00 +0900https://techllm.github.io/posts/kimi-k2-beats-frontier-models/Moonshot AI의 Kimi K2.6이 실시간 프로그래밍 챌린지에서 서방 프론티어 랩 모델을 모두 제쳤다. TCP 서버 연결과 실시간 의사결정을 요구한 슬라이딩 타일 퍼즐에서 벌어진 일.