Ai2 olmo-eval: 모델 개발 루프를 위한 평가 워크벤치
Allen Institute for AI(이하 Ai2)가 6월 12일 olmo-eval이라는 평가 워크벤치를 공개했습니다. 모델을 다 만든 다음 한 번 평가하는 도구가 아니라, 학습 중에 체크포인트가 쏟아질 때마다 같은 벤치마크를 빠르게 다시 돌리는 데 초점을 둔 도구입니다. 토대는 Ai2가 2024년에 내놓은 OLMES(Open Language Model Evaluation Standard)인데, 거기에 개발자가 매일 반복하는 평가 루프를 그대로 옮겨 담았습니다. ...