이 연구는 모델 파일 검사 도구가 위험을 얼마나 잘 찾아내는지뿐 아니라, 실제로 판단을 끝내는지도 비교합니다.
이 연구는 모델 파일 검사 도구가 위험을 얼마나 잘 찾아내는지뿐 아니라, 실제로 판단을 끝내는지도 비교합니다. 무엇이 문제였나 — 검사 도구가 답한 파일만으로 정확도를 계산하면, 판단을 못 한 파일이 많아도 성능이 좋아 보일 수 있습니다. 어떻게 풀었나 — 연구진은 합성 모델 파일 170개를 145개 묶음으로 나눠 세 도구를 비교했습니다. 악성·정상 파일에는 기준 답이 있었고, 손상된 파일 10개에는 기준 답을 정하지 않았습니다. 그래서 뭐가 좋아졌나 — ModelScan은 답을 낸 67개에서는 모두 맞았지만, 기준 답이 있는 135개 중 절반가량만 판단했습니다. ModelAudit는 모두 판단했지만 정상 파일 65개 중 60개를 위험하다고 경고했습니다. ...