https://techllm.github.io/tags/pytorch-checkpoint/Recent content in PyTorch Checkpoint on TechLLMHugokoThu, 05 Nov 2026 07:33:14 +0900https://techllm.github.io/posts/beyond-f1-evaluating-coverage-and-failure-recovery-in-ai-model-securit/Thu, 05 Nov 2026 07:33:14 +0900https://techllm.github.io/posts/beyond-f1-evaluating-coverage-and-failure-recovery-in-ai-model-securit/이 논문은 조건부 F1만으로는 AI 모델 보안 스캐너의 실질적인 판정 능력을 알기 어렵다고 보고, 분석 완료와 최종 판정률, 오탐, 실패 복구를 함께 평가한다. 라벨이 있는 135개 패밀리에서 ModelScan은 판정을 내린 67개 결과의 precision·recall·F1이 모두 100%였지만, 판정률은 49.6%였다. ModelAudit는 135개 모두 판정했으나 정상 패밀리 65개 중 60개를 위험으로 경고했다.