훈련 데이터를 본 뒤 정답이 맞는 예시만 더 넣어도, 데이터의 순수한 무작위성이 깨져서 어떤 학습법도 일반적인 경우에는 로그만큼 더 느리게 배울 수 있음을 증명한 논문입니다.
훈련 데이터를 본 뒤 정답이 맞는 예시만 더 넣어도, 데이터의 순수한 무작위성이 깨져서 어떤 학습법도 일반적인 경우에는 로그만큼 더 느리게 배울 수 있음을 증명한 논문입니다. 무엇이 문제였나 — 문제: 실제 데이터셋은 수집 후 사람이 보거나 규칙으로 다듬는 경우가 많고, 그러면 표본이 처음 뽑힌 무작위 표본처럼 행동하지 않을 수 있습니다. 어떻게 풀었나 — 해결: 이 논문은 ‘정답 라벨을 가진 예시만 추가한다’는 제한된 조작만으로도 VC 차원 2 이상에서는 최적 오류율에 로그 요인이 반드시 붙는다는 하한을 보입니다. 그래서 뭐가 좋아졌나 — 결과: VC 차원 1은 예외적으로 Θ(1/n)을 유지하지만, VC 차원 2 이상과 Littlestone 차원 2 이상에서는 단순한 ERM의 로그 손실이 실제 최적률과 일치합니다. ...