물리 법칙과 경계 조건을 동시에 학습하는 신경망에서, 옵티마이저가 무충돌 방향을 다시 충돌 상태로 되돌리는 현상을 발견하고, 적용 단계에서 한 번 더 정렬하는 장치를 추가했다.
물리 법칙과 경계 조건을 동시에 학습하는 신경망에서, 옵티마이저가 무충돌 방향을 다시 충돌 상태로 되돌리는 현상을 발견하고, 적용 단계에서 한 번 더 정렬하는 장치를 추가했다. 무엇이 문제였나 — PINN은 PDE 잔차, 경계, 초기 조건이라는 여러 손실을 함께 줄여야 하는데, 이 손실들이 서로 반대 방향으로 잡아당기는 일이 잦았다. 어떻게 풀었나 — 기존 그래디언트 수술은 옵티마이저에 들어가기 전 방향만 다듬었기 때문에, 모멘텀이나 Adam 같은 옵티마이저가 그 방향을 변형해 충돌이 다시 생겼다. 그래서 뭐가 좋아졌나 — 옵티마이저가 만든 실제 업데이트를 충돌-프리 콘 위로 다시 사영하고, 내부 통계도 함께 맞춰줘서 적용 단계 충돌을 0으로 만들었고, 상대 L2 오차가 최대 98.2%까지 줄었다. ...