웹페이지 전체를 다시 쓰게 하는 대신, 클릭 뒤에 어떤 결과가 생기는지를 다른 행동의 결과와 구별하도록 모델을 학습한다.

웹페이지 전체를 다시 쓰게 하는 대신, 클릭 뒤에 어떤 결과가 생기는지를 다른 행동의 결과와 구별하도록 모델을 학습한다.

무엇이 문제였나 — 기존 방식은 다음 화면을 정해진 형식으로 만들어 내도록 학습하지만, 화면에서 중요한 변화가 잘 드러나지 않을 수 있다. 어떻게 풀었나 — 이 논문은 같은 화면에서 여러 행동을 했을 때의 결과를 비교해, 모델의 설명이 실제 행동의 결과를 가리키는지 학습한다. 그래서 뭐가 좋아졌나 — 논문 평가에서 다음 상태 매칭 정확도는 80.80%였고, WebPRMBench의 행동 순위 정확도와 WebArena-Lite 과제 성공률도 비교 기준보다 높았다.

갈림길에서 길 전체를 다시 그리는 대신, 각 길을 택했을 때 어디로 이어지는지 비교할 수 있게 표시하는 것과 비슷하다.

논문 정보

Kelvin Li, Dhruv Pendharkar, Anish Pahilajani, Chuyi Shang, Leon Oks, Leonid Karlinsky, Rogerio Feris, Trevor Darrell, Roei Herzig · University of California, Berkeley; MIT-IBM Watson AI Lab; Cal Poly San Luis Obispo; Xero · arXiv 사전 공개 논문 (cs.AI) · 2026

왜 중요한가

웹 에이전트가 다음 행동을 고를 때는 행동마다 화면이 어떻게 달라질지 비교하는 일이 중요하다. 이 연구는 그런 비교에 쓸 다음 상태 표현을 학습하고, 행동 순위 매기기와 웹 과제 수행에서 그 표현이 도움이 되는지 평가한다.

핵심 지표

어떻게 동작하나

웹 탐색을 부분 관측 의사결정 문제로 다룬다. 하나의 화면에서 여러 행동을 수행한 뒤 얻은 결과가 있는 지점을 분기점으로 구성한다. Go-Browse 궤적에서 반복된 화면을 상태-행동 그래프로 합쳐 분기 데이터를 만들었다. 월드 모델은 지시문, 이력, 현재 화면, 행동을 입력받아 다음 상태를 설명하는 텍스트를 생성한다. 판정 모델은 이 설명과 두 개의 실제 결과 화면만 보고 어느 결과에 해당하는지 고른다. 올바른 결과를 고르면 매칭 보상 1을 주고, 출력 형식이 올바르면 형식 보상 1을 더한다. 전체 보상은 R = R_match + λ_fmt·R_fmt이며, 주 실험에서 λ_fmt=0.4로 설정했다. 모델은 GRPO로 학습했다. 논문은 학습한 표현을 보상 모델과 순위 모델에 추가해 행동 순위 매기기와 WebArena-Lite 과제 수행을 평가했다.

핵심 수식:

ẑ_{t+1}^{qry} ∼ π_θ(· | I, h_t, s_t, a_t^{qry})
R_match = 𝟙[J(ẑ_{t+1}^{qry}, s_{t+1}^{qry}, s_{t+1}^{alt}) = s_{t+1}^{qry}]
R = R_match + λ_fmt · R_fmt,  λ_fmt = 0.4

ẑ는 월드 모델이 만든 다음 상태의 텍스트 표현이다. I는 과제 지시문, h_t는 행동 이력, s_t는 현재 상태, a_t^{qry}는 평가할 행동이다. J는 표현과 두 실제 결과 상태를 비교하는 판정 모델이며, 지시문·이력·현재 상태·행동은 받지 않는다. R_match는 판정 모델이 실제 결과 상태를 고르면 1이다. R_fmt는 비어 있지 않은 설명이 <predicted_state> 태그 안에 올바르게 출력되면 1이다. 최종 보상은 매칭 보상과 가중 형식 보상의 합이다.

한계와 주의할 점

• 분기 데이터는 WebArena의 Go-Browse 궤적에서 만들었고, 종단 과제 평가는 WebArena-Lite와 GPT-4o 정책에 한정되어 다른 환경과 정책 모델에서의 일반화는 확인되지 않았다.
• 데이터에는 관측된 대안 행동과 그 결과가 들어가지만, 각 지점에서 가능한 모든 행동을 포함하지는 않는다.
• 매칭 평가는 언어 모델 판정에 의존한다. 여러 판정 모델에서도 성능 향상을 확인했지만, 판정 모델의 한계나 편향이 평가에 반영될 수 있다.
• 논문은 짧은 표현의 이점을 보고하지만, 실제 서비스의 전체 추론 비용이나 지연 시간 절감은 평가하지 않았다.
• 종단 과제 실험은 GPT-4o를 정책 모델로 사용했으며, 다른 크기나 계열의 정책 모델은 평가하지 않았다.
• 평가되지 않은 웹 환경에서는 모델의 상태 설명이 실제 화면 변화를 충분히 나타내지 못할 수 있다.
• 두 결과 화면의 차이가 작거나 판정 모델이 그 차이를 놓치면 매칭 보상 신호가 약해질 수 있다.
• 관측된 분기 사례가 드문 행동이나 화면 변화에는 학습 신호가 부족할 수 있다.
• 논문은 비동기 화면이나 로딩 상황에서의 동작을 별도로 평가하지 않았다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

고정 형식 상태 예측과 판별형 상태 표현 비교

같은 과제와 행동 후보를 사용해 두 방식이 만드는 다음 상태 표현을 평가한다. 논문에서는 제안 모델의 표현이 평균 91.6 토큰, WebWorld-8B 표현이 412.7 토큰이었고, 다음 상태 매칭 정확도와 통제된 WebPRMBench 비교에서도 제안 모델이 높은 값을 기록했다. 실제 시스템에서는 전체 추론 비용과 지연도 함께 측정해야 한다.

적용 지점 — 웹 에이전트의 다음 상태 예측 단계

기대 효과 — 논문 보고 기준 표현 길이 평균 91.6 대 412.7 토큰, 다음 상태 매칭 정확도 80.80% 대 70.17%, WebPRMBench 평균 Best-of-N 72.70% 대 67.63%.

PRM 입력에 후보별 다음 상태 표현 추가

논문은 학습된 Qwen2.5-7B 보상 모델에 제안 모델의 상태 표현을 추가했을 때, 평균 Best-of-N 정확도가 Direct 기준 55.80%에서 72.70%로 높아졌다고 보고한다. 동결 Qwen2.5-7B 순위 모델에서도 평균 Best-of-N은 42.78%에서 54.65%로 높아졌다. 이 결과는 WebPRMBench에서 얻은 것이며, 다른 시스템에서 같은 개선이 나타나는지는 따로 확인해야 한다.

적용 지점 — 테스트 시점 행동 순위 모델의 입력

기대 효과 — 논문 보고 기준 학습 보상 모델의 평균 Best-of-N 55.80%→72.70%, 동결 Qwen2.5-7B 순위 모델의 평균 Best-of-N 42.78%→54.65%.

웹 에이전트의 행동 결과 표현을 분기 데이터로 평가

논문은 Go-Browse 궤적에서 반복 상태를 그래프로 합쳐 7,730개 분기점과 30,920개 행동 결과 비교 사례를 만들었다. 이 절차를 다른 환경에 적용하면 각 행동의 결과를 비교하는 평가 데이터를 구성할 수 있다. 데이터 구성과 평가 품질은 환경에 맞춰 검토해야 한다.

적용 지점 — 월드 모델의 학습·평가 데이터 구성

기대 효과 — 논문 데이터는 7,730개 분기점과 30,920개 쌍으로 구성됐다. 모델 학습에는 8개 A100 GPU에서 총 390 GPU-hours가 사용됐다.

단계별 도입 로드맵

원문 PDF: 2026-09-03-discriminative-world-models-for-web-agents.pdf