Skip to content

feat: add stage execution with rule verification and on-demand replanningFeature/stage execution - #5

Merged
two-tiger merged 5 commits into
AI45Lab:mainfrom
xxxyxun:feature/stage-execution
Oct 24, 2026
Merged

two-tiger merged 5 commits into
AI45Lab:mainfrom
xxxyxun:feature/stage-execution

Conversation

@xxxyxun

@xxxyxun xxxyxun commented Oct 23, 2026

Copy link
Copy Markdown
Collaborator

改动

新增可选的 stage 执行模式:

  • 慢模型一次规划多个里程碑,JEV 连续选择 GUI 动作,CLI 执行计划中的命令。
  • 每步基于最新截图和 A11y 重新绑定目标,不复用旧坐标。
  • 优先使用规则验证,证据不足时调用模型 Verify。
  • 执行失败、目标无法绑定或达到阶段上限时按需重规划,保留已验证进度。
  • 保留独立终态验证,默认 step 模式不变。

通过 --execution-mode stage 启用。

验证

已完成 OSWorld1 真实任务验证:

  • Chrome 搜索引擎题:官方得分 1.0。
  • VS Code 替换题:最终阶段版和原有单步版均为 1.0。
  • 最终阶段版执行 8 次 GUI、1 次 CLI;动作验证中 6 次使用规则、3 次使用模型,另有独立终态验证。

尚未完成固定 50 题及 OSWorld2/2.1 回归,暂不据此宣称整体性能提升或无退化。

@two-tiger two-tiger left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM

@two-tiger
two-tiger merged commit 2dec957 into AI45Lab:main Oct 24, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants