这项由好意思国伊利诺伊大学厄巴纳-香槟分校（UIUC）与微软盘考院勾搭开展的盘考，于2026年6月发布在预印本平台arXiv上，论文编号为arXiv:2606.02031。有风趣深化了解的读者不错通过该编号查询完整论文。

**一场对于"会用浏览器的AI"的竞赛**

每天，大家特等十亿东说念主掀开浏览器，在网页上搜索商品、填写表单、比价购物、查阅信息。这些操作对东说念主类来说举手之劳，但对AI来说，却是一座难以翻越的山。网页是动态的、芜乱的、充满弹窗和考据码的，并且每隔一段时辰就会改版——这对需要"看懂网页、点对地方、完成任务"的AI智能体来说，简直是恶梦般的考试场。

当今最锐利的网页AI智能体，基本王人掌持在OpenAI、Google这么的科技巨头手中，属于分歧外公开考试细节的"黑箱系统"。开源社区天然也在致力于，但精深依赖一种叫作念"监督学习"的时势——也即是先汇集大王人东说念主类操作网页的示范摄像，再让AI效法。这种时势有个致命短板：摄像拍摄既立志又费时，并且录制完成的一刻起就首先"落后"，压根跟不上互联网日月牙异的变化节拍。

恰是在这么的布景下，UIUC与微软的盘考团队决定别具肺肠。他们的中枢念念路是：与其让AI死记硬背东说念主类的操作示范，不如让AI径直在的确网站上"我方去试"，从告成和失败中学习。这个所在被称为"在线强化学习"，对于视觉化的网页智能体来说，它此前险些如故一派空缺地带。

盘考团队将这套完整的考试框架定名为OpenWebRL，并在此基础上考试出了一个4B参数范畴的模子OpenWebRL-4B。这个模子仅凭400条运转示范轨迹和2200个在线考试任务，就在三个顶级网页智能体测评基准上刷新了开源最高分，部分贪图以致超越了OpenAI和Google的生意系统。

**一、为什么"我方去试"比"死记硬背"更难？**

在矜重先容这套方法之前，有必要先交融为什么让AI在的确网页上"边干边学"是一件极其弯曲的事。

一个东说念主学骑自行车，会从颠仆中体验到均衡的重要性，并不才次调遣姿势。这个反馈是即时的、了了的。但让AI在网页上学习完成任务，靠近的反馈环境要复杂得多。网页是活的——今天还能经常走漏的按钮，翌日可能被移走；今天能跑通的登录经过，翌日可能多了一齐考据码；某些网站会把往往的自动化操作识别为"机器东说念主"并径直紧闭看望。这些王人是"环境噪声"，很容易让AI误觉得是我方作念错了，从而学偏。

更难的问题在于：网页任务的"告成与否"往往要比及所有这个词任务完成后武艺判断。你无法在AI点击第三个按钮的时候告诉它"这一步作念得对"，只可在它最终申报出"这款鞋的最廉价是299元"之后，武艺评判所有这个词过程对分歧。这种"过后才知说念收尾"的反馈机制，对考试算法的想象建议了很高的要求。

与此同期，视觉信息的处理代价极高。每一步操作，AI王人要"看"一张网页截图——这张截图可能包含数百个元素，耗尽大王人诡计资源。要是每一步历史截图王人保留在AI的"驰念"中，一个30步的任务轨迹以致会超出大多数模子的高下文承载上限。

盘考团队在论文中系统性地梳理了这些挑战，并为每一个挑战想象了具体的惩办决策，这些决策共同组成了OpenWebRL框架的中枢。

**二、搭建一个"的确网页考试场"**

OpenWebRL的第一块基石，是一套能在的确网站上踏实运行的浏览器环境基础设施。

不错把这套系统交融为给AI搭建了一个"沙盒游乐场"——每个考试任务王人在孤苦的造谣浏览器窗口中运行，互不扰乱，就像每位学员王人有我方专属的考试跑说念，不会因为别东说念主的裂缝影响我方。这套基础设施基于Playwright和Chromium构建，运行在Kubernetes容器化环境中，扶直上百个浏览器实例同期并走时作。

但的确网页的贫窭在于，即便环境搭好了，各式偶然随时会发生：某个网站加载太慢、某次汇集苦求超时、某页面倏得弹出考据码、某个按钮因为反自动化机制而终止被点击。盘考团队为此想象了完善的"容错机制"——系统会自动分手"是AI作念错了"如故"是网站出问题了"，并将失败原因详备纪录下来，以便后续分析。对于那些反复出现汇集故障的网站，系统还会自动将其列入黑名单，幸免考试资源蹧跶在压根无法看望的地址上。

**三、让AI"看见"我方的每一步操作收尾**

仅靠截图，AI很难知说念我方的操作是否确切收效了。点了一个按钮之后，页面可能看起来没什么变化，但实质上可能一经暗暗导航到新页面、约略填写进去的内容压根没被接受。

OpenWebRL惩办这个问题的时势，是给每一次操作王人附上一条"翰墨反馈"，相配于给AI配备了一个及时助理，在它每次操作后耳语指示："刚才你点的阿谁按钮告成了，页面跳转到了xxx"，约略"你输入的翰墨和实质接受的内容不一致，防范看"。这条翰墨反馈是通过分析操作前后的网页DOM树（网页结构树）变化来生成的，内容苟且但信息密度高。

这条反馈的重要性在后续实验中得到了明确考据——去掉这个翰墨反馈，AI在多个基准测试上的告成率会下跌5到8个百分点。尤其是在需要多步操作的长程任务中，少了这个反馈，AI就像在昏黑中摸索，很容易在一个一经失败的操作上反复纠缠，约略没意志到某个症结要道一经出错。

**四、给AI的"操作器用箱"和"多任务并行"智商**

OpenWebRL为AI配备了一套由13个基础操作器用组成的器用箱，涵盖鼠标点击（单击、双击、右键）、键盘输入、页面滚动、网址跳转、前进后退、标签页料理，以及最重要的"完成并诠释"操作——这是AI告诉系统"任务作念完毕，我的谜底是xxx"的独一时势。

更好奇的是，AI每次不需要只调用一个器用。盘考团队允许AI在一次"念念考-行动"周期中连气儿调用多个器用。比如，AI不错在一次输出中同期完成"点击搜索框、输入症结词、按回车"这三个连气儿动作，而不需要资历三次"截图→念念考→操作→恭候截图"的完整轮回。这个想象大大提高了考试遵守，减少了不必要的模子与环境之间的走动交互。

**五、惩办"驰念过载"的聪慧妙招**

一个30步的网页操作任务，要是把每一步的截图王人保留在AI的驰念中，数据量之大足以撑爆大多数模子的高下文规则。盘考团队的惩办决策既苟且又高效：只保留最近一张截图，但完整保留历史翰墨信息。

风趣其实很朴素：东说念主在作念复杂任务时，不需要同期盯着之前每一步的操作界面，只需要记着之前作念了什么、收尾如何，以及现时屏幕上看到的内容就够了。AI亦然如斯。历史截图被丢弃，但每一步的操作纪录、环境反馈和AI我方的"念念考过程"王人完整保留，算作翰墨体式的"就业驰念"。

实验收尾标明，只保留最近一张截图（K=1）与保留最近两张比较，遵守险些莫得互异，但诡计资本却显耀贬抑——保留两张截图会让考试时长从约240 GPU小时增多到400 GPU小时。这个发现告诉咱们，在多模态智能体的长程任务中，言语驰念的价值往往比视觉历史更为症结。

**六、"家教"先打好基础，再猖狂自学**

OpenWebRL的考试分为两个阶段，这两个阶段的想象念念路，很像东说念主类学习新妙技的经典旅途：先随着老诚学基本功，再孤苦上场实战晋升。

第一阶段是"监督微调"，也即是让AI先效法妙手操作。盘考团队使用Qwen3-VL-235B（一个领有2350亿参数的超大模子，不错交融为行业顶尖水平的"老诚"）来完成一批网页任务，筛选出告成的轨迹，然后从顶尽心挑选412条最具代表性的轨迹，让4B的小模子来效法学习。

之是以只选412条而不是用几十万条，是有三念念尔后行的情理的。盘考团队发现，要是喂太多示范数据，小模子会把老诚的操作作风学得过于固执，反而在后续的实战考试中枯竭"可塑性"，难以被进一步伐整优化。就像一个从小被逼着泥古不化的学生，反而不如阿谁只学了基本原则、但保留了自主探索智商的学生跳动更快。

实验中，盘考团队对比了四种不同的运挪动时势：完竣不作念监督考试、少许考试1轮、适量考试3轮，以及大王人数据考试3轮。收尾发现，适量的监督预热（412条数据、3轮考试）带来的后续强化学习遵守最佳，而大王人数据预热反而会株连最终施展。这个论断有重要的执行引导风趣：运挪动的主义是"让AI能首先探索"，而不是"把AI调教成一个齐全的效法者"。

**七、"在试错中成长"的强化学习核默算法**

第二阶段是OpenWebRL信得过的中枢：让4B模子在的确网站上我方作念任务，字据最终的告成或失败来更新我方的"决策政策"。

这套考试算法的名字叫作念MM-GRPO（多模态多轮群体相对政策优化），2026世界杯中国压球官网但无用被这个名字吓到。它的基本逻辑其实特地直观化。

每次考试，系统会给AI统一个任务，让它孤苦尝试5次（一组），生成5条不同的操作轨迹。有些轨迹告成完成了任务，有些失败了。系统随后诡计这5次尝试的平均告成率，然后告诉AI：比平均水平高的那些轨迹，应该更多去效法；比平均水平低的那些轨迹，应该幸免旧调重弹。这种"组内相对比较"的时势，让系统不需要一个外部的"齐全圭臬谜底"，只需要我方里面的成败对比就能不竭跳动。

有一个细节特地值得眷注：要是某个任务的5次尝试收尾完竣不异（比如全部告成或全部失败），这组数据会被径直丢弃，不参与考试更新。风趣很浅薄——全部告成意味着这个任务太浅薄，AI一经掌持了；全部失败意味着这个任务现时太难，暂时无法从中学到有用信号。只须那些"有时告成、有时失败"的任务，武艺提供最有价值的学习素材。这相配于为AI自动构建了一个难度适中的动态课程。

考试剿袭了"两阶段滚动步长"的政策：先用最多15步的短程任务考试90轮，让模子在较短的任务中成立基础探索智商，再切换到最多30步的长程任务再考试50轮，让模子学会搪塞信得过的长程有贪图挑战。实验标明，这种由短到长的课程式考试，比一首先就径直上30步任务的遵守要好得多，尤其在WebVoyager这个需要较多要道的基准上，差距高达7.4个百分点。

**八、谁来当"评判官"？从立志到平价的进化**

网页任务完成之后，如何判断AI的谜底是否正确？这是所有这个词系统中最难圭臬化的一环。

一些任务不错用章程判断，比如"找到这款手机的最廉价钱"，只须查对数字就行。但许多任务的评判需要交融语义，比如"找到一家评分最高且离我最近的五星级牙医"，谜底可能因网页气象不同而有合理互异，不是浅薄对比字符串就能判断对错的。

盘考团队的默许决策是用GPT-4.1算作"评判官"，但这会产生显耀的用度：一次完整的考试实验需要调用约4.32万次GPT-4.1评判API，总用度约545.5好意思元。对于许多学术盘考组来说，这是不小的使命。

为了惩办这个问题，盘考团队成心从1.25万条带有GPT-4.1评判标签的的确轨迹数据中，蒸馏考试出了一个8B范畴的开源评判模子OpenWebRL-Judge-8B。实考据明，这个评判模子与GPT-4.1的判断吻合度高达89.8%，空洞F1分数达到92.1%，超越了WebJudge-7B、Qwen3-VL-32B以致GPT-4o等竞争者。用这个土产货评判模子替换GPT-4.1之后，最终模子的性能险些莫得亏欠，平均告成率从68.4%仅微降到68.3%——险些不错忽略不计。

盘考团队还对比了径直用Qwen3-VL-8B（未经成心考试的通用模子）算作评判官的遵守，收尾令东说念主警惕：考试奖励分数看起来越来越高，但实质测试告成率却在不竭下滑——这是典型的"奖励骗取"气候，AI学会了如何让评判官自在，而不是信得过完成任务。这进一步证据，成心考试的评判模子对于所有这个词考试系统的踏实性至关重要。

**九、收成单：小模子击败大系统**

OpenWebRL的最终收成相配亮眼。盘考团队在三个顶级网页智能体基准上进行了全面评测。

WebVoyager是一个遮盖15个主流网站的空洞型基准，共595个任务；Online-Mind2Web则包含136个网站的300个长程任务，难度更高；DeepShop专注于电商购物场景，要求AI在多重敛迹下完成商品搜索与选拔，共150个任务。

OpenWebRL-4B在这三个基准上分别取得了74.1%、67.0%和64.0%的告成率，平均告成率68.4%，成为同等范畴开源模子中的最高水平。横向对比来看，它不仅大幅超越了FARA-7B（后者在Online-Mind2Web和DeepShop上分别只须34.1%和26.2%）、MolmoWeb-8B（35.3%和42.3%），以致超越了领有2350亿参数的Qwen3-VL-235B-A22B。更值得眷注的是，OpenWebRL-4B在Online-Mind2Web和DeepShop两个基准上还压过了生意系统OpenAI CUA（58.3%和24.7%）和GPT-5的SoM版块（57.7%和49.1%）。

推广到8B参数范畴的OpenWebRL-8B施展愈加适当，平均告成率达到68.7%，与生意系统Gemini CUA（57.3%和62.0%）在两个基准上的对比中展现出较着上风。

这些收成的取得，仅使用了412条运转示范轨迹和2200个强化学习考试任务，而竞争敌手如MolmoWeb则使用了突出27.85万条数据——收支了整整两个数目级。这标明，高质地的在线交互考试所带来的晋升，完竣不错弥补运转数据量上的广宽差距。

**十、AI在考试中到底学会了什么？**

盘考团队莫得粗糙于发布收成单，而是进一步分析了考试过程中AI行为的变化，试图交融强化学习究竟调动了什么。

一个好奇的发现是：随着考试的激动，AI每一步的输出如实变长了，但总体任务完成所需的要道数却在减少——平均步数从第0轮的14步下跌到了第80轮的8.9步，所有这个词轨迹的总长度也相应贬抑。这证据AI并不是在无效地"啰嗦"，而是在更少的要道内作念更充分的念念考。

盘考团队对AI的念念考内容进行了深化分析，界说了四种常见的"念念维模式"：历史总结（回来之前作念过什么、去过哪些页面、什么方法失败了）、讳饰会诊（发现考据码、页面紧闭等抑遏）、重试有贪图（制定新的替代政策）和条目考据（一一核查任务要求是否粗糙）。

考试前后，这四种模式的出现频率王人有显耀晋升：历史总结的出现率从14.5%晋升到21.4%，讳饰会诊从14.2%晋升到23.7%。并且，出现这些念念维模式的要道，其反应长度增长更为显耀，从平均332 token增多到542 token（历史总结），从273增多到440（讳饰会诊）；比较之下，不包含这些模式的庸碌要道，长度增长特地有限（从282增多到325）。

这证据AI学会了"有选拔地深度念念考"：在症结决策节点上进入更多判辨资源，而不是均匀地在每一步上平摊念念考量。这种行为模式与东说念主类巨匠的判辨时势高度吻合——遭逢卡点时深度分析，熟悉操作时快速施行。

**归根结底，这套方法调动了什么？**

说到底，OpenWebRL解释了一件在AI盘考范围颇具争议的事：对于网页智能体这类需要在复杂、动态环境中作念长程决策的任务，"让AI在的确寰宇里边作念边学"不仅是可行的，并且比"堆砌大王人东说念主类示范数据"要高效得多。

这对庸碌用户意味着，将来咱们可能会看到更多能信得过交融网页、完成复杂在线任务的AI助手，而这些AI不再需要依赖科技巨头掌持的海量独特数据，而是不错通过洞开的框架和有限的运转考试，在公开的互联网上不竭自我晋升。

从盘考自己的局限性来看，有51%的失败案例源于网页自己的看望问题——考据码紧闭、汇集通达失败、反自动化机制等——这些王人不是模子智商的问题，而是洞开互联网上AI智能体必须面对的基础设施挑战。另外27%的失败来自模子在长程多敛迹任务中的有贪图和追踪智商不及，13%来自视觉定位的精度问题。这些所在，也恰是接下来盘考致力于的重点所在。

盘考团队已晓谕将公开拓布考试数据、模子权重和完整代码，让学术界和孤苦盘考者王人能在此基础上连接探索。对视觉AI、智能体时代或强化学习感风趣的读者，不错通过arXiv编号2606.02031找到这篇完整论文，约略看望名目主页openwebrl.github.io获取更多资源。

---

Q&A

Q1：OpenWebRL-4B为什么只用400条考试数据就能击败用了27万条数据的模子？

A：这主要归功于在线强化学习的考试时势。OpenWebRL-4B不是靠死记硬背东说念主类示范来学习，而是在的确网站上我方脱手作念任务，从告成和失败的收尾中总结素质。400条数据仅仅用于"打基础"的运转监督考试，信得过让模子突飞大进的是后续2200个任务的在线实战熟识。浅薄说，质地高的的确交互素质，比数目大的静态示范数据更有学习价值。

Q2：OpenWebRL-Judge-8B评判模子和径直用GPT-4.1有什么区别？

A：两者的评判准确率特地接近，但资本互异广宽。用GPT-4.1作评判官，一次完整考试需要破耗约545好意思元的API用度；而OpenWebRL-Judge-8B是一个不错土产货运行的开源模子，考试完成后不需要额外付费。更重要的是，实考据明用GPT-4.1考试出来的模子和用OpenWebRL-Judge-8B考试出来的模子，最终测评收成险些完竣疏浚，平均告成率仅差0.1个百分点。

Q3：OpenWebRL考试框架为什么要把历史截图丢弃，只保留翰墨纪录？

A：因为截图的信息量极大，保存所有历史截图会超出模子的处理上限。实验发现2026世界杯-最新版官方软件，保留最近两张截图和只保留一张比较，遵守险些莫得互异，但诡计资本从240 GPU小时增多到400 GPU小时。AI信得过需要的"历史驰念"，其实通过保存每步的翰墨反馈和AI我方的推理纪录就一经糜费，这些翰墨信息比历史截图更紧凑、更高效地传递了症结信息。