相信很多大家對一直爆料OpenAI「草莓」的賬號，竟然是個智能體？斯坦福系創(chuàng)企「炒作」AgentQ還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

當(dāng)炒作出了「潑天的流量」，已經(jīng)沒人關(guān)心產(chǎn)品厲不厲害了。

最近，OpenAI 的秘密項目「Q*」一直受到了圈內(nèi)人士的廣泛關(guān)注。上個月，以它為前身、代號為「草莓（Strawberry）」的項目又被曝光了。據(jù)推測，該項目能夠提供高級推理能力。

最近幾天，關(guān)于這個項目，網(wǎng)絡(luò)上又來了幾波「鴿死人不償命」的傳播。尤其是一個「草莓哥」的賬號，不間斷地宣傳，給人期望又讓人失望。

沒想到，這個 Sam Altman 出現(xiàn)在哪里，它就在哪里跟帖的「營銷號」，皮下竟然是個智能體?

今天，一家 AI 智能體初創(chuàng)公司「MultiOn」的創(chuàng)始人直接出來認(rèn)領(lǐng):雖然沒等來 OpenAI 發(fā)布「Q*」，但我們發(fā)了操控「草莓哥」賬號的全新智能體 Agent Q，快來和我們在線玩耍吧!

MultiOn 聯(lián)合創(chuàng)始人兼 CEO Div Garg，他在斯坦福讀計算機(jī)科學(xué)博士期間休學(xué)創(chuàng)業(yè)。

這波看起來讓 OpenAI 給自己做嫁衣的營銷操作給大家都看懵了。畢竟，最近很多人徹夜未眠等待 OpenAI 的「大新聞」。這要追溯到 Sam Altman 和「草莓哥」的互動，在 Sam Altman 曬出的草莓照片下，他回復(fù)了「草莓哥」:驚喜馬上就來。

不過，「MultiOn」的創(chuàng)始人 Div Garg 已經(jīng)把認(rèn)領(lǐng) Agent Q 就是「草莓哥」的帖子悄悄刪了。

此次，「MultiOn」宣稱，他們發(fā)布的Agent Q 是一款突破性的 AI 智能體。它的訓(xùn)練方法結(jié)合了蒙特卡洛樹搜索（MCTS）和自我批評，并且通過一種叫做直接偏好優(yōu)化(DPO)的算法來學(xué)習(xí)人類的反饋。

與此同時，作為擁有規(guī)劃和 AI 自我修復(fù)功能的下一代 AI 智能體，Agent Q 的性能是 LLama3基線零樣本性能的3.4倍。同時，在真實(shí)場景任務(wù)的評估中，Agent Q 的成功率達(dá)到了95.4%。

Agent Q 能做什么呢?我們先來看一下官方 Demo。

它能夠為你預(yù)定某個時間某家餐廳的座位。

然后為你執(zhí)行網(wǎng)頁操作，比如查詢空位情況。最終成功預(yù)定。

此外還能預(yù)定航班（比如本周六從紐約飛往舊金山，單程、靠窗和經(jīng)濟(jì)艙）。

不過，網(wǎng)友似乎對 Agent Q 并不買賬。大家關(guān)心更多的還是他們是否真的借「草莓哥」賬號炒作的事情，甚至有些人稱他們?yōu)闊o恥的騙子。

重要組件和方法概覽

目前，Agent Q 的相關(guān)論文已經(jīng)放出，由 MultiOn 和斯坦福大學(xué)的研究者聯(lián)合撰寫。這項研究的成果將在今年晚些時候向開發(fā)人員和使用 MultiOn 的普通用戶開放。

論文地址:https://multion-research.s3.us-east-2.amazonaws.com/AgentQ.pdf

總結(jié)一波:Agent Q 能夠自主地在網(wǎng)頁上實(shí)施規(guī)劃并自我糾錯，從成功和失敗的經(jīng)驗中學(xué)習(xí)，提高它在復(fù)雜任務(wù)中的表現(xiàn)。最終，該智能體可以更好地規(guī)劃如何在互聯(lián)網(wǎng)上沖浪，以適應(yīng)現(xiàn)實(shí)世界的復(fù)雜情況。

在技術(shù)細(xì)節(jié)上， Agent Q 的主要組件包括如下:

使用 MCTS（Monte Carlo Tree Search，蒙特卡洛樹搜索）進(jìn)行引導(dǎo)式搜索:該技術(shù)通過探索不同的操作和網(wǎng)頁來自主生成數(shù)據(jù)，以平衡探索和利用。MCTS 使用高采樣溫度和多樣化提示來擴(kuò)展操作空間，確保多樣化和最佳的軌跡集合。

AI 自我批評:在每個步驟中，基于 AI 的自我批評都會提供有價值的反饋，從而完善智能體的決策過程。這一步驟級反饋對于長期任務(wù)至關(guān)重要，因為稀疏信號通常會導(dǎo)致學(xué)習(xí)困難。

直接偏好優(yōu)化（DPO）:該算法通過從 MCTS 生成的數(shù)據(jù)構(gòu)建偏好對以微調(diào)模型。這種離策略訓(xùn)練方法允許模型從聚合數(shù)據(jù)集（包括搜索過程中探索的次優(yōu)分支）中有效地學(xué)習(xí)，從而提高復(fù)雜環(huán)境中的成功率。

下面重點(diǎn)講一下網(wǎng)頁（Web-Page）端的 MCTS 算法。研究者探索了如何通過 MCTS 賦予智能體額外的搜索能力。

在以往的工作中，MCTS 算法通常由四個階段組成:選擇、擴(kuò)展、模擬和反向傳播，每個階段在平衡探索與利用、迭代細(xì)化策略方面都發(fā)揮著關(guān)鍵作用。

研究者將網(wǎng)頁智能體執(zhí)行公式化為網(wǎng)頁樹搜索，其中狀態(tài)由智能體歷史和當(dāng)前網(wǎng)頁的 DOM 樹組成。與國際象棋或圍棋等棋盤游戲不同，研究者使用的復(fù)雜網(wǎng)絡(luò)智能體操作空間是開放格式且可變的。

研究者將基礎(chǔ)模型用作操作建議（action-proposal）分布，并在每個節(jié)點(diǎn)(網(wǎng)頁)上采樣固定數(shù)量的可能操作。一旦在瀏覽器中選擇并執(zhí)行一個操作，則會遍歷下個網(wǎng)頁，并且該網(wǎng)頁與更新的歷史記錄共同成為新節(jié)點(diǎn)。

研究者對反饋模型進(jìn)行多次迭代查詢，每次從列表中刪除從上一次迭代中選擇的最佳操作，直到對所有操作進(jìn)行完整排序。下圖4為完整的 AI 反饋過程。

擴(kuò)展和回溯。研究者在瀏覽器環(huán)境中選擇并執(zhí)行一個操作以到達(dá)一個新節(jié)點(diǎn)（頁面）。從選定的狀態(tài)節(jié)點(diǎn)軌跡開始，他們使用當(dāng)前策略 ??_?? 展開軌跡，直到到達(dá)終止?fàn)顟B(tài)。環(huán)境在軌跡結(jié)束時返回獎勵 ??，其中如果智能體成功則 ?? =1，否則 ?? =0。接下來，通過從葉節(jié)點(diǎn)到根節(jié)點(diǎn)自下而上地更新每個節(jié)點(diǎn)的值來反向傳播此獎勵，如下所示:

下圖3展示了所有結(jié)果和基線。當(dāng)讓智能體在測試時能夠搜索信息時，即為基礎(chǔ) xLAM-v0.1-r 模型應(yīng)用 MCTS 時，成功率從28.6% 提升到了48.4%，接近平均人類表現(xiàn)的50.0%，并且顯著超過了僅通過結(jié)果監(jiān)督訓(xùn)練的零樣本 DPO 模型的性能。

研究者進(jìn)一步根據(jù)下圖中概述的算法對基礎(chǔ)模型進(jìn)行了微調(diào)，結(jié)果比基礎(chǔ) DPO 模型提高了0.9%。在精心訓(xùn)練的 Agent Q 模型上再應(yīng)用 MCTS，智能體的性能提升到了50.5%，略微超過了人類的平均表現(xiàn)。

他們認(rèn)為，即使智能體經(jīng)過了大量的強(qiáng)化學(xué)習(xí)訓(xùn)練，在測試時具備搜索能力仍然是一個重要的范式轉(zhuǎn)變。與沒有經(jīng)過訓(xùn)練的零樣本智能體相比，這是一個顯著的進(jìn)步。

此外，盡管密集級監(jiān)督比純粹的基于結(jié)果的監(jiān)督有所改善，但在 WebShop 環(huán)境中，這種訓(xùn)練方法的提升效果并不大。這是因為在這個環(huán)境里，智能體只需要做很短的決策路徑，可以通過結(jié)果來學(xué)習(xí)信用分配。

評估結(jié)果

研究者選擇了讓智能體在 OpenTable 官網(wǎng)上預(yù)訂餐廳的任務(wù)來測試 Agent Q 框架在真實(shí)世界的表現(xiàn)如何。要完成這個訂餐任務(wù)，智能體必須在 OpenTable 網(wǎng)站上找到餐廳的頁面，選擇特定的日期和時間，并挑選符合用戶偏好的座位，最后提交用戶的聯(lián)系方式，才能預(yù)定成功。

最初，他們對 xLAM-v0.1-r 模型進(jìn)行了實(shí)驗，但該模型表現(xiàn)不佳，初始成功率僅為0.0%。因此，他們轉(zhuǎn)而使用 LLaMa70B Instruct 模型，取得了一些初步的成功。

不過由于 OpenTable 是一個實(shí)時環(huán)境，很難通過編程或自動化的方式進(jìn)行測量和評估。因此，研究者使用 GPT-4-V 根據(jù)以下指標(biāo)為每個軌跡收集獎勵:（1） 日期和時間設(shè)置正確，(2) 聚會規(guī)模設(shè)置正確，(3) 用戶信息輸入正確，以及 (4) 點(diǎn)擊完成預(yù)訂。如果滿足上述所有條件，則視為智能體完成了任務(wù)。結(jié)果監(jiān)督設(shè)置如下圖5所示。

而 Agent Q 將 LLaMa-3模型的零樣本成功率從18.6% 大幅提高到了81.7%，這個結(jié)果僅在單日自主數(shù)據(jù)收集后便實(shí)現(xiàn)了，相當(dāng)于成功率激增了340%。在引入在線搜索功能后，成功率更是攀升至95.4%。

更多技術(shù)細(xì)節(jié)和評估結(jié)果請參閱原論文。

參考鏈接:https://www.multion.ai/blog/introducing-agent-q-research-breakthrough-for-the-next-generation-of-ai-agents-with-planning-and-self-healing-capabilities

以上就是關(guān)于【一直爆料OpenAI「草莓」的賬號，竟然是個智能體？斯坦福系創(chuàng)企「炒作」AgentQ】的相關(guān)內(nèi)容，希望對大家有幫助！