姚期智院士大模型新研究：思維圖DoT，用數(shù)學(xué)理論確保AI邏輯一致性
相信很多大家對(duì)姚期智院士大模型新研究：思維圖DoT，用數(shù)學(xué)理論確保AI邏輯一致性還不知道吧，今天菲菲就帶你們一起去了解一下~.~！
姚期智院士領(lǐng)銜，推出大模型新推理框架，CoT“王冠”戴不住了。
提出思維圖（DiagramofThought），讓大模型思考更像人類(lèi)。
團(tuán)隊(duì)更是為這種推理過(guò)程提供了數(shù)學(xué)基礎(chǔ)，通過(guò)拓?fù)渌估碚摚═opos Theory）正式化（formalize）DoT，確保其邏輯一致性和合理性。
相比CoT將推理過(guò)程表示為線(xiàn)性序列，DoT更能捕捉人類(lèi)推理的復(fù)雜性。
相比引入分支結(jié)構(gòu)ToT和GoT，DoT不需要依賴(lài)外部控制機(jī)制或多個(gè)模型協(xié)作，訓(xùn)練部署更簡(jiǎn)單。
秘訣就在于，DoT將LLM中的迭代推理建模為在單一模型內(nèi)構(gòu)建有向無(wú)環(huán)圖（DAG）。
DAG由代表命題、批評(píng)、精煉和驗(yàn)證的節(jié)點(diǎn)組成，邊表示它們之間的邏輯關(guān)系或依賴(lài)關(guān)系，邊都有方向，不存在任何循環(huán)路徑。
這種無(wú)環(huán)的特性確保推理過(guò)程不受循環(huán)依賴(lài)的影響，能更真實(shí)反映合理的邏輯推導(dǎo)。
9.11和9.8哪個(gè)大、strawberry中有幾個(gè)“r”等問(wèn)題在DoT的幫助下全都迎刃而解了。
要知道，大模型最新“頂流”O(jiān)penAI o1目前被訓(xùn)練得原生具備生成CoT的能力，現(xiàn)在更強(qiáng)的DoT來(lái)了，是不是也可以通過(guò)強(qiáng)化學(xué)習(xí)內(nèi)化到模型里，如此一來(lái)……
這項(xiàng)研究提出后得到了不小的關(guān)注。
網(wǎng)友紛紛表示這是一種正確的路徑。
具體來(lái)看看DoT長(zhǎng)啥樣。
大模型復(fù)雜推理新框架
如前所述，DoT將邏輯推理過(guò)程建模為在單個(gè)LLM內(nèi)構(gòu)建有向無(wú)環(huán)圖（DAG）。
其框架內(nèi)部管理三個(gè)關(guān)鍵角色:
提議者:生成命題或推理步驟，添加新節(jié)點(diǎn)。
批評(píng)者:評(píng)估命題，識(shí)別錯(cuò)誤、不一致或邏輯謬誤，并添加批評(píng)節(jié)點(diǎn)。
總結(jié)者:將經(jīng)過(guò)驗(yàn)證的命題綜合成一個(gè)連貫的思維鏈，有效地執(zhí)行DAG的拓?fù)渑判颍╰opological sort）以產(chǎn)出最終的推理輸出。
這三個(gè)角色通過(guò)使用特殊token
推理過(guò)程始于提議者引入一個(gè)命題，向DAG添加一個(gè)節(jié)點(diǎn)。
然后，由評(píng)論者評(píng)估驗(yàn)證或提供批評(píng)。如果提供了批評(píng)，將添加一個(gè)新節(jié)點(diǎn)，并在該命題和批評(píng)之間建立一個(gè)邊。
基于批評(píng)，提議者生成一個(gè)精煉改進(jìn)過(guò)的命題，表示為DAG中的一個(gè)新節(jié)點(diǎn)。
這一過(guò)程
一旦建立了足夠有效的命題，總結(jié)者就會(huì)綜合這些推理，對(duì)DAG進(jìn)行拓?fù)渑判蛞援a(chǎn)生一個(gè)連貫的思維鏈。
通過(guò)讓模型接觸正確和錯(cuò)誤的推理，DoT允許LLM從錯(cuò)誤中學(xué)習(xí)，隨著時(shí)間的推移不斷精煉其推理，這也更像人類(lèi)解決問(wèn)題的方式。
這種方法不僅捕捉了推理的非線(xiàn)性和迭代特性，還通過(guò)自然語(yǔ)言批評(píng)提供了比二元信號(hào)更豐富的反饋。
DoT的訓(xùn)練涉及使用格式化為DoT結(jié)構(gòu)的訓(xùn)練樣例，包括角色特定token和DAG表示。在推理過(guò)程中，模型基于上下文線(xiàn)索和角色特定token生成命題、批評(píng)和總結(jié)。
這種方法簡(jiǎn)化了部署，消除了對(duì)多LLM協(xié)作或外部控制機(jī)制的需求，同時(shí)與標(biāo)準(zhǔn)LLM訓(xùn)練范式保持一致，便于集成到現(xiàn)有工作流程中。
作者還為DoT框架提供了嚴(yán)格的數(shù)學(xué)基礎(chǔ)，利用
在這個(gè)框架中，命題被建模為拓?fù)渲薪K端對(duì)象的子對(duì)象，邏輯關(guān)系和推理步驟表示為態(tài)射，批評(píng)和改進(jìn)過(guò)程分別對(duì)應(yīng)到子對(duì)象分類(lèi)器的態(tài)射和命題間的態(tài)射。
通過(guò)引入PreNet范疇，他們還成功捕捉了推理過(guò)程的動(dòng)態(tài)和并發(fā)特性。
這種數(shù)學(xué)基礎(chǔ)不僅確保了推理過(guò)程的邏輯一致性和完備性，還為設(shè)計(jì)下一代專(zhuān)門(mén)用于推理的AI模型提供了概念框架。
清華叉院姚期智、袁洋領(lǐng)銜
這篇論文由清華交叉信息研究院姚期智、袁洋領(lǐng)銜，論文第一作者為張伊凡。
張伊凡
張伊凡2021年本科畢業(yè)于于北京大學(xué)元培學(xué)院，現(xiàn)為清華大學(xué)交叉信息學(xué)院博士研究生，師從袁洋助理教授。
他的主要研究方向?yàn)榛A(chǔ)模型（大語(yǔ)言模型）的理論和算法、自監(jiān)督學(xué)習(xí)、可信人工智能。
袁洋
袁洋是清華大學(xué)交叉信息學(xué)院助理教授，博士生導(dǎo)師。
2012年畢業(yè)于北京大學(xué)計(jì)算機(jī)系;2018年獲美國(guó)康奈爾大學(xué)計(jì)算機(jī)博士學(xué)位;2018-2019年前往麻省理工學(xué)院大數(shù)據(jù)科學(xué)學(xué)院做博士后。
他的主要研究方向是智能醫(yī)療、AI可解釋性、AI大系統(tǒng)，在非凸優(yōu)化理論、神經(jīng)網(wǎng)絡(luò)優(yōu)化理論、機(jī)制設(shè)計(jì)等領(lǐng)域有頗多研究成果。
姚期智
姚期智是中國(guó)科學(xué)院院士、清華大學(xué)交叉信息研究院院長(zhǎng);同時(shí)也是“圖靈獎(jiǎng)”創(chuàng)立以來(lái)首位獲獎(jiǎng)的亞裔學(xué)者、迄今為止獲此殊榮的唯一華人計(jì)算機(jī)科學(xué)家。
姚期智教授2004年從普林斯頓辭去終身教職回到清華任教;2005年為清華本科生創(chuàng)立了計(jì)算機(jī)科學(xué)實(shí)驗(yàn)班“姚班”;2011年創(chuàng)建“清華量子信息中心”與“交叉信息研究院”;2019年再為清華本科生創(chuàng)立了人工智能學(xué)堂班，簡(jiǎn)稱(chēng)“智班”。
如今，他領(lǐng)導(dǎo)的清華大學(xué)交叉信息研究院早已聲名遠(yuǎn)播，姚班、智班都隸屬交叉信息院。
姚期智教授研究方向有算法、密碼學(xué)、量子計(jì)算等，是這方面的國(guó)際先驅(qū)和權(quán)威。
One More Thing
一年前的差不多同一時(shí)間姚期智院士領(lǐng)銜提出了累積推理（Cumulative Reasoning，CR）的方法。
DoT是對(duì)CR的進(jìn)一步深化。
當(dāng)時(shí)CR協(xié)調(diào)了一個(gè)涉及不同專(zhuān)業(yè)化大語(yǔ)言模型的迭代過(guò)程，由不同模型承擔(dān)了提議者、驗(yàn)證者和報(bào)告者角色。
而DoT直接在單一模型內(nèi)構(gòu)建有向無(wú)環(huán)圖，不依賴(lài)于外部控制機(jī)制或多個(gè)模型，訓(xùn)練和部署更簡(jiǎn)單。
且在DoT中，模型生成的批評(píng)反饋是自然語(yǔ)言形式的，而不是像CR那樣只給出二值信號(hào)。這使得模型可以接收到關(guān)于錯(cuò)誤的詳細(xì)解釋?zhuān)兄诟行У馗倪M(jìn)命題。
這次DoT還有了強(qiáng)有力的數(shù)學(xué)基礎(chǔ)，闡明了DoT推理過(guò)程與范疇邏輯的關(guān)系，從理論上確保了推理的一致性和可靠性。
論文鏈接:https://arxiv.org/abs/2409.10038
參考鏈接:
[1]https://x.com/omarsar0/status/1835882277563179512
[2]https://hub.baai.ac.cn/users/16897
[3]https://hub.baai.ac.cn/users/19790
—完—
以上就是關(guān)于【姚期智院士大模型新研究：思維圖DoT，用數(shù)學(xué)理論確保AI邏輯一致性】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！