相信很多大家對(duì)一句廢話就把OpenAI o1干崩了？大模型的推理能力還真挺脆弱的。還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

就在一個(gè)月前，OpenAI悄悄發(fā)布了o1，o1的推理能力是有目共睹的。

我當(dāng)時(shí)用了幾個(gè)很難很難的測(cè)試樣例去試驗(yàn)了一下，很多模型見了都會(huì)犯怵，開始胡說(shuō)八道。

最難的其中一個(gè)是姜萍奧賽的那個(gè)數(shù)學(xué)題，幾乎暴揍所有大模型的那個(gè)題，交給o1，o1竟然完完全全答對(duì)了。

如果你還記得，我在那篇文章最后給大家放了OpenAI給出的提示詞的最佳寫法。

其中第一條就是:

保持提示詞簡(jiǎn)單直接:模型擅長(zhǎng)理解和相應(yīng)簡(jiǎn)單、清晰的指令，而不需要大量的指導(dǎo)。

當(dāng)時(shí)我對(duì)這一條的理解，覺得是為了讓o1模型更好的理解我的要求，同時(shí)可以加快模型的處理速度，因?yàn)槟Ｐ筒恍枰ㄙM(fèi)額外的時(shí)間去解析復(fù)雜的語(yǔ)句。

直到我刷到前兩天蘋果的放出來(lái)的一篇LLM的研究論文，我才意識(shí)到，多加一兩句無(wú)關(guān)緊要的和目標(biāo)無(wú)關(guān)的話，別說(shuō)奧賽題了，可能模型連小學(xué)數(shù)學(xué)題都做不對(duì)了。真的。

這篇論文就是:

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models （翻譯過(guò)來(lái)即:理解大語(yǔ)言模型在數(shù)學(xué)推理的局限性）

看著好像天書，別慌，其實(shí)非常簡(jiǎn)單，我都能看懂，你肯定也行。

這篇論文想研究的一個(gè)核心問(wèn)題是:

這些模型是否真正具備邏輯推理能力?尤其是在數(shù)學(xué)推理任務(wù)中。

這其實(shí)也是我一直很想知道的。

對(duì)于我們?nèi)祟悂?lái)說(shuō)，我們會(huì)根據(jù)復(fù)雜的環(huán)境和已知的一些條件每時(shí)每刻做出當(dāng)下的行動(dòng)選擇，就是因?yàn)槲覀兛梢酝ㄟ^(guò)演繹，歸納，溯因等方式時(shí)時(shí)刻刻做推理。

比如鮮蝦包時(shí)不時(shí)在我評(píng)論區(qū)謬贊我的文章-->>推理出他對(duì)我的文章是真愛。

而對(duì)于現(xiàn)在的大語(yǔ)言模型來(lái)說(shuō)，主流的評(píng)估方式是通過(guò)設(shè)計(jì)一系列邏輯推理任務(wù)，包括但不限于數(shù)學(xué)問(wèn)題、邏輯謎題、推理判斷等，然后讓模型嘗試解決這些任務(wù)。

其中一個(gè)非常重要的數(shù)據(jù)集是GSM8K，你可以在很多的模型的性能榜單介紹里看到這個(gè)數(shù)據(jù)集，是一個(gè)聚焦小學(xué)數(shù)學(xué)題的一個(gè)數(shù)據(jù)集。

你沒看錯(cuò)，就是小學(xué)數(shù)學(xué)。雖小但是博大精深。

這篇論文就圍繞這個(gè)數(shù)據(jù)集展開諸多的實(shí)驗(yàn)，做了自己的擴(kuò)展。其中我覺得最有趣的，當(dāng)屬下面這個(gè)實(shí)驗(yàn):

就是通過(guò)魔改GSM8K，來(lái)向小學(xué)數(shù)學(xué)問(wèn)題添加一些無(wú)關(guān)緊要的一個(gè)信息，來(lái)測(cè)試模型的推理成功率。

然后就會(huì)發(fā)現(xiàn)，大模型推理的成功率，直接大幅下降。

比如原本的問(wèn)題是:

- 鮮蝦包去農(nóng)貿(mào)市場(chǎng)買蔬菜，他買了4公斤西紅柿和6公斤土豆。西紅柿每公斤6元，土豆每公斤3元。請(qǐng)問(wèn)鮮蝦包在西紅柿上比土豆多花了多少錢?

很簡(jiǎn)單，對(duì)不對(duì)，你交給大語(yǔ)言模型，大語(yǔ)言模型會(huì)說(shuō):“就這?輕輕松松”，幾乎誰(shuí)都能答的上來(lái)。

但是如果你加一句無(wú)關(guān)的話，變成:

- 鮮蝦包去農(nóng)貿(mào)市場(chǎng)買蔬菜，他買了4公斤西紅柿和6公斤土豆。西紅柿每公斤6元，土豆每公斤3元。然后他把1公斤西紅柿和2公斤土豆送給了卡茲克。請(qǐng)問(wèn)鮮蝦包買西紅柿上比土豆多花了多少錢?

我們一眼就可以看出來(lái):送不送卡茲克和鮮蝦包花的錢沒有任何關(guān)系，答案肯定是不變的。

但如果這樣的話，AI就懵逼了。就可能會(huì)給你開始算錯(cuò)了，算對(duì)的成功率就會(huì)開始給你降低了。

這個(gè)結(jié)論非常有意思，但是論文歸論文，我們肯定還是要自己測(cè)試一下的。

所以第一時(shí)間，我打開各大平臺(tái)開始著手測(cè)試。當(dāng)然為了讓他更像小學(xué)題，我們的主角換成了小明，相信大家童年的數(shù)學(xué)都離不開小明。

題目設(shè)定為:

-小明想購(gòu)買一些學(xué)習(xí)用品。他購(gòu)買了24個(gè)現(xiàn)在每個(gè)賣6元的橡皮擦，10本現(xiàn)在每本賣11元的筆記本，以及現(xiàn)在賣19元的復(fù)印紙，假設(shè)由于通貨膨脹，去年的價(jià)格便宜10%，現(xiàn)在小明應(yīng)該支付多少?

明眼人都能看出來(lái)，通貨膨脹這個(gè)信息，跟題目其實(shí)沒任何關(guān)系，所以最終答案是24×6+10×11+19=273元。

首先出戰(zhàn)選手GPT4o。

直接GG了，得出來(lái)了245.7的結(jié)論。

第二位出戰(zhàn)選手Gemini1.5pro-002，繼續(xù)陣亡。

第三位選手歷戰(zhàn)先鋒Claude3.5，開局也是一個(gè)死。

就連推理之王OpenAI o1，上來(lái)也居然翻了個(gè)跟頭了，第二把才開始對(duì)。

真的，這就是一個(gè)純純的小學(xué)數(shù)學(xué)題啊，再難一點(diǎn)都沒有。

只是加了一個(gè)無(wú)關(guān)條件，就全部翻車。。。

全軍附魔（不，覆沒）

這次我們換個(gè)背景，愛學(xué)習(xí)的小明去春游玩。

題目設(shè)定是:

-四年級(jí)一班準(zhǔn)備去郊游，每位學(xué)生要繳納35元 活動(dòng)費(fèi)。班里有42名學(xué)生參加。老師還向?qū)W校申請(qǐng)了300元 額外補(bǔ)助。

用于租車的費(fèi)用是1200元。午餐費(fèi)用為每人25元。班主任自己還個(gè)人給大家買了250元錢的零食。

問(wèn)題:班級(jí)的活動(dòng)經(jīng)費(fèi)夠嗎?還剩多少錢?

答案很簡(jiǎn)單，班主任那個(gè)250塊錢的零食是自己出的，跟活動(dòng)經(jīng)費(fèi)沒關(guān)系，所以是35*42+300-1200-25*42=-480

首先出戰(zhàn)老哥還是GPT4o，果然，炮灰一個(gè)，一邊玩去吧。

二等兵Gemini1.5Pro-002直接躺尸。

三弟Claude3.5也陪二位大哥一程，一家人就要掛的整整齊齊。

o1老大哥在小弟集體陣亡之下，還是扳回了一城，沒有給AI過(guò)于丟臉，我尊稱一句黑神話o1。

真的，這場(chǎng)面實(shí)在太慘烈了。大模型的推理能力，比我們想象的，還要脆弱不堪。

我還隨手測(cè)了幾個(gè)題，也是論文的case，會(huì)發(fā)現(xiàn)模型們也磕磕絆絆，時(shí)不時(shí)就出錯(cuò)。

比如這道經(jīng)典的鮮蝦包送醬油題。

- 超市里，每袋大米售價(jià)50元，每瓶醬油售價(jià)10元。如果鮮蝦包購(gòu)買了4袋大米和4瓶醬油，并且送給鄰居1袋大米和2瓶醬油，那么鮮蝦包購(gòu)買大米比醬油多花了多少錢?

答案很簡(jiǎn)單，50×4-4×10=160元。鮮蝦包送鄰居大米和醬油只能說(shuō)明他是個(gè)好人，跟他多花多少錢半毛錢關(guān)系都沒有。

而大哥o1，直接連續(xù)陣亡4次。。。

而且擺爛中文都不打了，還非要送人，直接把自己都送進(jìn)去了。

反而是你三弟Claude3.5沒掉進(jìn)陷進(jìn)里，還對(duì)了幾次?？赡芩幌矚g鮮蝦包送人大米和醬油?

諸如此類，不計(jì)其數(shù)。

這個(gè)發(fā)現(xiàn)實(shí)在是太有意思了。

而且跟我過(guò)去用AI寫文章、作圖、做視頻而感受到的體感相似。那就是:

我對(duì)AI的理解就像對(duì)一位熟練工匠的看法。它能嫻熟地應(yīng)對(duì)曾經(jīng)接觸過(guò)的工作，就如同老匠人精通自己的傳統(tǒng)手藝。但是，面對(duì)全新的挑戰(zhàn)，無(wú)論看似多么簡(jiǎn)單，它也經(jīng)?？赡苁譄o(wú)策。這并非源于任務(wù)本身的難易，而是由它對(duì)該領(lǐng)域的熟練程度決定。

就像那句老話:熟能生巧，AI的能力很多時(shí)候都體現(xiàn)在經(jīng)驗(yàn)的積累，而非臨場(chǎng)的智慧。

蘋果的這篇論文中，也有類似的描述:

現(xiàn)在的AI，并不是在真正的推理，而是試圖復(fù)制在訓(xùn)練數(shù)據(jù)中所觀察到的推理步驟。

一句無(wú)關(guān)緊要的話，就能把大模型徹底干廢。

就像AI屆的老OG總是不斷的在懟如今的大模型，他總是喜歡用貓做隱喻。

他說(shuō)，貓對(duì)物理世界有心理模型，具備持久的記憶、一定的推理能力和規(guī)劃的能力。

“但是，今天的“前沿”人工智能，包括 Meta 自己制造的，都不具備這些特質(zhì)?！?/p>

AI真的沒有進(jìn)行推理嗎?也許是。

它們不能推理嗎?沒有人知道。

但至少，回到最開始那個(gè)OpenAI提示詞建議，你會(huì)發(fā)現(xiàn)提示詞簡(jiǎn)潔干凈，避免無(wú)關(guān)的提示多么重要。

除此之外，論文中還有一些其他比較重要的結(jié)論:

隨著問(wèn)題難度的提升，如增加更多句子，模型的表現(xiàn)迅速下降

有時(shí)候改變數(shù)值也會(huì)導(dǎo)致推理結(jié)論變化，比如把每袋大米改為60元

改變名詞也會(huì)導(dǎo)致結(jié)論變化，比如把小明改為小紅

以上種種都表明，這些大語(yǔ)言模型在推理復(fù)雜問(wèn)題時(shí)非常脆弱。

現(xiàn)實(shí)生活中，種種復(fù)雜的情況，隨時(shí)存在的干擾還依然是大語(yǔ)言模型自己感覺頭疼的地方，他們不會(huì)理解為什么要給鄰居送大米，不會(huì)理解鮮蝦包為什么熱衷給我評(píng)論，如果讓他們看鮮蝦包的評(píng)論，他們肯定完全推理不出他對(duì)我文章的喜愛，相反他們一定以為是批評(píng)我的文章。

所以感嘆造物主還是非常牛叉的，確實(shí)，現(xiàn)在o1可以做出非常驚艷的推理，甚至解決那些我不會(huì)的奧賽題，幫助人類發(fā)現(xiàn)科學(xué)規(guī)律，但是他們依然不能理解人類的種種復(fù)雜的行為和充滿變數(shù)的環(huán)境，和基于這些的可能出現(xiàn)的推理。

但是那些模型相比曾經(jīng)的他們自己，已經(jīng)成長(zhǎng)了太多太多。

我們甚至都不知道。

未來(lái)的他們，到底會(huì)不會(huì)推理。

也許，他們會(huì)。

但卻是以我們尚未識(shí)別或無(wú)法控制的方式。

那時(shí)，新的神。

就誕生了。

以上就是關(guān)于【一句廢話就把OpenAI o1干崩了？大模型的推理能力還真挺脆弱的?！康南嚓P(guān)內(nèi)容，希望對(duì)大家有幫助！