相信很多大家對(duì)GPT-5降臨，代號(hào)獵戶座？OpenAI疑用草莓訓(xùn)練，數(shù)學(xué)推理暴漲超越所有模型還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

OpenAI的下一代旗艦大語(yǔ)言模型，要來(lái)了?

據(jù)悉，新模型代號(hào)Orion（獵戶座），就是能超越GPT-4的下一代模型。

而獵戶座的預(yù)訓(xùn)練數(shù)據(jù)，正是由草莓模型生成的。

而草莓模型驅(qū)動(dòng)的聊天機(jī)器人，很可能就會(huì)在今年秋天上線!

關(guān)于OpenAI的草莓，外媒The Information最近又挖到了新的細(xì)節(jié)。

根據(jù)The Information的信息，網(wǎng)友推測(cè):「GPT-4+草莓」會(huì)在秋季推出，之后上線的繼任者「獵戶座」可能就是GPT-5。

由于大概率要避開(kāi)11月，因此，獵戶座的發(fā)布時(shí)間要么在之前要么是在12月。

甚至，AI大V、Hallid.ai聯(lián)創(chuàng)「indigo」提出了一個(gè)大膽的猜測(cè):獵戶座或許不是GPT-5，而是GPT-6。

AI大V「Chubby」表示附議。

最后，Chubby激動(dòng)地表示:所有人都覺(jué)得AI的發(fā)展正在放緩?并不是。在大公司，廚房里的東西正在沸騰!

網(wǎng)友們紛紛表示:「我們正在見(jiàn)證一種超越我們自己思想的誕生」。

打開(kāi)Q*之門(mén)，一切模型憑此迭代。

有人擔(dān)心，如果GPT-5控制整個(gè)互聯(lián)網(wǎng)，人類(lèi)會(huì)從此迷失。

所以，獵戶座到底是GPT-5還是GPT-6呢?網(wǎng)友們各持己見(jiàn)。

但有人猜測(cè)，我們目前還沒(méi)有足夠的算力來(lái)達(dá)到GPT-5，更不用說(shuō)GPT-6了。

透?jìng)€(gè)底，讓美國(guó)政府安心

此前，關(guān)于草莓的傳聞早已滿天飛。

今年夏天，Sam Altman的團(tuán)隊(duì)已經(jīng)向美國(guó)國(guó)家安全官員展示了這項(xiàng)技術(shù)。

在安全問(wèn)題日益敏感的情況下，OpenAI的做法也算給大家打了個(gè)樣。

如果政府官員覺(jué)得這項(xiàng)AI不安全怎么辦?那就給他們展示一下。

這次演示，就是OpenAI讓政策制定者覺(jué)得更透明的努力的一部分。畢竟，如果他們感覺(jué)到受到這項(xiàng)技術(shù)的威脅了，很可能就會(huì)給公司帶來(lái)麻煩。

現(xiàn)在，OpenAI的安全團(tuán)隊(duì)已經(jīng)出走，憤怒的前員工在網(wǎng)上大肆爆料，這種時(shí)候，對(duì)政府官員更加透明的做法，就顯得尤為重要。

The Information表示，這次演示還可能另有目的:跟政府隊(duì)員就如何保護(hù)技術(shù)進(jìn)行對(duì)話，以防止美國(guó)的AI技術(shù)被他國(guó)竊取。

說(shuō)不定，還可以借此機(jī)會(huì)攻擊Meta一波，因?yàn)樗麄兊腁I是開(kāi)放權(quán)重的，其他國(guó)家想要獲取，是非常容易的事。

總之，未來(lái)幾年內(nèi)，AI開(kāi)發(fā)者應(yīng)該會(huì)經(jīng)常出現(xiàn)在舊金山和華盛頓之間的航線上了，因?yàn)樗麄儠r(shí)不時(shí)就需要跟政府官員來(lái)往一下。

草莓:數(shù)學(xué)提升，能解字謎

一個(gè)月前路透社曾報(bào)道，OpenAI內(nèi)部測(cè)試了一種AI，在MATH基準(zhǔn)上得分超過(guò)了90%。

據(jù)猜測(cè)，這個(gè)模型很可能就是草莓。

如今的傳言是，今年秋天OpenAI研究者會(huì)推出代號(hào)為草莓的新AI（也就是之前的Q*），或許會(huì)聊天到ChatGPT之類(lèi)的聊天機(jī)器人中。

它能做到目前的聊天機(jī)器人無(wú)法做到的很多事情，比如解決未曾遇到的數(shù)學(xué)問(wèn)題，還能解決編程難題。

在獲得額外「思考」時(shí)間后，草莓模型還可以回答更主觀的問(wèn)題，比如產(chǎn)品的營(yíng)銷(xiāo)策略。

據(jù)悉，在語(yǔ)言任務(wù)上，草莓表現(xiàn)出了強(qiáng)大的能力。比如OpenAI的一位員工曾向同事演示了草莓成功解決《紐約時(shí)報(bào)》的Connections——復(fù)雜的文字謎題。

OpenAI在LLM和會(huì)話AI領(lǐng)域的領(lǐng)先地位，一直在遭受沖擊，因此OpenAI只能對(duì)外不時(shí)放出點(diǎn)草莓的消息，提升一下自己的存在感。

另外，據(jù)說(shuō)草莓的技術(shù)已經(jīng)顯示出了智能體的能力。

草莓模型似乎能夠自主瀏覽網(wǎng)絡(luò)，像人類(lèi)研究人員一樣，獨(dú)立上網(wǎng)、進(jìn)行深度研究。

它不僅能生成答案，還能規(guī)劃、執(zhí)行一系列復(fù)雜任務(wù)，還能收集信息。

與之類(lèi)似的，還有斯坦福的Quiet-STaR。

就像人類(lèi)會(huì)在說(shuō)話或?qū)懽髑皶?huì)停下來(lái)思考自己的想法一樣，Quiet-STaR可以訓(xùn)練LLM去生成在復(fù)雜推理問(wèn)題中采取步驟的內(nèi)部「思考」，從而做出更好的決策。

論文地址:https://arxiv.org/abs/2403.09629

眼下，OpenAI的業(yè)務(wù)正以驚人的速度增長(zhǎng):跟去年相比，今年它向企業(yè)銷(xiāo)售LLM和ChatGPT訂閱的收入大約增加了三倍，達(dá)到了每月2.83億美元，盡管公司每月的虧損可能高于此。

目前，OpenAI的私人估值為860億美元。

Sam Altman還希望為公司籌集更多資金，找到減少損失的方法。

自2019年以來(lái)，OpenAI已經(jīng)從微軟籌集了約130億美元，與這家企業(yè)軟件巨頭的協(xié)議，會(huì)持續(xù)到2030年。

合作條款可能會(huì)發(fā)生變化，包括OpenAI向微軟支付租用云服務(wù)器以開(kāi)發(fā)AI的方式。

云服務(wù)器，是OpenAI最大的成本。

OpenAI的新希望:Orion（獵戶座）

但說(shuō)到底，OpenAI的前景終究還是依賴(lài)正在開(kāi)發(fā)的新旗艦——Orion。

有人能解釋一下為什么OpenAI、谷歌和亞馬遜一直用希臘神話來(lái)命名他們的模型嗎?

去年初推出后，GPT-4已經(jīng)被各家趕超得差不多了，現(xiàn)在GPT-4級(jí)的模型，可以說(shuō)是各家人手一個(gè)。

有人猜，OpenAI可能會(huì)推出一個(gè)比原始草莓模型更小、更簡(jiǎn)化的模型，也就是蒸餾版。

這個(gè)版本被寄望于提升GPT-4和ChatGPT性能，目的是保持和更大模型相同的性能水平，而且更易于操作，成本更低。

另外，還有知情人士透露，OpenAI還在用更大的草莓版本，為Orion的訓(xùn)練生成數(shù)據(jù)。

這種人工合成數(shù)據(jù)，意味著草莓能幫助OpenAI克服獲取高質(zhì)量數(shù)據(jù)的限制，從而可以從現(xiàn)實(shí)世界數(shù)據(jù)（比如從互聯(lián)網(wǎng)獲取的文本或圖像）中訓(xùn)練新模型。

研究人員表示，使用草莓可以幫助Orion減少幻覺(jué)的產(chǎn)生。

這是因?yàn)?，AI模型是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的，所以它們看到的復(fù)雜推理的正確示例越多，就越好。

對(duì)此，智能體初創(chuàng)公司Minion AI的CEO兼GitHub C o p i l o t前首席架構(gòu)師Alex Graveley給予了高度厚望。

「想象一個(gè)沒(méi)有幻覺(jué)的模型，一個(gè)你問(wèn)它邏輯難題、它第一次就答對(duì)了的模型?！?/p>

「訓(xùn)練數(shù)據(jù)中存在較少的歧義，因此它的猜測(cè)更少?！?/p>

The Information猜測(cè)，草莓改進(jìn)的推理能力，可能會(huì)整合到ChatGPT中。這些答案可能會(huì)更準(zhǔn)確，但也可能更慢。

因此，草莓可能并不適合需要即時(shí)即時(shí)響應(yīng)的應(yīng)用。而在GitHub中修復(fù)非關(guān)鍵編碼錯(cuò)誤，則是理想的選擇。

或許，以后的ChatGPT用戶，可以根據(jù)請(qǐng)求的時(shí)間敏感性來(lái)切換草莓模型。

Sam Altman在五月的一次活動(dòng)中曾表示:「我們感覺(jué)，為下一個(gè)模型準(zhǔn)備的數(shù)據(jù)已經(jīng)足夠」。

這個(gè)模型，很可能指的是就Orion。Altman表示:「我們進(jìn)行了各種實(shí)驗(yàn)，包括生成合成數(shù)據(jù)?！?/p>

解決復(fù)雜數(shù)學(xué)問(wèn)題:有前景的應(yīng)用

如果說(shuō)目前AI最有前景的應(yīng)用，那解決復(fù)雜數(shù)學(xué)問(wèn)題，必然是其中一個(gè)了。

畢竟，現(xiàn)有的AI在數(shù)學(xué)密集的領(lǐng)域如航空航天和結(jié)構(gòu)工程中，表現(xiàn)實(shí)在不佳。

各種LLM在回答數(shù)學(xué)問(wèn)題時(shí)，往往會(huì)給出各種讓人啼笑皆非的答案。

而且，數(shù)學(xué)推理能力的提升還能幫助AI模型更好地推理會(huì)話查詢，比如用戶的服務(wù)請(qǐng)求。

谷歌和一些初創(chuàng)公司，也在這方面發(fā)力。

上個(gè)月，谷歌DeepMind開(kāi)發(fā)的AI，已經(jīng)能在國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽中擊敗大多數(shù)人類(lèi)參賽者。

OpenAI的另一大競(jìng)爭(zhēng)對(duì)手Anthropic祭出的最新模型，也能編寫(xiě)更復(fù)雜的軟件代碼，還能回答有關(guān)圖表和圖形的問(wèn)題，這些都要?dú)w功于它推理能力的改進(jìn)。

還有一些初創(chuàng)公司為了提高模型的推理能力，采用了一種廉價(jià)的技巧，將問(wèn)題分解為更小的步驟，盡管這些方法速度慢且成本高昂。

無(wú)論Strawberry是否會(huì)作為產(chǎn)品推出，人們對(duì)Orion的期望都不會(huì)低了，因?yàn)镺penAI會(huì)力求繼續(xù)保持領(lǐng)先地位，同時(shí)還要保證顯著的的收入增長(zhǎng)。

OpenAI的領(lǐng)先者優(yōu)勢(shì)，已經(jīng)不明顯了。

雖然在5月宣布了「Her」的版本，但谷歌卻搶先推出了AI驅(qū)動(dòng)的語(yǔ)音助手，后者也足夠靈活，還能處理用戶的打斷，和突然變化的話題。

而Lmsys Chatbot Arena等大模型排行榜上，谷歌、xAI、Anthropic和Meta的模型也都在趕上OpenAI的步伐。

Ilya看到了什么?

值得一提的是，「草莓之父」，其實(shí)就是已經(jīng)離職了的OpenAI的首席科學(xué)家Ilya Sutskever。

幾年前，Ilya啟動(dòng)了一個(gè)項(xiàng)目，在研究過(guò)程中，誕生了草莓。

而在Ilya離職之前，OpenAI的研究人員Jakub Pachocki和Szymon Sidor，就已經(jīng)在Ilya的工作基礎(chǔ)上開(kāi)發(fā)了一個(gè)新的數(shù)學(xué)求解模型Q*，這讓不少關(guān)注AI安全的研究人員感到擔(dān)憂。

另外，在去年Q*的前期準(zhǔn)備中，OpenAI研究人員開(kāi)發(fā)了一種被稱(chēng)為「測(cè)試時(shí)計(jì)算」的概念變體，目的是提升LLM的問(wèn)題解決能力。

這樣，LLM就會(huì)花更多時(shí)間考慮被要求執(zhí)行的命令，或問(wèn)題的各個(gè)部分。

當(dāng)時(shí)，Ilya發(fā)表了一篇與這項(xiàng)工作相關(guān)的博客。

博客地址:https://openai.com/index/improving-mathematical-reasoning-with-process-supervision/

在博客中，模型解決了數(shù)個(gè)有難度的數(shù)學(xué)問(wèn)題。

比如在這道有挑戰(zhàn)性的三角函數(shù)題中，需要連續(xù)應(yīng)用幾個(gè)并不明顯的等式。

在這道題，GPT-4成功執(zhí)行了一系列復(fù)雜的多項(xiàng)式分解。

步驟5中使用的Sophie-Germain恒等式是重要的一步，可以被認(rèn)為極有洞察力。

在這道題的步驟7和8中，GPT-4開(kāi)始執(zhí)行猜測(cè)和檢查。

這也是模型可能產(chǎn)生幻覺(jué)的常見(jiàn)情況，LLM會(huì)聲稱(chēng)某個(gè)特定的猜測(cè)是成功的，但實(shí)際上并不成功。

在這種情況下，獎(jiǎng)勵(lì)模型會(huì)驗(yàn)證每個(gè)步驟，并確定思路是否正確。

在最后這道題中，模型成功地應(yīng)用了多個(gè)三角恒等式，來(lái)簡(jiǎn)化了表達(dá)式。

或許，我們能從中窺見(jiàn)草莓和Orion的端倪。

參考資料:

https://www.theinformation.com/articles/openai-races-to-launch-strawberry-reasoning-ai-to-boost-chatbot-business?rc=epv9gi

https://www.theinformation.com/articles/openai-shows-strawberry-ai-to-the-feds-and-uses-it-to-develop-orion?rc=epv9gi

以上就是關(guān)于【GPT-5降臨，代號(hào)獵戶座？OpenAI疑用草莓訓(xùn)練，數(shù)學(xué)推理暴漲超越所有模型】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！