相信很多大家對o1研發(fā)團隊首次集體訪談：教AI數(shù)r用了一年半還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

笑死，原來o1也像人類一樣喜歡趕ddl。

這是在o1團隊的“大型見面會”上，OpenAI創(chuàng)始成員Wojciech Zaremba揭開的o1“黑歷史”。

包括Zaremba在內(nèi)的18名團隊成員，在首席研究官Bob McGrew的帶領之下圍坐一團。

o1核心貢獻者Hyung Won Chung、Noam Brown等關鍵人物，也都在此列。

隨著成員們的踴躍發(fā)言，o1的發(fā)展歷程也逐漸被揭開——受AlphaGo和早期GPT模型的啟發(fā)，想到了將兩張背后的范式結合。

后來，團隊訓練出了第一個可以生成連貫思維鏈的模型，標志著研究方向開始逐漸明朗和聚焦……

在充滿松弛感的氣氛當中，眾人還分享了有關o1研發(fā)的許多趣事:

在OpenAI內(nèi)部，也喜歡用“數(shù)r”來測試大模型能力

為了解決“數(shù)r”的問題，OpenAI花費了一年半

技術人員會把代碼報錯信息直接丟給o1去debug

o1曾經(jīng)說過，生命的意義是“42”，還試圖用代數(shù)來定義“l(fā)ove”

同時在研究過程中他們還發(fā)現(xiàn)，o1不僅比人類更善于發(fā)現(xiàn)新的CoT推理步驟，并且還涌現(xiàn)出了自我批評能力。

有網(wǎng)友稱贊說，這的確是一個出色的團隊，非常喜歡聽他們的發(fā)言，并且模型的推理能力也確實比以前強。

量子位整理了這次訪談的實錄，下面就一起來看~

o1是什么?推理又是啥?

Bob McGrew:我是OpenAI研究團隊的負責人，我們剛剛發(fā)布了o1和o1-mini模型。

對此我們感到非常激動，今天我們的整個團隊聚集在此，來介紹這兩個模型。

什么是o1?

Bob McGrew:所以，（第一個問題），到底什么是o1?

Hyung Won Chung:我們開啟了新的模型系列，并且起了一個新的名字叫o1。

這是為了強調(diào)，與GPT-4o等之前的模型相比，o1有很大的不同，稍后會有人詳細解釋。

o1是一個推理模式，所以它在回答問題之前思考的會更多。

我們發(fā)布了兩個模型——（滿血）o1的o1-preview，以及更小、更快的o1-mini，它和(滿血)o1采用的是相同的訓練框架。

我們希望大家喜歡我們的新命名方式。

推理又是什么?

Bob McGrew:那么推理又是什么意思?

Giambattista Parascandolo:對于簡單問題來說，我們希望提問之后立刻就能得到答案。

比如你問意大利的首都在哪，你不用思考很多也知道答案是羅馬。

但如果你想知道一個復雜問題的答案，或者寫出一份好的商業(yè)計劃，或者寫一部小說，你可能就要思考一段時間了，并且你思考的越多，最后得到結果也就越好。

而推理就是把思考時間化為更好的成果的能力。

研發(fā)過程的那些事

你們在o1上工作多長時間了?

Bob McGrew:你們在o1上工作多長時間了?

Jakub Pachocki:在OpenAI早期，我們深受AlphaGo的成績的啟發(fā)，看到了深度強化學習的潛力，因此我們對其進行了深入研究，并看到了數(shù)據(jù)和機器人技術的大規(guī)模擴展。

我們也開始思考如何才能在通用領域進行強化學習，從而實現(xiàn)非常強大的人工智能。

然后我們看到了GPT范式中擴展和監(jiān)督學習帶來的驚人成果，從那時起，我們就一直在思考如何將這兩種不同的范式合二為一。

Mark Chen:項目開始的確切時間很難確定，但已經(jīng)與Yaku和Shimon進行了早期探索，與Lukash、Ilya進行了早期探索。

一個重要的時刻是Jerry的加入，他推動了這個大型項目的進展。

研究過程中的“Aha moment”

Bob McGrew:我認為在研究過程中最精彩的就是哪些“Aha moment”，你們的工作當中有哪些高光時刻呢?

Jerry Tworek:我們訓練了 GPT-2、GPT-3和 GPT-4，每一次都成為了媒體上的熱點。

但第一次有這種感覺是當模型出來的時刻，所有人都稱贊很棒。

對于我而言，這樣的時刻是當我們投入了更多計算資源，并第一次生成了連貫的思維鏈時。

當時我們心想，這和以前的模型看起來真的很不一樣。

Trapit Bansal:當我們考慮訓練一個推理模型時，我立即想到的一件事是，用人類的思維過程進行訓練。

但我發(fā)現(xiàn)，使用RL訓練模型來生成己的思維鏈，結果可以做得比人類寫的思維鏈更好。

在我看來這就是一個“Aha moment”，它告訴我們可以通過這種訓練方式，讓擴展模型的推理能力得到擴展。

Hunter Lightman:我們花了很長的時間，一直嘗試讓模型更好地解決數(shù)學問題。

為此我們付出了很多努力，我們想出了很多不同的方法，但有一件事讓我一直很沮喪，

每次我讀到這些模型的輸出時，發(fā)現(xiàn)模型似乎永遠不會質(zhì)疑自己哪里出了問題，什么時候犯了錯誤。

但當我們訓練早期的o1模型并與之對話時，發(fā)現(xiàn)它在數(shù)學測試中得分更高了。

通過觀察它的推理方式，我們發(fā)現(xiàn)它開始質(zhì)疑自己，并進行了非常有趣的反思。

那一刻我感覺哇，我們發(fā)現(xiàn)了一些不同的東西。

感覺模型像人還是像機器?

Bob McGrew:你們在看模型的思考過程時，覺得他們是更像真人還是更像機器人?

Liam Fedus:這更像是一種“精神體驗”。

你可以看到模型也會犯很多人類經(jīng)常犯的錯誤，又能看到它對一些常識提出質(zhì)疑。

很奇怪，模型會帶有人類的行為。

Wojciech Zaremba:在模型被設定了ddl的情況下，往往會在快due的時候迅速得出結論。

好像大模型也知道自己必須立刻給出答案。

Karl Cobbe:我年輕的時候花了很多時間參加數(shù)學競賽，而我進入人工智能領域的原因，就是試圖實現(xiàn)這個過程的自動化。

所以對我來說，這是一個非常重要的轉(zhuǎn)折點，因為我看到這個模型實際上能夠遵循我解決這些問題時使用的步驟

雖然這不是完全相同的思路，但非常非?？煽?。

Wojciech Zaremba:可以相信，這些模型正在成為真正推動工程和科學發(fā)展的因素。

如果它們似乎能解決即使專家也難以解決的問題，那么將能夠推動科學進步。

研發(fā)過程中的困難

Bob McGrew:我們談了很多令人興奮的時刻，那么在工作過程中又遇到了什么障礙?

Jerry Tworek:訓練大型模型從根本上來說就是一件非常非常困難的事情。

有成千上萬的事情可能出錯，而且在每個領域都有事情確實出錯了。

所以幾乎這里的每個人都像你們知道的一樣，在訓練這些事情上付出了很多心血和汗水，并想出了如何讓模型繼續(xù)學習和進步的方法。

實際上，成功的道路非常狹窄，而失敗的方式卻有很多。

Wojciech Zaremba:就像發(fā)射火箭一樣，如果你偏離了一個角度，你就無法到達目的地，而這就是我們的工作。

Ilge Akkaya:這個模型非常好，通常比人類好幾倍，能達到博士的水平。

但是這有時是一個挑戰(zhàn)，因為我們必須經(jīng)常去驗證模型沒有偏離軌道。

但我們已經(jīng)飽和了所有行業(yè)級的評估，我們不知道下一步該研究什么。

Mark Chen:這也是一種成就感，就像每次遇到難題一樣。

這就像這個團隊要克服的另一個障礙，我真的很高興我們克服了所有這些小障礙。

OpenAI內(nèi)部這樣用o1

如何測試模型表現(xiàn)

Bob McGrew:你們測試模型的方法有哪些，有沒有什么喜歡的問題，并發(fā)現(xiàn)模型在這些問題上變得越來越好?

Shengjia Zhao:Strawberry里有幾個r?

Wojciech Zaremba:不管是什么原因，ChatGPT無法可靠地解決這些問題。

我們花了一年半的時間，現(xiàn)在我們可以計算出strawberry中的“r”的數(shù)量。

Hunter Lightman:我有一個習慣，我想其他人也有。

每當上推特時，都會看到一些帖子說大模型無法解決這類問題。

我就把它復制粘貼進去，然后發(fā)現(xiàn)我們的模型可以做到。

內(nèi)部o1使用方法

Bob McGrew:為了讓人們了解他們可以使用這個模型做什么，我很想聽聽你們使用o1的一些方法。

Hyung Won Chung:我使用o1的方式主要是用來寫代碼。

我的很多工作都是關于代碼的，我越來越關注問題定義，并使用TDD（測試驅(qū)動開發(fā)）。

因此，我不再編寫實現(xiàn)功能的代碼，而是專注于編寫單元測試。

因為o1可以實現(xiàn)東西，所以我可以專注于重要的、需要解決的高級問題，這真的是一種轉(zhuǎn)移我注意力的重要方式。

另一個領域是debug，現(xiàn)在當我收到一些錯誤消息時，我只需傳遞給o1，有時它會立即解決。

即使沒有，它至少會給出一些更好的問題，提供一些更好地思考這個問題的方法。

所以對我來說，這是一個非常重要的工作變化，我希望這也能幫助其他人。

o1-mini的誕生過程

Bob McGrew:o1-mini的故事是怎樣的?它是如何誕生的?

Hongyu Ren:我們想把o1系列帶給更多人，它有更低的成本，所以做了o1mini。它是o1框架的最小演示，是“推理專家”。它不一定能知道你喜歡的名人的生日，但是它能有效地推理，并且很智能。

實際上它真的很聰明，比我們之前最好的模型都要聰明很多，幾乎與o1相當，但是成本和時延比它低很多。

不過也確實有局限性，可能不知道很多外部世界知識。這與技術本身無關，我們試圖讓它達到和此前最好模型最小版本差不多的水平，并且仍舊在努力進一步改進它。

用戶嘗試了o1mini會很興奮，因為它推理和思考的速度真的很快。

是什么激勵你做這些研究?

?ukasz Kaiser:我只是覺得在這個世界上，有一些可以做推理、有智能的東西，比想象中小很多。它們可以以不同方式做到這一點，這就非常迷人了。

Giambattista Parascandolo:我覺得這是向模型范式轉(zhuǎn)變的第一步。以前花很長時間才能解決的問題，現(xiàn)在做到了分鐘級，這只是漫長道路的第一步。我們希望能在幾個月或幾年后，邁出第二步。

Wojciech Zaremba:我覺得這很有意義，我們可以對世界產(chǎn)生一些實質(zhì)性的積極影響。

而且這很有趣，我喜歡對著電腦“說話”，喜歡在集群上開始一項工作，也非常喜歡合作。

Jerry Tworek:我認為科技可以改善人類生活，我喜歡我們的模型能為人工作，幫助我們解決日常問題，賦予它推理能力讓它做事。

Liam Fedus:我認為這一范式解決了一些模型無法解決的問題，所以不僅僅是回答變好一點，而是通過規(guī)劃、通過錯誤糾正，它解鎖了全新能力，在世界上創(chuàng)造新知識的能力，比如科學發(fā)現(xiàn)，我認為這是最令人興奮的部分。

短時間內(nèi)，它的自身進化會越來越快，這真的很棒。

Mark Chen:我們團隊中一些成員有數(shù)學等方面的背景，這驅(qū)動我們自己想去創(chuàng)造一個最好的系統(tǒng)。

Hyung Won Chung:我認為推理比人們想象中的還要強大。當人類想要完成某項任務時，最基本的方法就是推理，你會遇到困難，你必須要找到解決方法。

我覺得AI研究員的工作好像是要找到一種方法來投入更多的計算。硬件方面的研究者在這方面做的很好，很長一段時間硬件成本都在指數(shù)級下降。

需要的計算量越來越多，就好像肩膀上的重量越來越重。這個新模式找到了一種方法，來幫我們卸下一些重量。

在這項研究中，你們還觀察到什么嗎?

Jason Wei:我們發(fā)現(xiàn)一個有趣的現(xiàn)象是，每個模型都有自己的“怪癖”。

訓練的每個模型在每個任務上的表現(xiàn)都不完全相同。所以模型可能有些任務表現(xiàn)得更好，有些表現(xiàn)得更差。每個模型都有它自己的個性和優(yōu)點。

最后，原視頻在這里奉上~

原視頻地址:

https://www.youtube.com/watch?v=tEzs3VHyBDM

以上就是關于【o1研發(fā)團隊首次集體訪談：教AI數(shù)r用了一年半】的相關內(nèi)容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關。財經(jīng)信息僅供讀者參考，并不構成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權請聯(lián)系刪除！