相信很多大家對GPT-4o mini一手測評：懂得不多，但答得極快還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

昨晚，OpenAI 突然上線新模型 GPT-4o mini， 聲稱要全面取代 GPT-3.5Turbo。

在性能方面，GPT-4o mini 在 MMLU 上的得分為82%，在 LMSYS 排行榜的聊天方面分?jǐn)?shù)優(yōu)于 GPT-4。

在價(jià)格方面，GPT-4o mini 比之前的 SOTA 模型便宜一個(gè)數(shù)量級，商用價(jià)格是每百萬輸入 token15美分，每百萬輸出 token60美分，比 GPT-3.5Turbo 便宜60% 以上。

OpenAI 表示，ChatGPT 的免費(fèi)版、Plus 版和 Team 用戶將能夠從周四開始訪問 GPT-4o mini（其知識截至2023年10月），以代替 GPT-3.5Turbo，企業(yè)用戶可以從下周開始訪問。

目前，GPT-4o mini 在 WildBench 測試上排名第九，優(yōu)于谷歌的 Gemini-flash 以及 Anthropic 的 Claude3Haiku。

在今天的凌晨的文章中，我們已經(jīng)介紹了 GPT-4o mini 的一些基本情況（參見《GPT-4o Mini 深夜突發(fā):即刻免費(fèi)上線，API 降價(jià)60%》）。在這篇文章中，我們將補(bǔ)充介紹模型的實(shí)際使用體驗(yàn)以及這份工作背后的研究者。

GPT-4o mini 一手評測

在 GPT-4o mini 開放測試的第一時(shí)間，我們問了它一個(gè)最近比較熱門的話題，9.11和9.9哪個(gè)大，很遺憾，GPT-4o mini 依然沒有答對，還一本正經(jīng)地回答0.11>0.9。

接著我們在 Poe（Quora 開發(fā)的應(yīng)用程序，已經(jīng)集成了 GPT-4o mini）中輸入人物傳記電影《Eno》的設(shè)計(jì)封面，讓兩個(gè)模型解讀，結(jié)果 mini 翻車了。GPT-4o mini 直接表示「自己認(rèn)不出照片上的人?！?/p>

與之相對的，GPT-4o 的回答就比較準(zhǔn)確。「這張圖片看起來像是一幅拼貼畫，由一張照片的多個(gè)碎片組成，照片中是一位留著白胡子、身穿亮粉色襯衫的老人。這幅圖由同一張照片的不同部分創(chuàng)造性地排列而成，產(chǎn)生了馬賽克或拼圖般的效果。照片中的男子表情若有所思，手撫摸著臉?！?/p>

接著我們又測試了另一個(gè)問題:在客廳的桌子上放著一個(gè)杯子，杯子里有一個(gè)戒指。這個(gè)杯子被移到了書房的桌子上，然后移到了臥室的床上。在那里，杯子被翻倒了一次，然后又恢復(fù)了原樣。之后，杯子被放回了客廳的桌子上。那么，現(xiàn)在戒指在哪里呢?如果我們分開問，答案不一樣，GPT-4o 似乎更聰明點(diǎn)。

但是，如果我們一起發(fā)問，它們的答案又會變得雷同:

GPT-4o mini 回答數(shù)學(xué)題的表現(xiàn)如何呢?機(jī)器之心用丘成桐少年班2024年選拔試題測試了一下它解決數(shù)學(xué)問題的能力。

雖然 GPT-4o mini 對問題的解讀都比較清晰，但在分析過程中出現(xiàn)「胡言亂語」的邏輯錯(cuò)誤，像極了上數(shù)學(xué)課根本聽不懂但硬答的學(xué)生。

不過也不必著急，畢竟 GPT-4o 的回答更不理想，它甚至沒有看懂?dāng)?shù)字表示的是正方形的邊長。

在文字的總結(jié)能力上，GPT-4o mini 與 GPT-4o 的能力不相上下。都能將重點(diǎn)信息進(jìn)行抓取，但 GPT-4o 的回答更顯條理。

不過主打「Faster for everyday tasks」的 GPT-4o mini，響應(yīng)速度確實(shí)對得起「Faster」之稱。和它對話，幾乎無需等待，輸出速度也是快得離譜。

日本網(wǎng)友用 GPT-4o mini 搭建了一款 AI 聊天機(jī)器人，響應(yīng)速度依然快得驚人。

還有網(wǎng)友將 GPT-4o 和 GPT-4o mini 輸出速度進(jìn)行了對比，GPT-4o mini 明顯更快:

從大家體驗(yàn)效果上來看，GPT-4o mini 主打一個(gè)字「快」，但實(shí)際使用體驗(yàn)可能還是差了一些。

作者介紹

隨著 GPT-4o mini 的發(fā)布，很多人表示 OpenAI 又一次給大家?guī)砹艘稽c(diǎn)點(diǎn)震撼。其實(shí)，這背后是一群年輕的學(xué)者，還有多位華人的身影。

GPT-4o mini 項(xiàng)目負(fù)責(zé)人是 Mianna Chen。

Mianna Chen 于去年12月加入 OpenAI，此前在谷歌 DeepMind 任產(chǎn)品主管。

她在普林斯頓大學(xué)獲得學(xué)士學(xué)位，2020年獲得賓夕法尼亞大學(xué)沃頓商學(xué)院 MBA 學(xué)位。

該項(xiàng)目的其他領(lǐng)導(dǎo)者還包括 Jacob Menick、Kevin Lu、Shengjia Zhao、Eric Wallace、Hongyu Ren、Haitang Hu、Nick Stathas、Felipe Petroski Such。

Kevin Lu 是 OpenAI 的一名研究員，2021年畢業(yè)于加州大學(xué)伯克利分校。曾與強(qiáng)化學(xué)習(xí)大牛 Pieter Abbeel 等人一起研究強(qiáng)化學(xué)習(xí)和序列建模。

Shengjia Zhao 于2022年6月加入，現(xiàn)在是 OpenAI 的一名研究科學(xué)家，主攻 ChatGPT。他的主要研究方向是大語言模型的訓(xùn)練和校準(zhǔn)。此前，他本科畢業(yè)于清華大學(xué)，博士畢業(yè)于斯坦福大學(xué)。

Hongyu Ren 在去年7月加入，現(xiàn)在是 OpenAI 的一名研究科學(xué)家，他還是 GPT-4o 的核心貢獻(xiàn)者，并致力于 GPT-Next 的研究。Hongyu Ren 本科畢業(yè)于北京大學(xué)、博士畢業(yè)于斯坦福大學(xué)。此前，他在蘋果、谷歌、英偉達(dá)、微軟等工作過。

Haitang Hu 于去年9月加入 OpenAI，曾任職于谷歌。他本科畢業(yè)于同濟(jì)大學(xué)、碩士畢業(yè)于霍普金斯約翰大學(xué)。

Karpathy:模型變小是自然趨勢

這次，OpenAI 還是發(fā)了 GPT-4的衍生模型。所以很多人還是會問:GPT-5啥時(shí)候來?

這個(gè)問題目前沒有官方信息。但從 OpenAI 等 AI 巨頭紛紛發(fā)布小模型的動作來看，小模型正在成為一個(gè)新戰(zhàn)場。

OpenAI 創(chuàng)始成員 Karpathy 對此表示，「LLM 模型大小競爭正在加劇…… 但方向是相反的」!

按照 Karpathy 的說法，以后小模型會變得越來越多，越來越好用。這個(gè)領(lǐng)域的競爭會有多激烈?我們拭目以待。

參考鏈接:https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/

以上就是關(guān)于【GPT-4o mini一手測評：懂得不多，但答得極快】的相關(guān)內(nèi)容，希望對大家有幫助！