相信很多大家對(duì)乏善可陳的第二屆OpenAI開(kāi)發(fā)者大會(huì)，果然沒(méi)有掀起太大波瀾還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

OpenAI 的宮斗大戲剛落下帷幕，今日凌晨就在舊金山召開(kāi)了第二屆 DevDay 開(kāi)發(fā)者大會(huì)。

不過(guò)，與去年盛大的活動(dòng)相比，今年略顯低調(diào)，他們沒(méi)有推出重大產(chǎn)品，而是選擇對(duì)其現(xiàn)有的 AI 工具和 API 進(jìn)行增量改進(jìn)。

在這次活動(dòng)中，OpenAI 發(fā)布了四大API新功能:視覺(jué)微調(diào)（Vision Fine-Tuning）、實(shí)時(shí) API(Realtime API)、模型蒸餾(Model Distillation)和提示緩存(Prompt Caching)。

這些新工具突出了 OpenAI 的戰(zhàn)略轉(zhuǎn)變，即轉(zhuǎn)向賦予其開(kāi)發(fā)者生態(tài)系統(tǒng)更多能力，而不是直接在最終用戶應(yīng)用領(lǐng)域競(jìng)爭(zhēng)。

Sam Altman 也在 X 上表示，從 GPT-4到4o mini，每個(gè) token 的成本降低98%，同時(shí)處理 token 的數(shù)量暴漲50倍。

最后，Altman 還不忘「鼓舞士氣」:通往 AGI 的道路從未如此清晰。

實(shí)時(shí) API:構(gòu)建快速的語(yǔ)音到語(yǔ)音體驗(yàn)

OpenAI 在開(kāi)發(fā)者大會(huì)上正式推出實(shí)時(shí) API 的公測(cè)版，允許所有付費(fèi)開(kāi)發(fā)者在他們的應(yīng)用程序中構(gòu)建低延遲、多模態(tài)的體驗(yàn)。

與 ChatGPT 的高級(jí)語(yǔ)音模式類似，實(shí)時(shí) API 支持使用 API 中已經(jīng)支持的6種預(yù)設(shè)語(yǔ)音進(jìn)行自然的語(yǔ)音到語(yǔ)音對(duì)話。這意味著開(kāi)發(fā)者可以開(kāi)始將 ChatGPT 的語(yǔ)音控制添加到應(yīng)用程序中。

他們還推出了聊天完成 API（Chat Completions API）中的音頻輸入和輸出功能，以支持那些不需要實(shí)時(shí) API 低延遲優(yōu)勢(shì)的使用場(chǎng)景。

以前，要?jiǎng)?chuàng)建類似的語(yǔ)音助手體驗(yàn)，開(kāi)發(fā)者需要使用像 Whisper 這樣的自動(dòng)語(yǔ)音識(shí)別模型來(lái)轉(zhuǎn)錄音頻，然后將文本傳遞給文本模型進(jìn)行推理，最后使用文本到語(yǔ)音模型播放模型的輸出。這種方法常常導(dǎo)致情感和口音的丟失，以及明顯的延遲。

現(xiàn)在有了聊天完成 API，開(kāi)發(fā)者可以用一個(gè) API 調(diào)用來(lái)處理整個(gè)流程，盡管它仍然比人類對(duì)話慢。實(shí)時(shí) API 通過(guò)直接流式傳輸音頻輸入和輸出來(lái)改進(jìn)這一點(diǎn)，使得會(huì)話體驗(yàn)更加自然。它還可以自動(dòng)處理中斷，就像 ChatGPT 中的高級(jí)語(yǔ)音模式一樣。

實(shí)時(shí) API 本質(zhì)上簡(jiǎn)化了構(gòu)建語(yǔ)音助手和其他會(huì)話 AI 工具的過(guò)程，消除了將多個(gè)模型組合用于轉(zhuǎn)錄、推理和文本到語(yǔ)音轉(zhuǎn)換的需要。

例如，一個(gè)名為 Speak 的語(yǔ)言學(xué)習(xí)平臺(tái)，使用實(shí)時(shí) API 來(lái)驅(qū)動(dòng)其角色扮演功能，鼓勵(lì)用戶練習(xí)用新語(yǔ)言進(jìn)行對(duì)話。

實(shí)時(shí) API 使用文本和音頻 token 價(jià)格也已出爐。

文本輸入 token 的價(jià)格是每100萬(wàn)個(gè)5美元，輸出 token 每100萬(wàn)個(gè)20美元。

音頻輸入的價(jià)格是每100萬(wàn)個(gè)100美元，輸出是每100萬(wàn)個(gè)200美元。這相當(dāng)于每分鐘音頻輸入約0.06美元，每分鐘音頻輸出約0.24美元。

對(duì)于希望創(chuàng)建基于語(yǔ)音的應(yīng)用程序的開(kāi)發(fā)者來(lái)說(shuō)，這個(gè)價(jià)格還是比較公道的。

視覺(jué)微調(diào):使用圖像和文本微調(diào) GPT-4o

自從 OpenAI 在 GPT-4o 上首次引入微調(diào)功能以來(lái)，已經(jīng)有成千上萬(wàn)的開(kāi)發(fā)者使用僅限文本的數(shù)據(jù)集定制模型，以提高特定任務(wù)的性能。然而，在許多情況下，僅對(duì)文本進(jìn)行模型微調(diào)并不能提供預(yù)期的性能提升。

因此，此次 OpenAI 宣布為 GPT-4o 引入視覺(jué)微調(diào)功能，允許開(kāi)發(fā)者使用圖像和文本來(lái)自定義模型的視覺(jué)理解能力，從而實(shí)現(xiàn)增強(qiáng)的視覺(jué)搜索功能、改進(jìn)自動(dòng)駕駛汽車或智能城市的物體檢測(cè)，以及更準(zhǔn)確的醫(yī)學(xué)圖像分析等應(yīng)用。

例如，東南亞的一家食品配送和共享出行公司 Grab 已經(jīng)利用這項(xiàng)技術(shù)來(lái)改進(jìn)其地圖服務(wù)。僅使用100個(gè)示例的視覺(jué)微調(diào)，Grab 在車道計(jì)數(shù)準(zhǔn)確率上提高了20%，在限速標(biāo)志定位上提升了13%，超過(guò)了基礎(chǔ) GPT-4o 模型。

這一現(xiàn)實(shí)世界的應(yīng)用展示了視覺(jué)微調(diào)的可能性，即使用少量的視覺(jué)訓(xùn)練數(shù)據(jù)，也能顯著增強(qiáng)各行各業(yè)的人工智能服務(wù)。

目前，所有付費(fèi)用戶都可以使用視覺(jué)微調(diào)功能，直到2024年10月31日，OpenAI 每天為開(kāi)發(fā)者提供免費(fèi)的100萬(wàn)個(gè)訓(xùn)練 token，用于通過(guò)圖像微調(diào) GPT-4o 模型。

2024年10月31日之后，微調(diào) GPT-4o 模型的費(fèi)用將是每100萬(wàn)個(gè) token25美元，推理的費(fèi)用是每100萬(wàn)個(gè)輸入 token3.75美元，每100萬(wàn)個(gè)輸出 token15美元。

提示緩存:成本可降低50%

許多開(kāi)發(fā)者在構(gòu)建 AI 應(yīng)用程序時(shí)會(huì)在多個(gè) API 調(diào)用中重復(fù)使用相同的上下文，比如在編輯代碼庫(kù)或與聊天機(jī)器人進(jìn)行長(zhǎng)時(shí)間、多輪次的對(duì)話時(shí)。

今天，OpenAI 引入了提示緩存（Prompt Caching），這是一個(gè)旨在降低開(kāi)發(fā)者成本和延遲的功能。

該系統(tǒng)會(huì)自動(dòng)對(duì)模型最近處理過(guò)的輸入 tokens 應(yīng)用打50% 的折扣，對(duì)于頻繁重復(fù)使用上下文的應(yīng)用來(lái)說(shuō)，這可能會(huì)帶來(lái)成本的大幅降低。

提示緩存將自動(dòng)應(yīng)用于最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及這些模型的微調(diào)版本。

（來(lái)源:OpenAI）OpenAI 在2024DevDay 上公布的定價(jià)表顯示，AI 模型使用成本大幅降低，緩存輸入 tokens 相比未緩存 tokens 在各種 GPT 模型中最多可節(jié)省50% 的費(fèi)用。新的 o1模型展示了其高級(jí)功能的溢價(jià)定價(jià)。

「我們一直很忙，」OpenAI 平臺(tái)產(chǎn)品負(fù)責(zé)人奧利維爾?戈德蒙特（Olivier Godement）在公司舊金山總部舉行的小型新聞發(fā)布會(huì)上說(shuō)，「就在兩年前，GPT-3還處于領(lǐng)先地位。現(xiàn)在，我們已經(jīng)將成本降低了近1000倍。我試圖想出一個(gè)在兩年內(nèi)將成本降低了近1000倍的技術(shù)示例 —— 但我想不到這樣的例子。」

這種顯著的降成本，為初創(chuàng)企業(yè)和企業(yè)探索新應(yīng)用提供了重大機(jī)遇，這些應(yīng)用此前由于成本高昂而無(wú)法觸及。

模型蒸餾:讓小模型擁有尖端模型功能

OpenAI 此次還引入了模型蒸餾（Model Distillation）。這種集成的工作流程允許開(kāi)發(fā)者使用 o1-preview 和 GPT-4o 等高級(jí)模型的輸出，來(lái)提高像 GPT-4o mini 這樣更高效模型的性能。

模型蒸餾涉及使用更強(qiáng)大的模型的輸出來(lái)微調(diào)更小、更經(jīng)濟(jì)的模型，使它們能夠在特定任務(wù)上以更低的成本匹配高級(jí)模型的性能。

直到現(xiàn)在，蒸餾一直是一個(gè)多步驟、容易出錯(cuò)的過(guò)程，需要開(kāi)發(fā)者手動(dòng)協(xié)調(diào)多個(gè)操作，從生成數(shù)據(jù)集到微調(diào)模型和測(cè)量性能提升。由于蒸餾本質(zhì)上是迭代的，開(kāi)發(fā)者需要重復(fù)運(yùn)行每一步，增加了顯著的工作量和復(fù)雜性。

OpenAI 新模型蒸餾套件包括:

存儲(chǔ)完成:開(kāi)發(fā)者現(xiàn)在可以通過(guò)自動(dòng)捕獲和存儲(chǔ)我們的 API 生成的輸入輸出對(duì)，輕松地為蒸餾生成數(shù)據(jù)集，比如 GPT-4o 或 o1-preview。有了存儲(chǔ)完成，你可以輕松地使用生產(chǎn)數(shù)據(jù)構(gòu)建數(shù)據(jù)集來(lái)評(píng)估和微調(diào)模型。開(kāi)發(fā)者可以查看這個(gè)集成指南來(lái)學(xué)習(xí)如何選擇存儲(chǔ)完成。

評(píng)估（beta）:開(kāi)發(fā)者現(xiàn)在可以在我們平臺(tái)上創(chuàng)建和運(yùn)行自定義評(píng)估，以測(cè)量模型在特定任務(wù)上的性能。與手動(dòng)創(chuàng)建評(píng)估腳本和整合不同的日志工具相比，評(píng)估提供了一種集成的方式來(lái)測(cè)量模型性能。你可以使用存儲(chǔ)完成的數(shù)據(jù)或上傳現(xiàn)有數(shù)據(jù)集來(lái)設(shè)置你的評(píng)估。評(píng)估也可以獨(dú)立于微調(diào)使用，以定量評(píng)估模型在用例中的性能。

微調(diào):存儲(chǔ)完成和評(píng)估完全集成到我們現(xiàn)有的微調(diào)服務(wù)中。這意味著開(kāi)發(fā)者可以在他們的微調(diào)作業(yè)中使用存儲(chǔ)完成創(chuàng)建的數(shù)據(jù)集，并使用評(píng)估在微調(diào)模型上運(yùn)行評(píng)估，所有這些都在我們的平臺(tái)上完成。

這種方法可以使小型公司利用與高級(jí)模型相似的能力，而不必承擔(dān)相同的計(jì)算成本。它解決了 AI 行業(yè)中長(zhǎng)期存在的一個(gè)分歧，即尖端、資源密集型系統(tǒng)與更易訪問(wèn)但能力較弱的對(duì)應(yīng)系統(tǒng)之間的分歧。

比如一家小型醫(yī)療技術(shù)初創(chuàng)公司，該公司正在為農(nóng)村診所開(kāi)發(fā)一個(gè) AI 驅(qū)動(dòng)的診斷工具。使用模型蒸餾，該公司可以訓(xùn)練一個(gè)緊湊的模型，該模型在標(biāo)準(zhǔn)筆記本電腦或平板電腦上運(yùn)行時(shí)，能夠捕捉到更大模型的大部分診斷能力。這可能會(huì)將復(fù)雜的 AI 能力帶到資源受限的環(huán)境中，有可能改善服務(wù)不足地區(qū)的醫(yī)療保健結(jié)果。

總體來(lái)說(shuō)，今年 OpenAI 的開(kāi)發(fā)者大會(huì)稍顯低調(diào)，甚至可以說(shuō)是乏善可陳。

要知道，2023年 DevDay 開(kāi)發(fā)者大會(huì)上，OpenAI 推出了 GPT Store 和自定義 GPT 創(chuàng)建工具，不少網(wǎng)友將其稱為「iPhone 時(shí)刻」。

這似乎也意味著，OpenAI 正進(jìn)行戰(zhàn)略轉(zhuǎn)變，優(yōu)先考慮生態(tài)系統(tǒng)的發(fā)展，而不是僅發(fā)布吸引人眼球的重磅產(chǎn)品。

參考鏈接:

https://venturebeat.com/ai/openai-devday-2024-4-major-updates-that-will-make-ai-more-accessible-and-affordable/

https://x.com/sama/status/1841191074003341798

以上就是關(guān)于【乏善可陳的第二屆OpenAI開(kāi)發(fā)者大會(huì)，果然沒(méi)有掀起太大波瀾】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！