相信很多大家對OpenAI語音轉(zhuǎn)錄工具被曝嚴(yán)重幻覺：轉(zhuǎn)錄100小時，一半兒在瞎扯還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

OpenAI的AI語音轉(zhuǎn)寫工具，那個號稱近乎“人類水平”的Whisper，被曝幻覺嚴(yán)重——

100多小時轉(zhuǎn)錄，被工程師發(fā)現(xiàn)約一半都在瞎扯。

更嚴(yán)重的是，美聯(lián)社還爆料有醫(yī)療機構(gòu)利用Whisper來轉(zhuǎn)錄醫(yī)生與患者的會診，瞬間引發(fā)大量網(wǎng)友關(guān)注。

據(jù)悉，明尼蘇達州的曼卡托診所和洛杉磯兒童醫(yī)院在內(nèi)的超過30000名臨床醫(yī)生和40個衛(wèi)生系統(tǒng)已開始使用法國AI診療公司Nabla基于Whisper打造的工具。

而且他們已經(jīng)轉(zhuǎn)錄了大概700萬次醫(yī)療就診。

網(wǎng)友紛紛表示這就有點嚇人了。

值得一提的是，OpenAI之前早就警告過，該工具不應(yīng)在“高風(fēng)險領(lǐng)域”中使用。

針對最新爆料，有OpenAI發(fā)言人回應(yīng)，OpenAI會在模型更新中加入相應(yīng)的反饋機制。

OpenAI被督促趕緊解決此問題

Whisper是OpenAI老早前推出的開源自動語音識別（ASR）系統(tǒng)，于2022年9月發(fā)布。

它采用簡單的端到端方式，基于編碼器-解碼器Transformer架構(gòu)。輸入音頻將被分成30秒的塊，轉(zhuǎn)化為梅爾倒譜（音頻特征提取方式之一，log-Mel spectrogram），然后傳入編碼器。

經(jīng)過68萬小時的多語言和多任務(wù)監(jiān)督網(wǎng)絡(luò)數(shù)據(jù)的訓(xùn)練，Whisper可以進行多語言轉(zhuǎn)錄。

Whisper推出后得到廣泛應(yīng)用，如今GitHub已攬獲70.2k標(biāo)星:

據(jù)悉，它還被集成在ChatGPT的一些版本中，同時也是Oracle和微軟云計算平臺的一項內(nèi)置服務(wù)，而這些平臺為全球數(shù)千家公司提供服務(wù)。

此外，僅在上個月，HuggingFace上的一個最新版本W(wǎng)hisper就被下載了超420萬次。HuggingFace社區(qū)的機器學(xué)習(xí)工程師Sanchit Gandhi表示，Whisper是最受歡迎的開源語音識別模型。

而現(xiàn)在，據(jù)美聯(lián)社報道，很多研究人員和工程師反映，在工作中他們經(jīng)常遇到Whisper產(chǎn)生的幻覺。

例如，密歇根大學(xué)的一位研究員在嘗試改進模型之前，發(fā)現(xiàn)其檢查的每10份音頻轉(zhuǎn)錄中有8份出現(xiàn)了幻覺。

一位機器學(xué)習(xí)工程師指出，在他分析的超過100小時Whisper轉(zhuǎn)錄中，大約一半出現(xiàn)了幻覺。

還有一位開發(fā)者表示，在他使用Whisper創(chuàng)建的26，000份轉(zhuǎn)錄中，幾乎每一份都發(fā)現(xiàn)了幻覺。

……

這種問題甚至存在于錄制良好的短音頻樣本中。

在最近的一項研究中，計算機科學(xué)家們在審查的超過13000個清晰音頻片段中發(fā)現(xiàn)了187個幻覺。

工程師和研究人員表示，他們從未見過其它任何AI驅(qū)動的轉(zhuǎn)錄工具像Whisper這樣頻繁地產(chǎn)生幻覺。

Whisper幻覺嚴(yán)重的原因目前尚未可知，但有軟件開發(fā)者表示，這些虛構(gòu)內(nèi)容往往發(fā)生在停頓、有背景聲音或音樂播放時。

之前，OpenAI就有提醒:

然鵝，美聯(lián)社表示，這一警告并未阻止一些醫(yī)院或醫(yī)療中心使用Whisper等語音轉(zhuǎn)文字模型——

包括明尼蘇達州的曼卡托診所和洛杉磯兒童醫(yī)院在內(nèi)，已經(jīng)有超30000名臨床醫(yī)生和40個醫(yī)療系統(tǒng)已經(jīng)開始使用由Nabla公司基于Whisper開發(fā)的工具。

Nabla CTO Martin Raison稱，該工具針對醫(yī)療語言對模型進行了微調(diào)，用于轉(zhuǎn)錄和總結(jié)患者的交流。

目前，該工具已被用于轉(zhuǎn)錄約700萬次醫(yī)療就診。

在得知Whisper可能會產(chǎn)生幻覺后，Nabla表示正在解決此問題，不過:

此外，據(jù)了解，Whisper還被用來為聾人和聽力障礙者創(chuàng)建字幕。

Whisper幻覺嚴(yán)重問題被發(fā)現(xiàn)后，有人敦促OpenAI趕緊解決此問題。

今年2月離開OpenAI的研究員William Saunders也開麥了:

有OpenAI發(fā)言人回應(yīng)稱，公司持續(xù)研究如何減少幻覺現(xiàn)象，并感謝研究人員的發(fā)現(xiàn)，同時補充道OpenAI會在模型更新中融入相應(yīng)反饋機制。

參考鏈接:

[1]https://apnews.com/article/ai-artificial-intelligence-health-business-90020cdf5fa16c79ca2e5b6c4c9bbb14

[2]https://x.com/AP/status/1850150400424345858

以上就是關(guān)于【OpenAI語音轉(zhuǎn)錄工具被曝嚴(yán)重幻覺：轉(zhuǎn)錄100小時，一半兒在瞎扯】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！