相信很多大家對IBM 推出高效 LLM 基準(zhǔn)測試方法，計算成本降低99%還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

站長之家（ChinaZ.com）6月4日 消息:IBM 研究發(fā)布了一項突破性的 LLM（大型語言模型）基準(zhǔn)測試方法，承諾將計算成本降低高達(dá)99%。傳統(tǒng)的基準(zhǔn)測試，如斯坦福的 HELM，需要耗費超過一天的時間，并且成本高達(dá)1萬美元，這對開發(fā)人員和研究人員來說是一個昂貴的過程。隨著 LLMs 能力的增強(qiáng)，基準(zhǔn)測試的過程變得更加嚴(yán)格，需要大量的計算能力和時間。

IBM 的創(chuàng)新方法源自以色列的 IBM 研究實驗室，由 Leshem Choshen 領(lǐng)導(dǎo)的團(tuán)隊開發(fā)了一種新方法，大幅降低基準(zhǔn)測試的成本。他們并非運行全尺寸基準(zhǔn)測試，而是設(shè)計了一個使用原始基準(zhǔn)測試規(guī)模的1% 的 “微型” 版本。令人驚訝的是，這些微型基準(zhǔn)測試已被證明幾乎同樣有效，可以在98% 的準(zhǔn)確度內(nèi)估計出全尺寸測試的性能。

該團(tuán)隊利用人工智能從完整基準(zhǔn)測試中選擇最具代表性的問題，包含在微小版本中。這種選擇性方法確保較小的基準(zhǔn)測試仍然高度預(yù)測整體模型性能，消除了不貢獻(xiàn)有意義評估的冗余或無關(guān)緊要的問題。

IBM 的高效方法引起了 AI 社區(qū)的關(guān)注，尤其是在2023年 NeurIPS 的高效 LLM 比賽中。面臨使用有限計算資源評估大量模型的挑戰(zhàn)，組織者與 IBM 合作實施了一個名為 Flash HELM 的簡化基準(zhǔn)測試。這種高效方法使他們能夠迅速淘汰表現(xiàn)較差的模型，并將計算資源集中在最有前途的候選模型上，從而進(jìn)行及時和具有成本效益的評估。

Flash HELM 的成功展示了 IBM 高效基準(zhǔn)測試方法的潛力，促使其在 IBM 的 watsonx 平臺上評估所有 LLMs。成本節(jié)約可觀;例如，在像 HELM 這樣的基準(zhǔn)測試中評估 Granite13B 模型可能耗費高達(dá)1000個 GPU 小時，但使用高效基準(zhǔn)測試方法顯著降低了這些成本。

高效基準(zhǔn)測試不僅降低成本，還通過允許更快速地迭代和測試新算法來加速創(chuàng)新。IBM 研究人員，包括 Youssef Mroueh 在內(nèi)，指出這些方法使得更快速、更經(jīng)濟(jì)的評估成為可能，促進(jìn)了更加靈活的發(fā)展過程。

這一概念已經(jīng)超出了 IBM 的范疇。斯坦福實施了 Efficient-HELM，這是其傳統(tǒng)基準(zhǔn)測試的簡化版本，為開發(fā)人員提供了選擇示例數(shù)量和希望分配的計算資源量的靈活性。這一做法強(qiáng)調(diào)了一個新興共識，即更大的基準(zhǔn)測試不一定意味著更好的評估。

“大型基準(zhǔn)測試不一定通過變得更大而增加價值，”Choshen 說?！斑@是我們的見解，我們希望它能夠引領(lǐng)更快速、更經(jīng)濟(jì)的 LLM 性能評估方法?！?/p>

IBM 的高效基準(zhǔn)測試方法代表了人工智能領(lǐng)域的重大進(jìn)步，為評估先進(jìn)語言模型所需的不斷增加的成本和資源需求提供了實際解決方案。

以上就是關(guān)于【IBM 推出高效 LLM 基準(zhǔn)測試方法，計算成本降低99%】的相關(guān)內(nèi)容，希望對大家有幫助！