相信很多大家對(duì)Intel首批通過AISBench大模型性能測試！5代至強(qiáng)可達(dá)每秒2493 token還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

9月5日消息，近日，第五代英特爾至強(qiáng)處理器，以優(yōu)秀的表現(xiàn)通過了中國電子技術(shù)標(biāo)準(zhǔn)化研究院組織的人工智能服務(wù)器系統(tǒng)性能測試（AISBench）。

借此，英特爾也成為首批通過AISBench大語言模型（LLM）推理性能測試的企業(yè)。

在AISBench 2.0測試工具的評(píng)估下，第五代英特爾至強(qiáng)處理器在ChatGLM V2-6B（60億參數(shù)）和Llama2-13B（130億參數(shù)）兩個(gè)模型上均展現(xiàn)了卓越的性能，能夠滿足輕量級(jí)大語言模型的實(shí)時(shí)推理要求。

測試結(jié)果顯示，在60億參數(shù)的ChatGLM V2模型通用推理中，當(dāng)輸入輸出序列為256時(shí)，處理器可達(dá)每秒2493 token的性能；當(dāng)輸入輸出序列為2048時(shí)，性能為每秒926 token。

在130億參數(shù)的Llama2模型通用推理中，當(dāng)輸入輸出為256時(shí)，性能為每秒513 token；當(dāng)輸入輸出序列為2048時(shí)，性能為每秒132 token。

AISBench 2.0的測試結(jié)果，驗(yàn)證了英特爾至強(qiáng)在運(yùn)行輕量級(jí)大語言模型時(shí)展現(xiàn)出的優(yōu)異推理性能。

也使得客戶可以通過基于至強(qiáng)的服務(wù)器，構(gòu)建一個(gè)通用AI系統(tǒng)進(jìn)行數(shù)據(jù)預(yù)處理、模型推理和部署，從而獲得兼具AI性能、效率、準(zhǔn)確性和可擴(kuò)展性的組合。

同時(shí)還彰顯了英特爾至強(qiáng)可以為企業(yè)提供開箱即用”的功能，即可以在通用系統(tǒng)上部署一部分AI工作負(fù)載，從而為客戶帶來更佳的總體擁有成本（TCO）優(yōu)勢。

以上就是關(guān)于【Intel首批通過AISBench大模型性能測試！5代至強(qiáng)可達(dá)每秒2493 token】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！