相信很多大家對(duì)開源超閉源！通義千問Qwen2發(fā)布即爆火，網(wǎng)友：GPT-4o危還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

開源大模型全球格局，一夜再變。

這不，全新開源大模型亮相，性能全面超越開源標(biāo)桿Llama3。王座易主了。不是“媲美”、不是“追上”，是全面超越。發(fā)布兩小時(shí)，直接沖上HggingFace開源大模型榜單第一。

這就是最新一代開源大模型Qwen2，來自通義千問，來自阿里巴巴。

在十幾項(xiàng)國際權(quán)威測評(píng)中，Qwen2-72B得分均勝過Llama3-70B，尤其在HumanEval、MATH等測試代碼和數(shù)學(xué)能力的基準(zhǔn)中表現(xiàn)突出。

不僅如此，作為國產(chǎn)大模型，Qwen2-72B也“畢其功于一役”，超過了國內(nèi)一眾閉源大模型:

Qwen2-72B相比于自家前代模型Qwen1.5-110B實(shí)現(xiàn)了整體性能的代際提升，而在上海AI Lab推出的OpenCompass大模型測評(píng)榜單上，Qwen1.5-110B已經(jīng)超過了文心4、Moonshot-v1-8K等一眾國內(nèi)閉源模型。隨著Qwen2-72B的問世，這一領(lǐng)先優(yōu)勢還在擴(kuò)大。

有網(wǎng)友便感慨說:這還只是剛開始。開源模型很可能在未來幾個(gè)月，就能擊敗GPT-4o為代表的閉源模型。

Qwen2的發(fā)布，可以說是一石激起千層浪。

上線僅1天，下載量已經(jīng)超過3萬次。

網(wǎng)友們還發(fā)現(xiàn)，除了72B和指令調(diào)優(yōu)版本，這次同步開源的Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B，開源許可都換成了Apache2.0——

就是說可以更加自由地商用。這是Llama3系列都沒做到的。

在AI大模型領(lǐng)域，時(shí)間和速度都不同了。

因?yàn)榫嚯x阿里推出Qwen1.5-110B模型刷新SOTA，全球開源大模型形成雙雄格局，才剛過去1個(gè)月時(shí)間。

而現(xiàn)在，Qwen2獨(dú)領(lǐng)風(fēng)騷，全球開源第一，國產(chǎn)大模型第一——連不開源的大模型都超越了。

Qwen2挑戰(zhàn)高考數(shù)學(xué)真題

還是先來整體梳理一下Qwen2的基本情況。

根據(jù)官方技術(shù)博客介紹，Qwen2的特點(diǎn)和相比Qwen1.5的主要升級(jí)包括:

發(fā)布5個(gè)尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。其中Qwen2-57B-A14B是一個(gè)MoE模型。

在中文英語的基礎(chǔ)上，對(duì)27種語言進(jìn)行了增強(qiáng)。有阿拉伯語開發(fā)者表示，Qwen已經(jīng)成為4億阿拉伯語用戶喜歡的大模型，穩(wěn)居阿拉伯語開源模型榜單第一。

在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等國際權(quán)威測評(píng)中，Qwen2-72B斬獲十幾項(xiàng)世界第一，超過Llama3。

代碼和數(shù)學(xué)能力顯著提升。

增大了上下文長度支持，最長實(shí)現(xiàn)128K tokens上下文長度支持（Qwen2-7B-Instruct和Qwen2-72B-Instruct）。

紙面數(shù)據(jù)上，Qwen2在開源大模型中已經(jīng)達(dá)成全球最強(qiáng)，那么實(shí)際表現(xiàn)又會(huì)如何?

我們用新鮮出爐的高考數(shù)學(xué)真題上手實(shí)測了一波。

先來個(gè)簡單題:

左邊是Qwen2-72B-Instruct，右邊是Llama-3-70B-Instruct。除了Llama3原版的老問題不咋支持中文外，兩邊的答案都是正確的。

那么就稍微上點(diǎn)難度:

Qwen2-72B-Instruct依然沒有被難住，一通計(jì)算后給出正確答案:交點(diǎn)個(gè)數(shù)為6個(gè)。

而Llama-3-70B-Instruct則計(jì)算錯(cuò)誤，扣5分。

Qwen2在數(shù)學(xué)能力方面，已經(jīng)到了高考考場接受真題檢驗(yàn)的水平。

通義千問此番升級(jí)，官方和評(píng)測數(shù)據(jù)還突出了代碼能力的提升，我們也有LeetCode中等難度真題淺測了一下:

Qwen2-72B-Instruct給出的python實(shí)現(xiàn)如下:

defsearchRange（nums，target）:defbinary_search_left(nums，target):

left，right=0，len（nums）whileleft<right:

mid=（left+right）//2ifnums[mid]<target:

left=mid+1else:

right=midreturnleft

defbinary_search_right（nums，target）:

left，right=0，len（nums）whileleft<right:

mid=（left+right）//2ifnums[mid]<=target:

left=mid+1else:

right=midreturnleft

left，right=binary_search_left（nums，target），binary_search_right(nums，target)return[left，right-1]ifleft<=right-1andnums[left]==targetandnums[right-1]==targetelse[-1，-1]

一開始沒有定義Solution類導(dǎo)致報(bào)錯(cuò)，不過直接把報(bào)錯(cuò)信息反饋給Qwen2，它自己就能完成debug:

順利通過測試。

全尺寸模型標(biāo)配GQA

這波實(shí)測，你給通義千問打幾分?

值得關(guān)注的是，這次阿里官方的技術(shù)博客中，還透露出了不少Q(mào)wen變強(qiáng)的技術(shù)細(xì)節(jié)。

首先，是GQA（Grouped Query Attention）的全面加持。

GQA，即分組查詢注意力機(jī)制，主要思想將輸入序列劃分成若干個(gè)組，在組內(nèi)和組間分別應(yīng)用注意力機(jī)制，以更好地捕捉序列內(nèi)的局部和全局依賴關(guān)系。

GQA能夠有效降低計(jì)算復(fù)雜度，同時(shí)很容易實(shí)現(xiàn)并行化從而提高計(jì)算效率。

在Qwen1.5系列中，只有32B和110B模型使用了GQA。而Qwen2則全系列用上了這一注意力機(jī)制。也就是說，無論是高端玩家還是愛好者入門，這回都能在Qwen2各個(gè)尺寸模型中體驗(yàn)到GQA帶來的推理加速和顯存占用降低的優(yōu)勢。

另外，針對(duì)小模型（0.5B和1.5B），由于embedding參數(shù)量較大，研發(fā)團(tuán)隊(duì)使用了tie embedding的方法讓輸入和輸出層共享參數(shù)，以增加非embedding參數(shù)的占比。

其次，在上下文長度方面，Qwen2系列中所有Instruct模型，均在32K上下文長度上進(jìn)行訓(xùn)練，并通過YARN或Dual Chunk Attention等技術(shù)擴(kuò)展至更長的上下文長度。

其中，Qwen2-7B-Instruct和Qwen2-72B-Instruct支持128K上下文。72B版本的最長上下文長度可以達(dá)到131072個(gè)token。

Qwen2-57B-A14B-Instruct能處理64K上下文，其余兩個(gè)較小的模型（0.5B和1.5B）則支持32K的上下文長度。

大海撈針的實(shí)驗(yàn)結(jié)果如下?？梢钥吹剑琎wen2-72B-Instruct在處理128K上下文長度內(nèi)的信息抽取任務(wù)時(shí)，表現(xiàn)稱得上完美。

除此之外，在數(shù)據(jù)方面，Qwen2繼續(xù)探索Scaling Law的路線。

比如數(shù)學(xué)能力的提升，就是研究團(tuán)隊(duì)給模型喂了大規(guī)模高質(zhì)量數(shù)學(xué)數(shù)據(jù)的結(jié)果。

在多語言能力方面，研究團(tuán)隊(duì)也針對(duì)性地在訓(xùn)練數(shù)據(jù)中增加了27種語言相關(guān)的高質(zhì)量數(shù)據(jù)。

博客還透露，接下來，通義千問研究團(tuán)隊(duì)還將繼續(xù)探索模型及數(shù)據(jù)的Scaling Law，還會(huì)把Qwen2擴(kuò)展為多模態(tài)模型。

重新認(rèn)識(shí)中國開源大模型

更強(qiáng)的性能、更開放的態(tài)度，Qwen2剛一發(fā)布，堪稱好評(píng)如潮。

而在此前，生態(tài)方面，Qwen系列下載量已突破1600萬次。海內(nèi)外開源社區(qū)也已經(jīng)出現(xiàn)了超過1500款基于Qwen二次開發(fā)的模型和應(yīng)用。

已經(jīng)有開發(fā)者感受到了:在開源路線上，現(xiàn)在中國大模型正在成為引領(lǐng)者。

Qwen2的最新成績單，至少印證了兩個(gè)事實(shí)。

其一，中國開源大模型，從性能到生態(tài)，都已具備跟美國最強(qiáng)開源大模型Llama3全面對(duì)壘的硬實(shí)力。

其二，如圖靈獎(jiǎng)得主Yann LeCun所預(yù)言，開源大模型已經(jīng)走在了超越閉源模型的道路上，拐點(diǎn)已現(xiàn)。

事實(shí)上，這也是包括阿里在內(nèi)，開源大模型玩家的明牌——

大模型的持續(xù)優(yōu)化和進(jìn)步，一方面依賴于強(qiáng)大的AI研發(fā)能力、領(lǐng)先的基礎(chǔ)設(shè)施能力，也就是人工智能和云的強(qiáng)強(qiáng)聯(lián)合。

以阿里為例，作為中國云廠商份額第一，依托于強(qiáng)大的云計(jì)算能力，能為AI訓(xùn)練、AI應(yīng)用提供穩(wěn)定高效的AI基礎(chǔ)服務(wù)體系，同時(shí)在人工智能方面有長期的積累。

另一方面也需要來自外界的不斷反饋和技術(shù)推動(dòng)。

開源社區(qū)的技術(shù)反哺，從Qwen2上線第一天，GitHub上的Issues數(shù)量就可見一斑。

在技術(shù)領(lǐng)域，開源就是我為人人、人人為我，是全球科技互聯(lián)網(wǎng)繁榮發(fā)展至今最核心的精神要素。

不論任何一個(gè)時(shí)代，不管哪種新興技術(shù)浪潮，沒有程序員、工程師不以開源感到驕傲，甚至快樂。

阿里高級(jí)算法專家、開源負(fù)責(zé)人林俊旸，曾對(duì)外分享過通義千問進(jìn)展飛快的“秘籍”:

快樂。

因?yàn)槊嫦蛉蜷_發(fā)者服務(wù)，面向其他開發(fā)者交流，給別人帶去實(shí)實(shí)在在的幫助，這樣通義千問大模型的打造者們快樂又興奮，關(guān)注著每一個(gè)開發(fā)者的反饋，激動(dòng)于全新意想不到的落地應(yīng)用。

這也是科技互聯(lián)網(wǎng)世界曾經(jīng)快速發(fā)展的核心原因，黃金時(shí)代，開源才是約定俗成的，不開源反而要遭受質(zhì)疑。

然而時(shí)移世易，在大模型時(shí)代，由于研發(fā)成本、商業(yè)模式和競爭多方面的原因，閉源的光芒一度掩蓋了開源，Close成了寵兒。

所以Meta的Llama也好，阿里通義千問的Qwen也好，復(fù)興傳統(tǒng)，重新證明科技互聯(lián)網(wǎng)領(lǐng)域不變的精神和內(nèi)核。

這種精神和內(nèi)核，在通義千問這里，也擁有不言自明的可持續(xù)飛輪。

阿里巴巴董事長蔡崇信已經(jīng)對(duì)外分享了思考，在全球云計(jì)算和AI的第一梯隊(duì)中，有領(lǐng)先的云業(yè)務(wù)又有自研大模型能力的，僅谷歌和阿里兩家。其他有云服務(wù)的微軟、亞馬遜，都是合作接入大模型;其他自研大模型的OpenAI、Meta，沒有領(lǐng)先的云服務(wù)。

全球唯二，中國唯一。

而在開源生態(tài)的推動(dòng)中，技術(shù)迭代會(huì)更快，云計(jì)算的服務(wù)延伸會(huì)越廣，技術(shù)模型和商業(yè)模式，飛輪閉環(huán)，循環(huán)迭代，在固有基礎(chǔ)設(shè)施的基礎(chǔ)上壘起新的基礎(chǔ)設(shè)施，形成穩(wěn)固持續(xù)的競爭力。

但開源大模型，最大的價(jià)值和意義依然回歸開發(fā)者，只有足夠強(qiáng)大的開源大模型，AI for All、AI無處不在才不會(huì)成為紙上空談。

所以通義千問Qwen2，此時(shí)此刻，登頂?shù)氖侨蜷_源性能最高峰，引領(lǐng)的是開源對(duì)閉源的超越階段，象征著中國大模型在新AI時(shí)代中的競爭力。

但更值得期待的價(jià)值是通過開源大模型，讓天下沒有難開發(fā)的AI應(yīng)用、讓天下沒有難落地的AI方案。完整兌現(xiàn)AI價(jià)值，讓新一輪AI復(fù)興，持續(xù)繁榮，真正改變經(jīng)濟(jì)和社會(huì)。

參考鏈接:

https://qwenlm.github.io/zh/blog/qwen2/

以上就是關(guān)于【開源超閉源！通義千問Qwen2發(fā)布即爆火，網(wǎng)友：GPT-4o?！康南嚓P(guān)內(nèi)容，希望對(duì)大家有幫助！