相信很多大家對(duì)蘋(píng)果多模態(tài)模型大升級(jí)！文本密集、多圖理解，全能小鋼炮還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

【新智元導(dǎo)讀】近日，一向畫(huà)風(fēng)精致的「蘋(píng)果牌AI」，也推出了升級(jí)版的多模態(tài)大模型，從1B到30B參數(shù)，涵蓋密集和專家混合模型，密集文本、多圖理解，多項(xiàng)能力大提升。

多模態(tài)大語(yǔ)言模型（MLLM）如今已是大勢(shì)所趨。

過(guò)去的一年中，閉源陣營(yíng)的GPT-4o、GPT-4V、Gemini-1.5和Claude-3.5等模型引領(lǐng)了時(shí)代。

而開(kāi)源MLLM也同樣在蓬勃發(fā)展，LLaVA系列，InternVL2，Cambrian-1和Qwen2-VL的強(qiáng)勁表現(xiàn)，讓作為老大哥的GPT-4o時(shí)常躺槍。

開(kāi)源與閉源之間差距縮小，兼具單圖、多圖、視頻理解能力的MLLM也成為大家研究的重點(diǎn)。

說(shuō)到潮流，怎么能沒(méi)有蘋(píng)果的一席之地?

近日，一向畫(huà)風(fēng)精致的「蘋(píng)果牌AI」，也推出了升級(jí)版的多模態(tài)大模型——MM1.5。

論文地址:https://arxiv.org/pdf/2409.20566

MM1.5以前代MM1模型為基礎(chǔ)，采用數(shù)據(jù)為中心的方法進(jìn)行訓(xùn)練，顯著增強(qiáng)了文本密集型圖像理解、視覺(jué)指代和定位、以及多圖像推理的能力。

MM1.5系列的參數(shù)量從1B到30B，涵蓋密集和專家混合（MoE）模型，即使較小的尺寸也有優(yōu)異的表現(xiàn)。

具體來(lái)說(shuō)，MM1.5提升了OCR（光學(xué)字符識(shí)別）能力，支持任意圖像長(zhǎng)寬比和高達(dá)4M像素的分辨率，并且擅長(zhǎng)理解富含文本的圖像。

在強(qiáng)大而細(xì)粒度的圖像理解能力加持下，MM1.5能夠超越文本提示來(lái)解釋視覺(jué)內(nèi)容，例如點(diǎn)和邊界框。

研究人員還通過(guò)對(duì)額外的高質(zhì)量多圖像數(shù)據(jù)進(jìn)行監(jiān)督微調(diào)（SFT），進(jìn)一步提高了模型的上下文學(xué)習(xí)和開(kāi)箱即用的多圖像推理能力。

本文作者重點(diǎn)關(guān)注兩種小規(guī)模的MLLM，包括1B和3B的密集模型與MoE模型，其中小尺寸的密集模型可以輕松部署在移動(dòng)設(shè)備上。

「小模型」也符合蘋(píng)果一貫的作風(fēng)，在自家的各種設(shè)備上，能夠更好地與用戶場(chǎng)景（如隱私和安全性）融為一體。

之前微軟和蘋(píng)果的很多實(shí)踐也證明了，利用高質(zhì)量數(shù)據(jù)和先進(jìn)的訓(xùn)練策略，小個(gè)子的模型在各種下游任務(wù)中同樣表現(xiàn)強(qiáng)勁，足以超越大尺寸的模型。

當(dāng)然了，光是小還不夠，通用性更為重要。

MM1.5系列模型在30B參數(shù)的范圍之內(nèi)，都能很好地符合縮放定律，模型越大，性能越強(qiáng)。

另一方面，研究人員以MM1.5為基礎(chǔ)，微調(diào)出服務(wù)于視頻理解的MM1.5-Video，以及為移動(dòng)UI（比如iPhone屏幕）理解定制的MM1.5-UI。

模型構(gòu)建

MM1.5保留了與MM1相同的模型架構(gòu)，并將改進(jìn)的努力集中在以下幾個(gè)關(guān)鍵方面:

持續(xù)的預(yù)訓(xùn)練

作者在SFT階段之前引入了一個(gè)額外的高分辨率連續(xù)預(yù)訓(xùn)練階段，這對(duì)于提高富含文本的圖像理解性能至關(guān)重要。

作者探索了用于持續(xù)預(yù)訓(xùn)練的富含文本的OCR數(shù)據(jù)，重點(diǎn)關(guān)注圖像中文本的詳細(xì)轉(zhuǎn)錄，還嘗試了高質(zhì)量的合成圖像字幕。

SFT

混合中的每一類SFT數(shù)據(jù)如何影響最終模型的性能?特別是支持每種功能的數(shù)據(jù)對(duì)其他功能有何影響，作者對(duì)此進(jìn)行了廣泛的消融實(shí)驗(yàn)。

動(dòng)態(tài)高分辨率

對(duì)于高分辨率圖像編碼，作者遵循流行的任意分辨率方法，將圖像動(dòng)態(tài)劃分為子圖像，并進(jìn)行徹底的消融以細(xì)化設(shè)計(jì)中的關(guān)鍵細(xì)節(jié)。

為了保留前代模型的零樣本和少樣本學(xué)習(xí)能力，并更有效地將它們轉(zhuǎn)移到SFT階段，在開(kāi)發(fā)MM1.5時(shí)，研究人員通過(guò)探索純文本數(shù)據(jù)的影響，并優(yōu)化不同預(yù)訓(xùn)練數(shù)據(jù)類型的比例，來(lái)進(jìn)一步擴(kuò)展MM1的預(yù)訓(xùn)練。

這種方法提高了知識(shí)密集型基準(zhǔn)測(cè)試的性能，并增強(qiáng)了模型整體的多模態(tài)理解能力。

如上圖所示，模型訓(xùn)練包含三個(gè)階段:

在每個(gè)階段，都需要確定最佳數(shù)據(jù)組合并評(píng)估每種數(shù)據(jù)類型的影響。

在消融研究中遵循以下默認(rèn)設(shè)置:

靜態(tài)圖像分割通過(guò)4個(gè)子圖像分割（加上一個(gè)概覽圖像）來(lái)實(shí)現(xiàn)，并且每個(gè)子圖像通過(guò)位置嵌入插值調(diào)整為672×672分辨率。為了加快實(shí)驗(yàn)迭代速度，在消融過(guò)程中沒(méi)有使用動(dòng)態(tài)圖像分割。

對(duì)于多圖像數(shù)據(jù)的編碼，僅當(dāng)當(dāng)前訓(xùn)練樣本包含少于三幅圖像時(shí)才啟用圖像分割，以避免序列長(zhǎng)度過(guò)長(zhǎng)。

如下圖所示，模型可以以引用坐標(biāo)和邊界框的形式，解釋對(duì)輸入圖像中的點(diǎn)和區(qū)域的引用。

MM1.5采用與前代相同的CLIP圖像編碼器和LLM主干網(wǎng)絡(luò)，并以C-Abstractor作為視覺(jué)語(yǔ)言連接器。

對(duì)于連續(xù)預(yù)訓(xùn)練和SFT，作者將批量大小設(shè)置為256。使用AdaFactor優(yōu)化器，峰值學(xué)習(xí)率為1e-5，余弦衰減為0。對(duì)于連續(xù)預(yù)訓(xùn)練，最多訓(xùn)練30k步。在SFT期間，所有模型都針對(duì)一個(gè)epoch進(jìn)行優(yōu)化。

模型使用MM1的預(yù)訓(xùn)練檢查點(diǎn)進(jìn)行初始化。這個(gè)階段對(duì)45M高分辨率OCR數(shù)據(jù)（包括PDFA、IDL、Renderedtext和DocStruct-4M）進(jìn)行持續(xù)的預(yù)訓(xùn)練，每個(gè)訓(xùn)練批次從這四個(gè)數(shù)據(jù)集中均勻采樣數(shù)據(jù)。

與SFT階段類似，作者使用靜態(tài)圖像分割，將每個(gè)圖像分為五個(gè)子圖像，每個(gè)子圖像的大小調(diào)整為672×672分辨率。作者發(fā)現(xiàn)這種高分辨率設(shè)置對(duì)于持續(xù)預(yù)訓(xùn)練至關(guān)重要。

最后，將數(shù)據(jù)集分組有助于數(shù)據(jù)平衡和簡(jiǎn)化分析。在較高層面上，作者根據(jù)每個(gè)示例中呈現(xiàn)的圖像數(shù)量將數(shù)據(jù)集分為單圖像、多圖像和純文本類別，詳細(xì)的分類情況如下圖所示:

研究人員根據(jù)主要衡量的功能將基準(zhǔn)分為幾類，并提出類別平均分?jǐn)?shù)（每個(gè)子類別的所有基準(zhǔn)數(shù)字的平均分?jǐn)?shù)），以代表該功能的平均性能。

然后是對(duì)于SFT數(shù)據(jù)混合的全面消融。作者首先評(píng)估一般數(shù)據(jù)類別，然后逐步評(píng)估單獨(dú)添加其他子類別的影響。

在訓(xùn)練過(guò)程中，作者混合來(lái)自不同子類別的數(shù)據(jù)，通過(guò)從混合物中隨機(jī)采樣數(shù)據(jù)來(lái)構(gòu)建每個(gè)訓(xùn)練批次，并使用類別平均得分來(lái)比較使用每種功能的模型，結(jié)果如下圖所示。

作者觀察到，添加富含文本的數(shù)據(jù)可以顯著提高文本密集型和知識(shí)基準(zhǔn)的性能，數(shù)學(xué)數(shù)據(jù)也遵循類似的趨勢(shì)。

以一般數(shù)據(jù)類別為參考，對(duì)目標(biāo)類別數(shù)據(jù)進(jìn)行上采樣/下采樣，使得在每個(gè)訓(xùn)練批次中，一般數(shù)據(jù)類別和目標(biāo)類別的數(shù)據(jù)比例為1:α。

為了衡量α的平均影響，作者提出MMBase分?jǐn)?shù)用于模型比較。如下圖所示，作者針對(duì)不同的數(shù)據(jù)類別改變?chǔ)?。?duì)于科學(xué)、數(shù)學(xué)和代碼類別，作者發(fā)現(xiàn)α的最佳比率分別為0.1、0.5和0.2。

下一項(xiàng)需要探究的是單圖像、多圖像和純文本數(shù)據(jù)的混合比例。

枚舉三個(gè)比率之間的所有組合將產(chǎn)生大量的計(jì)算成本。因此，作者分別對(duì)純文本數(shù)據(jù)和多圖像數(shù)據(jù)進(jìn)行消融，以評(píng)估模型對(duì)比例的敏感程度。

對(duì)于純文本數(shù)據(jù)，作者測(cè)試了0到0.2的范圍，下圖結(jié)果表明，不同的w值對(duì)模型的基礎(chǔ)影響較小。

通過(guò)圖7（右）還可以觀察到，增加多圖像數(shù)據(jù)的采樣率會(huì)導(dǎo)致基本功能的性能下降(MMBase分?jǐn)?shù)減少)，而多圖像平均分?jǐn)?shù)會(huì)增加。所以作者選擇w=0.1為單圖像數(shù)據(jù)分配更高的權(quán)重，以提高潛在的性能。

基于上述研究，作者提出了三種混合:基礎(chǔ)混合、單圖像混合、全混合。

下圖前三列表明，包含參考數(shù)據(jù)和多圖像數(shù)據(jù)會(huì)稍微降低密集文本、知識(shí)和一般基準(zhǔn)的平均性能。

最后一欄表明，作者優(yōu)化的組合實(shí)現(xiàn)了最佳的整體性能，平衡了基準(zhǔn)測(cè)試中的所有功能。

最后，放幾張跑分對(duì)比，包括Text-rich、In Context Learning和Multi-image:

以上就是關(guān)于【蘋(píng)果多模態(tài)模型大升級(jí)！文本密集、多圖理解，全能小鋼炮】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！