當Ilya Sutskever近揭露聲稱“純靠Scaling Law的年代已經(jīng)結(jié)束”，并斷言“大模型的未來不在于單純的規(guī)劃更大，而是要架構(gòu)變得更聰明”時，整個AI界都意識到了一場范式搬運正在發(fā)生。

由于曩昔幾年，行業(yè)好像沉迷于用更多數(shù)據(jù)、更大參數(shù)、更強算力堆出更強的模型，但這條路正迫臨收益遞減的臨界點。

Ilya和LeCun等頂尖AI大佬不約而同地指出：真實的打破，有必要來自架構(gòu)層面的根本性立異，而非對現(xiàn)有Transformer流水線的修修補補。

就在如此要害節(jié)點，一個來自我國研討團隊的新物種橫空出世：

全球首個可大規(guī)劃落地的開源原生多模態(tài)架構(gòu)（Native VLM），名曰NEO。

要知道，此前干流的多模態(tài)大模型，例如咱們熟悉的GPT-4V、Claude 3.5等，它們的底層邏輯實質(zhì)上其實玩的便是拼接。

什么意思呢？

便是將一個預(yù)練習好的視覺編碼器（比方 ViT）經(jīng)過一個小小的投影層，嫁接到一個強壯的大言語模型上。

這種模塊化的方式雖說是完成了多模態(tài)，但視覺和言語始終是兩條平行線，只是在數(shù)據(jù)層面被粗暴地拉到了一起。

而這項來自商湯科技與南洋理工大學等高校的聯(lián)合研討，要做的便是從根上顛覆這一切。

在NEO這兒，大模型不只能看、會說，而且天生就懂視覺和言語是一體兩面的道理。

更驚人的一組數(shù)據(jù)是，憑借這種原生多模態(tài)架構(gòu)，NEO僅用十分之一的練習數(shù)據(jù)，就在多項要害評測中追平乃至逾越了那些依賴海量數(shù)據(jù)和雜亂模塊堆砌的旗艦級對手！

那么NEO到底是怎樣怎么做到的，咱們繼續(xù)往下看。

為什么非得是原生架構(gòu)？

在深入了解原理之前，咱們還需求了解多模態(tài)當時的現(xiàn)狀。

正如咱們方才提到的，當時干流的模塊化架構(gòu)，實則存在三大難以跨越的技能距離。

首先是功率距離。

模塊化模型的練習流程極端雜亂，一般分為三步：先分別預(yù)練習視覺編碼器和言語模型，再經(jīng)過一個對齊階段讓二者學會溝通，后可能還需求指令微調(diào)。

這個過程不只耗時耗力，本錢高昂，而且每個階段都可能引入新的誤差和不一致性；視覺和言語的常識被割裂在不同的“房間”里，需求不斷“傳紙條”才干勉強協(xié)作。

其次是才能距離。

視覺編碼器在規(guī)劃之初就帶有激烈的歸納偏置。比方，它一般要求輸入圖畫有必要是固定的分辨率（如224x224），或許有必要被強行展平成一維的token序列。

這種處理方式，關(guān)于了解一幅畫的全體構(gòu)圖或許足夠，但在面臨需求捕捉細微紋理、雜亂空間聯(lián)系或恣意長寬比的場景（比方一張長圖、一張工程圖紙）時，就顯得力不從心。

由于模型看到的，只是一個被過度簡化和結(jié)構(gòu)化的骨架。

后是交融距離。

那個銜接視覺和言語的映射，簡直都是停留在簡略的表層，無法觸及深層次的語義對齊。這就導致了模型在處理需求細粒度視覺了解的任務(wù)時常常捉襟見肘。

例如，讓它描繪一張雜亂圖表，它可能會混淆圖例和數(shù)據(jù)；讓它了解一個帶有空間指示的指令，比方“把左面第二個紅蘋果放到右邊籃子里”，它可能會搞錯左右或數(shù)量。

究其根本，是由于在模型內(nèi)部，視覺信息和言語信息從未被放在同一個語義空間里進行真實的、深度交融的推理。

也正因如此，NEO背面研討團隊從第一性原理動身，直接打造一個視覺與言語從誕生之初就血脈相連的一致模型——

這個模型不再有視覺模塊和言語模塊的區(qū)分，只要一個一致的、專為多模態(tài)而生的大腦。

回憶AI發(fā)展史，從RNN到Transformer，每一次真實的騰躍都源于架構(gòu)層面的根本性立異。

而曩昔幾年，行業(yè)陷入了“唯規(guī)劃論”的路徑依賴，直到今日，以Ilya為代表的一批頂尖研討者才集體發(fā)出警示：Transformer架構(gòu)的固有局限已日益凸顯，僅靠堆疊算力和數(shù)據(jù)，無法通往真實的通用智能。

NEO的誕生，恰逢其時。它用一個簡練而一致的原生架構(gòu)，有力地證明晰：下一代AI的競爭力，要害在于架構(gòu)有多聰明。

NEO背面的三大原生技能

NEO 的核心立異，體現(xiàn)在三個底層技能維度上，它們一起構(gòu)建了模型的原生才能。

第一，原生圖塊嵌入 (Native Patch Embedding)。

傳統(tǒng)模型常預(yù)先采用離散的tokenizer或許銜接vision encoder壓縮圖畫信息或語義token。

NEO則是直接摒棄了這一步，它規(guī)劃了一個輕量級的圖塊嵌入層，經(jīng)過兩層卷積神經(jīng)網(wǎng)絡(luò)，直接從像素動身，自底向上地構(gòu)建一個接連的、高保真的視覺表征。

這就像讓AI學會了像人類一樣，用眼睛直接感受光影和細節(jié)，而不是先看一張被馬賽克化的抽象圖。

這種規(guī)劃讓模型能更精細地捕捉圖畫中的紋理、邊際和部分特征，從根本上打破了干流模型的圖畫建模瓶頸。

第二，原生三維旋轉(zhuǎn)方位編碼 (Native-RoPE)。

方位信息關(guān)于了解任何序列都至關(guān)重要。文本是一維的，而圖畫是二維的，視頻更是三維的（時空）。傳統(tǒng)模型要么給所有模態(tài)用同一個一維方位編碼，要么簡略地拼接，這顯然無法滿意不同模態(tài)的天然結(jié)構(gòu)。

NEO的Native-RoPE立異性地為時間（T）、高度（H）、寬度（W）三個維度分配了不同的頻率：視覺維度（H, W）使用高頻，以精準描寫部分細節(jié)和空間結(jié)構(gòu)；文本維度（T）兼顧高頻和低頻，同時處理好部分性和長距離依賴。

更奇妙的是，關(guān)于純文本輸入，H和W的索引會被置零，完全不影響原有言語模型的功能。

這相當于給AI裝上了一個智能的、可自適應(yīng)的時空坐標系，不只能精準定位圖畫中的每一個像素，也為無縫擴展到視頻了解和3D交互等雜亂場景鋪平了道路。

第三，原生多頭留意力 (Native Multi-Head Attention)。

留意力機制是大模型的考慮方式，在傳統(tǒng)模塊化模型里，言語模型的留意力是因果的（只能看到前面的詞），而視覺編碼器的留意力是雙向的（能看到所有像素）。

NEO采取的方法，則是在一個一致的留意力框架下，讓這兩種形式并存。

當處理文本token時，它遵循規(guī)范的自回歸因果留意力；而當處理視覺token時，它則采用全雙向留意力，讓所有圖畫塊之間能夠自由地交互和關(guān)聯(lián)。

這種“左右腦協(xié)同工作”的形式，極大地提升了模型對圖畫內(nèi)部空間結(jié)構(gòu)的了解才能，從而能更好地支撐雜亂的圖文交織推理，比方了解“貓在盒子上方”和“貓在盒子里”的細微差別。

除了這三大核心，NEO還配套了一套名為Pre-Buffer & Post-LLM的雙階段交融練習戰(zhàn)略。

在預(yù)練習初期，模型會被暫時劃分為兩部分：一個擔任視覺言語深度交融的Pre-Buffer和一個繼承了強壯言語才能的Post-LLM。

前者在后者的引導下，從零開始高效地學習視覺常識，建立初步的像素-詞語對齊；而且跟著練習的深入，這個劃分會逐漸消失，整個模型融為一個端到端的、不可分割的全體。

這種戰(zhàn)略便奇妙地處理了原生架構(gòu)練習中怎么在不危害言語才能的前提下學習視覺的難題。

十分之一的數(shù)據(jù)，追平旗艦

紙上談兵終覺淺，實測數(shù)據(jù)見分曉。接下來咱們就來看下NEO在實測中的體現(xiàn)。

縱觀成果，直觀的體現(xiàn)便是數(shù)據(jù)功率——

NEO僅使用了3.9億個圖畫文本對進行練習，這個數(shù)量級僅僅是同類尖端模型所需數(shù)據(jù)的十分之一！

它無需依賴巨大的視覺編碼器或海量的對齊數(shù)據(jù)，僅憑其簡練而強壯的原生架構(gòu)，就在多項視覺了解任務(wù)上追平了 Qwen2-VL、InternVL3等尖端模塊化旗艦?zāi)Ｐ汀?/p>

在權(quán)威的評測榜單上，NEO的體現(xiàn)也是較為亮眼。

在MMMU（多學科歸納了解）、MMBench（歸納多模態(tài)才能）、MMStar（空間與科學推理）、SEED-I（視覺感知）以及POPE（衡量模型幻覺程度）等多個要害基準測驗中，NEO均取得了高分，展現(xiàn)出優(yōu)于其他原生VLM的歸納功能，真實做到了精度無損。

尤其值得留意的是，當時NEO在2B到8B的中小參數(shù)規(guī)劃區(qū)間內(nèi)，展現(xiàn)出了較高的推理性價比。

關(guān)于動輒數(shù)十B乃至上百B的大模型來說，這些中小模型好像只是玩具。但正是這些模型，才是未來在手機、機器人、智能轎車等邊際設(shè)備上落地的要害。

NEO不只在這些規(guī)劃上完成了精度與功率的雙重躍遷，更大幅降低了推理本錢。

這意味著，強壯的多模態(tài)視覺感知才能，將不再是云端大模型的專屬，而是能夠真實遍及到每一個終端設(shè)備上。

怎么評價NEO？

后，咱們還需求討論一個問題：NEO有什么用？

從咱們上述的內(nèi)容不難看出，NEO真實的價值，不只在于功能指標的打破，更在于它為多模態(tài)AI的演進指明晰一條新路徑。

它原生一體化的架構(gòu)規(guī)劃，從底層打通了視覺與言語的語義距離，天然支持恣意分辨率圖畫、長圖文交織推理，并為視頻了解、3D空間感知乃至具身智能等更高階的多模態(tài)交互場景預(yù)留了明晰的擴展接口。

這種為交融而生的規(guī)劃哲學，能夠讓它成為構(gòu)建下一代通用人工智能體系的抱負底座。

更要害的是，商湯已開源基于NEO架構(gòu)的2B與9B兩種標準模型，釋放出激烈的共建信號。

這一行動有望推動整個開源社區(qū)從當時干流的模塊拼接范式，向更高效、更一致的原生架構(gòu)搬遷，加快形成新一代多模態(tài)技能的事實規(guī)范。

與此同時，NEO在中小參數(shù)規(guī)劃下展現(xiàn)出的性價比，正在打破大模型壟斷高功能的固有認知。

它大幅降低了多模態(tài)模型的練習與部署門檻，使得強壯的視覺了解才能不再局限于云端，而是能夠真實下沉到機器人、智能轎車、AR/VR 眼鏡、工業(yè)邊際設(shè)備等對本錢、功耗和推遲高度敏感的終端場景。

從這個角度看，NEO不只是一個技能模型，更是通向下一代普惠化、終端化、具身化AI基礎(chǔ)設(shè)施的要害雛形。

更重要的是，NEO的出現(xiàn)，為當時迷茫的AI界提供了一個明晰而有力的答案。

在Ilya等人一起指出行業(yè)亟需新范式的當下，NEO以其完全的原生規(guī)劃理念，成為了“架構(gòu)立異重于規(guī)劃堆砌”這一新趨勢的首個成功典范。

它不只從頭定義了多模態(tài)模型的構(gòu)建方式，更向國際宣告：AI的下一站，是回歸到對智能實質(zhì)的探索，經(jīng)過根本性的架構(gòu)立異，去構(gòu)建能真實了解并融通多維信息的通用大腦。

這一步，是我國團隊對全球AI演進方向的一次要害性貢獻�；蛉珙A(yù)言，這正是通往下一代AI的必經(jīng)之路。