解碼AI|開啟大模型“安卓”時(shí)刻，Meta剛剛干了一件大事

OpenAI的對手越追越緊了。

美國當(dāng)?shù)貢r(shí)間4月18日，Meta發(fā)布了Llama 3開源大模型，包括Llama 3 8B和Llama 3 70B。Meta同時(shí)透露，目前其最大參數(shù)模型已超400B（4000億）參數(shù)，但還在訓(xùn)練。據(jù)Meta稱，Llama 3是迄今為止功能最強(qiáng)的開源LLM（大語言模型）。在多項(xiàng)基準(zhǔn)測試中，Llama 3 70B超過同行。

隨著Llama 3發(fā)布，開源陣營呈現(xiàn)壯大之勢。對于Llama 3的發(fā)布，大模型生態(tài)社區(qū)OpenCSG創(chuàng)始人陳冉向記者表示，競爭會越來越激烈，好現(xiàn)象是大家處于良性競爭。不過未來參數(shù)越大，消耗越大，“競爭其實(shí)就是錢的競爭”。

Llama 3登場

據(jù)Meta介紹，Llama 3 8B和70B的推理、代碼生成和指令跟蹤等功能有大幅改進(jìn)。Meta使用了超15T tokens（文本單位）的數(shù)據(jù)訓(xùn)練，訓(xùn)練數(shù)據(jù)集比Llama 2大7倍，包含的代碼多4倍。在開發(fā)中，Meta開發(fā)了一套新的高質(zhì)量人類評估集，包含1800個(gè)提示并涵蓋12個(gè)關(guān)鍵用例，如征求建議、頭腦風(fēng)暴、分類、編碼等。該評估集的結(jié)果顯示，Llama 3 70B的表現(xiàn)比Claude Sonnet、Mistral Medium、GPT-3.5、Llama 2更好。

Meta還公布了兩個(gè)新開源模型與競爭對手比較的情況。在MMLU、GPQA等多項(xiàng)五項(xiàng)基準(zhǔn)上，指令微調(diào)的Llama 3 8B得分都超過谷歌Gemma 7B-1t和法國初創(chuàng)公司Mistral AI的Mistral 7B Instruct，Llama 3 70B則在三項(xiàng)基準(zhǔn)中超過谷歌Gemini Pro 1.5和Anthropic的Claude 3 Sonnet。

不過，Llama 3并非完美，其中被指摘最多的是其上下文窗口只有8k，落后于現(xiàn)在業(yè)內(nèi)平均水平。Meta首席人工智能科學(xué)家、圖靈獎(jiǎng)得主楊立昆（Yann LeCun）在社交媒體發(fā)帖同步Llama 3發(fā)布的喜訊，而評論區(qū)有不少人都在討論上下文窗口長度只有 8k的信息，“這很令人驚訝，確實(shí)限制了實(shí)用性”，有熱門評論說道。有人質(zhì)疑為什么Llama 3的上下文窗口與同等模型相比這么小，是架構(gòu)的限制，還是在訓(xùn)練期間決定優(yōu)先考慮模型的其他方面，這并未得到楊立昆答復(fù)。

外界對Llama 2上下文窗口的關(guān)注，背景之一是近兩年大模型上下文窗口的文本長度限制已提升明顯。更長的上下文這意味著大模型能處理更大范圍的文本，更好理解長篇文章或?qū)υ挘蛊湓诟鞣N應(yīng)用中更加有用。GPT-3.5上下文窗口文本長度限制為4k，GPT-4提升到32k，GPT-4 turbo版能接收128k輸入，基本相當(dāng)于10萬字的小說長度。在國內(nèi)，零一萬物Yi-34B、上海人工智能實(shí)驗(yàn)室與商湯科技聯(lián)合發(fā)布的書?·浦語2.0等都支持200k長語境輸入，月之暗面kimi更支持200萬字上下文輸入，阿里通義千問免費(fèi)開放了1000萬字長文檔處理功能。

對于長上下文窗口的限制，Meta并未直接回應(yīng)，但在其官方博客里提到，在接下來的幾個(gè)月里預(yù)計(jì)將引入新功能、更長的上下文窗口。

對于后續(xù)計(jì)劃，Meta還透露， Llama 3系列還會有更多產(chǎn)品推出，其最大模型超400B參數(shù)，該模型還在訓(xùn)練中。

目前，Meta還未透露Llama 3超4000億參數(shù)版本是否會開源。如果該模型開源，將會超過目前參數(shù)量最大的開源模型昆侖萬維天工3.0（4000億參數(shù)）和馬斯克旗下初創(chuàng)公司xAI的Grok-1（3140億參數(shù)）。

業(yè)界對Llama 3發(fā)布頗為關(guān)注。AI寫作助手公司HyperWrite AI CEO Matt Shumer感嘆“我們正在進(jìn)入一個(gè)新世界，GPT-4級別的模型開源而且可以免費(fèi)訪問”。傳奇研究員、AI開源倡導(dǎo)者吳恩達(dá)表示，Llama 3發(fā)布是自己收到過最好的生日禮物。馬斯克也在一條評論Llama 3表現(xiàn)出色的帖文下回復(fù)“Not bad（不錯(cuò)）”。

阿里云首席智能科學(xué)家丁險(xiǎn)峰在社交軟件上表示，開源的Llama 3有如安卓，一夜之間打掉所有閉源手機(jī)操作系統(tǒng)：PalmOS、Windows mobile、symbian，偉大的時(shí)代要來臨了。

英偉達(dá)科學(xué)家Jim Fan則在社交媒體上表示，即將推出的Llama 3 400+B將意味著開源社區(qū)獲得GPT-4級別的模型開放權(quán)重訪問，這將是一個(gè)分水嶺時(shí)刻，將改變許多研究工作和初創(chuàng)公司的發(fā)展方式。

Jim Fan提取了Anthropic Claude 3 Opus、Open AI GPT-4 Turbo、谷歌Gemini Ultra 1.0和Gemini Pro 1.5的多項(xiàng)基準(zhǔn)得分并與Llama 3 400+B早期Checkpoint（檢查點(diǎn)）的得分相比，發(fā)現(xiàn)Llama 3 400+B多項(xiàng)得分高于Gemini Ultra 1.0和Gemini Pro 1.5，低于但已接近GPT-4和Claude 3 Opus。

獵豹移動董事長兼CEO傅盛則表示，Llama 3性能遠(yuǎn)超上一代，小參數(shù)模型Llama 3 8B的表現(xiàn)比上一代大參數(shù)Llama 2 70 B更好，這印證了小參數(shù)模型的能力會快速提升，可達(dá)到相當(dāng)高使用水準(zhǔn)的說法。Llama 2 70B性能比上一代則有質(zhì)的提高。預(yù)期Llama 3應(yīng)該代表了開源社區(qū)非常高的水準(zhǔn)。

也有業(yè)界人士使用了Llama 3 8B后表示，原本工具使用穩(wěn)定性費(fèi)勁的本地多智能體變得穩(wěn)定了不少。陳冉則告訴記者，當(dāng)前國內(nèi)的開源模型與Llama 3相比或許相差還不小。

OpenAI的對手緊追

OpenAI今年2月發(fā)布Sora，成功“狙擊”谷歌彼時(shí)剛發(fā)布的Gemini 1.5并引來更多關(guān)注后，似乎難以再壓低競爭對手的熱度了。OpenAI還未拿出更大“殺器”的情況下，競爭對手的產(chǎn)品升級則是肉眼可見。

有OpenAI最強(qiáng)競爭對手之稱的Anthropic今年3月發(fā)布了最新大模型系列Claude 3，其中Claude 3 Opus在本科級別專業(yè)知識（MMLU）、研究生級別專家推理（G[QA）、基礎(chǔ)數(shù)學(xué)（GSM8K）等領(lǐng)域都超過GPT-4。

Anthropic之外，閉源陣營的OpenAI其他競爭對手則在上探參數(shù)量。傳言GPT-4參數(shù)量上萬億，今年3月，騰訊透露其混元大模型也已達(dá)萬億參數(shù)規(guī)模，近日MiniMax也宣布推出abab 6.5，包含萬億參數(shù)。

谷歌、Meta、xAI所屬的開源或開閉源雙軌并行的陣營也在步步緊逼，參數(shù)量越來越大。馬斯克指責(zé)OpenAI不開源并陷入雙方論戰(zhàn)后，自己拿出Grok-1。國內(nèi)也引發(fā)一輪開源潮，包括4月初大模型初創(chuàng)企業(yè)新旦智能與APUS聯(lián)手開發(fā)的APUS-xDAN大模型4.0（1360億）參數(shù)，以及昆侖萬維近日開源的4000億參數(shù)天工3.0。

此次Meta開源的8B和70B參數(shù)模型還是小試牛刀，后續(xù)或開源的4000億以上參數(shù)大模型，可能是開源陣營的更大“殺器”。

關(guān)于開閉源之爭近日趨于激烈，也隱隱顯露出包括OpenAI在內(nèi)的閉源陣營，受到開源陣營的一定沖擊。相關(guān)代表性言論包括百度董事長李彥宏近日所稱“大模型開源意義不是很大，有商業(yè)模式的閉源模型才能聚集人力和財(cái)力”。

支持大模型開源的業(yè)界人士則在反擊李彥宏的觀點(diǎn)。4月18日的生成式AI大會上，vivo AI解決方案中心總監(jiān)謝偉欽表示，作為產(chǎn)品經(jīng)理，希望開源社區(qū)能逐漸繁榮，出現(xiàn)不同維度的好算法，vivo開源了參數(shù)量7B的模型，未來可能還有更大參數(shù)的模型開源。

硅基智能CTO林會杰在該會上則表示，開源一定會比閉源好，搜索引擎目前只運(yùn)行在開源軟件上，開源產(chǎn)品的開發(fā)效率好，這是無數(shù)開發(fā)者已驗(yàn)證過的事。同時(shí)，開源軟件面向更廣泛人群，代碼質(zhì)量被更多人看在眼里，不敢開源反而是對自身模型能力不自信的一種表現(xiàn)，很多閉源模型也是建立在開源模型之上。

傅盛也表示：“國內(nèi)某大廠認(rèn)為閉源大模型與開源社區(qū)的距離越來越遠(yuǎn)，現(xiàn)實(shí)情況正好相反，開源社區(qū)公司越來越猛烈。懟算力、懟芯片、只注重參數(shù)這條路未必走得通，而且AI不應(yīng)該是大公司和巨頭之間的游戲，應(yīng)該是所有人都能參與的。我們相信，開源社區(qū)必將越戰(zhàn)越勇，最終打敗閉源大模型?！?/p>

閉源和開源陣營競爭對手步步緊逼的情況下，OpenAI的壓力很可能變得越來越大。新浪微博新技術(shù)研發(fā)負(fù)責(zé)人張俊林認(rèn)為，大模型巨頭混戰(zhàn)形成了打壓鏈，OpenAI處于鏈條頂端，打壓有潛力追上的對手，第一層對手包括谷歌、Anthropic和Mistral，第二層是Meta，OpenAI有一個(gè)技術(shù)儲備庫，專等競爭對手發(fā)布新產(chǎn)品時(shí)推出。不過，競爭對手正試圖改變被OpenAI打壓的情況，此前Anthropic推出Claude 3便可能打亂OpenAI的產(chǎn)品節(jié)奏。

張俊林向第一財(cái)經(jīng)記者表示，OpenAI最新推出的是一個(gè)音頻模型Voice Engine，該模型還在小規(guī)模測試階段，這可能說明OpenAI手里已沒太多新東西了，競爭對手已對OpenAI造成比較大壓力。

競爭壓力下，OpenAI或已經(jīng)在加快下一代GPT產(chǎn)品研發(fā)。3月Claude 3系列發(fā)布不久，有網(wǎng)友就發(fā)現(xiàn)搜索引擎一度能搜到GPT-4.5 Turbo產(chǎn)品頁面，頁面摘要顯示該模型將在“速度、準(zhǔn)確性和可擴(kuò)展性方面全面超越GPT-4.0 Turbo”，相關(guān)頁面很快下架。OpenAI如何應(yīng)對這些競爭，將是下一步看點(diǎn)。

(本文來自第一財(cái)經(jīng))