首款生成式AI移動(dòng)芯片天璣9300：能跑330億參數(shù)大模型

機(jī)器之心報(bào)道

作者：澤南

AI 畫圖一秒生成，大語言模型一秒 20 token。

2023 年是生成式 AI 的元年，我們手上的移動(dòng)設(shè)備也在加速進(jìn)入大模型時(shí)代。

11 月 6 日晚，聯(lián)發(fā)科（MediaTek）正式發(fā)布了年度旗艦 SoC 天璣 9300，這款芯片通過 4+4 全大核的設(shè)計(jì)，在性能與能耗等方面，全面超越了安卓和蘋果競品。

更為值得關(guān)注的是，今年的旗艦芯片被定義為 5G 生成式 AI 移動(dòng)芯片，提供了遠(yuǎn)超以往的高智能、高性能、高能效、低功耗卓越特性。

天璣 9300 采用臺(tái)積電新一代 4nm 工藝，擁有 227 億個(gè)晶體管。為了提供生成式 AI 時(shí)代的算力需求，天璣 9300 上開創(chuàng)性地使用了「全大核」CPU 架構(gòu)，包含 4 個(gè) Cortex-X4 超大核，最高頻率可達(dá) 3.25GHz，以及 4 個(gè)主頻為 2.0GHz 的 Cortex-A720 大核，其峰值性能相較上一代提升 40%，同性能情況下功耗節(jié)省 33%。

這種架構(gòu)在保證了工作速度快、效率高的同時(shí)具有省電的特性，無論在輕載還是重載應(yīng)用場景中，都能降低功耗、延長續(xù)航時(shí)間。聯(lián)發(fā)科表示，天璣 9300 面向目前常用的視頻、直播、游戲等常見任務(wù)需求進(jìn)行了優(yōu)化，相比以往也更加適應(yīng)折疊屏手機(jī)的多任務(wù)模式。

隨著芯片制程提升，晶體管正在不斷小型化，各種漏電問題成為摩爾定律發(fā)展的重大障礙。漏電意味著能量消耗的大幅增加，芯片也會(huì)面臨過熱甚至失效的問題。在這種情況下，小核心的功耗與大核心差距已越來越小。

據(jù)介紹，早在三年前聯(lián)發(fā)科就開始了全大核芯片形式的探索。現(xiàn)在，讓大核快速處理任務(wù)后進(jìn)行較長時(shí)間的休眠，我們可以讓大核處理器反直覺地相比小核同類產(chǎn)品更加省電。另一方面，聯(lián)發(fā)科也加入了亂序執(zhí)行（out-of-order）策略，進(jìn)一步增加了應(yīng)用執(zhí)行的效率。

聯(lián)發(fā)科認(rèn)為到明年，全大核的設(shè)計(jì)將成為業(yè)內(nèi)的共識(shí)。

常規(guī)能力之外，聯(lián)發(fā)科本次著重升級(jí)了芯片的 AI 性能。天璣 9300 集成了 MediaTek 第七代 AI 處理器 APU 790，專為生成式 AI 而設(shè)計(jì)，其性能和能效相較上一代得到顯著提升，整數(shù)運(yùn)算和浮點(diǎn)運(yùn)算的性能是前一代的兩倍，功耗降低了 45%。

APU 790 內(nèi)置了硬件級(jí)的生成式 AI 引擎，可實(shí)現(xiàn)更加高速且安全的邊緣 AI 計(jì)算，相比上代，它專門針對目前大語言模型常用的 Transformer 進(jìn)行算子加速，大模型的處理速度是上一代的 8 倍。

當(dāng)代流行的大語言模型（LLM），其主要核心網(wǎng)絡(luò)架構(gòu)大多是由 transformer Block 組成的。相較于計(jì)算機(jī)視覺常見的 CNN 網(wǎng)絡(luò)，transformer 網(wǎng)絡(luò)以 Softmax+LayerNorm 算子作為核心，卷積算子較少，因此原先 AI 核心的加速機(jī)制并不適用。在第七代 APU 處理器上，聯(lián)發(fā)科著重優(yōu)化 Softmax+LayerNorm 算子，提升了算力。

量化是目前優(yōu)化 AI 推理的有效方式之一?；趦|級(jí)參數(shù)大語言模型特性，聯(lián)發(fā)科開發(fā)了混合精度 INT4 量化技術(shù)，結(jié)合其特有的內(nèi)存硬件壓縮技術(shù) NeuroPilot Compression，可以更高效地利用內(nèi)存帶寬，大幅減少 AI 大模型對終端內(nèi)存的占用。

聯(lián)發(fā)科的工程師表示，雖然大模型可以帶來更好的生產(chǎn)力，但本地運(yùn)行 13B 的體量就意味著需要占用約 13GB 的內(nèi)存，再加上安卓本身的 4GB，其他 APP 的 6GB，已經(jīng)超過了大多數(shù)手機(jī) 16G 的內(nèi)存容量。天璣 9300 使用的內(nèi)存硬件壓縮技術(shù)，通過量化和壓縮把大模型的內(nèi)存占用降低到了 5GB，只有這樣才能讓大多數(shù)用戶在日常跑得起大模型應(yīng)用。

APU 790 還支持生成式 AI 模型端側(cè)「技能擴(kuò)充」技術(shù) NeuroPilot Fusion，可以基于基礎(chǔ)大模型持續(xù)在端側(cè)進(jìn)行低秩自適應(yīng)（LoRA，Low-Rank Adaptation）融合，進(jìn)而賦予基礎(chǔ)大模型更加全面的能力。

基于這樣的硬件和優(yōu)化，天璣 9300 在蘇黎世聯(lián)邦理工提出的 AI Benchmark 最新版本上可以達(dá)到 2019 分，是移動(dòng)芯片的新高。

使用天璣 9300，端側(cè)的 AI 圖片生成如 Stable Diffusion 可以做到一秒以內(nèi)出圖，70 億參數(shù)大語言模型的端側(cè)推理可以做到每秒 20token。

聯(lián)發(fā)科表示在與 vivo 的合作中，基于天璣 9300 已經(jīng)率先實(shí)現(xiàn)了 7B 和 13B 大模型在移動(dòng)端的推理，預(yù)計(jì)不久之后在終端就可以看到這樣的產(chǎn)品推向市場。另外在更極限的情況下，聯(lián)發(fā)科還跑通了高達(dá) 33B 的大模型。

在發(fā)布之前的溝通會(huì)和現(xiàn)場，聯(lián)發(fā)科展示了使用天璣 9300 工程機(jī)實(shí)現(xiàn)的 LoRA 文生圖、大模型生成文字等能力。

我們可以預(yù)見，在最新一代旗艦手機(jī)上，我們可以用上更聰明的智能助手，根據(jù)大模型給出的建議快速回復(fù)聊天和右鍵，用 AI 生成的表情包斗圖……

馬上就會(huì)推出且人人都可以體驗(yàn)到的，就是 vivo X100 系列手機(jī)上 OriginOS 4 系統(tǒng)里的 AI 助理藍(lán)心小 V。

本月初，vivo 剛在開發(fā)者大會(huì)上介紹了藍(lán)心大模型及其應(yīng)用，這一系列能力顯然是面向手機(jī)的。在大模型的加持下，藍(lán)心小 V 擁有行業(yè)領(lǐng)先的智慧，它可以通過語音、文字、文件拖拽等方式接收信息進(jìn)行處理。如果遇到簡單的問題，小 V 會(huì)以文字或圖片進(jìn)行回復(fù)。面對復(fù)雜的問題，它還可以通過 SWOT 模型或思維導(dǎo)圖的形式輸出回答。

此外，天璣 9300 的 AI 能力還覆蓋從搜索到拍攝。

聯(lián)發(fā)科表示，其 AI 開發(fā)平臺(tái) NeuroPilot 已經(jīng)對安卓、LIama 2、文心一言、百川大模型等前沿主流 AI 大模型進(jìn)行了深度適配和優(yōu)化，更多應(yīng)用也在路上。

GPU 方面，天璣 9300 采用了 12 核心的 Immortalis-G720。與上代相比峰值性能提升 46%，相同性能下功耗可節(jié)省 40%。天璣 9300 搭載 MediaTek 第二代硬件光線追蹤引擎，支持 60FPS 高流暢度的光線追蹤，并帶來游戲主機(jī)級(jí)的全局光照特效。

此外，MediaTek 特有的 MAGT 游戲自適應(yīng)調(diào)控技術(shù)升級(jí)為「星速引擎」，不僅與游戲應(yīng)用廣泛合作，還將拓展更多類型應(yīng)用的生態(tài)合作。在活動(dòng)中，聯(lián)發(fā)科宣布天璣 9300 平臺(tái)將首發(fā)《仙劍世界》光追版，同時(shí)也將在手游《暗區(qū)突圍》上實(shí)現(xiàn)穩(wěn)定 60 幀光追的體驗(yàn)。

目前根據(jù)很多第三方評測，天璣 9300 工程機(jī)的 CPU、GPU 絕對性能和功耗比均超過了驍龍 8Gen3 與 A17Pro，看起來使用全大核的策略是成功的。

圖片來源：極客灣 Geekerwan

在其他方面，天璣 9300 也進(jìn)行了全面升級(jí)，其 ISP 升級(jí)到了 Imagiq 990，支持 AI 語意分割視頻引擎、16 層圖像語意分割、景深和光斑雙引擎、全像素對焦疊加 2 倍無損變焦、OIS 光學(xué)防抖專核、3 麥克風(fēng)高動(dòng)態(tài)錄音降噪，可過濾 25km/h 風(fēng)速的 99% 以上風(fēng)噪。

天璣 9300 還配備了新的安全啟動(dòng)芯片、隔離的安全計(jì)算環(huán)境和 Armv9 的內(nèi)存標(biāo)記擴(kuò)展，可幫助開發(fā)人員避免內(nèi)存漏洞利用。

網(wǎng)絡(luò)方面，天璣 9300 集成了 5G 調(diào)制解調(diào)器支持 Sub-6GHz 四載波聚合（4CC-CA）和多制式雙卡雙通，也通過 AI 算法提升信號(hào)，支持 5G 情境感知功能。天璣 9300 支持 Wi-Fi 7 和 5G sub-6GHz 頻段，下行鏈路速率達(dá)到 7Gbps。在藍(lán)牙連接方面，天璣 9300 支持 3 個(gè)藍(lán)牙天線、特有雙路藍(lán)牙閃連技術(shù)，可以帶來超低時(shí)延的藍(lán)牙音頻體驗(yàn)。

據(jù)介紹，首款采用天璣 9300 芯片的手機(jī)包含 vivo、OPPO、小米、傳音等。在聯(lián)發(fā)科的發(fā)布活動(dòng)后，vivo 已宣布即將在 11 月 13 日發(fā)布的 X100 系列中率先搭載新旗艦芯片，并第一個(gè)實(shí)現(xiàn) LPDDR5T-9600 內(nèi)存的落地。

我們期待新一代產(chǎn)品的問世。