谷歌推出TpuGraphs訓(xùn)練數(shù)據(jù)集，可強化AI模型深度學(xué)習(xí)能力

IT之家 12 月 21 日消息，谷歌日前推出一款名為 TpuGraphs 的模型訓(xùn)練數(shù)據(jù)集，主要用于“優(yōu)化編譯器”、“提升 AI 深度學(xué)習(xí)能力”。

▲ 圖源 谷歌博客（下同）

谷歌指出，當(dāng)下 AI 深度學(xué)習(xí)系統(tǒng)通常使用 TensorFlow、JAX、PyTorch 等框架訓(xùn)練而成，這些框架主要通過底層編譯器的啟發(fā)式算法（Heuristic Algorithm）優(yōu)化模型，而在相關(guān)編譯器中運用“學(xué)習(xí)成本模型”，即可改善編譯器的性能，并提升最終輸出模型的深度學(xué)習(xí)能力。

IT之家獲悉，谷歌推出的 TpuGraphs 數(shù)據(jù)集正是一款“學(xué)習(xí)成本模型”，這款數(shù)據(jù)集的內(nèi)容主要來自各種開源深度學(xué)習(xí)程序，涵蓋多種熱門模型架構(gòu)，例如 ResNet、EfficientNet、Mask R-CNN 和 Transformer 等。

與業(yè)界競品相比，谷歌 TpuGraphs 數(shù)據(jù)集“平均圖大小”相比業(yè)界訓(xùn)練集大了 770 倍、“圖數(shù)量”則是對了 25 倍。谷歌聲稱，為編譯器應(yīng)用 TpuGraphs 數(shù)據(jù)集可有效解決最終輸出的模型“可擴展性”、“效率”和“質(zhì)量”等問題。

此外，谷歌還介紹了一種名為 GST（Graph Segment Training）的模型訓(xùn)練方法，允許在 RAM 有限的設(shè)備中訓(xùn)練大型圖神經(jīng)網(wǎng)絡(luò)。該方法號稱能夠令模型“端到端訓(xùn)練時間”加速 3 倍，有效提高模型訓(xùn)練效率。