數據交易導航網是一個數據要素市場相關的數據交易、數據管理、數據服務等數商企業商業生態導航平臺。
網址：https://wenxin.baidu.com/
在模型層，文心大模型一次性發布11個大模型，涵蓋基礎大模型、任務大模型、行業大模型的三級體系，全面滿足產業應用需求；在工具與平臺層，全面升級大模型開發套件、文心API和提供全流程開箱即用大模型能力的EasyDL和BML開發平臺，全方位降低應用門檻；新增產品與社區層，包括AI藝術與輔助創作平臺“文心一格”、產業級搜索系統“文心百中”和旸谷社區，讓更多人零距離感受到最先進的AI大模型技術帶來的新體驗。
除行業大模型外，此次還發布了5個基礎大模型和1個任務大模型，包括：知識增強輕量級大模型ERNIE 3.0 Tiny、跨模態理解大模型ERNIE ViL 2.0、跨模態生成大模型ERNIE ViLG 2.0、文檔智能大模型 ERNIE-Layout、單序列蛋白質結構預測大模型HelixFold-Single和代碼大模型 ERNIE-Code。
其中，知識增強輕量級大模型ERNIE 3.0 Tiny是以ERNIE 3.0千億參數大模型為師，通過多任務知識蒸餾手段將千億多任務大模型的所學遷移至輕量級模型中，訓練了10億級、億級、千萬級不同體量大小的輕量級大模型。ERNIE 3.0 Tiny具備非常優秀的泛化能力，同時相對于超大參數模型，推理速度提升數十倍到百倍，能夠顯著降低超大參數模型落地的成本。ERNIE 3.0 Tiny和ERNIE ViLG大模型將上線“鵬城云腦”，在云腦上精調訓練、部署服務，進一步降低大模型開發和應用的門檻。
文心大模型工具平臺全面升級，全流程支撐大模型開箱即用
為了讓開發者更加方便、快速地使用大模型的最新能力，文心大模型工具與平臺進行了全面更新。吳甜介紹到，在工具方面，文心大模型開發套件全面升級，發布行業大模型定制工具，同時提供更加完備的場景化建模工具、更為豐富的模型精調工具，以及大模型可信學習工具，讓大模型開發訓練更加靈活高效；文心API服務支持多種模型尺寸的精調，體驗專區提供更多可體驗能力，同時基于大規模集群算力分布式推理加速能力，可滿足大規模高性能產業級調用。
大模型的開發、訓練、推理部署的門檻是非常高的。為了更好地支持大模型應用落地，飛槳發布了端到端大模型開發套件PaddleFleetX。針對大模型的訓練挑戰，PaddleFleetX基于框架自適應分布式訓練能力，根據模型和硬件平臺的特點，自動感知硬件特性，支持在異構硬件上進行自適應并行訓練。同時，充分發揮飛槳動轉靜能力優勢，進行訓練加速，實現端到端的極致性能優化。訓練過程還支持彈性容錯訓練，大幅提升訓練過程的魯棒性。針對大模型推理部署的挑戰，PaddleFleetX提供了大小模型無縫聯動的能力，以滿足大模型推理對性能的極致要求。同時，PaddleFleetX支持自適應分布式推理技術，真正做到分布式策略的訓推一體，大可支持超大模型的服務化部署，小可協同極致小型化策略，支持端側輕量化部署。
