智能算力将成为AI发展的关键支撑与引擎AI推动算力需求超线性发展,智能算力需求井喷。 根据EPOCH AI 数据,全球人工智能经历从传统模型进入深度学习阶段,模型所需算力规模年增长1.5倍突破至4.1倍/年,算力规模实现7个数量级的增长(2010-至今)[1],其主要在于:大参数模型、高质量数据集和大算力(智算)成为AI大模型发展的关键要素,Scaling 法则带动大模型不断突破新的瓶颈。 Transformer 架构成为人工智能的事实标准,模型架构趋于稳定,数据规模、质量双提升,GPU单卡性能、集群有效算力的持续迭代升级,为大模型的性能、规模爆发奠定了基础,加剧模型训练算力需求指数级增长,目前全球千亿级参数模型所需算力至少为10^23数量级,所需算力至少为万卡级规模以上(参考A100),持续训练周期为周级时长。 |