计算机行业深度报告-GPT 5后NLP大模型逐步走向收敛

理论来说，当大模型的算力、数据量以及参数量同时增大的时候，整个模型的效果会越来越好。GPT-3使用的数据量为40T，预测GPT-4的数据量需求为400T，但未来数据量将不会无限增大，所以当数据量不能增长的时候，光靠算力和模型参数量增长，并不能增强模型的效果。换言之，受到数据量的限制，NLP大语言模型的迭代或将进入停滞期。在模型迭代停滞期，若应用爆发，则ASIC芯片的优势就显现出来。ASIC针对特定需求开发，可根据需求对性能和功耗进行定向优化，其专用的芯片架构与高复杂度的算法相匹配，量产后在性能、功耗、成本方面均具有较大优势，ASIC芯片将大有可为。