1、根据微软介绍，微软Azure为OpenAI开发了一个定制的超级计算机。这个超级计算机在全球超算排名里面可以位列前五。这个计算机是一个单一系统，具有28.5万个CPU核心，1万个GPU（据称为英伟达V100）和400 GB／s的GPU服务器网络传输带宽。
2、根据OpenAI，训练一次1746亿参数的GPT-3模型需要的算力为3640PFlops-day。换句话说，以每秒1千万亿次的速度计算，要算10几年。（目前国内很多城市建设的计算中心规模都在100P－300P，这些计算中心训练一次大概两周到一个月）
3、ChatGPT所基于的模型参数比较小，只有13亿参数，只能算一个小应用。
4、Lambda估计，训练一次GPT3模型花费的算力成本超过460万美元。
5、下一代大模型GPT-4尚未发布，据称参数上万亿。
