微软开源深度学习优化库DeepSpeed 可训练1000亿参数的模型
朱 朋博 发布于 2020-02-12
人工智能的最新趋势是，更大的自然语言模型可以提供更好的准确性，但是由于成本、时间和代码集成的障碍，较大的模型难以训练。微软日前开源了一个深度学习优化库 DeepSpeed，通过提高规模、速度、可用性并降低成本，可以在当前一代的 GPU 集群上训练具有超过 1000 亿个...
DOITAPP
DOIT数据智能产业媒体与服务平台
朱 朋博 发布于 2020-02-12
人工智能的最新趋势是，更大的自然语言模型可以提供更好的准确性，但是由于成本、时间和代码集成的障碍，较大的模型难以训练。微软日前开源了一个深度学习优化库 DeepSpeed，通过提高规模、速度、可用性并降低成本，可以在当前一代的 GPU 集群上训练具有超过 1000 亿个...