使用chatgpt生成完整项目代码 人手一个ChatGPT!微软DeepSpeed Chat震撼发布

【新智元导读】微软开源Chat,让开发者实现了人手一个的梦想

人手一个的梦想,就要实现了?

刚刚,微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架—— Chat。

也就是说,各种规模的高质量类模型,现在都唾手可得了!

项目地址:

一键解锁千亿级,轻松省钱15倍

众所周知,由于太不Open,开源社区为了让更多人能用上类模型,相继推出了LLaMa、、、-Dolly等模型。

但由于缺乏一个支持端到端的RLHF规模化系统,目前类模型的训练仍然十分困难。而 Chat的出现,正好补全了这个「bug」。

更亮的是, Chat把成本大大地打了下来。

此前,昂贵的多GPU设置超出了许多研究者的能力范围,并且,即使能访问多GPU集群,现有的方法也无力负担数千亿参数模型的训练。

现在,只要花1620美元,就可以通过混合引擎-HE,在2.1天内训练一个OPT-66B模型。

而如果使用多节点、多GPU系统,-HE可以花320美元,在1.25小时内训练一个OPT-13B模型,花5120美元,就能在不到一天的时间内训练一个OPT-175B模型。

前Meta AI专家Elvis激动转发,称这是一件大事,并表示好奇 Chat和相比起来如何。

下面,我们就来看看效果如何。

经过-Chat的训练,13亿参数版「」在问答环节上的表现非常亮眼。不仅能get到问题的上下文关系,而且给出的答案也有模有样。

在多轮对话中,这个13亿参数版「」所展示出的性能,也完全超越了这个规模的固有印象。

一段代码,生成你的第一个

当然,在体验之前,还需要把环境配置一下:

相关文章

Copyright © 2025 IShouDao