比HuggingFace快24倍!伯克利神级LLM推理系统开源,让GPU砍半

首页 > 科技

比HuggingFace快24倍!伯克利神级LLM推理系统开源,让GPU砍半

来源:迷途的羔羊 发布时间:2023-06-21 17:20

比HuggingFace快24倍!伯克利神级LLM推理系统开源,让GPU砍半

新智元报道

编纂:桃子 好困

【新智元导读】打「排位赛」的大模型们背后秘密武器曝光!UC伯克利重磅开源神级LLM推理系统——vLLM,利用PagedAttention,比HuggingFace/Transformers快24倍,GPU数目减半。

过去2个月,来自UC伯克利的研究职员给大语言模型们安排了一个擂台——Chatbot Arena。

这一过程中,每当一个用户访问并使用网站,就需要同时让两个不同的模型跑起来。

他们是如何做到的?

这不,就在今天,UC伯克利重磅开源了世界最快LLM推理和服务系统vLLM。

简之,vLLM是一个开源的LLM推理和服务引擎。它利用了全新的注意力算法「PagedAttention」,有效地治理注意力键和值。

配备全新算法的vLLM,重新定义了LLM服务的最新技术水平:

与HuggingFace Transformers比拟,它提供高达24倍的吞吐量,而无需进行任何模型架构更改。

值得一提的是,「小羊驼」Vicuna在demo中用到的就是FastChat和vLLM的一个集成。

正如研究者所称,vLLM最大的上风在于——提供易用、快速、便宜的LLM服务。

这意味着,未来,即使对于像LMSYS这样计算资源有限的小型研究团队也能轻松部署自己的LLM服务。

项目地址:https://github.com/vllm-project/vllm

现在,所有人可以在GitHub仓库中使用一个命令尝试vLLM了。论文随后也会发布。

机能全面碾压SOTA

今天,这个由UC伯克利创立的开放研究组织LMSYS先容道:

「一起来见证vLLM:Chatbot Arena背后的秘密武器。FastChat-vLLM的集成使LMSYS使用的GPU数目减少了一半,同时天天均匀提供3万次哀求。」

vLLM的机能详细如何?

UC伯克利团队将vLLM的吞吐量与最受欢迎的LLM库HuggingFace Transformers(HF),以及HuggingFace文本天生推理(TGI),先前的最新技术水平进行了比较。

团队在两个设置中进行评估:在NVIDIA A10G GPU上运行LLaMA-7B模型,在NVIDIA A100 GPU(40GB)上运行LLaMA-13B模型。

然后,研究职员从ShareGPT数据集中抽样哀求的输入/输出长度。

在实验中,vLLM的吞吐量比HF高达24倍,并且比TGI高达3.5倍。

在每个哀求只需要一个输出完成时的服务吞吐量。vLLM比HF的吞吐量高出14倍-24倍,比TGI的吞吐量高出2.2倍-2.5倍

上一篇:贷款下款了但... 下一篇:DeepMind创始...
猜你喜欢
热门阅读
同类推荐