WebGPT:使用 WebGPU 在浏览器中运行 GPT 模型

首页 > AI

WebGPT:使用 WebGPU 在浏览器中运行 GPT 模型

来源:匿名 发布时间:2023-06-08 10:29

WebGPT 是一个使用 WebGPU 在浏览器中运行 GPT 模型的实现,该实现只使用了不到 2000 行原生 JavaScript 代码。经过六年的开发,WebGPU 即将在大多数主流浏览器上推出。这是一个非常重要的进展:Web 应用程序现在可以几乎原生地访问 GPU,并且具备计算着色器的额外容量。

WebGPT 是一个变压器模型的原生 JS 和 HTML 实现,旨在作为概念验证和教育资源。WebGPT 已经通过了 500M 参数的模型测试,但是通过进一步的测试/优化,可能可以支持更多的参数。

目前,WebGPT 在使用 Chrome Canary 浏览器运行 GPT-2 124M 模型时,每个 token 平均需要约 300 毫秒。通过适当优化内核、缓冲区和 WebGPU 接口,这个速度可以提高 500% 或更多。随着 WebGPU 的发展,它也应该会获得显著的速度提升。

对于那些需要在浏览器中运行 GPT 模型的用户而言,WebGPT 是一个非常有用的工具。用户可以在 https://github.com/0hq/WebGPT 上获取 WebGPT 的源代码。

上一篇:AI Lens:一... 下一篇:Resume-GPT:...
猜你喜欢
热门阅读
同类推荐