介绍 @huggingface/kernels:面向本地 AI 的 200+ WebGPU 内核
Hugging Face 发布了名为 @huggingface/kernels 的新工具包,内含 200 多个专为 WebGPU 设计的计算内核。这些内核覆盖了矩阵乘法、归一化、注意力机制等深度学习中的常见操作,目的是让大模型在浏览器等本地环境中运行得更快、更高效。WebGPU 是新一代浏览器图形与计算接口,能够充分利用 GPU 的并行计算能力,相比传统的 WebGL 有显著性能提升。此前,在浏览器里运行 AI 模型常受限于计算速度和内存占用,而 @huggingface/kernels 通过高度优化的内核,让开发者可以直接在浏览器中部署轻量级 AI 应用,无需依赖云端服务器,从而降低延迟、保护用户隐私。这项工作值得关注,因为它是将前沿 AI 能力推向端侧的重要一步,也为 Web 开发者打开了更多可能性。
本文来源:Hugging Face
阅读原文 ↗