研究公司公布 SwiftKV 技术:优化大模型提示词处理过程、降低 50% AI 推论时间

2025-01-18 发布 · 浏览8次 · 点赞0次 · 收藏0次

1 月 17 日消息,研究公司 Snowflake 公布了一款名为“SwiftKV”的 AI 模型调校技术,并在 Hugging Face 开源三款利用“SwiftKV”技术进行调校的 Llama 3.1 AI 模型(点此访问)。

获悉,SwiftKV 技术的核心在于优化模型提示词处理过程。研究人员指出,通常情况下大模型最为消耗计算资源的环节在于处理用户为模型输入的提示词,而许多企业为模型自定义了极长的提示词,据称平均情况“大约是输出生成内容的 10 倍”。

据 Snowflake 介绍,这一“SwiftKV”模型调校技术专门为相应预制的提示词处理进行优化,号称突破了传统的键值(Key-Value,KV)缓存压缩技术,还在模型推理过程中引入模型重组与知识保存自我蒸馏方法,从而有效提升模型吞吐量、降低了延迟和运算成本,号称可以帮助 AI 模型显著缩短推理时间,可以降低模型 50% 推论时间

实验结果表明,在利用 SwiftKV 技术优化 Llama 3.1 的 80 亿和 700 亿参数模型后,相应模型的整体吞吐量可提升两倍,同时相应模型也在代码自动补全、文本摘要等方面表现出色。

研究公司公布 SwiftKV 技术:优化大模型提示词处理过程、降低 50% AI 推论时间 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。