面壁智能 MiniCPM 4 与 Intel 全面适配,实现 AI PC 2.2 倍长文本推理优化

2025-06-13 发布 · 浏览24次 · 点赞0次 · 收藏0次
感谢网友 SNOS雪诺 的线索投递!

6 月 12 日消息,面壁智能于本月 6 日晚发布端侧大模型 MiniCPM 4.0。面壁智能官方今日发文称,面壁 MiniCPM 4 与 Intel 全面适配,结合英特尔加速套件与 KV Cache 内存增强技术,实现 AI PC 2.2 倍长文本推理优化,端侧 AI PC 在 Day 0 全面适配,128K 长上下文窗口等多方面突破。

图片

据介绍,此次面壁推出的 MiniCPM 4.0 系列 LLM 模型拥有 8B、0.5B 两种参数规模,针对单一架构难以兼顾长、短文本不同场景的技术难题,MiniCPM 4.0-8B 采用「高效双频换挡」机制,能够根据任务特征自动切换注意力模式:在处理高难度的长文本、深度思考任务时,启用稀疏注意力以降低计算复杂度,在短文本场景下切换至稠密注意力以确保精度,实现了长、短文本切换的高效响应。

目前,具有 CPU、GPU、NPU 三个 AI 运算引擎的英特尔酷睿 Ultra 处理器已对此适配,并借助 OpenVINO 工具套件为 MiniCPM 4.0 系列模型提供优化的卓越性能表现。英特尔再次在 NPU 上对模型发布提供第零日(Day 0)支持,为不同参数量模型和应用场景提供更多样化的、更有针对性的平台支持。

图片

据了解,MiniCPM 4.0 可在 vLLM、SGLang、LlamaFactory、XTuner 等开源框架部署。其内置自研 CPM.cu 极速端侧推理框架,从投机采样创新、模型压缩量化创新、端侧部署框架创新几方面,带来 90% 的模型瘦身和速度提升,官方宣称将实现端侧推理“从天生到终生”的丝滑。

面壁智能 MiniCPM 4 与 Intel 全面适配,实现 AI PC 2.2 倍长文本推理优化 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。