IBM 推出 Granite 4.0 系列模型:混合架构降低内存需求,Apache 2.0 开源

2025-10-04 发布 · 浏览19次 · 点赞0次 · 收藏0次
感谢网友 Snailwang 的线索投递!

10 月 4 日消息,IBM 当地时间 2 日宣布推出 Granite 4.0 系列企业级 LLM 模型,新一代的模型采用 Mamba-Transformer 混合架构,可在不牺牲性能的前提下大幅降低内存需求,这降低了推理部署的成本。

Granite 4.0 系列模型的首发型号包括 Small、Tiny、Micro 规模的标准和指令变体(规格参见下方列表),未来其它参数规模版本和推理变体则将在 2025 年底推出。

    • Granite-4.0-H-Small:总参数 32B,激活 9B;

    • Granite-4.0-H-Tiny:总参数 7B,激活 1B;

    • Granite-4.0-H-Micro:总参数 3B;

    • Granite-4.0-Micro:采用传统 Transformer 架构,总参数 3B。

IBM 表示混合架构的设计能在长输入和多并发场景下减少 70% 的内存需求。性能方面,即使是最小的 Granite 4.0 模型在基准测试中也明显优于 Granite 3.3 8B,而 Granite-4.0-H-Small 则以较小参数规模取得了开源模型中一流的表现

IBM 以标准 Apache 2.0 许可开源 Granite 4.0 系列模型,这些模型得到了 ISO 42001 认证并经过加密签名。

IBM 推出 Granite 4.0 系列模型:混合架构降低内存需求,Apache 2.0 开源 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。