英伟达详解 Vera CPU:专为智能体 AI 构建,88 个 Olympus 核心、1.2 TB/s LPDDR5X 内存

浏览15次 点赞0次 收藏0次
感谢网友 华南吴彦祖 的线索投递!

7 月 22 日消息,英伟达昨日(7 月 21 日)发布博文,从技术角度详细介绍了 Vera CPU,专为智能体 AI(Agentic AI)场景设计。

Vera CPU image.

英伟达表示智能体 AI 将更多的关键执行路径转移到了 CPU 上。智能体(Agents)在沙箱中运行代码、调用工具、检索上下文、与数据库交互以及分析结果,然后再将信息返回给模型。

援引博文介绍,智能体 AI 工作负载主要取决于以下几点:

  • 即使插槽完全负载,也需要强大的单线程性能。

  • 每个核心都有足够的内存带宽,以持续为许多活跃的执行上下文提供数据。

  • 并发下的延迟具有可预测性,以便智能体能够稳定完成预定步骤。

  • 高效处理不规则控制流、长依赖链和指针密集型数据结构。

英伟达在博文中强调,Vera CPU 围绕智能体 AI 负载设计,重点提升满负载条件下的单线程表现,其设计核心是 Olympus 核心。

英伟达强调 Olympus 核心采用前端、核心中段、执行引擎和缓存子系统四部分设计。前端集成 10 宽解码引擎,并支持每周期最多处理 2 个已采用分支。其分支预测子系统包含神经分支预测器,用于提升复杂分支模式下的预测准确性。

Diagram of the NVIDIA Olympus Core Architecture showing the front end, mid core, execution engine, and cache subsystem.

该公司表示,Vera CPU 共配备 88 个 Olympus 核心和 176 个 SMT 线程,目标是在单线程高负载与更高线程密度两类场景间切换,并降低线程间资源争用。

在片上互连与缓存部分,Vera CPU 搭载 NVIDIA 可扩展相干互连,即 NVIDIA Scalable Coherency Fabric(SCF)。

NVIDIA Spatial Multithreading concept with two hardware threads sharing core resources.

NVIDIA 称,这一互连提供最高 3.4 TB/s 双向分区带宽,并在全核心范围内集成 164 MB 统一 L3 缓存,连接核心、共享缓存、内存控制器、I/O 与 NVLink-C2C 接口。

内存方面,Vera CPU 采用 SOCAMM2 LPDDR5X 内存。NVIDIA 称,该子系统聚合带宽最高 1.2 TB/s,按单核计算最高 14 GB/s,面向高并发 AI、分析、图计算与强化学习负载供数。

Diagram of the NVIDIA Fabric and Memory Subsystem showing the connection between Olympus cores and memory.

Diagram of the NVIDIA Vera Dual-socket configuration.

扩展与 I/O 方面,NVIDIA 称 Vera CPU 支持双路扩展,通过第二代 NVLink-C2C 构建一致性双路平台。

双路配置下,平台提供 176 条 PCIe 6.4 通道,并支持 CXL 3.1。保密计算方面,Vera CPU 基于 Arm CCA / RME,支持按虚拟机分配加密密钥,并使用经认证的 C2C 加密保护一致性链路数据。

Diagram showing NVIDIA Vera's software-first single NUMA approach compared to a chiplet-based design.

Bar chart showing NVIDIA Vera delivering up to 1.8x higher performance on agentic workloads compared to x86 CPU.

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它往往能得到较好的回响。
评论
游客
游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。
最新资讯