开云体育

大幅提速DeepSeek-R1推理AMD EPYC CPU撑住开云体育官方数据中心AI刚需

2025-06-16
浏览次数:
返回列表

  开云体育[永久网址:363050.com]成立于2022年在中国,是华人市场最大的线上娱乐服务供应商而且是亚洲最大的在线娱乐博彩公司之一。包括开云、开云棋牌、开云彩票、开云电竞、开云电子、全球各地赛事、动画直播、视频直播等服务。开云体育,开云体育官方,开云app下载,开云体育靠谱吗,开云官网,欢迎注册体验!芯东西6月15日报道,AMD正将自身定位于人工智能(AI)计算革命的最前沿。在刚刚落幕的AI盛会AMD Advancing AI大会上,AMD董事会主席及首席执行官苏姿丰(Lisa Su)博士提到AMD的五大端到端集成AI平台(EPYC处理器、Instinct加速器、Pensando网卡、Ryzen AI和Radeon AI处理器、Versal自适应SoC),并重点分享了AMD如何通过其硬件和软件生态系统推进加速AI发展的承诺。

  苏姿丰博士谈道,数据中心AI加速器TAM市场将每年增长60%以上,到2028年达到5000亿美元,预计推理将在未来几年内每年增长80%以上,成为AI计算的最大驱动力。

  大会期间,AMD还展示了端到端、开放标准的机架级AI基础设施,对外提供构建机架所需的主要组件。今年下半年推出的AI基础设施将搭配AMD MI350系列GPU、第五代EPYC处理器、Pensando “Pollara”网卡。下一代AI机架“Helios”将采用下一代MI400系列GPU、EPYC “Venice” CPU和Pensando “Vulcano”网卡,明年推出。

  其中旗舰服务器CPU“Venice”采用2nm制程,基于Zen 6架构,最多256核,CPU to GPU带宽翻倍提升,代际性能提升70%,带宽达到1.6TB/s。

  虽然GPU被公认是训练和大规模生成式AI的理想解决方案,但CPU依然是大多数传统机器学习工作负载高效运行、降低成本的优选。GPU并非独立运行,需要主机CPU来统筹协调所有任务,因此CPU的设计优化关联到GPU的算力如何被最大化利用,从而提供更低的推理延迟、更高的吞吐量和更好的整体AI效率。

  如果CPU速度不够快,就会导致延迟增加,致使GPU效率下降,造成计算资源浪费。

  AMD的一篇博客文章曾分享服务器处理AI推理的流程:当用户提交推理请求时,它首先到达推理API服务器。该服务器会将请求排队并转发到运行时引擎,运行在CPU上的关键组件。运行时引擎执行多项优化任务,例如批处理、键值缓存分页和图形编排,以充分利用GPU,并最大限度地降低延迟。数据准备好并优化后,会被发送到GPU进行推理。处理完成后,CPU将结果返回给用户。

  对于GPU的峰值利用率来说,CPU的内存接口容量与速度、核心频率至关重要。高核心数、高内存容量与带宽、高I/O带宽、高每周期指令数(IPC)、高能效、通用性等特性,使AMD EPYC CPU成为AI推理领域的重要硬件选项之一。

  实时AI应用需要快速的数据访问。CPU必须高效地存储、检索和处理海量传入数据,然后再将其发送到GPU。高容量内存可实现更大的批处理大小和更高效的键值(KV)缓存,减少获取延迟。高内存带宽确保AI模型能够快速检索嵌入和缓存数据,减少瓶颈。

  第四代AMD EPYC CPU(代号为“Genoa”)支持有助于加速AI工作负载的DDR5内存和PCIe 5.0。第五代AMD EPYC CPU(代号为“Turin”)同样配备DDR5内存,进一步提升了核心数等配置,通过减少缓慢的数据检索周期来优化AI推理,尤其在实时推理方面,其响应速度可满足聊天机器人、搜索引擎等大多数常见用例的需求。

  高频CPU可实现更快的数据移动、任务编排和高效的GPU通信,避免AI工作负载出现瓶颈,对实现高容量、低延迟AI训练和推理操作很关键。第五代AMD EPYC CPU的最大核心频率高达5GHz,比英特尔近期发布的至强6745P处理器的4.3GHz高出16%,也远高于英伟达Grace超级芯片3.1GHz的基准频率,可确保AI工作负载以极低延迟运行。

  此外第五代EPYC CPU在双插槽配置中提供多达160个PCIe Gen5通道,可支持在GPU、存储和网络基础设施之间的快速传输。

  ▲第五代AMD EPYC CPU的端到端AI工作负载性能表现(图源:AMD)

  这些特性与x86生态系统搭配,使第五代AMD EPYC CPU能够为运行Agent用例提供动力。

  SMT功能允许每个 CPU核心同时执行2个线程,因此能提高AI推理、云计算和许多企业应用程序等多线程工作负载的效率,更加充分地利用计算资源,从而能够显著提高整体吞吐量。

  此外,x86在生态兼容性方面更具优势,无需昂贵的软件移植,并且兼容广泛部署的关键业务应用。

  AMD的软件不仅支持主流AI框架,还与Hugging Face等开源社区深度合作,使开源模型能在EPYC CPU上无缝运行。AMD EPYC优化库可以提供额外的并行性和运行多实例的选项,从而提高性能吞吐量。

  此前AMD目标在2025年实现加速计算节点的能效提高到2020年能效的30倍,而实际上其在AI训练和高性能计算方面,使用当前配置的1块第五代EPYC CPU和4块MI355X GPU,实现了38倍的节点级能效提升,与5年前的系统相比,在相同的性能下,能耗降低了97%。

  在此基础上,AMD设定了新的五年目标,即到2030年,将机架级能效与2025年相比提高20倍,使目前需要超过275个机架的典型AI模型到2030年能够在一个机架内进行训练,同时减少95%的运营用电量,将模型训练的碳排放量从约3000公吨减少到100公吨。

  此外,结合软件优化,以帮助减少实际训练模型所需的计算工作量,AMD雄心勃勃地展望到那时整体能效可能提高100倍。

  现代数据中心对通用计算、企业AI任务、AI模型推理与训练等多元工作负载的需求快速增长,要求企业基础设施具备足够的灵活性。AMD EPYC CPU专门面向这些严苛业务需求而设计,适应数据中心计算基础架构所需的性能、效率和灵活性,通过其服务器解决方案生态伙伴多样化的系统产品组合,能够兼顾对企业传统业务和AI应用的支持。

  目前AMD将自身定位为唯一一家拥有跨数据中心、边缘和客户端设备端到端AI所需的广泛产品和软件专业知识的供应商。今年5月,AMD宣布2025年第一季度收入同比增长连续第四个季度加速,其中数据中心部门收入37亿美元,同比增长57%,主要受益于AMD EPYC CPU和AMD Instinct GPU销售增长的推动。

  AMD EPYC CPU作为拥有高核心数的x86 CPU,搭配在内存配置、容量和单路带宽等方面的优势,为大规模加速AI及多类工作负载提供了领先的性能、效率和灵活性,并提供了有竞争力的高性价比,有助于减少机架物理占用、功耗和成本。随着AI产业快速发展,这些特性使得AMD EPYC CPU成为企业构建面向未来的数据中心基础设施的CPU推理最优选择之一。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  山东一大学禁用红米手机考试?小米集团公关部总经理王化回应:非学校要求,提供在线考试技术支持的公司要求

  黄圣依公开回应结婚先斩后奏:权衡后觉得杨子最适合,没考虑过家人是否会同意

  消息称苹果人工智能部门负责人 John Giannandrea 遭降职

  雷军预告小米平板7S Pro月底杀到!自研3nm玄戒O1芯片正被小米扩大使用

搜索