真人龙虎斗

真人龙虎斗

AG真人(中国·国际)官方网站 智谱发布Infra新遵循:同等硬件过问,算力多出15%

发布日期:2026-05-22 06:41 来源:未知 作者:admin 浏览次数:

AG真人(中国·国际)官方网站 智谱发布Infra新遵循:同等硬件过问,算力多出15%

  新浪科技讯 5月21日上昼音信,智谱当天晓喻落地部署了一项奏凯影响大模子推理遵循的架构立异ZCube:线上Infra实测数据标明,在同等GPU设立下,将蚁合带宽从200Gbps升迁至400Gbps,推理总蒙眬升迁约10%,首响时延着落19%,这一规则跟着推理限制扩大会越来越显耀。

  通过将ZCube过问在千卡级GLM-5.1的一个线上推理集群中,在GPU型号、软件栈、业务代码一齐不变的前提下,仅升级蚁合架构,其与传统ROFT架构的对比GPU平均推理蒙眬升迁15%以上,TTFT P99尾时延着落40.6%。

  这意味着,相似的硬件过问下,AG真人2026世界杯中国官网智谱GLM大模子当今每秒能多反应15%的API央求。关于干事上百万树立者的大模子API平台而言,这奏凯对应更高的并发上限、更低的列队蔓延,以及在流量峰值下更贯通的用户体验。

  本钱端的变化相似彰着,ZCube 架构所需的交换机和光模块比原有决策少三分之一。限制越大,这个差值越可不雅。

  更重要的是,这项升级的旯旮本钱接近于零:GPU 不换,干事器不换,软件代码不改,纯正是组网架构的替换。这意味着智谱已有的算力金钱在同等过问下开释了更高的产出,绝顶于存量金钱的遵循重估。

  据悉,ZCube技艺被海外顶会ACM SIGCOMM 2025评价为“显耀改换扫数行业对蚁合的理会神气”,这次在智谱的落地施行是ZCube架构初度在真确大限制推理集群中完成出产考证。(文猛)

海量资讯、精确解读,尽在新浪财经APP

包袱裁剪:江钰涵 AG真人(中国·国际)官方网站

2026世界杯预选赛下单中国体彩官网