新浪科技讯 5月21日上昼音尘，智谱当天告示落地部署了一项平直影响大模子推理效用的架构变嫌ZCube：线上Infra实测数据标明，在同等GPU竖立下，将荟萃带宽从200Gbps进步至400Gbps，推理总迷糊进步约10%，首响时延下落19%，这一划定跟着推理限制扩大会越来越显耀。

Z6尊龙凯时官方网站

　　通过将ZCube参加在千卡级GLM-5.1的一个线上推理集群中，在GPU型号、软件栈、业务代码沿路不变的前提下，仅升级荟萃架构，其与传统ROFT架构的对比GPU平均推理迷糊进步15%以上，TTFT P99尾时延下落40.6%。

　　这意味着，一样的硬件参加下，开云的登录网址智谱GLM大模子现时每秒能多反应15%的API央求。关于行状上百万成立者的大模子API平台而言，这平直对应更高的并发上限、更低的列队延长，以及在流量峰值下更相识的用户体验。

　　老本端的变化一样显著，ZCube 架构所需的交换机和光模块比原有决策少三分之一。限制越大，这个差值越可不雅。

　　更要道的是，这项升级的旯旮老本接近于零：GPU 不换，行状器不换，软件代码不改，地谈是组网架构的替换。这意味着智谱已有的算力金钱在同等参加下开释了更高的产出，尽头于存量金钱的效用重估。

　　据悉，ZCube工夫被海外顶会ACM SIGCOMM 2025评价为“显耀改变总计这个词行业对荟萃的领悟模样”，这次在智谱的落地实行是ZCube架构初次在委果大限制推理集群中完成分娩考证。（文猛）

海量资讯、精确解读，尽在新浪财经APP

包袱裁剪：江钰涵 开云的登录网址