当前位置:首页 > Deepseek应用场景 > 正文内容

比肩 H100!硅基流动上线基于昇腾云 CloudMatrix 超节点的 DeepSeek-R1

5个月前 (04-11)Deepseek应用场景330

近日,硅基流动创始人袁进辉在华为云生态大会上宣布,硅基流动联合华为云基于 CloudMatrix 384超节点昇腾云服务和高性能推理框架 SiliconLLM,用大规模专家并行最佳实践正式上线 DeepSeek-R1。

该服务在保证单用户 20 TPS水平前提下,单卡 Decode吞吐突破 1920 Tokens/s,可比肩 H100 部署性能。同时,经过主流测试集验证及大规模线上盲测,在昇腾算力部署 DeepSeek-R1的模型精度与 DeepSeek官方保持一致。


其中,通过架构的全面创新,基于新型高速总线架构的 CloudMatrix超节点集群在总算力、互联带宽、内存带宽上领先业界。

此前,硅基流动在大模型云服务平台 SiliconCloud首发推出了基于昇腾云的稳定生产级 DeepSeek-V3 & R1 推理服务,并支持模型私有化集群部署,这次合作推动基于国产算力的 DeepSeek-R1推理服务持续升级。


DeepSeek风暴席卷全球,特别是以其高效、低成本的 MoE架构为应对大模型推理挑战打开了局面。不过,如果没有强大的 AI Infra 技术能力,要想部署好 DeepSeek并非易事。

DeepSeek使用了大规模专家并行(Expert Parallelism,大 EP并行)的 MoE模型架构,若采用单机部署方案,最终的性能远不如 DeepSeek官方公布的部署方案,且至少有数倍成本差距。更具挑战的是,虽然 DeepSeek公开了大 EP 并行方案,但技术难度较大,业内还没有其他团队快速复现这一部署方法。

针对这些难题,硅基流动与华为云联合攻关实现了技术突破。我们在 CloudMatrix 384超节点昇腾云服务上部署 DeepSeek-R1 时采纳了大规模专家并行方案,通过多专家负载均衡和极致通信优化,实现高吞吐及更高性能,大幅提升了用户体验。同时,我们使用昇腾高性能算子库,以及硅基流动推理加速框架 SiliconLLM在模型、机制、算子上的协同优化,实现在国产算力上,不损失模型精度的情况下,获得 DeepSeek-R1 推理效率与资源利用率的显著提升。

硅基流动与华为云的合作不仅提供坚实的全国产软硬件体系部署方案,让 DeepSeek推理服务更经济高效,也展现了 AI 生态合作的强大能量。硅基流动将继续加深与华为云的联合创新,共同提升产品体验,加速模型在更多场景落地。


“比肩 H100!硅基流动上线基于昇腾云 CloudMatrix 超节点的 DeepSeek-R1” 的相关文章

中国信通院:启动DeepSeek国产化适配测试工作

中国信通院:启动DeepSeek国产化适配测试工作

中新网北京2月14日电(记者 宋宇晟)近期,DeepSeek陆续开源V3、R1系列高性能、低成本模型,人工智能软硬件协同创新重要性进一步凸显。记者从中国信息通信研究院(简称“中国信通院”)获悉,Dee...

DeepSeek加持& 32;财富管理装上“AI大脑”

DeepSeek加持& 32;财富管理装上“AI大脑”

“10万闲钱,按DeepSeek这样配置,狠狠赚了”“用DeepSeek理财,我终于开始盈利”“看DeepSeek如何分配15万元理财”……人工智能大模型DeepSeek掀起应用热潮以来,很多年轻投资...

2025年DeepSeek一体机:热潮下的机遇与挑战

2025年DeepSeek一体机:热潮下的机遇与挑战

2025年DeepSeek一体机:热潮下的机遇与挑战2025年伊始,DeepSeek大模型引领的一体机热潮如狂风般席卷中国AI市场。这款一体机凭借“开箱即用”的便捷特性以及超低的准入门槛,迅速吸引了众...

微信接入deepseek,这5个神仙接入口大家知道吗?

微信接入deepseek,这5个神仙接入口大家知道吗?

微信接入DeepSeek的入口,至少有5个,大家都可以试试。 (1)微信灰度测试用户(要看运气)。被幸运被邀请微信搜索灰度测试用户,可以在微信搜索框选择“AI搜索”,进入“深度思考”模式,输入问...

DeepSeek“大动作”要提前?最新回应

DeepSeek“大动作”要提前?最新回应

据台湾“中央社”2月26日引述路透社消息报道,大陆人工智能初创公司深度求索(DeepSeek)原本计划今年5月初发布新一代人工智能模型R2,但现在希望能尽早发布。对此,深度求索所属的幻方量化表示,“以...

「洁净青海·绿色算力」DeepSeek与国产算力共建青海AI产业生态

「洁净青海·绿色算力」DeepSeek与国产算力共建青海AI产业生态

上海燧原科技股份有限公司创始人、首席运营官张亚林。青海日报融媒体记者 张地委 摄从今年春节开始,国家级模型DeepSeek终结了“百模大战”,它带来的核心内容是算法的平权。而通过DeepSeek这一国...