当前位置:首页 > Deepseek应用场景 > 正文内容

比肩 H100!硅基流动上线基于昇腾云 CloudMatrix 超节点的 DeepSeek-R1

5个月前 (04-11)Deepseek应用场景337

近日,硅基流动创始人袁进辉在华为云生态大会上宣布,硅基流动联合华为云基于 CloudMatrix 384超节点昇腾云服务和高性能推理框架 SiliconLLM,用大规模专家并行最佳实践正式上线 DeepSeek-R1。

该服务在保证单用户 20 TPS水平前提下,单卡 Decode吞吐突破 1920 Tokens/s,可比肩 H100 部署性能。同时,经过主流测试集验证及大规模线上盲测,在昇腾算力部署 DeepSeek-R1的模型精度与 DeepSeek官方保持一致。


其中,通过架构的全面创新,基于新型高速总线架构的 CloudMatrix超节点集群在总算力、互联带宽、内存带宽上领先业界。

此前,硅基流动在大模型云服务平台 SiliconCloud首发推出了基于昇腾云的稳定生产级 DeepSeek-V3 & R1 推理服务,并支持模型私有化集群部署,这次合作推动基于国产算力的 DeepSeek-R1推理服务持续升级。


DeepSeek风暴席卷全球,特别是以其高效、低成本的 MoE架构为应对大模型推理挑战打开了局面。不过,如果没有强大的 AI Infra 技术能力,要想部署好 DeepSeek并非易事。

DeepSeek使用了大规模专家并行(Expert Parallelism,大 EP并行)的 MoE模型架构,若采用单机部署方案,最终的性能远不如 DeepSeek官方公布的部署方案,且至少有数倍成本差距。更具挑战的是,虽然 DeepSeek公开了大 EP 并行方案,但技术难度较大,业内还没有其他团队快速复现这一部署方法。

针对这些难题,硅基流动与华为云联合攻关实现了技术突破。我们在 CloudMatrix 384超节点昇腾云服务上部署 DeepSeek-R1 时采纳了大规模专家并行方案,通过多专家负载均衡和极致通信优化,实现高吞吐及更高性能,大幅提升了用户体验。同时,我们使用昇腾高性能算子库,以及硅基流动推理加速框架 SiliconLLM在模型、机制、算子上的协同优化,实现在国产算力上,不损失模型精度的情况下,获得 DeepSeek-R1 推理效率与资源利用率的显著提升。

硅基流动与华为云的合作不仅提供坚实的全国产软硬件体系部署方案,让 DeepSeek推理服务更经济高效,也展现了 AI 生态合作的强大能量。硅基流动将继续加深与华为云的联合创新,共同提升产品体验,加速模型在更多场景落地。


“比肩 H100!硅基流动上线基于昇腾云 CloudMatrix 超节点的 DeepSeek-R1” 的相关文章

浙商银行:已部署DeepSeek并落地多场景应用

浙商银行:已部署DeepSeek并落地多场景应用

上证报中国证券网讯(记者 黄坤)4月17日,上证报记者从投资者互动平台获悉,有投资人向浙商银行提问:贵公司是否已经部署了DeepSeek?浙商银行回应称,该行当前已部署DeepSeek并落地多场景应用...

DeepSeek已经给儿童看病了 业内:“D医生”不为建议担责

DeepSeek已经给儿童看病了 业内:“D医生”不为建议担责

DeepSeek热潮下,有人拿它算命,有人用它看病。近日互联网上出现大量用DeepSeek求医问药的帖子,有观点称DeepSeek有三甲医院专家水平,也有不少人对AI看病开方表现出审慎态度。甚至这位“...

董明珠:将基于 DeepSeek 等打造格力智能家居垂类大模型

董明珠:将基于 DeepSeek 等打造格力智能家居垂类大模型

IT之家 3 月 10 日消息,据证券日报昨日晚间报道,格力董明珠透露:“格力电器已成功将自有的多模型框架与 DeepSeek R1 满血版大模型深度融合。”“例如,这一合作成果已经体现在格力电器的语...

外界热议:DeepSeek又变强了!

外界热议:DeepSeek又变强了!

中国人工智能初创公司深度求索(DeepSeek)24日深夜低调上线了DeepSeek-V3的新版本DeepSeek-V3-0324,参数量为6850亿,在代码、数学、推理等多个方面的能力再次显著提升,...

宝马多款新车将应用DeepSeek功能

宝马多款新车将应用DeepSeek功能

4月27日记者从宝马集团获悉,今年三季度,多款搭载第九代BMW操作系统的中国在售新车,将率先应用DeepSeek功能。明年起面世的宝马国产新世代车型亦将“上车”DeepSeek,实现AI与智能座舱的深...

加速企业智能化转型!华为云企业快成长DeepSeek技术创新论坛广州站即将启幕

加速企业智能化转型!华为云企业快成长DeepSeek技术创新论坛广州站即将启幕

近年来,AI技术以颠覆之势重塑行业格局,自然语言处理、数据分析、代码生成等领域的突破性应用,正成为企业降本增效、优化流程的核心引擎。作为AI创新的先锋力量,DeepSeek凭借其卓越性能,持续为千行百...