昇腾解决方案-推理

昇腾解决方案-推理

大模型推理解决方案

华为昇腾大规模专家并行（大EP）集群推理解决方案，支撑运营商构建大模型中心推理场景，基于昇腾AI基础软硬件打造，深度适配DeepSeek以及业界主流MoE大模型，全面使能AI大模型应用深入千行百业。

方案价值

高性能

相同算力下吞吐量更大、并发用户更多、时延更低

高可靠

从单机到集群，系统级RAS保障长稳运行

易部署

预置开箱菜单，简化交付；支持vLLM，复用开源生态，业务更快上线

架构图

ascend inference 1400 2

ascend inference 670 2

相关产品

ascend inference a2 451

ascend inference a2 670

Atlas 800I A2推理服务器

Atlas 800I A2 推理服务器采用8模组高效推理方式，提供强劲 AI 推理能力，在算力、内存带宽和互联能力方面具有优势，可广泛应用于生成式大模型推理。该服务器为4U高度、风冷散热、4*鲲鹏920 CPU、32个DDR4内存插槽。