边缘计算人工智能服务器及加速卡技术要求

■制定 □修订

□IDT □MOD □NEQ

□FTP

01.080.50

中国移动通信集团有限公司、中国信息通信研究院

浪潮电子信息产业股份有限公司,新华三技术有限公司,中兴通讯股份有限公司,中国信息通信科技集团有限公司

目前，随着5G网络规模建设和发展，有着高带宽、低时延需求的人工智能及图像渲染类应用与日俱增，如人脸识别、视频监控、云游戏等，随之出现了在边缘云中部署人工智能服务器的迫切需求。人工智能服务器可极大的加速应用所需的矢量、矩阵、张量运算能力,且部署在网络边缘数据中心，可降低端到端时延，提升用户体验。 目前业界人工智能服务器以及人工智能加速卡涉及国内外众多厂家，产品众多，架构、功能、性能各不相同。需要对服务器及加速卡产品制定标准统一的技术要求，严格明确需求的技术细节，为将承载的应用提供可靠、高效的基础设施平台；同时，引领人工智能加速产业健康发展。 本标准将涵盖人工智能服务器以及人工智能加速卡两大部分技术要求，涵盖功能，基本性能，推理、渲染、编解码性能，稳定性、可靠性、兼容性等方面。

本标准是人工智能服务器及加速卡的技术要求，包含的内容有1.人工智能服务器，包含设计要求，如对部件，机箱，电源，风扇等的要求 2.人工智能服务器管理要求，明确人工智能加速卡BMC带外管理及OS带内管理指标要求 3.人工智能服务器性能要求，如人工智能推理性能、渲染性能、编解码性能等 4.人工智能加速卡要求，包括支持的使用场景（如裸金属、容器、虚拟机等），加速卡支持被云管平台纳管的功能，虚拟化后的性能损耗要求等 5.人工智能服务器稳定性、与上层软件兼容性等要求

目前国内外没有相同的国家或行业标准。人工智能加速卡方案在近年来应用逐渐增多，如高性能计算领域的大型超算数据中心，机器学习领域的核心侧数据中心。我们研究的标准，针对随着5G网络的发展而兴起的边缘数据中心应用需求，如人脸识别、云游戏、车联网等，着重考虑这些应用的高带宽、低时延需求。这些应用，在类型、对算力的需求、功能、性能等多方面，相比其他类型数据中心，都有自己独有的特点，需独立研究制定技术要求。