边缘计算人工智能服务器及加速卡测试规范

■制定 □修订

□IDT □MOD □NEQ

□FTP

01.080.50

中国信息通信研究院、中国移动通信集团有限公司

浪潮电子信息产业股份有限公司,新华三技术有限公司,中兴通讯股份有限公司,中国信息通信科技集团有限公司

目前，边缘云2B和2C场景中人工智能和多媒体渲染应用层出不穷，随之产生爆发式增长的数据量，且这些应用大多具有大带宽、低时延等需求。人工智能和多媒体渲染加速卡可极大地加速此类应用所需的矢量、矩阵、向量运算能力。 目前业内面向人工智能类应用的人工智能加速卡产品种类丰富，但各厂商产品在架构设计、开发环境、功能性能上差异较大，且缺乏相应评估标准；同时当前业内尚无针对边缘云平台编排、纳管、运维人工智能加速卡的统一评估标准，难以为边缘计算服务商选择方案提供横向对比产品的依据。所以亟待定义边缘云平台人工智能加速卡相关标准，评估方案成熟度，引领产品向统一、标准化发展。

边缘计算人工智能服务器及加速卡测试规范主要包含， 1.加速卡自身功能以及被IaaS平台纳管的能力。 (1)加速卡需支持在裸机（含裸机容器）、虚拟机（含虚拟机容器）中的识别、使用、调度、释放 (2)直通及虚拟化加速卡需支持虚拟层加速管理组件Cyborg组件的纳管 (3)需支持Host OS带内及BMC带外管理运维指标参数的采集和上报 (4)加速卡自身需支持虚拟化功能，并支持争抢、均等、固定模式 2.加速卡性能。 (1)基本性能，加速卡与CPU之间的带宽测试 (2)推理性能，包括图像分类、目标检测、语义分割、语言推理、推荐等推理场景 (3)渲染性能，针对多种专业渲染能力（如着色、抗锯齿、环境光遮挡等）进行测试 (4)编解码性能，针对1080P，4K分辨率视频进行编码和解码的测试 (5)虚拟化损耗性能 3. 整机功耗测试，测试并记录服务器在硬盘和人工智能加速卡100%加压，CPU依次加压至不同负载状态时并稳定运行时的整机功耗。 4. 整机稳定性测试。将服务器的人工智能加速卡和CPU加压到满载，需稳定运行5*24小时，整个过程中系统无任何报错和异常。

全球人工智能加速卡产品深受美系公司绑定，近年来，国内雨后春笋般的涌现出很多人工智能加速卡厂商。目前，国内外各厂商产品架构、软件栈相互独立，功能及其实现方式不同，性能评估方法不同，目前还没有全面、统一的评估IaaS平台人工智能加速卡方案及产品成熟度的统一标准。