GB／T 42018-2022 标准规范下载简介
GB／T *2018-2022 信息技术 人工智能 平台计算资源规范.pdfGB／T *2018-2022 信息技术 人工智能 平台计算资源规范.pdf简介：
GB／T *2018-2022 信息技术 人工智能 平台计算资源规范.pdf部分内容预览：
推理inference 计算机根据已知信息进行分析、分类或诊断，做出假设，解决问题或者给出推断的过程。 注：人工智能领域的推理包括逻辑推理、机器学习推理等。 [来源：GB/T5271.28—2001,28.01.11,有修改
UART：通用异步收发传输器（UniversalAsynchronousReceiverTransmitter） USB.通用串行总线（UniversalSerialBus）
本文件描述的人工智能平台计算资源包括物理计算资源和虚拟计算资源，物理计算资源是指计算 设备实体，包含人工智能服务器、人工智能加速卡、人工智能加速模组等。人工智能平台参考架构见 图1。在提供人工智能服务时，通常需要管理及调度这些资源，对资源管理和调度的要求不在本文件规 定的范围内
架构JB∕T 9713-2013 工程机械 湿式铜基摩擦片 技术条件，不属于本文件规定的范畴
限构，不属于本文件规定的范
图1人工智能平台参考架构
人工智能服务器，因其应用目标和构成的差异，分为人工智能训练服务器和人工智能推理服务器。 相应的技术要求和测试方法见*.1.1.1和7.2.1，及*.1.1.2和7.2.2。对同时具备训练和推理功能的人工 智能服务器，在考察训练或推理相关要求时，分别适用人工智能训练服务器或人工智能推理服务器要求 和测试方法。人工智能加速卡包含训练加速卡和推理加速卡，相关技术要求和测试方法见*.1.2.1和 7.2.3，及*.1.2.2和7.2.*。常见的人工智能加速模组用于推理场景，本文件仅对人工智能加速模组提出 面向推理的技术要求和测试方法，见*.1.3和7.2.5。本文件提出的技术要求和测试方法对应关系见附 录A。 虚拟计算资源是基于实体计算资源，经过抽象并在一定程度上屏蔽异构性后，形成的逻辑计算资
原。相关基础技术要求见*.2。虚拟计算资源的测试 源不是人工智能系统实现的必要部分，计算资源的调度、人工智能服务等，可直接由物理计算 是供。 图1是人工智能平台参考架构，实际实现时，可按需选取搭配组件
*.1.1人工智能服务器
1) INT*; 2) INT8; INT1*; 3 *） FP1*; 5） FP32。 ) 通过集成人工智能加速处理器的方式提供人工智能计算加速时： 1）宜提供不小于1*TFLOPS(或1*TOPS)计算能力； 2）宜支持人工智能加速器直出参数面网口或芯片间互联
5.1.1.2人工智能推理服务器
对用作人工智能平台推理资源的人工智能服务器的要求如下。 a）应符合*.1.1.1中a)、b)、c)的规定。 宜配备32位或**位多核x8*或ARMCPU。 宜配备三级缓存，容量不宜低于1*MB。 d） 宜支持DDR*及以上版本的内存。 e 宜兼容PCle*.0及更低版本的PCIe协议。 宜能连接并使用25GE、10GE、GE等接口。 宜能通过自带固件，如通过BMC等，或其他外接部件监控系统参数。 h） 宜具备图像、视频预处理模块。 应能执行以下至少一种场景模型的推理，包含但不限于： 1）计算机视觉； 2）自然语言处理； 3）声音处理。 宜支持i)1)、i)2)和i)3)场景模型的推理。 K 应支持下列一种或多种精度实施推理： 1） INT*; 2） INT8; 3） INT1*; *） FP1*; 5） FP32。
*.1.2人工智能加速卡
GB/T*2018—2022
*.1.2.2人工智能推理加速卡
*.1.3人工智能加速模
加速模组作为人工智能平台推理资源，符合以下要求。 a）应含有至少1个人工智能加速处理器，支持乘加运算加速。 应支持至少一种计算精度，如FP1*、INT8等。 应配备连接器或接口，如USB、BTB连接器等。 d）宜能以FP1*或INT8精度执行计算任务。 e）宜兼容LPDDR*X协议，位宽不宜小于**bit，容量不官小于*GB。
虚拟计算资源要求如下。 应具备虚拟化的CPU。 b）应具备一种以上虚拟化的人工智能加速处理器，如NPU、GPU等 c）应能实时监控资源状态。 d）宜能以基于容器的方式，管理异构资源。 e）宜支持资源池内CPU和人工智能加速处理器间的不同配比。 f）宜支持基于角色的权限访问控制。 g）宜能自动发现和维护计算资源。 h）宜支持服务器系统与其运行应用的绑定。 宜提供资源故障告警、检测和还原的功能。 宜能使用硬件节能功能，包括资源回收、关闭和休眠。 k）宜支持资源注册、使用、配额管理和操作审计。 D 宜支持虚拟CPU和虚拟人工智能加速处理器的互操作。 m）应支持至少一种深度学习或机器学习框架。 应能执行以下至少一种场景模型的推理和训练，包含但不限于： 1）计算机视觉； 2）自然语言处理； 3）声音处理。 o）宜能训练和推理n)1)、n)2)和n)3)中全部类型场景的模型。
GB/T*2018—2022
对本文件第*章中的要求，测试环境应符合GB/T9813.3一2017中5.1的要求，
7.2.1人工智能训练服务器
人工智能训练服务器的测试中测试方法与技术要求的对应关系见附录A，按以下操作实施。测试 配置见附录B。 a）在人工智能服务器上安装操作系统和机器学习软件框架。 b）利用框架提供的API，编制脚本，完成张量初始化、张量乘加操作，输出结果。 c）执行操作系统命令，查询输出CPU体系架构，输出CPU状态数据。 d）执行操作系统命令，查询输出各级缓存的容量。 e） 执行操作系统命令，查询输出内存协议（如DDR3，DDR*）、容量及带宽（在执行测试前，应安置 相应内存，并记录内存容量）。 执行操作系统命令，查询输出SSD、SATA及NVMe协议的支持情况（在执行测试前，应安置 相应存储媒体）。执行系统命令，在目标存储媒体上创建、打开、关闭和删除文件。将RAID设 备与人工智能训练服务器连接，配置形成RAIDO（至少包含两块存储媒体），命令训练服务器 读取其存储媒体上的特定数据（测试前预先存放），写入RAIDO阵列，用时为TL1。完成后，仅 保留RAIDO阵列中的一块存储媒体，移除其他存储媒体，重复相同数据的读出和写人操作，用 时为TL2。比较TL1与TL2的大小，TL1应不大于TL2。 g）执行操作系统命令，输出系统使用的PCIe协议版本。 h）外接USB3.0闪存盘，复制闪存盘内预先制备的文件（不小于1GB)到被测系统的存储媒体 上，获得平均速率（测试时，应使用USB3.0配套的连接线缆）。 D 使用*.1.1.1m)规定协议配套的路由器或交换机，连接被测系统及测试辅助通用服务器，从通 用服务器使用TCP协议发送文件（不小于10GB)到被测系统，获得链路层平均传输速率（测 试时，应使用相应的连接线缆）。 i）在a)的基础上，调用图像、视频预处理命令，输出结果。 k）在a)的基础上，应符合附录C的规定，为每个模型编制训练脚本（控制训练过程精度为INT*、 INT8、INT1*、FP1*或FP32)，并配置数据集。 在k)完成后，由实验过程控制组件，对每个模型，发送训练开始指令，并计时，直到被测人工智 能训练服务器输出训练结果模型时，结束计时，完成一次训练，训练时间为两次计时的差，记为 T1。对于不使用CPU加速训练过程的人工智能服务器，关闭人工智能训练加速部件（或使用 计算能力等同的通用服务器），完成一次训练，并计时，训练时间为T。 m）在1)执行中SL 219-2013 水环境监测规范.pdf，调用被测人工智能服务器提供的监控命令，获取CPU运行状态，如每个CPU的 启用、禁用状态，利用率等。 n）检查设备外观及构造，确认网口存在，执行操作系统命令，查询输出物理网口信息，使用网口接 人本地交换机，针对附录C中的任一负载，完成分布式训练。 ） 在服务器固件中设置ECC为开启状态，检查ECC是否工作正常，或检查服务器生产者提供的
GB/T *20182022
测试过程记录。 P 在1)执行中，调用系统监控功能（通过操作界面或命令行），显示、记录或打印系统运行状态（包 含如，CPU个数、核数、利用率、冷却设备状态、存储媒体利用状态、固件工作状态、开机启动选 项、网络连接状态、功率等）。 Q）检查设备标称计算能力，
2.2人工智能推理服务
人工智能推理服务器的测试中测试方法与技术要求的对应关系见附录A，按以下操作实施。测试 统配置见附录B。 a）在人工智能推理服务器上安装操作系统。 b）在推理服务器需配合机器学习框架完成推理时GB 1*102-2005 防火卷帘，在服务器上安装机器学习软件框架。 执行7.2.1c)规定的操作。 d 执行7.2.1d）规定的操作。 e） 执行7.2.1e）规定的操作。 执行7.2.1g）规定的操作。 g）使用*.1.1.2f)规定接口配套的路由器或交换机，执行7.2.1i)规定的操作。 h）在a)的基础上，调用图像、视频预处理命令，输出结果。 i 在a)的基础上，应符合附录C的规定，为每个模型，配置测试数据集，编译并安置推理模型（控 制推理过程精度为INT*、INT8、INT1*、FP1*或FP32）。 i）在i)完成后，由实验过程控制组件，对每个模型，发送开始指令，并计时，直到被测人工智能推 理服务器输出全部推理结果时，结束计时，完成一轮推，推理总时间记为T3。对于不使用 CPU加速推理过程的人工智能服务器，关闭人工智能加速部件（或使用计算能力等同的通用 服务器），完成一轮推理，记录用时为T*。 k）在i)执行中，调用被测人工智能服务器提供的监控命令，应能获取系统运行状态，包含但不限 全.CPU利用率，照时或平均功率，
7.2.3人工智能训练加速卡
GB/T*20182022