
1. 统一分数
基准测试程序应当报告一个分数作为被评测计算集群系统的评价指标。使用一个而不是多个分数能方便地对不同机器进行横向比较,以及方便对公众的宣传。除此之外,该分数应当随着人工智能计算集群的规模扩大而线性增长,从而能够准确评测不同系统规模下算力的差异。
2. 可变的问题规模
人工智能计算集群往往有着不同的系统规模,差异性体现在节点数量、加速器数量、加速器类型、内存大小等指标上。因此,为了适应各种规模的高性能计算集群,预期的人工智能基准测试程序应当能够通过变化问题的规模来适应集群规模的变化,从而充分利用人工智能计算集群的计算资源来体现其算力。
3. 具有实际的人工智能意义
具有人工智能意义的计算,例如神经网络运算,是人工智能基准测试程序与传统高性能计算机基准测试程序的重要区别,也是其能够检测集群人工智能算力的核心所在。人工智能基准测试程序应当基于当前流行的人工智能应用而构建。
4. 评测程序包含必要的多机通信
网络通信是人工智能计算集群设计的主要指标之一,也是其庞大计算能力的重要组成部分。面向高性能计算集群的人工智能基准测试程序应当包括必要的多机通信,从而将网络通信性能作为最终性能的影响因素之一。同时,基准测试程序中的多机通信模式应该具有典型的代表性。