当地时间5月5日,英特尔宣布成为唯一在MLPerf Client v0.6基准测试中实现全NPU支持的企业。这一成果标志着行业首次针对客户端NPU的大语言模型(LLM)性能进行标准化评估。测试数据显示,英特尔酷睿Ultra 200处理器在GPU和NPU上的输出速度远超人类平均阅读速度。
英特尔客户端PC产品营销副总裁丹尼尔・罗杰斯表示,该公司正引领行业,实现客户端PC平台的全NPU加速和领先GPU性能。在基于Llama 2 7B模型的测试中,英特尔的NPU响应速度最快,首词元生成仅需1.09秒,同时NPU吞吐量达到18.55 tokens/秒,GPU性能也优于竞品。
此次测试采用华硕Zenbook S 14(酷睿Ultra 9 288V)与华硕Zenbook S 16(AMD锐龙AI HX 370)对比,两平台均搭载32GB内存和1TB存储。MLPerf Client由MLCommons联盟开发,首次引入NPU基准评估,推动行业测试标准革新。