芯展速发布AI90推理加速方案,首Token延迟降至亚秒级

7月20日,芯展速(GenStorAIGE)在WAIC 2026展会发布AI90软硬件一体化AI推理加速方案。该方案创新性地将高性能SSD纳入GPU显存体系,实现KV Cache向SSD卸载,构建HBM+DRAM+SSD三级存储架构。实测首Token延迟降低50倍至亚秒级,吞吐量提升5.1倍,显存节省39%;配合智能P2P多卡互联技术,8卡RTX 5090集群推理加速达5.8倍,支持128K+上下文。同步推出的PT200Z AI SSD采用pSLC闪存与PCIe Gen5接口,写入时延仅10μs,DWPD高达100。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

上一篇:

下一篇: