10月15日,蚂蚁集团旗下百灵团队宣布开源Ling-3.1-flash模型。该模型总参数约560B,每Token激活约25B,支持最高1M上下文。经Artificial Analysis评测,智能指数41,输出速度达210 Token/s。本地部署采用MXFP4+block-FP8混合量化,权重从534GB压缩至292GB,Hopper GPU需求由8卡降至4卡。长文本推理优化后,8卡配置下首Token延迟604ms,吞吐测试中4卡实现1.36 QPS。模型已上线Hugging Face与ModelScope。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。