版权声明 用户协议 关于我们

Fsgameo.Com · 福神网

免责声明:仅供学习交流,著作权归原作者所有;如您认为相关资源侵犯了您的合法权益,请附上权利证明发送邮件至 admin@fsgameo.com,我们将尽快核实并及时下架

© 2023-2026 已报备公安备案 辽ICP备2023009493号

腾讯混元AI Infra核心技术开源:推理吞吐提升30%

2月4日消息,腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库HPC-Ops。在真实场景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。(广角观察)