2月4日消息，腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库HPC-Ops。在真实场景下，基于HPC-Ops，混元模型推理QPM提升30%，DeepSeek模型QPM提升17%。同时，在单算子性能方面，HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍；GroupGEMM相比DeepGEMM最高提升1.88倍；FusedMoE相比TensorRT-LLM最高提升1.49倍。（广角观察）
腾讯混元AI Infra核心技术开源：推理吞吐提升30%
📝版权声明：本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
📌文章名称：《腾讯混元AI Infra核心技术开源：推理吞吐提升30%》
📌文章链接：https://www.fsgameo.com/breaking-news/12336.html
⚠须知：本站资源仅供个人学习交流，请于下载后24小时内删除，不允许用于商业用途，否则法律问题自行承担。
📌文章名称：《腾讯混元AI Infra核心技术开源：推理吞吐提升30%》
📌文章链接：https://www.fsgameo.com/breaking-news/12336.html
⚠须知：本站资源仅供个人学习交流，请于下载后24小时内删除，不允许用于商业用途，否则法律问题自行承担。
