让AI赋能专业,用软件服务网友
全站绿色,Ctrl+D 快捷收藏网站

腾讯混元提出Stem稀疏注意力算法,首字延迟降低3.6倍

6月5日消息,腾讯混元宣布提出Stem稀疏注意力算法,已被机器学习顶会ICML-26收录。根据Stem算法×HPC算子的全栈加速方案,算法层面,Stem通过Token位置衰减(TPD)和输出感知度量(OAM)实现25%预算下的近无损精度;算子层面,HPC开源的Stem+BSA算子将稀疏收益转化为真实硬件加速,128K上下文下首字延迟降低3.7倍。(广角观察)

    赞(0) 打赏
    📝版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
    📌文章名称:《腾讯混元提出Stem稀疏注意力算法,首字延迟降低3.6倍》
    📌文章链接:https://www.fsgameo.com/breaking-news/13989.html
    ⚠须知:本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。

    评论 抢沙发

    觉得文章有用就打赏一下文章作者

    非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

    支付宝扫一扫

    微信扫一扫

    请在浏览器中打开