版权声明

Fsgameo.Com · 福神网

免责声明:仅供学习交流,著作权归原作者所有;如您认为相关资源侵犯了您的合法权益,请附上权利证明发送邮件至 admin@fsgameo.com,我们将尽快核实并及时下架

© 2023-2026 辽ICP备2023009493号 知道创宇云防御 已报备公安备案
Ctrl + D 收藏本站
Hi,请  登录  或  注册

小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP

7月20日,小红书发文宣布其与北大提出UltraEP,首次把基于“精确”路由信息的“实时”负载均衡引入生产系统:在每个microbatch和每一层动态复制热点专家,让真实训推也能逼近理想性能。据小红书方面介绍,UltraEP平均达到理想性能的94.3%,相比业界SOTA训推框架提升1.49倍,并应用在了大规模预训练的实际生产中。(广角观察)

    请在浏览器中打开