7月20日，小红书发文宣布其与北大提出UltraEP，首次把基于“精确”路由信息的“实时”负载均衡引入生产系统：在每个microbatch和每一层动态复制热点专家，让真实训推也能逼近理想性能。据小红书方面介绍，UltraEP平均达到理想性能的94.3%，相比业界SOTA训推框架提升1.49倍，并应用在了大规模预训练的实际生产中。（广角观察）
小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP
📝版权声明：本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
📌文章名称：《小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP》
📌文章链接：https://www.fsgameo.com/breaking-news/14533.html
⚠须知：本站资源仅供个人学习交流，请于下载后24小时内删除，不允许用于商业用途，否则法律问题自行承担。
📌文章名称：《小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP》
📌文章链接：https://www.fsgameo.com/breaking-news/14533.html
⚠须知：本站资源仅供个人学习交流，请于下载后24小时内删除，不允许用于商业用途，否则法律问题自行承担。
