3月5日快讯：YuanLab.ai团队正式开源推出"源Yuan3.0 Ultra"万亿级多模态大模型。这款旗舰产品作为源3.0系列中首个专为万亿参数量级设计的版本，已跻身全球仅有的三个开源万亿级多模态大模型之列。该模型采用统一架构体系构建，整合视觉编码器、语言主干网络及多模态对齐模块三大核心组件，在视觉与语言信息融合处理方面实现突破性进展。
其核心的语言主干网络采用混合专家（MoE）架构设计包含103层Transformer结构，在初始训练阶段即达到15150亿参数规模。通过创新性的LAEP技术优化方案，在预训练过程中成功将参数量压缩至1010亿级别，并实现预训练算力效率49%的显著提升。值得关注的是该模型具备688亿激活参数规模，在保持高性能的同时有效控制了计算资源消耗。
此外Yuan3.0 Ultra特别引入Localized Filtering Attention（LFA）机制，在语义关系建模方面展现出更强的表达能力。实验数据显示相较于传统注意力机制结构，在多项关键指标上实现了精度提升。（广角观察）
