1月1日消息显示，DeepSeek团队发布最新研究成果《基于流形约束超连接架构的设计与实现》。该研究针对传统超连接（HC）在大规模模型训练中存在稳定性缺陷的问题，在保留其核心性能优势的基础上提出了创新性解决方案——mHC架构。根据论文介绍，mHC通过将传统超连接的残差连接空间投影至特定流形结构中，有效恢复了恒等映射特性，并结合严格的基础设施优化方案以保障运行效率。实验验证表明该架构不仅具备卓越的大规模训练支撑能力，在实现显著性能提升的同时还展现出更强的扩展潜力。
研究团队指出作为超连接技术的重要延伸路径,mHC架构不仅为拓扑结构设计提供了新的理论视角,更为基础模型的技术迭代开辟了创新方向。值得注意的是,该论文由三位第一作者共同完成:解振达(Zhenda Xie)、韦毅轩(Yixuan Wei)、曹焕齐(Huanqi Cao)。特别值得关注的是,DeepSeek创始人梁文锋亦位列作者团队之中。(广角观察)
