6月10日，小红书正式开源其首个超大规模语言模型dots.llm1。官方表示该模型基于混合专家架构（MoE），总参数量达1420亿，在推理阶段仅调用其中的140亿参数，在保证高性能的同时显著降低训练与推理成本。值得关注的是，在预训练阶段该模型采用总量达11.2万亿的非合成真实数据进行训练。经测试验证，在中英文处理、数学运算及对齐任务等关键指标上均达到与阿里云Qwen3-32B相当的水平。（广角观察）
小红书开源首个大模型，预训练未使用合成数据
📝版权声明：本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
📌文章名称：《小红书开源首个大模型，预训练未使用合成数据》
📌文章链接：https://www.fsgameo.com/breaking-news/8388.html
⚠须知：本站资源仅供个人学习交流，请于下载后24小时内删除，不允许用于商业用途，否则法律问题自行承担。
📌文章名称：《小红书开源首个大模型，预训练未使用合成数据》
📌文章链接：https://www.fsgameo.com/breaking-news/8388.html
⚠须知：本站资源仅供个人学习交流，请于下载后24小时内删除，不允许用于商业用途，否则法律问题自行承担。
