字节开源大型语言模型 Seed-OSS-36B

8月21日消息显示，字节跳动旗下Seed团队于人工智能代码共享平台Hugging Face正式推出全新开源大模型Seed-OSS-36B。该模型架构融合了多项前沿技术设计元素，包括因果语言建模机制、分组查询注意力（Grouped Query Attention）模块、SwiGLU激活函数以及RMSNorm标准化方法，并采用RoPE旋转位置编码方案。每个模型单元包含360亿参数量级，构建于深度达64层的神经网络架构之上，并配备15.5万维度的词汇表体系。值得关注的是，该模型的最大上下文长度可达512K tokens，在保持性能稳定的同时能够高效处理超长文档及复杂推理任务。（广角观察）