2月12日,据豆包大模型团队消息,字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2-6倍,推理成本最高可降低83%。该研究还揭示了新架构的ScalingLaw,证明其不仅具备优异的Scaling特性,更在性能上超越了MoE。
实验结果表明,训练规模达2000万value的UltraMem模型,在同等计算资源下可同时实现业界领先的推理速度和模型性能,为构建数十亿规模value或expert开辟了新路径。
据介绍,UltraMem是一种同样将计算和参数解耦的稀疏模型架构,在保证模型效果的前提下解决了推理的访存问题。实验结果表明,在参数和激活条件相同的情况下,UltraMem在模型效果上超越了MoE,并将推理速度提升了2-6倍。此外,在常见batchsize规模下,UltraMem的访存成本几乎与同计算量的Dense模型相当。
在Transformer架构下,模型的性能与其参数数量和计算复杂度呈对数关系。随着LLM规模不断增大,推理成本会急剧增加,速度变慢。
尽管MoE架构已经成功将计算和参数解耦,但在推理时,较小的batchsize就会激活全部专家,导致访存急剧上升,进而使推理延迟大幅增加。
文/广州日报新花城记者:邓莉
广州日报新花城编辑:龙嘉丽












































