3月24日，记者获悉，蚂蚁集团Ling团队日前发表了一篇技术成果论文。论文显示，蚂蚁集团推出了两款不同规模的MoE大语言模型——百灵轻量版（Ling-Lite）与百灵增强版（Ling-Plus），前者参数规模为168亿（激活参数27.5亿），Plus基座模型参数规模高达2900亿（激活参数288亿），两者性能均达到行业领先水平。
据了解，除了自研性能领先的大模型以外，该技术论文最大的突破在于提出了一系列创新方法，以提升资源受限环境下AI开发的效率与可及性。实验表明，其3000亿参数的MoE（混合专家）大模型可在使用国产GPU的低性能设备上完成高效训练，性能与完全使用英伟达芯片、同规模的稠密模型及MoE模型相当。
目前，蚂蚁集团Ling团队的技术成果论文《每一个FLOP都至关重要：无需高级GPU即可扩展3000亿参数混合专家LING大模型》已发表在预印版Arxiv平台上。
据技术成果论文，MoE模型性能表现出色，但其训练通常依赖高性能计算资源（如英伟达H100/H800等先进GPU），高昂成本制约了在资源受限环境中的普及应用。因此，Ling团队设定的目标是“不使用高级GPU”来扩展模型，并通过提出创新性的训练策略，旨在突破资源与预算限制实现高效大语言模型训练，从而推动AI技术向普惠化方向发展。
据技术论文，Ling团队在五种不同的硬件配置上对9万亿个token进行Ling-Plus的预训练，其中使用高性能硬件配置训练1万亿token的预训练成本约为635万元人民币，但利用蚂蚁的优化方法后，使用低规格硬件的训练成本将降至508万元左右，节省了近20%，最终实现与阿里通义Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相当的性能。
业界指出，如果蚂蚁集团的技术成果得到验证及推广，意味着国产大模型能够寻找成本更低、效率更高的国产芯片或其他替代方案，进一步降低对英伟达芯片的依赖。
据悉，百灵大模型作为蚂蚁集团自研的大模型，重点布局在生活服务、金融服务、医疗健康等场景的应用。去年5月，蚂蚁在开放日上对外展示了多个AI创新应用产品，并首次公布了AI应用矩阵。蚂蚁集团CTO何征宇透露，基于蚂蚁百灵大模型的三个应用是蚂蚁当下重点破局方向：生活管家、就医助理及金融助手。
文/广州日报新花城记者：文静
广州日报新花城编辑：李光曼
