2月27日,DeepSeek开源周第四日,DeepSeek宣布了优化的并行策略。此次开源,DeepSeek发布了DualPipe(双向管道并行算法)和EPLB(专家并行负载均衡器)。

据悉,DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法,它实现了向后和向后计算通信阶段的完全重叠,还减少了管道气泡。
记者注意到,一位个人简介为AI工程师的网友形象地解释了DualPipe和EPLB。
该网友表示,想象一下,训练一个庞大的语言模型就像指挥一个交响乐团。每个GPU都充当音乐家,执行其分配的计算任务,而训练框架则充当指挥,让一切保持完美同步。在典型的设置中,音乐家可能需要等待彼此,从而产生尴尬的停顿。这些延迟(称为管道气泡)会减慢该过程。
DualPipe通过允许不同部分并行工作来消除这些低效率,就像弦乐部分在铜管乐队排练时演奏一样。这种工作重叠确保不会出现停机时间。同时,EPLB充当独奏者的舞台经理,在混合专家模型中平衡专家之间的工作量。通过确保没有音乐家负担过重,系统可以在整个乐团中有效地分配任务。
“DualPipe和EPLB相结合,将笨重、低效的排练转变为无缝、和谐的表演,显著提高了速度和效率。”该网友总结道。
记者就开源DualPipe和EPLB影响询问DeepSeek,它的回答是,DualPipe和EPLB的开源不仅提供了即用的效率提升工具,更通过社区协作推动AI基础设施的演进,助力资源受限团队参与前沿研究,加速行业应用创新。
文、图/广州日报新花城记者:张露
广州日报新花城编辑:麦晓颖




















































