DeepSeek 开源进度 4/5: DualPipe、EPLB 优化并行策略

具体如下： DualPipe-一种用于V3/R1训练中计算-通信重叠的双向管道并行算法。 EPLB-一种用于V3/R1的专家并行负载平衡器。 分析V3/R1中的计算-通信重叠。 IT之家附具体项目和链接如下： “双管道（DualPipe）”是在《深度搜索-V3技术报告》中引入的一种创新的双向流水线并行算法。它实现了正向和反向计算-通信阶段的完全重叠，同时也减少了流水线气泡。 在使用专家并行（EP）时，不同的专家被分配到不同的GPU。由于不同专家的负载可能因当前工作负载而异，因......查看更多

2025-03-06

冯小刚电影《抓特务》刚杀青，雷佳音和胡歌的粉丝就开始争一番！

1 月 12 日，冯小刚的新电影《抓特务》正式杀青，本片由雷佳音和胡歌领衔主演，主要讲述了两个怀有不同信仰的人，在 1949 年 -1988 年之间展开了一场跨越 40 年的纠缠与拉扯 。 据悉，该片改编自小说《无悔追踪》，有意思的是，30 年的 1995 年，王志文也拍了一部电视剧《无悔追踪》，该片在豆瓣可是拿到 9.4 分的评分。 无论剧本还是表演都是天花板级别的，拍得太好了。表面是谍战剧，实际可以看做 1949 到 1988 年间的年代剧，40 年跨度，历经各种运动，一......查看更多

2025-02-04