DeepSeek开源第四弹“教”优化，梁文锋参与研发_砍柴网

首页 > 科技快报 > 业界 >

DeepSeek开源第四弹“教”优化，梁文锋参与研发

2025-02-27 15:24

2月27日，DeepSeek开源周（OpenSourceWeek）第四弹来了，DeepSeek在X上宣布这次开源的是三项优化并行策略，并在Github上详细展开了DeepSeek-V3和R1模型背后的并行计算优化技术，通过这些阐述可以清晰了解团队是如何精细地优化计算和通信，最大限度利用GPU能力的。

这三项优化并行策略其中包括DualPipe，这是一种用于V3/R1模型训练中计算与通信重叠的双向流水线并行算法，这种算法能够完全重叠前向和后向计算通信阶段，与传统方法相比减少了“流水线气泡”（设备在某些时刻的空闲等待）。 在DualPipe的开发团队署名中，包括创始人梁文锋。
优化并行策略第二项是EPLB（Expert Parallelism Load Balancer，专家并行负载均衡器），它针对V3/R1模型，解决MoE（混合专家）模型在分布式训练和推理中的负载不平衡问题。
当使用专家并行（EP）时，不同的专家被分配到不同的GPU。由于不同专家的负载可能会根据当前的工作负载而变化，因此保持不同GPU的负载平衡非常重要。DeepSeek曾在V3论文中提到，团队采用冗余专家策略来重复重载专家，他们创新地将重复的专家打包到GPU上，以确保不同GPU之间的负载平衡。
在第三部分， DeepSeek直接分享了来自训练和推理框架的性能分析数据，以帮助社区更好地了解通信计算重叠策略和低级实现细节。这些数据是用PyTorch Profiler采集的，下载后可以直接在 Chrome或 Edge 浏览器中打开，进行可视化分析，DeepSeek还模拟了绝对平衡的MoE 路由策略用于性能分析。
DeepSeek这四天的发布都与Infra层的算法有关，分享团队最大限度利用GPU能力的技术细节。大模型生态社区OpenCSG（开放传神）创始人陈冉此前对第一财经举例表示，“相当于以前DeepSeek是直接给一辆车，告诉大家这辆车续航900公里，但是现在DeepSeek在深挖，用什么方式能够开到900公里。”DeepSeek的模型为什么能够实现较好的效果，对应有一些算法和相应的框架，而这些“脚手架”的开源有利于之后的生态搭建。
陈冉判断，DeepSeek的代码开源或许会影响一批做AI Infra层的从业者，“AI Infra层的人要找新的方向。”但他同时表示，这种开源是一把双刃剑，如果能将DeepSeek开源的内容用好可能也会得利，“用不好就被冲击”。
此前三日，DeepSeek陆续开源了让大模型在GPU上跑得更快的MLA解码核FlashMLA，用于MoE模型训练和推理的DeepEP通信库，以及可支持MoE的FP8 GEMM代码库DeepGEMM。
从GitHub上获得的星标来看，这些项目颇受欢迎，截至发稿，FlashMLA已在GitHub获得超过1万星标，DeepEP的星标已有6000，DeepGEMM目前超过3700，最新发布的DualPipe星标超过700。
就在昨日，DeepSeek还在海内外同时宣布了API 错峰优惠，自2月26日起，北京时间每日00:30至08:30的夜间空闲时段，API 调用价格大幅下调：DeepSeek-V3 降至原价的 50%，DeepSeek-R1 更低至 25%。DeepSeek鼓励用户充分利用这一时段，享受更经济更流畅的服务体验。
另外，也有消息称，DeepSeek正寻求巩固自身优势，尽早推出R2模型，消息提到DeepSeek原本计划在5月初发布R2模型，目前会加快这一速度。DeepSeek目前并未对此回应。
此前DeepSeek在R1论文中提到，R1 的性能将在下一个版本得到改善，因为相关的RL（强化学习）训练数据还很少。随着RL数据的增加，模型解决复杂推理任务的能力持续稳定提升，且会自然涌现出一些复杂行为能力。
业界认为，DeepSeek-R2的发布可能是AI行业的一个关键节点。
【来源：第一财经资讯】

共有评论0条

相关推荐
小米MiMo-V2-Flash大模型发布 回答速度出乎网友意料 比DeepSeek快
英伟达否认“DeepSeek 使用禁售Blackwell 芯片”相关传闻
“雷军千万年薪要挖”的DeepSeek罗福莉官宣加入小米大模型团队
DeepSeek开源3B OCR模型：97%精度刷新长文本压缩极限
豆包逆袭DeepSeek 连线：字节跳动如何打造中国最火AI聊天机器人？
DeepSeek声明：防范冒用“深度求索”名义实施诈骗
一天内完成更新！腾讯元宝、QQ浏览器等接入DeepSeek R1最新版
OPPO发布首台“直播手机”，深度整合DeepSeek
时隔3个月再访北京 曝黄仁勋会见DeepSeek创始人梁文锋
DeepSeek独占鳌头！中国AI原生App月活突破2.4亿：豆包、元宝紧随
中国AI原生App月活突破2.4亿：DeepSeek居榜首，豆包、腾讯元宝紧随其后
全国首个，深圳海关智能查验机器人引入“满血版”DeepSeek-R1
DeepSeek首次用于地震国际救援：7小时攻克缅甸救灾语言关
美媒：DeepSeek激活中国科技业 OpenAI、英伟达或付出代价
迎头挑战还是换赛道？英媒：DeepSeek让所有同行陷入抉择
感谢DeepSeek：Predibase发布全球首个端到端强化微调平台并开源
受DeepSeek-R1启发，小米大模型团队登顶音频推理MMAU榜
行业首例：亚马逊云科技宣布上线DeepSeek-R1全托管服务
董明珠：将基于DeepSeek等打造格力智能家居垂类大模型
富士康开发出台湾首个推理大模型 性能落后于DeepSeek
北京大学联合华为发布全栈开源DeepSeek推理方案
阿里万相大模型，反超DeepSeek-R1！
DeepSeek开源周第五天：“动力推进器”Fire-Flyer文件系统
OpenAI“最大最贵”大模型GPT-4.5，价格是DeepSeek的300倍
智联招聘“AI招聘助手”Deepseek-R1版上线
英伟达第四财季电话会议：DeepSeek点燃全球热情Blackwell需求惊人
酷派完成 DeepSeek 满血版融合，即将 OTA 推送升级
消息称字节跳动AI视频生成产品“即梦”考虑接入DeepSeek
黄仁勋笑了！DeepSeek爆火最大受益者是英伟达：特供H20芯片在中国订单大增
波士顿动力创始人：已购买宇树机器人，DeepSeek创新只是个开始
DeepSeek开源周第二日：开源DeepEP通信库
YY语音公司接入DeepSeek上线“YYDS”
DeepSeek接入WPS，输入提示词可一键生成PPT
DeepSeek启动开源周 FlashMLA代码库发布
小米超级小爱重新接入DeepSeek R1大模型：已上线
DeepSeek超越150万模型：成全球最受欢迎开源大模型
理想汽车：理想碳化硅电驱工厂早就接入DeepSeek了
DeepSeek将于下周开源5个代码库 每日解锁新内容
李彦宏回应文心大模型4.5开源：DeepSeek让我们明白要将最优秀模型开源
腾讯有自己的大模型，微信为何还要接入DeepSeek？
阿里云宣布DataWorks正式接入DeepSeek
AI搜索时代来了！百度搜索接入DeepSeek正式上线
微信测试接入DeepSeek 腾讯股价暴增3000亿元
DeepSeek服务器“裸奔”互联网现漏洞 专家提醒：立即修改配置
DeepSeek等秒变操控电脑AI智能体，微软开源工具OmniParser V2.0发布
与DeepSeek“深度情感交流”，网易《逆水寒》手游智能NPC“沈秋索”即将上线
“日本AI研究第一人”松尾丰评DeepSeek
腾讯云：支持开发者将DeepSeek接入微信小程序，可实现智能对话、文本生成等
美媒：DeepSeek或将打破印度在科技领域最后的骄傲
国家超算互联网平台宣布免费开放3个月DeepSeek API接口
DeepSeek获马克龙力捧：法国不会采用美国做法，它非常让人尊敬
IBM企业级AI开发平台watsonx.ai线DeepSeek R1蒸馏模型
百度文小言（原文心一言）App接入DeepSeek-R1模型
DeepSeek日活站上3000万 掀起A股相关科技股涨停潮
DeepSeek进军中东，与石油巨头沙特阿美联手运营数据中心
美媒：DeepSeek使投资者重新评估中国科技巨头
与DeepSeek深度融合后，吉利汽车将于3月初发布AI智能化战略
亚马逊CEO：DeepSeek降低AI推理成本，但会推动企业在技术上投入更多
奇安信：仿冒DeepSeek网站已超两千个，六成IP在美国
李飞飞团队50美元复现DeepSeek R1？ 真相来了
DeepSeek梁文锋知乎发言账号确认假冒：已封禁
研究机构：DeepSeek1月底的在美访问量超越了谷歌Gemini
复工首日DeepSeek婉拒所有采访，有人已蹲守5次、日韩媒体来得最多
“非常棒”，又有两家科技巨头点赞DeepSeek
彭博：下个颠覆人工智能的“DeepSeek”还将来自中国，会是谁？
担忧数据安全 印度财政部对DeepSeek、ChatGPT出手
DeepSeek进入“国家队”，超算互联网上线R1/V3/Coder等系列模型
AMD：已将DeepSeek模型集成到GPU 针对Al推理进行优化
消息称雷军重金招募大模型领军人才，DeepSeek 罗福莉将加入小米

<返回

<返回首页

Copyright CmsTop.com
2025年12月17日 11:10:02