可替代NVIDIA！摩尔线程GPU千卡集群完成30亿参数大模型实训
2024-05-27 12:31
5月27日消息，摩尔线程、无问芯穹联合宣布，双方已经正式完成MT-infini-3B 3B(30亿参数)规模大模型的实训，基于摩尔线程国产全功能GPU MTT S4000组成的千卡集群，以及无问芯穹的AIStudio PaaS平台。
本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。
据悉，这次的MT-infini-3B模型训练总共用时13.2天，全程稳定无中断，集群训练稳定性达到100％，千卡训练和单机相比扩展效率超过90％。
目前，实训出来的MT-infini-3B性能在同规模模型中跻身前列，相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型，在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。
无问芯穹正在打造“M种模型”和“N种芯片”之间的“M x N”中间层产品，实现多种大模型算法在多元芯片上的高效、统一部署，已与摩尔线程达成深度战略合作。
摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司，夸娥千卡集群已与无穹Infini-AI顺利完成系统级融合适配，完成LLama2 700亿参数大模型的训练测试。
T-infini-3B的训练，则是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。
就在日前，基于摩尔线程的夸娥千卡集群，憨猴集团也成功完成了7B、34B、70B不同参数量级的大模型分布式训练，双方还达成战略合作。
经双方共同严苛测试，兼容适配程度高，训练效率达到预期，精度符合要求，整个训练过程持续稳定。
【来源：快科技】
相关推荐
NVIDIA首款笔记本N1 SoC主板实物曝光：配备128GB内存 支持Windows伊朗威胁打击NVIDIA、苹果、Intel等18家美国巨头：4月1日起开始 员工立即撤离
黄氏小龙虾来了 NVIDIA的NemoClaw已上线：主打安全、易用
iPhone 17e跑分揭晓：GPU逊于17，CPU却近乎持平
性能真超RTX4060！砺算科技母公司发财报：自研6nm GPU已交付
摩尔线程：将发布新一代GPU架构，并设立“摩尔学院”
摩尔线程IPO造富：CEO张建中财富曝光 多位高管跻身亿万富翁
摩尔线程中一签赚27万 不到一小时成交额破百亿 梁文峰的幻方量化赚麻了
黄仁勋很发愁！就算解禁H200 AI GPU 也不知道中国要不要
自研7nm GPU就绪！摩尔线程今日正式上市 114.28元/股、中一签能赚多少钱
NVIDIA牢牢把握独显市场92%份额！Intel终于突破1%
AI泡沫首次被“刺破”：GPU十年都无法存活！
摩尔线程张建中：MTT S80显卡算力接近RTX 3060
GPU性能利用率翻一倍！揭秘华为突破性新技术：让英伟达成“自己”的芯片
一颗芯片1800W功耗！NVIDIA下代AI服务器液冷就得40万元
重返中国无望！黄仁勋：中国不再需要NVIDIA
必须配核电站了！NVIDIA打造20亿瓦功耗的AI数据中心
AMD逼急NVIDIA！Rubin AI芯片参数猛增：TGP、带宽双双飙升
台积电先进封装被迫提前生产计划！NVIDIA等AI需求实在太火爆
NVIDIA旧显卡安全凭证即将到期：或导致Windows 11启动后黑屏
消息称印度计划开发2nm AI GPU，瞄准2030年投入应用
NVIDIA新中国特供芯片B30曝光：首度支持多GPU扩展
黄仁勋自曝“非常痛苦”！H20禁令让NVIDIA少赚150亿美元 助推华为崛起
美国新法案：NVIDIA AI GPU必须内置位置追踪 可以远程关闭
美国酝酿新法案：GPU需装GPS以防技术流向中国
沙特金主狂砸6000亿美元：NVIDIA、AMD获AI芯片超级大单
2025全球50大最有价值企业：微软、苹果、NVIDIA占前三
台积电2nm需求超所有其它制程！苹果、NVIDIA、AMD都想要
NVIDIA新模型DAM-3B：图像视频局部描述新突破
NVIDIA 576.02驱动一堆新Bug 显卡温度异常：官方紧急修复
NVIDIA Blackwell GPU芯片首次美国制造！“美积电”功不可没
Intel CEO陈立武：将在AI硬件领域与NVIDIA一较高下
NVIDIA游戏显卡有望Intel代工！采用18A制程
微软DXR光追升级1.2：性能飙升2.3倍！NVIDIA成最大赢家
NVIDIA App升级11.0.3版本：提供DLSS超分覆盖功能，可自定义渲染分辨率
RTX 50缺货三大原因揭秘：真都是NVIDIA自己的锅！
曝RTX 50笔记本也存在ROP单元丢失！NVIDIA否认
中国公司悄悄拿到不少Blackwell GPU：8颗要价440万元！
影响扩大！NVIDIA承认：RTX 5080也有ROP单元缺失问题
进展顺利！日本Rapidus 4月开始试产2nm：NVIDIA有望成客户
客户需求强劲，AMD加速推出Instinct MI350系列数据中心GPU
国产7nm工艺！曝华为昇腾910C AI推理性能达NVIDIA H100 60％：DeepSeek已验证
马斯克：特斯拉将以很大优势击败NVIDIA成为全球市值第一，不靠卖车
跟NVIDIA玩田忌赛马！AMD RDNA 4 GPU实物首曝：尺寸果然小的多
NVIDIA移动版RTX 5080跑分首曝！比RTX 4080提升18%
英伟达 RTX 50 系列笔记本 GPU 发布，3 月起上市
NVIDIA RTX 50系列价格正式公布！549美元起
摩尔线程MTT X300专业卡上线官网，物理规格与MTT S80一致
映众的CES 2025预告：透露RTX 50拥有概率的DLSS和神经渲染功能
NVIDIA App被指致游戏帧率下降15%！关闭这个功能马上恢复
Nvidia、AMD和Intel罕见联手，投资一家光芯片公司
NVIDIA驱动华丽升级！永别了 老旧的控制面板、GeForce Experience
NVIDIA DLSS体积大幅缩小！预设配置减少到仅两个
AMD预计今年GPU销售额超50亿美元：四季度营收指引不及预期，市场担忧AI需求
NVIDIA加码印度！计划联合开发量身定制AI芯片
世界上第一款GPU！NVIDIA GeForce 256诞生25周年 对比GTX 4090差距有多大
NVIDIA、何小鹏投资的文远知行提交上市申请！有望成滴滴以来最大中概股IPO
英伟达新王牌！NVIDIA NIM全新升级：几分钟构建AI应用
NVIDIA全面转向开源GPU驱动！性能实测与专有驱动相当
16384块NVIDIA H100训练Meta Llama3 4050亿参数大模型：3小时报错一次
SK集团董事长：若企业不能通过AI赚钱，NVIDIA商业模式可能就会崩溃
加速国产GPU设计！摩尔线程联手知名EDA企业
打破NVIDIA垄断！英国公司实现CUDA软件在AMD GPU上无缝运行
AI巨头狂跌！NVIDIA蒸发1.5万亿、AMD跌超10%：后进者被盯上
下探AI GPU价格，“硅仙人”Jim Keller谈未来设计：舍弃HBM是关键
AI芯片爆火， NVIDIA被反垄断盯上！法国证实正在进行调查
刚突破3万亿美元，顶级投资者：NVIDIA市值十年内可达50万亿！
黄仁勋：不全力以赴NVIDIA将在30天内破产
叫嚣对标NVIDIA的国产芯片公司退市！300亿市值只剩7亿，户均亏39万
产值首破千亿美元，AI带动2024服务器GPU出货482万片：英伟达占92.5%
黄仁勋套现6.9亿元NVIDIA股票！其他芯片企业CEO也在抛售自家股票
突破美国禁令！NVIDIA坚持把AI GPU卖到中东
NVIDIA Chat RTX 0.3版本：映众RTX40显卡解锁AI新体验
下代GPU会非常难买！黄仁勋敦促企业快买AI芯片 买越多越省钱
紧随NVIDIA每年一更新！AMD公布AI加速卡路线图：2025年就出CDNA4架构
Intel CEO将宴请中国台湾供应链：包括被NVIDIA独漏的仁宝电脑
NVIDIA市值步步紧逼苹果：能否夺走第二之位
黄仁勋身家飙升至6000亿：NVIDIA暂无接班人
NVIDIA AI PC处理器曝光：Arm X5超大核、RTX 50同款GPU
NVIDIA AI芯片将每年一更新 黄仁勋：时间的价值不可估量
台积电CoWoS先进封装产能告急！根本无法满足AI GPU需求
从濒临破产到市值全球前三：NVIDIA背后的日本关键援手
芯片大神建议NVIDIA这么干：可以省几十亿美元
GTX 1650即将正式成为历史！库存马上卖完
一万亿晶体管GPU将到来，台积电董事长撰文解读
RTX 50升级台积电4NP工艺：但其实还是5nm
芯片制造速度起飞！台积电、新思科技首次采用NVIDIA计算光刻平台：最快加速60倍
微软DirectX 12工作图发布：让GPU自主工作，突破CPU瓶颈
第一款RTX 3050 6GB真身曝光：核心、显存全面缩水
突然断供中国厂商多款GPU！RTX 4090是否也被禁售：英伟达回应
NVIDIA发布AI系统Eureka：支持机器人编程
提升智驾能力，腾势N7官宣可首搭新一代NVIDIA DRIVE Orin平台
16针供电接口频繁烧毁 AMD坚决不用！暗指NVIDIA甩锅
AMD苏姿丰拜会台积电等：NVIDIA最强显卡杀手MI300X要量产了
黄仁勋：NVIDIA的使命是解决几乎不可能的计算问题
火狐拥抱NVIDIA“视频DLSS”！新版本实现VSR技术初步支持
要理解宇宙本质,马斯克成立xAI公司：已抢购1万张NVIDIA显卡
NVIDIA垄断AI市场90%份额：AMD性能追上80% 软件太不能打
收入绝望下跌！台积电雪上加霜 大客户NVIDIA对显卡砍单
售价25万还抢不到 NVIDIA最强显卡H100找到外援：产能大增30%
AI大模型兴起 考验国产GPU算力成色
NVIDIA黄仁勋：我们从未忘记游戏玩家
兑现“十年合约”：微软正式开启与NVIDIA合作
需求太猛 NVIDIA部分GPU缺货到12月：AI显卡涨价近40%
NVIDIA：我们的AV1编码 秒杀AMD、Intel！
NVIDIA股价今年大涨90%：卖空者损失最严重的股票 亏大了
NVIDIA推出安全“护栏”：限制人工智能“一本正经的胡扯”
NVIDIA：显卡挖矿对社会一点用处都没有
700W功耗性能猛兽 售价超24万元 NVIDIA称H100显卡全面投产
用NVIDIA显卡训练就行 周鸿祎谈AI战略：不搞全产业链
NVIDIA发布调研报告：2023年金融业最关注的4大AI方向
2022年底AMD和NVIDIA显卡价格汇总 原来并没有降价
4K游戏串流没了 NVIDIA删除使用9年的GameStream功能引用户不满
3nm工艺！NVIDIA下一代显卡GPU首曝光
最坏的日子过去了 NVIDIA显卡库存已见底：RTX 40系不愁卖
RTX 4090连烧几十起后 NVIDIA再度回应：仍在调查16Pin接口问题
已有两起！RTX 4090发生“自燃”烧毁 NVIDIA回应：已着手调查
NVIDIA首席执行官黄仁勋：为致力于完整模拟世界的创造者铺平道路
NVIDIA Hopper 全面投产
游戏性能翻倍 RTX 40系列这就来了？NVIDIA为新卡造势
RTX 40即将宣布 NVIDIA送限量版3090 Ti显卡：老黄签名
暴跌36％ 独立显卡真便宜了！NVIDIA就一个字：稳
NVIDIA RTX 40系旗舰卡皇曝光：800瓦性能怪兽
消息称NVIDIA态度软化 愿意帮助显卡厂商清RTX 30库存
三星推出业界首款24Gbps GDDR6内存，为新一代GPU做好准备
高性能GPU的TDP将继续攀升：AMD预测2025年前会达到700W
NVIDIA GTX 1630亮机卡终于来了！Intel都能灭之
显卡越崩越难卖 厂商急等AMD/NVIDIA/Intel救场
AMD显卡无限接近原价！NVIDIA还是贵得离谱
AMD考虑学习Intel和NVIDIA：CPU、显卡软件可能收费
10年轮回 AMD、NVIDIA新一代显卡再次同时使用台积电代工
显卡价格暴跌 消息称NVIDIA给RTX 4090定价会更谨慎
摩尔线程发布全功能GPU“苏堤”
NVIDIA表示：游戏玩家在Ampere显卡上花费比上一代多300美元
NVIDIA、AMD显卡价格全体暴跌！不过还是贵的离谱
GPU上集成CPU内核 AMD显卡部门招聘RISV-C设计师
2TB“显存”你怕不怕 NVIDIA新技术让显卡直连SSD
黑客公开威胁NVIDIA：驱动必须开源 否则走着瞧
NVIDIA将创建CPU团队，未来将招聘数百人
NVIDIA Ti字辈显卡发布20年 到底该如何发音：至今没统一
NVIDIA RTX 40显卡曝光：确认台积电5nm、2022年见
NVIDIA：我们的GPU显卡比CPU节能42倍
消息称三星8nm工艺产能不足 RTX显卡缺货将继续
NVIDIA和洛克希德·马丁公司合作 利用AI缓解野火问题
苹果AI主管Samy Bengio确认将出席Nvidia年度
NVIDIA显卡全面缺货、涨价！最多达600元
NVIDIA承认矿工买走约19亿元显卡：RTX 3060已被盯上
NVIDIA下一代显卡曝光：5nm GPU芯片来了
NVIDIA：RTX 30显卡供应可能要花几个月才能赶上需求 两大罪魁祸首
传英国政府考虑阻止NVIDIA收购ARM
台媒：台积电将以6nm制程拿下英特尔明年GPU代工订单
NVIDIA通知三季度GPU芯片供应量仅为70%水平
清华制人工神经网络芯片，能效比GPU高两个数量级
英特尔将发低功耗新架构Tremont GPU性能或大幅提升
英特尔:GPU是我们第二重要的产品 2020发布首款独显
金康旗下新造车企业与芯片制造商英伟达合作自动驾驶
华为发布GPU Turbo，下一步会是操作系统吗？
英伟达顾头不顾尾，GPU更新显卡停顿
全球GPU供应出现前所未有的短缺 英伟达限购政策能否缓解？
科技晚报：北京地铁全路网今起可线上购票 民间组织谴责苹果"计划报废"
三星逐渐摆脱依赖高通芯片：开始自己生产GPU
市值超越高通后，NVIDIA用黑科技抢占苹果高端笔记本市场
三星苹果自研GPU，华为们不可掉以轻心
三星苹果自研GPU，华为们不可掉以轻心
苹果、三星要自研GPU：手机厂商自研芯片成趋势？
为解决VR音效问题 Nvidia这次算是放了大招
回顾苹果的掠食，英伟达或是吃“残羹剩饭”的命
自研GPU传闻成真，苹果为何要这么做？
科技晚报：诺基亚回归只要150美元，乐视汽车将1月首发
想造自主GPU 苹果收购这家企业不成就挖人墙角
Intel为何与NVIDIA在AI应用芯片上争吵?
长期忽略GPU技术的英特尔如今还能独善其身吗？
NVIDIA GTX 1050首次曝光：千元对飙RX 470
一个显卡芯片厂商因为手机 CPU 状告高通：你赔我 3.52 亿！
初出茅庐的Linkface，成为了NVIDIA在人脸识别领域的长期战略合作伙伴
初出茅庐的Linkface，成为了NVIDIA在人脸识别领域的长期战略合作伙伴
<返回首页
Copyright CmsTop.com
2026年04月13日 21:56:40