商汤绝影行业首发原生多模态大模型车端部署：80亿参数、每秒40Tokens
2024-07-19 14:52
7 月 19 日消息，商汤科技联合创始人、首席科学家王晓刚 17 日宣布，商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧 8B 模型首包延迟在 300 毫秒以内，推理速度 40 Tokens / 秒，覆盖主流算力平台。
商汤绝影为多模态大模型打造计算引擎“HyperPPL”，目前扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台。
商汤绝影称 HyperPPL 针对车载多人场景进行优化，使得车内多人并发情况下，车端多模态大模型的模型推理效率相比单人没有明显降低。
据IT之家此前报道，商汤绝影此前表示，深圳首条自动驾驶公交线路采用其车辆与技术，所有驾驶操作都无需人员介入。
明年上千 TOPS 算力的车载芯片（英伟达 Thor）就会问世。基于更高算力的计算平台，商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低，推理速度进一步提高。
【来源：IT之家】
相关推荐
商汤科技：面向公众提供的生成合成服务均已添加显式标识与隐式标识商汤科技拟募资20.08亿港元用于产品开发，7月5日发布日日新5.5大模型
商汤科技赋能“科技冬奥”，AI破解大面积冰雪场景AR导航难题
商汤成功在港挂牌上市，盘中大涨20%，市值超1400亿
传商汤科技欲通过末轮融资募集10亿美元 估值达95亿美元
商汤科技推出“AI刷脸乘地铁” 已在郑州西安等地落地
商汤预计2019年营收7.5亿美元 小米OPPO都用其技术
消息称商汤科技估值已超70亿美元
马来西亚首个人工智能产业园落地 商汤科技参与共建
互动式传播2.0时代已来 一点资讯和商汤聚睛开了一个好头
三大AI“利器”保障进博会 商汤科技智慧城市“视觉中枢”落地上海
首份《中国人工智能城市感受力指数报告》发布，人工智能城市要让人“三生”有幸
业务应用场景受限，商汤科技能否把握发展机会？
商汤科技医疗带头人终于“浮出水面”
科技晚报：商汤科技与瑞芯微合作AI人脸识别 克罗格与阿里达成合作
商汤科技“变硬”：与瑞芯微合作AI人脸识别
融十几亿美元后，有人建议“把市场烧的片甲不留”，但他这样说
商汤融资启示录：面向新零售的出发与落地
商汤们的战争
科技晚报：小米在印度再开三家手机工厂 马斯克超级高铁将测试
商汤科技徐立：中国人工智能要“郑和下西洋”
媒体：商汤科技获得阿里15亿元投资
和商汤、Face++不同，Video++用视频AI深耕互娱、电商、广告
创业两年估值达到100亿，这家黑科技公司成长中有哪些秘密？
专访商汤科技徐立：那些说AI竞争技术同质化的人 其实不了解行业现状
<返回首页
Copyright CmsTop.com
2026年04月16日 20:55:35