端侧大模型爆发元年,商汤超预期的地方在哪?
2024-06-12 【 字体:大 中 小 】
4月26日,商汤(00020.HK)收盘大涨43.37%,已连续5个交易日上涨,累计涨幅105%。
消息面上,4月23日,商汤发布了业内首个“云、端、边”全栈大模型产品矩阵,以满足不同规模场景的应用需求,并全新升级“日日新SenseNova5.0” (下称“日日新5.0”)大模型体系。“日日新5.0”据悉在知识、数学、推理和代码能力方面大幅提升,综合能力全面对标GP T-4 Turbo。
银河证券发布研报称,商汤“日日新SenseNova”发布节奏超预期,综合能力大幅提升,有望推动国内通用大模型厂商加速迭代,降低应用端成本和门槛,进一步拓宽应用端场景,推动AI商业化进程提速。
“日日新SenseNova5.0”性能对标GPT-4 Turbo
自去年4月首次发布以来,商汤“日日新SenseNova”大模型体系已正式推出五个大版本迭代。基于超过10TB tokens训练、覆盖大量合成数据,全新的“日日新5.0”采用混合专家架构,推理时上下文窗口可以有效到 200K 左右。
据悉,本次更新主要聚集增强了知识、数学、推理及代码能力,全面对标 GPT-4 Turbo,主流客观评测上达到或超越 GPT-4 Turbo。
(资料来源:商汤)
文科能力方面,“日日新5.0”的创意写作能力、推理能力以及总结能力均大幅提升,相同的中文知识注入后,可以获得更好的理解总结及问答,为教育、内容产业等垂直应用场景提供有力辅助。
理科能力方面,“日日新5.0”的数理能力、代码能力及推理能力达到业内领先水平,为金融、数据分析等场景落地提供坚实基础。
多模态能力是大模型的另一大核心指标。商汤介绍称,商汤多模态大模型的图文感知能力达到全球领先水平,在多模态大模型权威综合基准测试MMBench中综合得分排名首位,具备丰富的多模态交互能力。
商汤把大模型能力分为三层:知识层、推理层和执行层。商汤董事长兼CEO徐立介绍,知识层,即过往大模型已经有共识能够把世界的知识融汇到一个模型当中;推理层,也就是世界知识联系背后的道理,是更加高阶的知识,是决定模型是否聪明、是否能够举一反三的核心能力;在推理之上如果能跟世界进行交互就有了执行层。
“知识、推理、执行形成完备的集合来构造大模型的三个基本能力,它给了我们构造高质量数据的核心方法论。商汤在尺度定律的指导下,会持续探索大模型能力的KRE三层架构(知识-推理-执行),不断突破大模型能力边界。”徐立表示。
率先完成“云端边”全栈布局
过去一年,云端大模型在各个行业已开始应用,但智能终端侧,如手机、PC、汽车等AIoT设备,也是通用人工智能应用的广泛载体和场景。时下中心化算力需求正逐渐向端侧扩展,企业在边缘侧的AI需求也在快速增长。
商汤此次在业内首次推出“云、端、边”全栈大模型产品矩阵,其中包括应用于终端设备的“商汤端侧大模型”,以及面向金融、代码、医疗、政务等多个领域的边缘产品“商汤企业级大模型一体机”。
(资料来源:商汤)
商汤表示,日日新·端侧大语言模型的推理速度达到了业内最快,可在中端平台实现18.3字/秒的平均生成速度,旗舰平台更是达到了78.3字/秒;扩散模型同样可在端侧实现业内最快的推理速度,端侧LDM-AI扩图技术在某主流平台上,推理速度小于1.5秒,比友商云端app快10倍,支持输出1200万像素及以上的高清图片,支持在端上快速进行等比扩图、自由扩图、旋转扩图等图像编辑功能。
银河证券认为,未来通用大模型领域可能会更加集中在头部厂商,更多厂商需要向行业专业化转型,寻求赋能行业以及终端应用突破,垂类大模型以及端侧大模型将是未来主战场,市场空间广阔。
商汤此次还推出端云协同解决方案,可以通过智能化判断协同发挥端云各自优势,需要联网搜索或处理复杂场景时分流至云端处理,部分场景端侧处理占比超过80%,从而显著降低推理成本。
端云协同或是未来端侧大模型应用的主流趋势。“有几个重要的问题需要通过端云结合来解决。”商汤联合创始人、首席科学家王晓刚对第一财经表示。
王晓刚表示,一是成本问题,比如全国目前有30亿台手机,假如每人每天调用近10次,那么对于云端的算力需求和消耗成本是巨大的;二是数据的传输和延迟,比如在智能汽车场景,行驶过程中针对车内外特别是车外场景提出的各种问题,需要得到非常及时、准确快速的响应,最典型的比如在自动驾驶里,大模型的部署必须是发生在端侧的;三是数据安全、隐私各方面的问题,此外也有些没有网络的地方,用户还是希望仍然能持续拥有大模型的体验,这一切都实际推动了端侧大模型的普及和推广。
对于端侧大模型来说,其使用体验、性能与云侧大模型对齐至关重要。
“在过去一年里,我们在云端给手机、汽车客户提供服务时,针对手机、智能汽车这些终端用户的需求,对云侧模型做了大量的改进和开发。这样再开发端侧模型,端侧模型的体验就可以和云侧模型对齐。”王晓刚表示。
“这也是商汤端云结合的独特优势。”王晓刚称,“端云结合最终是一个大的MOE(Mixture-of-Experts)架构,会有若干个端侧小模型,当用户输入需求时,我们会做出判断,到底应该调用哪一个模型,或者是到云端调用云端模型。所以它是一个稀疏式的模型的激活,可以大大节省运算成本,降低功耗。”
据悉,目前搭载商汤端侧大模型的设备有部分正在量产,也有部分正处于接洽过程当中。在个人出行场景,近期火爆市场的小米汽车SU7,小米“小爱同学”为车主提供智能化交互体验,当中也集合应用了商汤的大模型技术能力,有基于商汤端云大模型解决方案。
举报 第一财经广告合作,请点击这里此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。 如需获得授权请联系第一财经版权部:021-22002972或021-22002335;banquan@yicai.com。 文章作者
冯丽君
相关阅读 商汤复牌一度涨超17%,此前发布日日新5.0大模型对标GPT-4Turbo商汤官方发文介绍了公司发布的日日新5.0大模型,并表示这是“中国首个GPT-4 Turbo级别的大模型”。
04-25 11:01 大厂纷纷押注AI代码,但离代替程序员还很远AI或许不会取代程序员,但会重新定义程序员。
04-24 19:08 商汤:B类股明起恢复买卖商汤已向联交所申请B类股份于4月25日上午9时正起恢复买卖。
04-24 17:25 商汤:推出大模型日日新5.0 B类股明起恢复买卖公告显示,公司已向联交所申请B类股份于4月25日上午9时正起恢复买卖。
04-24 17:22 商汤股价飙涨超30%暂停交易,大模型迎端侧爆发元年今年是大模型在端侧应用爆发的元年。“去年我们主要聚焦在模型本身的参数发布,而今年则更多关注行业场景的落地,以行业来驱动人工智能的爆发。”徐立表示。
04-24 14:44 一财最热 点击关闭猜你喜欢
中国联通梁宝俊:提升大模型体系服务消费与产业互联网
中远通(301516SZ):电源产品是相关设备的核心组成部分,可根据特定需求进行电能转换并提供稳定供电
尝“鲜”盛宴,等你来探!2024年清远西牛麻竹笋尝鲜季即将启幕
异动快报:ST富润(600070)7月22日13点3分触及跌停板
陈赟:“大道之行”与原初秩序经验:《礼运》“大同”新解
广东美协林蓝:聚焦“大作大家大展”,拟建设艺术大家档案
强力转债下跌176%,转股溢价率14771%
美股恐慌指数上周大涨7%,英伟达股价跳水释放什么信号
和而泰(002402SZ):公司大部分客户是欧美500强
解读方程豹豹5,2398万起,最大功率505kW,哪个版本更适合你?
特伦托大学202425学年英授硕士专业申请信息
教科书式的洗盘,没想到真的在教科书上看到了
国常会重磅部署!定调2024工作重点;美国批准向波兰出售1700余枚导弹;一架载16人运输机在俄坠毁,机上人员全部死亡丨早报
假面骑士Gotchard:说说冥黑三姐妹后续可能得结局,大姐被献祭,三姐被洗白
2024年2月2日全国主要批发市场红椒价格行情
死要面子活受罪?德国总理:就算没有俄气 今年也能“安然”过冬
拜登政府被曝允许32万非法移民乘机入境美国,马斯克:这是叛国
贝达药业涨542%,长城国瑞证券四周前给出“买入”评级
沪深B股市场收盘:B股指数下跌127% 成份B指下跌169%
东诚药业(002675)6月30日股东户数263万户,较上期增加1104%
股票K线图入门指南:掌握基础知识,看懂市场趋势
中秋前夜火车票今日开售, 机酒价格比十一低四成
浩欧博(688656)7月19日主力资金净卖出8846万元
留在增城过暑假!这群大学生“花式”助力乡村振兴
一键下载拼多多,轻松购物省钱
牛千万股票配资:开启财富增值新篇章
江子晨(723)—美指4H头肩底,非美弱势整理!
股票杠杆交易手续费详解
习近平:中非要携手推进“六个现代化”
周末证券版:金融投资报为你解读市场风云