Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC
2024-10-21 【 字体:大 中 小 】
站长之家8月24日消息: Nvidia 和 Mistral AI 发布了一款新型的小型语言模型,据称该模型在小体积下依然具有「最先进」的准确性。该模型名为 Mistral-NemMo-Minitron 8B,是 NeMo 12B 的迷你版本,参数量从 120 亿缩减到了 80 亿。
据 Nvidia 深度学习研究副总裁 Bryan Catanzaro 在博客文章中介绍,这款 80 亿参数的小型语言模型通过两种不同的 AI 优化方法实现了规模缩减。开发团队使用了结合剪枝和蒸馏的技术。「剪枝通过去除对准确性贡献最小的模型权重来缩小神经网络的规模。蒸馏过程中,团队在一个较小的数据集上重新训练了这个经过剪枝的模型,从而大幅提高了因剪枝导致的准确性下降。」
这些优化使得开发人员能够在「原始数据集的一小部分」上训练优化后的语言模型,从而在计算成本上节省高达 40 倍。通常情况下,AI 模型需要在模型规模和准确性之间进行权衡,但通过 Nvidia 和 Mistral AI 的新剪枝和蒸馏技术,语言模型可以同时兼顾这两者。
配备了这些增强功能的 Mistral-NeMo-Minitron 8B 据称在九项同类规模的语言驱动 AI 基准测试中表现出色。所节省的计算资源足以让笔记本电脑和工作站 PC 本地运行 Minitron 8B,使其比云服务更快且更安全。
Nvidia 围绕消费者级计算硬件设计了 Minitron 8B。该语言模型被封装为 Nvidia NIM 微服务,并针对低延迟进行了优化,以提高响应速度。Nvidia 通过其定制模型服务 AI Foundry,将 Minitron 8B 调整为能够在低配置设备(如智能手机)上运行。尽管性能和准确性可能略有下降,但 Nvidia 表示该模型仍然是高准确性的语言模型,并且只需极少的训练数据和计算资源。
剪枝和蒸馏技术似乎是人工智能性能优化的下一前沿。理论上,开发者可以将这些优化技术应用于所有现有的语言模型,从而显著提升整体性能,包括那些只能由 AI 加速服务器群组运行的大型语言模型。
猜你喜欢
港交所加快管理层接班进程:首位女CEO提前“接棒”欧冠升,史美伦将于4月股东周年大会后退任
通达信爆量竞价打板副图选股指标公式(附源码破译、测评和源码)
交大思诺(300851SZ):截止2024年2月29日我司股东总数为9624户
金语梁言:亚盘如期上涨,欧盘后回调继续多,26上方空单入场 。黄金亚欧多空策略
现在服务公司涨122% 股价突破800美元大关
糖尿病为何越来越多?医生提醒:或与3类食物有关,劝你尽量少吃
埃里安:担心美联储维持利率过高过久,而非过早降息
广州72家!2023年“必吃榜”入围餐厅名单揭晓
【#荣耀获中国移动投资#,#荣耀回应获中国移动投资#】8月24日,荣
消费金融新规正式实施,存量牌照是否需要同步调整?业内期待配套的通知文件予以进一步明确
利德曼(300289)2024年中报简析:净利润减9632%,公司应收账款体量较大
Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC
辉煌科技(002296SZ):上半年净利润113亿元 同比增长8540%
解放军会让美国明白,美军主力入台之日,就是台海全面摊牌之时
港股异动 宜搜科技(02550)涨超16% 股价刷新上市新高 公司有望9月入围港股通
在千篇一律的城市里香港依然保持着它的独有的魅力,复古、繁华、随意、烟
5岁的他在四楼点火,一楼的家人欲哭无泪……
老古点金:黄金先多后空!原油看跌
欧福蛋业北交所上市首日涨696% 募资113亿元
逛“夜市”把工作找了,南沙倾听企业诉求服务“一呼万应”