
5月25日大庆万能胶,面壁智能联清华大学、OpenBMB开源社区发布并开源低位宽模型BitCPM-CANN,系国内个基于国产力平台(华为昇腾)实现端到端训练并开源的三值(1.58-bit)大模型。 大庆万能胶
据记者了解,该模型包含0.5B、1B、3B、8B四个尺寸,与面壁同尺寸MiniCPM-4全精度族相比,新模型在理阶段可释放约6倍显存红利,模型能力保留率维持在90至97.2之间。
采访中,面壁智能AI Infra负责人李宇轩对记者表示,这意味着未来有望在手机上运行60B大模型,手机智能可以大幅提升。
该款模型诞生背景是全球内存价格的持续飙升。表现在市场端,据李宇轩透露,2026年以来内存价格已上涨约5倍,内存涨价倒逼厂商控制成本,进而限制设备内存大小,反向传到所有要在内存里跑的模型应用程序。行业对于模型内存尺寸的要求压得加严格,牵引整个Infra向向节约内存的路线优化,这也是此次面壁新模型结市场情况调整的重要原因。
伴随技术发展与市场需求,人工智能法近年来持续侧重提,只是每年市场关注点不同。李宇轩向记者表示,端侧大模型的行业共识约在2024年下半年形成——手机上以后定会跑模型。此后,行业重心从“能不能跑”逐步转向“如何”。
将大模型从精度压缩成低精度、少比特来展示,是AI Infra发展的核心向。去年行业聚焦 FP8、FP4应用落地,如今FP8已成为主流模型标配,DeepSeek、MiniMax等均普遍采用。受内存价格上涨动,行业重心转向FP4,并加速进2-bit、1.58-bit技术落地。
如果说AI运行是货车物流,那么精度便代表货物包式,FP8如同标准纸箱,FP4类似真空压缩袋,2-bit为致捆扎压缩,靠法适配压缩形态,适配小型终端设备,大限度节省空间功耗。只是相对前者,低比特量化的精度损失风险,需要通过数据、架构、训练法协同优化来弥补。
李宇轩称,低比特模型对数据噪声敏感,需做严格的清洗与筛选,万能胶生产厂家避信息干扰模型学习;选用对称、带点的能量化器可以减少压缩损耗;以及在训练层面采用先QAT (量化感知)训练、后大模型蒸馏的组案,找到训练与蒸馏的优平衡点,既保证低比特训练稳定,又大程度恢复模型能力。
行业内,通从去年下半年已率先实现2-bit硬件支持,国内DeepSeek、智谱、阿里千问等模型厂商也在进低位宽量化模式落地。硬件端,过去几乎所有低位宽训练都在英伟达卡上做,此次面壁智能与华为作,李宇轩称,团队耗时约三周完成昇腾平台的适配与优化,终实现较小开销。他认为,在8B以内尺寸模型训练上,昇腾体验已经比较好,训练稳定、芯片利用率接近可比状态。
不过,模型参数越小、位宽越低,能存储的知识越少,能力不是线下降大庆万能胶,而是断档式下调。李宇轩表示,后续可通过精细的课程学习体系、针对补基础能力来。
目前,BitCPM-CANN全系列模型权重已开源,面壁智能称希望开发者能门槛体验国产力在低比特场景的真实能。 举报 财经广告作,请点击这里此内容为财经原创,著作权归财经所有。未经财经书面授权,不得以任何式加以使用,包括转载、摘编、复制或建立镜像。财经保留追究侵权者法律责任的权利。如需获得授权请联系财经版权部:banquan@yicai.com 文章作者
吕倩 相关阅读 苹果二财季营收同比增长17,仍在应对内存紧缺问题
苹果管表示,内存成本上涨将对公司业务造成越来越大的影响。 6 12049 05-01 15:53 谷歌CEO新访谈:模型“很优秀”,2027年将成行业拐点
力紧缺、押注太空。 1080 04-09 14:35 石油涨价、内存飙涨:电业4月开启涨价潮,涨幅20
铜价涨18、塑料涨51,成本压力传终端。 5 6774 04-02 14:19 实探华强北:部分内存条价格跳水30、二手手机回收价已回落
价格变动反映了存储产品价格涨至位后的复杂市场情绪。 8 4176 04-01 09:59 内存价格创下历史记录 手机涨价潮快周内“到”
机构数据显示,内存价格已暴涨80-90,其中DRAM、NAND及HBM均创下历史新。 6 475 03-02 10:31 财热 点击关闭相关词条:不锈钢保温 塑料管材设备 预应力钢绞线 玻璃棉板厂家 pvc管道管件胶
奥力斯 保温护角专用胶批发 联系人:王经理 手机:13903175735(微信同号) 地址:河北省任丘市北辛庄乡南代河工业区
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述大庆万能胶,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》,以此来变相勒索商家索要赔偿的违法恶意行为。
