LeCun团队揭示LLM语义压:缩本质 极致统计{压缩牺牲}细!!节

2025-07-22 23:42:09      来源:海外网

当我们读到“苹果”“香蕉”“西瓜”这些词,虽然颜色不同、形状不同、味道也不同,但仍会下意识地归为“水果”。

哪怕是第一次见到“火龙果”这个词,也能凭借语义线索判断它大概也是一种水果。

这种能力被称为语义压缩,它让我们能够高效地组织知识、迅速地对世界进行分类。

那问题来了:大型语言模型(LLM)虽然语言能力惊人,但它们在语义压缩方面能做出和人类一样的权衡吗?

为探讨这一问题,图灵奖得主LeCun团队,提出了一种全新的信息论框架。

该框架通过对比人类与LLM在语义压缩中的策略,揭示了两者在压缩效率与语义保真之间的根本差异:

LLM偏向极致的统计压缩,而人类更重细节与语境。

语义压缩对比框架

要实证性地研究LLM的表征方式与人类概念结构之间的关系,需要两个关键要素:

稳健的人类概念分类基准

研究团队基于认知科学中的三项经典研究(Rosch1973、1975和McCloskeyGlucksberg1978),构建了一个涵盖1049个项目、34个语义类别的统一基准。

这些数据不仅提供了类别归属信息,还包含人类对各项目“典型性”的评分,反映了人类认知中概念形成的深层结构。

相比现代众包数据,这些经过专家严格设计的数据集更具可信度与解释力,为LLM的类人性评估提供了高保真的比较基础。

多样化的LLM模型选择

为全面评估不同大型语言模型在概念表征上的差异,研究团队选取了30+LLMs(BERT、LlamA、Gemma、Qwen等),参数规模从3亿到720亿不等。

所有模型均从输入嵌入层提取静态词元表示,以贴近人类分类实验中“去上下文”的刺激方式,确保模型和人类的认知基准保持一致,便于公平比较。

为分析LLM与人类在表达和组织语义信息时的差异,研究引入了一个信息论框架。

该框架借鉴了两大经典信息论原理:

速率失真理论:描述压缩效率与信息失真之间的最优权衡;

信息瓶颈原理:关注在压缩表示的同时,最大程度保留与目标相关的信息。

LLM与人类在表征策略上的关键差异

研究发现,LLM的概念分类结果与人类语义分类的对齐程度显著高于随机水平。

这一结果验证了LLM在语义组织方面的基本能力,并为后续更细粒度的语义结构对比奠定了基础。

但是大型语言模型真的理解细节吗?

答案是:LLM难以处理细粒度的语义差异。它们的内部概念结构与人类对类别归属的直觉不相符。

人类典型性判断与LLM余弦相似度之间的斯皮尔曼相关系数较弱且大多数不显著,表明两者在概念表征结构上存在差异。

那LLM和人类在信息压缩与语义保真上存在哪些关键差异呢?

LLM侧重于统计压缩,力求最大程度地减少冗余信息;而人类则更注重适应性和丰富性,强调保持灵活性和上下文的完整性。

研究团队

这项研究由斯坦福大学与纽约大学联合开展,团队成员均来自这两所高校。

其中,第一作者为斯坦福大学博士后研究员ChenShani。

更让网友震惊的的是,YannLeCun也为此研究的作者之一。

YannLeCun是当今人工智能领域最具影响力的科学家之一,现任Meta(原Facebook)首席人工智能科学家,同时也是纽约大学教授。

LeCun早在1980年代便开始研究神经网络,最著名的贡献是提出了卷积神经网络(CNN)的核心架构——LeNet-5,用于手写数字识别。

该网络是现代深度学习模型的雏形,为后续图像识别和计算机视觉技术的发展奠定了坚实基础。

他与GeoffreyHinton、YoshuaBengio被誉为“深度学习三巨头”,共同推动了深度学习的理论与应用突破。

2018年,三人因在深度学习领域的杰出贡献,荣获了计算机科学领域的最高奖项——图灵奖。

除了技术创新,LeCun还积极推动深度学习技术在工业界的应用,尤其是在Meta,领导团队将人工智能技术应用于大规模系统。

他同时是自监督学习的积极倡导者,认为这是实现通用人工智能(AGI)的关键路径之一。

可以说,LeCun的研究对人工智能技术的演进产生了重要影响。

论文地址:https://arxiv.org/abs/2505.17117

参考链接:https://x.com/ziv_ravid/status/1928118800139841760

  “台湾民意基金会”今日(6月18日)公布最新民调,台湾地区领导人赖清德声望为48.2%,相较上个月重挫 9.8 个百分点。该基金会董事长游盈隆表示,在台湾,一个百分点代表 19.5 万人,10 个百分点代表近 200 万人,上任不到一个月,流失近200万人支持,是一个严重的警讯。

责编:扬永昌编辑

全员取关周鹤年

  乌鲁木齐不缺国际和地区航线。2024年,乌鲁木齐机场累计运营定期客货运输航线共240条。其中,国际定期客运航线26条,与高加索地区三国与中亚五国实现全部通航,通航中亚航点数量为国内十大枢纽机场之首。

伊朗全国多地举行反以游行

  阿拉木图人口近200万人,民航吞吐量规模在1000万人次;乌鲁木齐人口超过400万人,民航吞吐量规模在2700万人次。“新疆人均乘机次数更多,但乌鲁木齐国际旅客吞吐量不到阿拉木图的十分之一,国际货邮吞吐量更是阿拉木图的零头。” 李瀚明认为,换个角度,差距就是上升的空间。

岁女子秦岭徒步失联天

  连日来,河南多地持续高温出现不同程度旱情,引发关注。目前河南情况如何?当地采取了哪些抗旱措施?国家对抗旱又有何举措?一文速览。

何炅在歌手里沈月

  笔者跟多位省级、市级税务人士交流得知,目前并没有全国性查税部署。一些地方根据当地税收大数据风险提示等对个别企业查税,是日常工作,也是税务部门正常履职。毕竟税务部门主要负责税收、社会保险费和有关非税收入的征收管理,发现偷逃税、少缴税行为,理应依法制止,否则就是渎职。

跟着古人过一天夏至

  中国驻英国使馆发言人强调,在乌克兰问题上,中国的立场是劝和促谈,坚定不移,一以贯之。为此,中国和巴西最近联名发表了关于推动政治解决乌克兰危机的“六点共识”,强调遵守局势降温三原则,即战场不外溢、战事不升级、各方不拱火,同时呼吁各方坚持对话谈判、加大人道主义援助、反对使用核武器、反对攻击核电站、维护全球产业链供应链稳定等。

女子婚礼后不领证被老公起诉

  6月13日、14日,河南多地发布人工增雨公告。提醒:任何组织和个人若发现未爆炸或爆炸不完全弹头、弹药碎片或火箭弹残骸,切勿擅自移动、藏匿、拆解和损毁等,请立即报告当地政府或人工影响天气有关部门,或者立即拨打110向当地公安部门报警。/p>

张艺兴为演话剧专门去敦煌学习

  最近两起企业补税事件引起市场关注。一是湖北枝江酒业股份有限公司被要求补税8500万元,因这笔税款被追溯至1994年,使得税务“倒查30年”成为舆论焦点。二是宁波博汇化工科技股份有限公司3月份收到当地税务要求补税5亿元的通知,最近企业宣布停产。上述两起事件,引起了一些企业人士的担忧。这些担忧包括是否存在全国性查税,不少企业担忧如果倒查多年需要补税,这对于经营困难的当下无疑是“雪上加霜”。跟多位省级、市级税务人士交流得知,目前并没有全国性查税部署。一些地方根据当地税收大数据风险提示等对个别企业查税,是日常工作,也是税务部门正常履职。毕竟税务部门主要负责税收、社会保险费和有关非税收入的征收管理,发现偷逃税、少缴税行为,理应依法制止,否则就是渎职。(第一财经)/p>

俄称伊朗政权更迭不可接受

  6月17日,澎湃新闻(www.thepaper.cn)从陈政高同志多位亲友处获悉,住房和城乡建设部原部长、党组书记陈政高同志,因病于2024年6月16日在北京逝世,享年72岁。