Ily:a尘封10年录音曝光 大二入Hinton门下 竟坦言机器学?习反{直觉}

2025-07-26 11:12:09      来源:湖南新闻网

即便在Transformer与ChatGPT尚未诞生的年代,Ilya已敏锐预见深度学习的广阔前景,展现出令人叹服的远见与清醒。这是一段10年前Ilya对于如今AI时代的预言。

IlyaSutskever因在深度学习方面的远见卓识而闻名。

他现在许多广为流传的言论其实都来自于他在2023年参加Dwarkesh播客时的发言。

此后,直到2025年Ilya创办SSI后,几乎不再有公开的言论,此前曾探讨过Ilya的去向。

最近,一位名为NathanLambert的博主声称他收到了一段Ilya在10年前,也就是2015年谈论深度学习的语音片段。

令他感到震惊的是,Ilya在那么多年前就已准确预见了这一切,尤其是他的直觉从那时至今几乎没有任何改变。

在进行资料整理,同样震惊我们的是:

早在2015年,Ilya对于深度学习的理解就已经远超如今绝大部分人(即使是10年后今天)。

这个视频片段来自一个已经停播的博客节目《TalkingMachines》,我们在其官网找到最初的采访录音。

此时的Ilya还是谷歌的研究员,节目中谈论了他的工作、他是如何对机器学习产生兴趣的,以及为何机器学习(MachineLearning)会和魔法思维(MagicalThinking)产生联系。

现在就让我们将时间回拨10年,看看当年的Ilya是如何洞察深度学习的。

在编辑这篇文章时,我们也惊讶地发现,即使只是通过文字记录,Ilya的观点历经10年岁月洗礼,依然鲜明犀利。

数学出身的Ilya,认为「机器学习」违反直觉

Ilya首先讲述了他通往人工智能的道路,对于这样一位才华横溢的人物来说,这并不令人意外。

我十几岁时就一直对人工智能感兴趣。

我觉得那非常棒而且引人入胜。之后我继续攻读了数学专业本科。

当你学习数学的时候,你会深知数学注重的是证明事物。

如果你看到某种规律,在没有经过证明之前,它并不意味着就是正确的。

因此,对于拥有数学背景的我来说,学习(机器学习)似乎是非常违反直觉的,因为学习强调的是进行归纳推理,而这些归纳步骤看起来很难用严谨的方法去解释清楚。

如果你习惯于严格地证明结果,那么归纳似乎几乎就像魔法一样。

因此,我当时对学习特别感兴趣,因为我深知人类具备这种能力,而从单纯的数学角度来看,学习似乎根本不可能实现,这让我感到不可思议。

大二和Hinton合作

于是我开始四处寻找,结果发现多伦多有一个非常出色且强大的学习研究团队。

我在本科二年级时便开始与JeffHinton(AI之父)合作。

相比硬科学,机器学习的理解更加容易

机器学习确实是一门复杂的科学。

我想这不像物理学。

我认为在物理学、数学以及许多其他硬科学领域,一个人需要掌握大量知识后才能开始发挥作用。

虽然我不太确定,因为我从未涉足这些领域。

这只是我的印象。

而机器学习则更多地是,那些重要的想法,甚至是与前沿研究相关的想法,都离表面非常近。

这个观点和我们如今的现状是如此的吻合。

尤其是在一个远离真正训练前沿的实验室中,在没有特别努力寻找的情况下,周围的机器学习的低垂果实之多令人惊讶。

深度学习之所以有效,很大程度上是因为人们愿意付出努力去把握这些机会。

Ilya认为:

只要有正确的指导和方向,无需多年学习就能理解机器学习背后的主要思想、有效方法的主要理念以及主要的直觉认识。

监督学习是机器学习中最成功的领域

Ilya在访谈中谈到,到目前为止(2015年),监督学习是机器学习中最成功的领域。

主持人随后请Ilya解释他最近的工作,Ilya继续深入讲解了深度学习如何得出答案的另一个核心要点。

所以你说,好,数据会告诉我们最佳的连接方式。

因为深度神经网络是一种非常强大、非常丰富的模型,它可以完成很多复杂的任务。

我们很难想象它有哪些事情是无法做到的。

正因如此,每当我们拥有大型数据集时,我们可以应用一种简单的学习算法来找到最佳的神经网络,并取得良好的结果。

因此,我当时致力于将深度监督学习方法应用于神经网络,解决输入是序列、输出也是序列的问题。

从概念上讲,这与我之前所讨论的内容并没有实质差别,主要是一个技术问题。

其关键在于确保模型能够处理输入和输出都是长度不再预先固定的序列。

但它的基本方法是一样的,并且使用了相同的基本学习算法。

因此,再次强调,由于这些模型具有很强的表达能力和功能,它们确实能够解决许多困难的、非平凡的模式识别问题,以及用其他任何手段几乎无法想象能解决的问题。

再者,令人惊讶的是,尽管这种方法最终表现得如此强大,它实际上却非常简单易懂。

学习算法极其简单。也许只需要一个小时,一个聪明的学生就能理解它全部的工作原理。

这个观点也和我们当下的现状极度吻合。

不论是LLM还是Transformer,我们都可以在简单学习后,了解它的基本原理。

甚至就像2023年那次采访的题目,为何「预测下一个单词」这么简单的模型就能超越人类的智能。

只是为了增加数据

在Ilya看来,将深度学习中成功的图像分类技术应用到序列分类(即更接近文本)上只是「一个技术细节」。

人们所做的很多工作更像是在为模型构建数据加载器,而不是我们提出的架构本身有多新颖。

Ilya如此注重数据和通用性,那么后来像Transformer这样的架构席卷整个机器学习领域也许并不会让他感到意外。

神经网络的目标函数非常复杂

它高度非凸。

而且从数学上完全没有任何保证能确保优化成功。

因此,如果你和一位研究优化理论的学者讨论,他们会告诉你,从理论上根本没有理由相信这种优化会奏效。

然而,事实证明它确实能成功——这是经验证明的结果。

纯粹靠理论,我们很难解释太多细节。

并不是因为这里有什么「魔法」,而只是说明我们还没完全搞清楚原理。

我们其实不清楚,为什么这些看似简单的启发式优化算法在这些问题上表现得如此出色。

因为没有任何数学定理或理论可以说明它们必然会成功。

我们真正期待的定理,应该反映「在现有条件下做到最好」这种理念。

然而,人类的智慧并不追求绝对最优,就像我们设计飞机或汽车时也不会力求完美。

我们只需要一个「够好」的工程系统就行。

深度学习和非凸优化给我们的,正是一群「够好」的系统。虽然它们可能不是最优解,却依然非常有用、充满潜力。

这就是事实。

深度学习追求的是「够好」

在许多领域,尤其是学术界,人们过度追求最优,反而忽略了真正重要的目标。

深度学习是一门务实的科学,它在现有资源条件下追求「够好」。

随着数据量和算力的飞速增长,「够好」往往就能带来惊人的成果。

这种「够好」的思路,也让现代人工智能更像「炼金术」而非传统科学.

因为传统科学的进展通常要慢得多。

也许正是这种因为深度学习是务实的,在如今算力爆炸和数据丰富的时代,LLM虽然还是「黑箱」,但已经切实的改变了我们的工作和生活。

某种意义上,也算「预言」了整个LLM时代。

初始化的尺度直接决定了模型的可训性

关于这一点,还有一些不那么直观但非常重要的细节值得讨论。

你可以这样理解:神经网络里有大量神经元和连接,每层都会先将输入乘以随机权重,再经过非线性变换。

第一层处理完后,第二层又会重复相同的过程:乘权重、做非线性变换。

如果这些随机权重太小,信号在多次相乘后就会迅速衰减到几乎为零。

当信号到达输出层时,你几乎感受不到任何输入的影响。

这样一来,学习算法就无法发现输入和输出之间的关联,也就没法改进模型。

因此,我们必须让随机初始化的权重大多数情况下足够大,才能保证输入的变化一路传递到输出层。

一旦满足了这个条件,梯度就能够找到正确的方向,有效地优化网络。

…因此在实际应用中,当研究人员希望在一个真实数据集上训练神经网络时,初始化的尺度是你需要关注的最重要的参数之一。

以上内容节选自音频对话内容,绝大部分来源于Ilya本人。

这就是Ilya2015年对机器学习的深刻洞察。

那时,距离Transformer发布还有4年,距离ChatGPT发布还有7年的时间。

但是Ilya已经深刻地体会到神经网络的威力。

最后想说的是,Ilya对于这场改变我们所有人的科技革命的直觉。就来自于在这次访谈中他想要告诉我们的:追求务实,拥抱简单。

  据英国政府13日发表声明称:“今天的行动包括英国首次针对俄罗斯总统‘影子舰队’中的船只实施制裁,俄罗斯利用这些船只规避英国和七国集团(G7)的制裁,并继续不受限制地进行石油贸易。”这些新制裁还针对俄罗斯军方的弹药、机床、微电子和物流供应商,包括位于中国、以色列、吉尔吉斯斯坦和俄罗斯的实体。声明写道,英国首相苏纳克在意大利参加G7峰会时宣布了这些新的制裁措施,“这将削弱俄罗斯为其战争机器提供资金和装备的能力”。

责编:蔺南蓉编辑

赵丽颖章子怡杨幂酱园弄海报

  乌鲁木齐不缺国际和地区航线。2024年,乌鲁木齐机场累计运营定期客货运输航线共240条。其中,国际定期客运航线26条,与高加索地区三国与中亚五国实现全部通航,通航中亚航点数量为国内十大枢纽机场之首。

岁知名相声演员吴迪离世

  陈政高于1970年担任辽宁省海城县革委会政工组办事员;1978年任大连海运学院团委书记;1982年任辽宁省大连团市委常委、学校部部长;1985年任辽宁省大连市长海县副县长;1988年任辽宁省大连市西岗区委常委、副区长(主持工作);1993年任辽宁省大连市副市长;1997年任辽宁省省长助理;1998年任辽宁省副省长;2003年任辽宁省沈阳市委副书记、市长;2008年任辽宁省委副书记、省长。

爱尔兰化粪池现近幼童遗骨

  公器私用,将地质调查、矿产开发等权力作为敛财纳贿的工具,搞权钱交易,利用职务便利为他人在企业经营、项目承揽、矿权审批等方面谋利,并非法收受巨额财物;

马嘉祺淘汰

  8月28日上午,中国煤矿文工团召开干部大会,宣布文工团领导任命决定。经文化和旅游部研究决定,任命靳东为中国煤矿文工团(中国安全生产艺术团)团长。

秦不仅统一六国还统一了网约车

  博汇股份被要求补税5亿元,则是因为公司生产的重芳烃衍生品被税务部门认定需要按照重芳烃缴纳消费税,博汇股份对此不认同,最终是否补税、如何补税等仍有待税企双方良性沟通。

中餐厅

  在四川之前,河南、内蒙古、浙江、江西的省级党委科技委员会已经亮相。河南、吉林和四川的省委科技委员会,都是由省委书记和省长担任主任。/p>

鞠婧祎去年就有了

  李瀚明进一步分析,西安接近中国的几何中心,这样的地理位置飞国内任何地方都很便利。加上西安产业发达,又是旅游胜地,这些因素让西安国内客流常年处于高位,间接影响了打造国际枢纽的必要性。此外,也是因为接近国内几何中心,西安无论哪个方向的洲际航线,都得使用宽体机。二线枢纽用宽体机飞国际线,往往存在客流不足、上座率不高的情况。/p>

以色列全境多个目标遭袭击

  [环球时报报道 记者 倪浩]8月3日,郑钦文夺得2024巴黎奥运会网球女单冠军,实现中国选手在该项目上的历史性突破,也点燃了民众参与网球运动的热情,网球热度随之大涨。接受《环球时报》记者采访的专家认为,体育明星与体育经济会形成正向反馈:体育明星的示范效应会提振相关体育产业、吸引更多人参与到运动中来,大众的广泛参与则会成为“未来明星运动员”诞生的基石。