发表评论

A+

所属分类：科技

摘要

我认为他的意思是，当我们已经耗尽人类数据时，模型可以从自己的体验学习很多。我的意思是，你会有既聪明又善良的AI，但如何训练它变得聪明和如何训练它变得善良是不同的问题。我认为这是一个早期的标志，表明在许多领域，…” />

通常情况下，

辛顿对话周伯文全文

很多人不知道，

作者／ IT时报记者孙永会

说出来你可能不信，

编辑／郝俊慧孙妍

如何训练“善良”的超级智能？年轻科学家又要如何前行？

7月26日下午，2025年世界人工智能大会（WAIC 2025）“科学前沿全体会议”现场，图灵奖得主、2024年诺贝尔物理学奖获得者Geoffrey Hinton（杰弗里•辛顿）与上海人工智能实验室主任、首席科学家周伯文开展了一场尖峰对话，17分钟的思想碰撞中，“干货”满满。

XM外汇认为：

这是77岁的辛顿首次来华，也是WAIC 2025最受关注的嘉宾之一。辛顿被称为“AI教父”“深度学习之父”，2012年9月他和学生伊利亚（Open AI前首席科学家）、埃里克斯共同发表的论文“用深度卷积神经网络进行ImageNet图像分类”，成为引爆此轮人工智能热潮的基础理论。

来自XM外汇官网：

“当今的多模态聊天机器人已经具有意识”

在科学发现过程 XM官网中，传统的单一模态分析往往难以全面捕捉难办现象，尤其在跨学科领域的深度探索中更加显著。会议现场，上海人工智能实验室（上海AI实验室）发布并开源“书生”科学多模态大模型Intern-S1。Intern-S1融合了书生大模型家族的优势，在同一模型内实现了语言和多模态性能的均衡发展，并富集多学科专业知识，重点强化了科学能力，为首个融合专业科学能力的开源通用模型。

综上所述，

提及多模态大模型，辛顿则认为，当今的多模态聊天机器人已经具有意识。

周伯文：您认为当今的多模态和语言模型能发展出自己的主观体验吗？

Hinton：我认为关于它们是否具有意识或主观体验的困扰，严格来说不是一个科学困扰，而是取决于您如何定义“主观体验”或“意识”。本站大多数人对这些概念的理解都是完全错误的。就像人们能够正确利用词语，却对词语运作的理解完全错误。

其实，

我举一个日常词汇的例子来讲解。想想“水平”和“垂直”这两个词。大多数人都认为自己理解它们的含义，但实际上他们的理解是错误的。假设我手里有很多小铝棒，它们朝向各个方向。我把它们抛向空中，它们翻滚、碰撞，然后我突然让时间静止。

展开全文

这时空中有很多铝棒。困扰是：在垂直方向1度范围内的铝棒更多，还是水平方向1度范围内的铝棒更多？或者数量差不多？几乎所有人都说“差不多”，乃因他们对词语运作手段的理解是错误的。实际上，水平方向1度范围内的铝棒数量是垂直方向的约114倍。这是乃因“垂直”是非常特殊的方向，而“水平”则很普通。

更重要的是，

这个例子看似与意识困扰无关，但它讲解：本站对词语运作手段的理解可能是完全错误的。同样，几乎每个人都对“主观体验”这类术语有着强烈但完全错误的认识。这不是真正的科学困扰，而是源于本站对心理状态的错误认知，就会建立错误的模型，从而做出错误的预测。

从而，我的观点是，当今的多模态聊天机器人已经具有意识。

如何让AI变得善良？

“当前人类与AI的关系，恰似饲养一只可爱的小虎崽 —— 它长大后可能轻易超越人类。为了生存，要么消灭它，要么找到永久保护人类自身的方法。”在上午WAIC 2025主论坛上，辛顿所作的《数字智能能否取代生物智能？》主旨演讲中，他呼吁全球建立由各国人工智能稳妥研究所与国内研究网络组成的国际社群，培养不会从人类手中夺权的“好AI”。

事实上，

那么，如何通过训练让AI变得聪明和善良呢？

周伯文：就在这次会议上，2024年图灵奖得主Richard Sutton 在您之前做了一个演讲，题目是《欢迎来到体验时代》。我认为他的意思是，当本站已经耗尽人类数据时，模型能够从自己的体验学习很多。您从另一个角度阐明了，Agent或多模态LLM，不仅从经验中学习，它们还能够发展出自己的主观体验。

说到底，

从而我认为理查德今天没有过多触及这种从主观体验中学习的潜在风险。您想展开说说吗？如果Agent能够学习主观体验，这会给未来带来哪些潜在风险？

不妨想一想，

Hinton：大语言模型从本站传递给它们的文档中学习，从而学会了预测一个人会说的下一个词。一旦有像机器人这样在世界中的Agent，它们就能够从自己的经验中学习，而且我认为它们最终学到的，比本站多得多。我认为它们会有经验，但经验不是事物。而且经验不像照片，经验是各位和一个物体之间的关系。

XM外汇报导：

周伯文：从而，几天前当本站在IDAIS讨论前沿风险时，您提到了一种减少未来AI风险的处理方案，就是找到一种方法来训练AI的分离目标。例如，一个善良的AI，一个聪明的AI。您有一个理论……

Hinton：我不是那个意思。我的意思是，各位会有既聪明又善良的AI，但如何训练它变得聪明和如何训练它变得善良是不同的困扰。各位能够有让它善良的技术和让它聪明的技术。它将是同一个AI，但会有不同的技术。从而，各国能够分享让它善良的技术，即使它们不愿意分享让它聪明的技术。

站在用户角度来说，

周伯文：我真的很喜欢这个想法，但对本站能在这方面走多远有些疑问。各位认为会有某种通用的AI训练来使AI变得善良吗？这些方法能够应用于任何AI模型、任何智能水平？

据业内人士透露，

Hinton：那是我的希望。它可能不是真的。但这是一种可能性。我认为本站应该研究这种可能性。

综上所述，

周伯文：我提出这个困扰并不是乃因我不喜欢这个想法，而是乃因我想增强人们的意识，让更多人能在您提到的方向上进行更多研究。而且我想在这里做一个类比，来向您展示为什么我有这个疑问。

简要回顾一下，

以物理学为例，当物体以低得多的速度运动时，牛顿定律是有效的。但当这个物体运动到更高的速度，接近光速时，牛顿定律就不再适用了，从而本站必须求助于爱因斯坦来获得更好的处理方案。这有点好笑，乃因我正在向一位诺贝尔物理学奖得主讲解物理学101（大学物理入门课）。

事实上，

Hinton：但这是一个错误。

很多人不知道，

周伯文：哦不，这不是错误。各位绝对值得获得诺贝尔奖。

Hinton：他们真的很想在人工智能领域颁发诺贝尔奖，但他们没有这个奖项。从而他们拿了一个物理学的奖颁给人工智能（的科学家）。

综上所述，

周伯文：但我想用这个类比来讲解一个观点，我认为对于不同层次的智能系统，善意约束可能需要改变。我不知道这是否正确，但我确实希望在这个房间里或在网上的那些聪明的年轻人，他们能够想出办法来实现这一点。

反过来看，

Hinton：是的，很有可能，随着系统变得更加智能，让它变得善良的技术也会发生变化。本站不知道。这就是本站现在需要对其进行大量研究的原因之一。

周伯文：作为一位成就卓著的人，您经常说，“我不知道”。我觉得这非常诚实和开明，本站都要向各位学习。除了AI困扰，本站现场还有一半来自不同科学领域的顶尖学者——量子物理、生物学等。今天本站齐聚一堂，正是乃因相信AI与科学的交叉融合将带来突破。您如何看待用AI推动科学进步，或者反过来用科学促进AI发展？

请记住，

Hinton：我认为人工智能对科学的帮助是显而易见的。显然，迄今为止最令人印象深刻的例子是蛋白质折叠，Demis Hassabis（DeepMind创始人）和John Jumper（DeepMind科学家）等人通过合理利用人工智能并付出大量努力，证明了这一点。这些非常聪明的人花了五年时间。在预测蛋白质如何折叠方面，本站（借助AI）能够做得更好。我认为这是一个早期的标志，表明在许多领域，人工智能都将改善科学。我听说了上海AI实验室的例子，在预测台风登陆地点和天气预报方面，人工智能能够做得更好一些。

需要注意的是，

周伯文：对，本站用AI模型做出来的结果，比基于PDE（偏微分方程系统）的传统物理模型表现更优。