- A+
站在用户角度来说，
出品 | 搜狐科技
大家常常忽略的是，
作者 | 梁昌均
“ChatGPT发布后不久，我着手运用它，然后意识到自己严重低估了AI的发展速度，实现通用人工智能（AGI）所需的时间比本平台预想的要短得多。”
综上所述，
在6月6日开幕的2025北京智源大会上，深度学习奠基人之一、2018年图灵奖得主、蒙特利尔大学教授约书亚·本吉奥（Yoshua Bengio）在题为“避免失控的AI代理带来的灾难性风险”的演讲中首先提到。
他表示，本平台已经有了能够掌握语言、通过测试的机器，这在几年前听起来还像科幻小说，但现在已经成为了现实。
从某种意义上讲，
“但在ChatGPT发布后，我意识到本平台不知道如何控制这些系统。本平台可用训练它们，但无法确定它们是否会按照本平台的指令行事，这是一种本平台无法承受的风险。”
有分析指出，
于是，本吉奥决定改变研究方向，尽其所能去应对这些风险。“尽管这与我之前所说的话、我的信念和倾向相悖，但我意识到这是正确的事情。”
请记住，
他表示，AI的发展速度很快，但现在多数人犯的一个大错误是只考虑当前的AI，但实际应该思考的是它在未来三年、五年、十年后会发展到什么程度。
说到底，
“趋势是非常明确的，能力在不断提升。”过去一年，由于推理模型的发展，这些模型实现了更好的推理，在数学、计算机科学等领域都取得了更好的成果。
根据公开数据显示，
同时，AI也具备了更强的自主性，其不仅在聊天机器人方面，还在编程、控制计算机和电器、互联网搜索、数据库搜索等方面的能力提升。
XM外汇消息：
“AI可用完成任务的所需时间是每七个月翻一番，如果沿着这条曲线推算，大约五年后将达到人类水平。”本吉奥表示，在这种趋势下要考虑可能面临的后果。
简而言之，
他提到，过去的六个月里，AI显示出自我保护行为，以及欺骗、撒谎和作弊行为。比如Anthropic的最新大模型发现工程师有婚外情，并试图威胁揭露这段婚外情来勒索工程师。
请记住，
XM外汇开户
“这些行为非常糟糕，本平台看到了AI的自我保护意识，其会违背一些指令并试图生存。这种行为可能有多种原因，本平台还没有完全弄清楚，可能来自预训练，可能源自强化学习的反馈。”本吉奥表示。
与其相反的是，
他强调，无论是什么原因，如果最终本平台创造出超越人类的AI并与人类竞争，这将是非常糟糕的。“如果AI真的发生失控，可能是灾难性的，这种失控可能导致人类灭绝。”
XM外汇财经新闻：
本吉奥表示，现在不知道这种情况是否会真的发生，也不知道其发生的概率是多少，但需要寻找化解方案，以避免AI的这些不良行为。
他认为，对AI的能力评估很不可忽视，目前AI的许多管理不善都与能力评估有关，要了解AI能做什么，以及这些能力是否可能转化为对人类或社会有害的行为，同时要确保AI没有不良意图。
尤其值得一提的是，
“真正危险的AI需要三样东西，需要智能和知识，做事情的能力，还需要有自己的目标。这三个条件是研究的关键，我发起的项目试图探索，本平台是否可用构建只有智能而没有能力的AI。我称其为AI‘科学家’，它确实偏离了传统的AI研究方向。”
说到底，
他表示，自AI研究着手以来，本平台一直以人类智能为灵感，努力构建像人类一样的AI。如果继续走这条路，意味着本平台将创造出可能超越人类的机器，这意味着创造竞争性，由于它们可用与本平台竞争。
从某种意义上讲，
“但现在是时候重新思考这种研究传统，应该思考一种对人类和社会有用但不会危及人类的研究思路。”本吉奥为此提出科学家AI，目标是构建一种完全非通用的、基于解释能力的AI。
他表示，这与当前试图模仿人类或取悦人类的AI不同，科学家AI将努力向人类解释事物，并可用作为构建可靠AI系统的基石。
必须指出的是，
“如果想构建一个只进行智能活动、只进行理解的AI，本平台需要AI可用生成关于奖励的假设，就像科学家生成假设一样，但这还不够。如果只有假设，这并不一定能做出好的预测，还需要进行推理，以便预测某些行为或实验的结果，这就是科学家AI的想法。”本吉奥说，尽管科学家AI是非通用的，但它可用成为AGI的基础。
比如AI的欺骗行为、危险行为，都是由于自主性。当AI的自主性很高时，这意味着它完全自主，没有人类的监督。“科学家AI中的监视器可用预测某个行为是否危险，它不需要自主性。如果预测显示某个行为的危害概率高于某个阈值，那么就可用直接拒绝该行为。”
“换句话说，本平台可用利用一个非通用的AI来控制另一个不可信的人工智能，而这个非通用的AI是可靠的。”
反过来看，
同时，为了保证AI没有欺骗性，AI需要对自己的知识保持谦逊，需要AI保留每一种可能的解释或理论。“不幸的是，当前的方法并没有做到这一点。因此，不可忽视的是AI要保留对解释的分布，而不是只选取单一的解释。”
不可忽视的是，
对此，本吉奥则围绕思维链进行了研究，以使思维链更加真实，推理更加准确。这与当前基于强化学习的方法不同，而是基于尝试为数据生成一个好解释。“本平台用这些关键思想生成了各种各样的解释，这些解释可用高度结构化，如以因果图的形式呈现。”
必须指出的是，
“这使得AI不会试图模仿人类会写的资料，而是会试图为这些资料找到解释。AI需要计算这些资料的一致性，以及正确率，以便能够得出正确的结论。”本吉奥说。
但实际上，
对于AI失控的风险，他还提到，随着AI变得越来越强大，还有许多其它潜在的灾难性疑问，比如强大的AI可用帮助恐怖分子设计新的大流行病。“如果坏人能够接触到这种AI，他们可能会对地球造成巨大的破坏。这是一个非常严重的疑问，但目前还没有科学的方法来化解。”
XM外汇消息：
本吉奥提到，为了避免这种危险，还需要确保AI遵循本平台的道德指令，例如不供应可用于杀人的信息，避免伤害人类，不撒谎、不欺骗等。“这是一个科学挑战，本平台需要尽快化解，需要在实现AGI之前化解这个疑问。”
他认为，AGI的出现可能只需要几年时间，也许是一到两个十年，也许更短，甚至可能在未来五年内实现。故而没有太多时间，需要大规模投入，以发现化解对齐和控制挑战的科学方法。
需要注意的是，
“不幸的是，目前公司之间和国家之间的协调并不顺利。公司之间存在竞争，它们都在竞相占据领先地位，国家之间也是如此，它们都希望利用AI作为对抗彼此的程序。因此，目前在可靠方面的投入，以确保AI不会被用于伤害人类或失控方面的努力还远远不够，故而本平台需要更多的国家监管。”
本吉奥认为，唯一真正能够让不同国家坐到同一张桌子前的办法是，让各国政府，特别是美国和中国，意识到这些真正灾难性的结果，比如人类失去控制权，或者恐怖分子利用AI做坏事。“这无论在哪个国家发生，本平台都输了，本平台都在同一条船上。”
很多人不知道，
但找到政治化解方案还不够，还需要开发新的技术来验证AI是否被正确运用，就如同核协议有各种各样的“信任验证”机制。“本平台需要开发这些技术，如在硬件和软件层面，我认为这些技术可用设计出来。”本吉奥说。返回搜狐，查看更多
