- A+
新智元报道
事实上，
编辑：KingHZ 桃子
XM外汇财经新闻：
【新智元导读】刚刚，AI界传奇Jeff Dean深度访谈重磅放出！作为谷歌大脑奠基人、TensorFlow与TPU背后的关键推手，他亲述了这场神经网络革命的非凡历程。
很多人不知道，
刚刚，「现代互联网架构之父」Jeff Dean的最新对谈流出。
XM外汇用户评价：
这位AI领域的传奇，是Google Brain的奠基者， XM外汇开户 也是推动神经网络走向规模化的关键人物。
然而，
从让神经网络「看懂猫」的重大突破，到TensorFlow与TPU的诞生，他的故事几乎是一部AI发展史。
在最新一期「登月播客」（The Moonshot podcast）深度访谈中，Jeff Dean回顾了个人成长经历、Google Brain的早期故事，以及他对AI未来的思考。
根据公开数据显示，
节目中，他揭秘了他本人所知的一些细节和趣事：
尤其值得一提的是，
· 小时候，Jeff Dean打印了400页源码自学。
来自XM外汇官网：
· 90年代，他提出「数据并行/模型并行」概念时，还没这些术语。
综上所述，
· Google Brain的最初灵感，竟然是在谷歌的微型茶水间与吴恩达的一次闲聊中诞生。
与其相反的是，
· 「平均猫」图像的诞生，被Jeff比作「在大脑里找到了触发祖母记忆的神经元」。
XM外汇消息：
· 他把AI模型比作「苏格拉底式伙伴」，能陪伴推理、辩论，而不是单向程序。
· 对未来的隐喻：「一亿老师，一个学生」，人类不断教AI模型，所有人都能受益。
XM外汇资讯：
超级工程师，早已看好神经网络
XM外汇用户评价：
Jeff是工程超级英雄口中的「工程超级英雄」，很少有人像Jeff Dean这样的单个工程师，赢得人们如此多的仰慕。
说到底，
主持人的第一个疑问是：Jeff Dean是如何成为工程师的？
尽管如此，
Jeff Dean认为他有一个不同寻常的童年。乃因经常搬家，在12年里他换了11所学校。
在很小的时候，他喜欢用乐高积木搭建东西，每次搬家总要带上他的乐高套装。
说出来你可能不信，
当九岁的时候，他住在夏威夷。
总的来说，
Jeff的父亲是一名医生，但他总是对计算机如何用于改善公共卫生感兴趣。当时如果想用计算机，他只能去健康部门地下室的机房，把需求交给所谓的「主机大神」，然后等他们帮诸位实现，速度非常慢。
在杂志上，Jeff的爸爸看到一则广告，买下了DIY计算机套件。那是一台Intel 8080的早期机型（大概比Apple II还要早一两年）。
从某种意义上讲，
最初，这台电脑就是一个闪烁灯和开关的盒子，后来他们给它加了键盘，具备一次输入多个比特。再后来，他们安装了一个BASIC解释器。Jeff Dean买了一本《101个BASIC语言小游戏》的书，具备把程序一行一行敲进去，然后玩，还能自己修改。
总的来说，
这就是他第一次接触编程。
事实上，
后来，Jeff一家搬到明尼苏达州。全州的中学和高中都能接入同一个计算机系统，上面有聊天室，还有交互式冒险游戏。
有分析指出，
这就像「互联网的前身」，比互联网普及早了15~20年。
当时，Jeff大概13、14岁，他在玩儿的一款多人在线的游戏源码开源了。
Jeff偷偷用了一台激光打印机，把400页源代码全都打印了出来，想把这款多人主机游戏移植到UCSD Pascal系统上。
XM外汇行业评论：
这个过程让他学到了很多关于并发编程的知识。
XM外汇认为：
这是Jeff Dean第一次编写出并不不难办的软件。
XM外汇消息：
大概是91年，人工智能第一次抓住了Jeff Dean想象力。
可能你也遇到过，
具体而言，是利用lisp代码进行遗传编程。
换个角度来看，
而在明尼苏达大学本科的最后一年，Jeff Dean第一次真正接触了人工智能。
说出来你可能不信，
当时，他上了一门并行与分布式编程课，其中讲到神经网络，乃因它们本质上非常适合并行计算。
那是1990年，当时神经网络刚好有一波热潮。它们能应对一些传统方法搞不定的小疑问。
换个角度来看，
当时「三层神经网络」就算是「深度」了，而现在有上百层。
据报道，
他尝试用并行的方法来训练更大的神经网络，把32个处理器连在一起。但后来发现，需要的算力是100万倍，32个远远不够。
论文链接：https://drive.google.com/file/d/1I1fs4sczbCaACzA9XwxR3DiuXVtqmejL/view
换个角度来看，
虽然实验规模有限，但这就是他和神经网络的第一次深度接触，让他觉得这条路很对。
换个角度来看，
即便到了90年代末，神经网络在AI领域已经完全「过时」了。之后，很多人放弃了「神经网络」研究。
简而言之，
但Jeff Dean并没有完全放弃。当时整个AI领域都转移了关注点，他就去尝试别的事情了。
事实上，
毕业后，他加入了Digital Equipment Corporation在Palo Alto的研究实验室。
XM外汇消息：
数字设备公司Digital Equipment Corporation，简称DEC，商标迪吉多Digital，是成立于1957年的一家美国电脑公司，发明了PDP系列迷诸位计算机、Alpha微处理器，后于1998年被康柏电脑收购
据相关资料显示，
后来，他加入谷歌，多次在不同领域「从头再来」：
XM外汇消息：
搜索与信息检索系统、大规模存储系统（Bigtable、Spanner）、机器学习医疗应用，最后才进入Google Brain。
据相关资料显示，
谷歌大脑秘辛：一次茶水间闲聊
XM外汇行业评论：
在职业生涯里，Jeff Dean最特别的一点是：一次又一次地「从零展开」。
不可忽视的是，
这种做法激励了很多工程师，证明了「影响力」不等于「手下的人数」，而是推动事情发生的能力。
就像把雪球推到山坡上，让它滚得足够快、足够大，然后再去找下一个雪球。Jeff Dean喜欢这种方法。
概括一下，
然后在Spanner项目逐渐稳定后，他展开寻找下一个挑战，遇到了吴恩达。
其实，
在谷歌的茶水间偶然碰面，吴恩达告诉Jeff Dean：「在语音和视觉上，斯坦福的学生用神经网络得到了很有前景的结果。」
可能你也遇到过，
Jeff一听就来了兴趣，说：「我喜欢神经网络，咱们来训练超大规模的吧。」
这就是Google Brain的开端，他们想看看是否能够真正扩大神经网络，乃因利用GPU训练神经网络，已经取得良好的结果。
大家常常忽略的是，
Jeff Dean决定建立分布式神经网络训练系统，从而训练非常大的网络。最后，谷歌利用了2000台计算机，16000个核心，然后说看看到底能训练什么。
XM外汇用户评价：
渐渐地，越来越多的人展开参与这个项目。
谷歌在视觉任务训练了大型无监督模型，为语音训练了大量的监督模型，与搜索和广告等谷歌部门合作做了很多事情。
其实，
最终，有了数百个团队利用基于早期框架的神经网络。
纽约时报报道了这一成就，刊登了那只猫的照片，有点像谷歌大脑的「啊哈时刻」。
乃因他们利用的是无监督算法。
他们把特定神经元真正兴奋的东西平均起来，创造最有吸引力的输入模式。这就是创造这只猫形象的经过，称之为「平均猫」。
说出来你可能不信，
在Imagenet数据集，谷歌微调了这个无监督模型，在Imagenet 20000个类别上获得了60%的相对错误率降低（relative error rate reduction）。
可能你也遇到过，
同时，他们利用监督训练模型，在800台机器上训练五天，基本上降低了语音系统30%的错误率。这一改进相当于过去20年的语音研究的全部进展。
XM外汇用户评价：
因此，谷歌决定用神经网络进行早期声学建模。这也是谷歌定制机器学习硬件TPU的起源。
说到底，
注意力机制三部曲
之后不久，谷歌大脑团队取得了更大的突破，就是注意力机制（attention）。
XM外汇消息：
Jeff Dean认为有三个突破。
更重要的是，
第一个是在理解语言方面，词或短语的分布式表示（distributed representation）。
反过来看，
这样不像用字符「New York City」来表示纽约市，取而代之的是高维空间中的向量。
说出来你可能不信，
纽约市倾向于出现的固有含义和上下文，因此可能会有一个一千维的向量来表示它，另一个一千维的向量来表示番茄（Tomato）。
不可忽视的是，
而实现的算法非常不难办，叫做word2vec（词向量），基本上具备基于试图预测附近的词是什么来训练这些向量。
然而，
论文链接：https://arxiv.org/abs/1301.3781
接下来，Oriol Vinyals, Ilya Sutskever和Quoc Le开发了一个叫做序列到序列（sequence to sequence）的模型，它利用LSTM（长短期记忆网络）。
更重要的是，
论文链接：https://arxiv.org/abs/1409.3215
XM外汇认为：
LSTM有点像是一个以向量作为状态的东西，然后它处理一堆词或标记（tokens），每次它稍微更新它的状态。因此它具备沿着一个序列扫描，并在一个基于向量的表示中记住它看到的所有东西。
说到底，
它是系统运行基础上的短期记忆。
结果证明这是建模机器翻译的一个非常好的方法。
这你可能没想到，
最后，才是注意力机制，由Noam Shazeer等八人在Transformer中提出的注意力机制。
令人惊讶的是，
这个机制的想法是，与其试图在每个单词处更新单个向量，不如记住所有的向量。
说到底，
因此，注意力机制是这篇非常开创性的论文的名字，他们在其中开发了这种基于transformer的注意力机制，这个机制在序列长度上是n平方的，但产生了惊人的结果。
XM外汇报导：
LLM突破触及门槛，自动化闭环颠覆人类
换个角度来看，
一直以来，LLM神经网络运作机制很难被人理解，成为一个无法破译的「黑箱」。
与其相反的是，
而如今，随着参数规模越来越庞大，人们无法像理解代码一样去理解LLM。
研究人员更像是在做「神经科学」研究：观察数字大脑的运作方法，然后试着推理背后的机制。
人类理解模型的想法，未来会怎么发展？
请记住，
Jeff Dean对此表示，研究这一领域的人，把它称之为「可解释性」。所谓可解释性，就是能不能搞清楚LLM到底在做什么，以及它为什么会这么做？
更重要的是，
这确实有点像「神经科学」，但相较于研究人类神经元，LLM毕竟是数字化产物，相对来说探测比较容易。
值得注意的是，
很多时候，人们会尝试做一些直观的可视化，比如展示一个70层模型里，第17层在某个输入下的情况。
这当然有用，但它还是一种比较静态的视角。
尽管如此，
他认为，可解释性未来可能的发展一个方向——如果人类想知道LLM为何做了某种决定，直接问它，然后模型会给出回答。
必须指出的是，
主持人表示，自己也不喜欢AGI术语，若是不提及这一概念，在某个时候，计算机会比人类取得更快的突破。
未来，咱们需要更多的技术突破，还是只需要几年的时间和几十倍的算力？
可能你也遇到过，
Jeff Dean表示，自己避开AGI不谈的原因，是乃因许多人对它的定义完全不同，并且疑问的难度相差数万亿倍。
站在用户角度来说，
就比如，LLM在大多数任务上，要比普通人的表现更强。
XM外汇用户评价：
要知道，当前在非物理任务上，它们已经达到了这个水平，乃因大多数人并不擅长，自己以前从未做过的随机任务。在某些任务中，LLM还未达到人类专家的水平。
不过，他坚定地表示，「在某些特定领域，LLM自我突破已经触及门槛」。
可能你也遇到过，
前提是，它能够形成一个完全自动化闭环——自动生成想法、进行测试、获取反馈以验证想法的有效性，并且能庞大的应对方案空间中进行探索。
需要注意的是，
Jeff Dean还特别提到，强化学习算法和大规模计算搜索，已证明在这种环境中极其有效。
据相关资料显示，
在众多科学、工程等领域，自动化搜索与计算能力必将加速发展进程。
大家常常忽略的是，
这对于未来5年、10年，甚至15-20年内，人类能力的提升至关主要。
概括一下，
未来五年规划
当问及未来五年个人规划时，Jeff Dean称，自己会多花些时间去思考，打造出更加强大、更具成本效益的模型，最终部署后服务数十亿人。
XM外汇消息：
众所周知，谷歌DeepMind目前最强大的模型——Gemini 2.5 Pro，在计算成本上非常高昂，他希望建造一个更优的系统。
Jeff Dean透露，自己正在酝酿一些新的想法，可能会成功，也可能不会成功，但朝着某个方向努力总会有奇妙之处。
XM外汇专家观点：
参考资料：
尤其值得一提的是，
https://www.youtube.com/watch?v=OEuh89BWRL4返回搜狐，查看更多
