8 名谷歌员工发明了现代人工智能的幕后故事！

论文《Attention Is All You Need》的作者。他们都是谷歌的研究人员，不过当时已经有人离开了公司。当最资深的贡献者诺姆·沙泽尔 (Noam Shazeer) 看到早期草稿时，他很惊讶自己的名字出现在最前面，这表明他的贡献至关重要。 “我没有考虑这个，”他说。

/ 姓名：NOAM SHAZEER / 职业：CHARACTER AI 联合创始人兼首席执行官

弄清楚如何列出名字始终是一个微妙的平衡行为——谁获得了令人垂涎的领先位置，谁被排到了后面。尤其是在像这样的情况下，每个参与者都在真正的团队努力中留下了独特的印记。当研究人员匆忙完成论文时，他们最终决定“破坏”贡献者排名惯例。他们为每个名字添加了一个星号和一个脚注：“平等贡献者”，上面写着。 “列表顺序是随机的。”作者们在截止日期前将论文发送给了一场著名的人工智能会议，并引发了一场革命。

临近七周年之际，《注意力》这篇论文已经达到了传奇般的地位。作者从一种蓬勃发展和不断改进的技术（称为神经网络的各种人工智能）开始，并将其变成了其他东西：一个如此强大的数字系统，其输出感觉就像是外星智能的产物。这种架构被称为 Transformer，是所有令人兴奋的人工智能产品背后的秘密武器，包括ChatGPT和 Dall-E 和 Midjourney 等图形生成器。沙泽尔现在开玩笑说，如果他知道这篇论文会变得多么出名，他“可能会更担心作者顺序”。所有八位签名者现在都是小名人。 “有人问我要自拍——因为我在纸上！”里昂·琼斯（Llion Jones）说道，他（当然是随机的）排名第五。

/ 姓名：LLION JONES / 职业：SAKANA AI 联合创始人

“如果没有变形金刚，我认为我们现在就不会在这里，”杰弗里·辛顿 (Geoffrey Hinton)说道，他不是作者之一，但可能是世界上最著名的人工智能科学家。他指的是我们生活在一个发生根本性变化的时代，OpenAI 和其他公司构建的系统可以与人类产出相媲美，在某些情况下甚至超过人类产出。

此后，所有八位作者均离开了谷歌。和其他数以百万计的人一样，他们现在正在以某种方式使用由他们在 2017 年创建的产品驱动的系统。我与变形金刚八人进行了交谈，以拼凑出突破性的剖析，聚集人类的思想来创造一种很可能拯救人类的机器。最后一句话是对自己说的。

/ 姓名：JAKOB USZKOREIT / 职业：INCEPTIVE 联合创始人兼首席执行官

的故事《变形金刚》以八个名字中的第四个开头：Jakob Uszkoreit。

Uszkoreit 是著名计算语言学家 Hans Uszkoreit 的儿子。 20 世纪 60 年代末，汉斯还是一名高中生，他因抗议苏联入侵捷克斯洛伐克而在祖国东德被监禁 15 个月。获释后，他逃往西德，在柏林学习计算机和语言学。雅各布出生时，他来到美国，在位于加利福尼亚州门洛帕克的一家研究机构 SRI 的人工智能实验室工作。全家最终回到德国，雅各布在那里上大学。他并不打算专注于语言，但当他开始研究生学习时，他在谷歌山景城办公室实习，在那里他进入了该公司的翻译小组。他从事家族生意。他放弃了攻读博士学位的计划，并于 2012 年决定加入 Google 的一个团队，该团队正在开发一种系统，该系统可以在搜索页面本身上回答用户的问题，而不会将他们转移到其他网站。苹果刚刚推出了 Siri，这是一款虚拟助手，承诺在随意对话中提供一次性答案，而谷歌高层则嗅到了巨大的竞争威胁：Siri 可能会吞噬他们的搜索流量。他们开始更加关注 Uszkoreit 的新团体。

“这是一种虚假的恐慌，”乌什科雷特说。 Siri 从未真正威胁过谷歌。但他很高兴有机会深入研究计算机可以与我们进行某种对话的系统。当时，循环神经网络——曾经是学术上的一潭死水——突然开始超越其他人工智能工程方法。该网络由许多层组成，信息在这些层中传递和重新传递以识别最佳响应。神经网络在图像识别等领域取得了巨大的胜利，人工智能的复兴突然开始。谷歌正在疯狂地重新安排其员工队伍以采用这些技术。该公司希望系统能够产生类似人类的响应，自动完成电子邮件中的句子或创建相对简单的客户服务聊天机器人。

但该领域遇到了局限性。循环神经网络很难解析较长的文本块。拿一段话来说，乔是一名棒球运动员，吃了一顿丰盛的早餐后，他去了公园，打了两支安打。为了理解“两次击球”，语言模型必须记住有关棒球的部分。从人类的角度来说，它必须集中注意力。公认的解决方案是所谓的“长短期记忆”（LSTM），这是一种允许语言模型处理更大、更复杂的文本序列的创新。但计算机仍然严格按顺序处理这些序列（逐个乏味的单词），并且错过了段落中稍后可能出现的上下文线索。 “我们使用的方法基本上是创可贴，”Uszkoreit 说。 “我们无法获得真正能够大规模发挥作用的正确材料。”

2014 年左右，他开始发明一种不同的方法，他称之为 self-attention。这种网络可以通过引用段落的任何其他部分来翻译单词。这些其他部分可以阐明单词的意图并帮助系统产生良好的翻译。 “它实际上考虑了一切，并为您提供了一种有效的方法，可以同时查看许多输入，然后以相当有选择性的方式取出某些内容，”他说。尽管人工智能科学家小心翼翼地不要将神经网络的隐喻与生物大脑的实际工作方式混淆，但 Uszkoreit 似乎确实相信自我注意力与人类处理语言的方式有些相似。

Uszkoreit 认为自注意力模型可能比循环神经网络更快、更有效。它处理信息的方式也非常适合为支持机器学习热潮而大量生产的强大并行处理芯片。它不是使用线性方法（按顺序查看每个单词），而是采用更并行的方法（一起查看一堆单词）。 Uszkoreit 怀疑，如果做得正确，你可以专门使用自注意力来获得更好的结果。

并不是所有人都认为这个想法会震撼世界，包括 Uszkoreit 的父亲，他在儿子为公司工作期间获得了两项 Google 学院研究奖。 “人们对此感到惊讶，因为它抛弃了所有现有的神经架构，”Jakob Uszkoreit 说。告别循环神经网络？异端！ “从我和父亲在餐桌上的谈话来看，我们的看法并不一定一致。”

Uszkoreit 说服了几位同事进行自我注意力实验。他们的工作显示出了希望，并于 2016 年发表了一篇相关论文。 Uszkoreit 希望进一步推进他们的研究——该团队的实验只使用了极小的文本——但他的合作者没有一个感兴趣。相反，就像赌徒带着微薄的奖金离开赌场一样，他们开始应用他们所学到的教训。 “这东西起作用了，”他说。 “那篇论文的研究人员对获得回报并将其部署在谷歌的各个不同地方感到兴奋，包括搜索，最终是广告。从很多方面来说，这都是一次惊人的成功，但我不想就此止步。”

Uszkoreit 认为自我注意力可以承担更大的任务。还有另一种方法可以做到这一点，他会向任何愿意倾听的人和一些不愿意倾听的人争论，在 1945 号大楼的白板上概述他的愿景，该大楼以谷歌园区北边缘查尔斯顿路的地址命名。

/ 姓名：ILLIA POLOSUKHIN / 职业：NEAR 联合创始人

2016 年的一天，Uszkoreit 与一位名叫 Illia Polosukhin 的科学家在 Google 咖啡馆共进午餐。波洛苏欣出生于乌克兰，已在谷歌工作近三年。他被分配到为搜索字段中提出的直接问题提供答案的团队。事情进展得不太顺利。 “要在 Google.com 上回答问题，您需要非常便宜且高性能的东西，”Polosukhin 说。 “因为你有几毫秒的时间”来回应。当波洛苏欣表达不满时，乌兹科雷特毫不犹豫地想出了补救办法。 “他建议，为什么不使用 self-attention 呢？”波洛苏欣说。

波洛苏欣有时会与一位名叫阿什什·瓦斯瓦尼 (Ashish Vaswani) 的同事合作。他出生于印度，主要在中东长大，曾就读于南加州大学，在该校的精英机器翻译小组中获得博士学位。之后，他搬到山景城加入谷歌——具体来说是一个名为“谷歌大脑”的新组织。他将 Brain 描述为“一个激进的团体”，相信“神经网络将促进人类的理解”。但他仍在寻找一个大项目来开展。 1945 年，他的团队在 Polosukhin 语言团队隔壁的 1965 号大楼工作，他听说了 self-attention 的想法。可以是这个项目吗？他同意致力于此。

/ 姓名：ASHISH VASWANI / 职业：ESSENTIAL AI 联合创始人兼首席执行官

三位研究人员共同起草了一份名为“变形金刚：迭代自我注意力和各种任务处理”的设计文件。乌什科雷特说，他们从“零日”中选择了“变形金刚”这个名字。这个想法是，这种机制会改变它所接收的信息，使系统能够提取尽可能多的理解，或者至少给人一种错觉。此外，Uszkoreit 还拥有与孩之宝可动玩偶玩耍的美好童年回忆。 “我小时候有两个变形金刚小玩具，”他说。该文件以六辆变形金刚在山区中互相发射激光的卡通图片结尾。

报纸开头的那句话也有些狂妄：“我们太棒了。”

2017 年初，波洛苏欣离开谷歌创办了自己的公司。那时，新的合作者正在加入。一位名叫 Niki Parmar 的印度工程师移居美国时，一直在印度的一家美国软件公司工作。她于 2015 年获得南加州大学硕士学位，并被所有大型科技公司聘用。她选择了谷歌。刚开始时，她加入了 Uszkoreit，致力于研究模型变体以改进 Google 搜索。

/ 姓名：NIKI PARMAR / 职业：ESSENTIAL AI 联合创始人

另一位新成员是Llion Jones。他在威尔士出生和长大，热爱计算机，“因为它不正常”。在伯明翰大学，他学习了人工智能课程，并对神经网络产生了好奇，这被认为是一种历史好奇心。他于 2009 年 7 月获得硕士学位，但在经济衰退期间找不到工作，几个月以来一直靠救济金生活。他在当地一家公司找到了一份工作，然后以“万福玛丽”的身份向谷歌提出了申请。他得到了这份工作，并最终进入了谷歌研究院，他的经理是波洛苏欣。有一天，琼斯从一位名叫马特·凯尔西 (Mat Kelcey) 的同事那里听说了自我注意力的概念，后来他加入了变形金刚团队。 （后来，琼斯遇到了凯尔西并向他介绍了变压器项目。凯尔西并不买账。“我告诉他，‘我不确定这是否可行’，这基本上是我一生中最大的错误预测， “凯尔西现在说道。）

Transformer 的工作吸引了其他也在尝试改进大型语言模型的 Google Brain 研究人员。第三波浪潮包括波兰出生的理论计算机科学家 Łukasz Kaiser 和他的实习生艾丹·戈麦斯 (Aidan Gomez)。戈麦斯在加拿大安大略省的一个小农庄长大，每年春天，他的家人都会在那里采摘枫树来获取糖浆。在多伦多大学读大三时，他“爱上”了人工智能，并加入了机器学习小组——Geoffrey Hinton 的实验室。他开始联系谷歌的那些写过有趣论文的人，并提出扩展他们工作的想法。凯撒上钩并邀请他实习。直到几个月后，戈麦斯才得知这些实习机会是针对博士生的，而不是像他这样的本科生。

凯撒和戈麦斯很快意识到，自我关注对于他们正在解决的问题来说似乎是一种有前途、更激进的解决方案。 “我们就是否要合并这两个项目进行了深思熟虑的对话，”戈麦斯说。答案是肯定的。

Transformer 团队着手构建一个自我注意力模型，将文本从一种语言翻译成另一种语言。他们使用名为 BLEU 的基准测试来测量其性能，该基准将机器的输出与人工翻译的工作进行比较。从一开始，他们的新模型就表现良好。 “到那时，我们已经从没有概念证明到拥有至少与 LSTM 的最佳替代方法相当的东西，”Uszkoreit 说。但与长期短期记忆相比，“这并没有更好。”

他们已经达到了一个平台期，直到 2017 年的一天，Noam Shazeer 偶然听说了他们的项目。 Shazeer 是一位资深的 Google 员工（他于 2000 年加入公司），也是公司内部的传奇人物，从他对公司早期广告系统的工作开始。 Shazeer 已经研究深度学习五年了，最近对大型语言模型产生了兴趣。但这些模型距离产生他认为可能的流畅对话还差得很远。

Shazeer 回忆道，当时他正沿着 1965 号大楼的走廊行走，经过 Kaiser 的工作区。他发现自己正在聆听一场激烈的谈话。 “我记得 Ashish 正在谈论使用自我注意力的想法，Niki 对此非常兴奋。我想，哇，这听起来是个好主意。这看起来是一群有趣、聪明的人在做一些有前途的事情。” Shazeer 发现现有的循环神经网络“令人恼火”，并想：“让我们去替换它们吧！”

沙泽尔的加入至关重要。 “这些理论或直觉机制，比如自我注意力，总是需要非常仔细的实施，通常是由少数经验丰富的‘魔术师’来实施，甚至显示出任何生命迹象，”Uszkoreit 说。沙吉尔立即开始施展他的魔法。他决定编写自己版本的 Transformer 团队代码。 “我采用了基本想法并自己创造了这个东西，”他说。他偶尔会问凯撒一些问题，但他说，大多数情况下，他“只是采取了一段时间的行动，然后回来说，‘看，它有效。’”团队成员后来用“神奇”和“炼金术”和“花里胡哨”，他把这个系统提升到了一个新的水平。

“这拉开了冲刺的序幕，”戈麦斯说。他们充满动力，而且还想在即将到来的截止日期前完成任务——5 月 19 日，即在今年最大的人工智能盛会——12 月的神经信息处理系统会议上提交论文的提交日期。随着硅谷的冬天进入春天，实验的步伐加快了。他们测试了两种 Transformer 模型：一种是经过 12 个小时的训练而产生的，另一种是更强大的版本，称为 Big，经过三天半的训练。他们让他们从事英语到德语的翻译工作。

基本模型的表现优于所有竞争对手，Big 获得了 BLEU 分数，彻底打破了之前的记录，同时计算效率也更高。 “我们比任何人都用更少的时间完成了这件事，”帕尔玛说。 “这只是开始，因为数量不断增加。”当Uszkoreit听到这个消息时，他打开了他放在山地探险卡车上的一瓶旧香槟。

截止日期前的最后两周是疯狂的。尽管官方上一些团队成员仍然在 1945 号大楼里使用办公桌，但他们大部分时间都在 1965 年工作，因为它的微型厨房里有一台更好的浓缩咖啡机。 “人们没有睡觉，”戈麦斯说，作为实习生，他生活在不断的调试狂潮中，并为论文制作了可视化和图表。在此类项目中，进行消融是很常见的——把东西拿出来看看剩下的东西是否足以完成工作。

“技巧和模块有各种可能的组合——哪个有帮助，哪个没有帮助。我们把它撕下来吧。让我们用这个来代替它吧，”戈麦斯说。 “为什么模型会以这种违反直觉的方式表现？哦，这是因为我们没有记得正确进行遮罩。还有效吗？好的，继续下一步。我们现在所说的变压器的所有这些组件都是这种极其快节奏的迭代试验和错误的输出。”琼斯说，在 Shazeer 实施的帮助下，这些消融产生了“极简主义的东西”。 “诺姆是个巫师。”

瓦斯瓦尼回忆说，有一天晚上，团队正在写论文时，他瘫倒在办公室的沙发上。当他盯着将沙发与房间其他部分隔开的窗帘时，他被布料上的图案震惊了，在他看来，这些图案就像突触和神经元。戈麦斯在那里，瓦斯瓦尼告诉他，他们正在做的事情将超越机器翻译。 “最终，就像人脑一样，你需要将所有这些模式——语音、音频、视觉——统一在一个架构下，”他说。 “我有一种强烈的预感，我们正在研究一些更普遍的东西。”

然而，在谷歌高层，这项工作被视为另一个有趣的人工智能项目。我问了几位《变形金刚》的工作人员，他们的老板是否曾召集他们询问项目的最新情况。没那么多。但“我们知道这可能是一件大事，”Uszkoreit 说。 “这让我们真正着迷于论文最后的一句话，我们对未来的工作发表了评论。”

这句话预示了接下来可能发生的事情——变压器模型应用于基本上所有形式的人类表达。 “我们对基于注意力的模型的未来感到兴奋，”他们写道。 “我们计划将变压器扩展到涉及文本以外的输入和输出模式的问题”并研究“图像、音频和视频”。

截止日期前的几个晚上，Uszkoreit 意识到他们需要一个冠军。琼斯指出，该团队已经彻底拒绝了公认的最佳实践，尤其是 LSTM，其中一项技术是：注意力。琼斯回忆道，披头士乐队将一首歌命名为“你所需要的就是爱”。为什么不把这篇论文称为“注意力就是你所需要的”呢？

披头士？

“我是英国人，”琼斯说。 “实际上花了五秒钟的时间思考。我没想到他们会使用它。”

他们继续收集实验结果，直到截止日期。 “大约在我们提交论文前五分钟，英法数据就出来了，”帕尔玛说。 “1965 年，我坐在微型厨房里，输入最后一个数字。”只剩下不到两分钟的时间，他们就寄出了报纸。

与几乎所有科技公司一样，谷歌很快就这项工作申请了临时专利。原因不是为了阻止其他人使用这些想法，而是出于防御目的建立其专利组合。 （该公司的理念是“如果技术进步，谷歌就会受益。”）

当变压器工作人员收到会议同行评审员的回复时，反应不一。 “一个是积极的，一个是非常积极的，还有一个是，‘这没关系，’”帕尔玛说。该论文被接受参加一场晚间海报会议。

到了 12 月，这篇论文引起了轰动。 12 月 6 日，他们的四小时会议挤满了想要了解更多信息的科学家。作者们一直聊到声音嘶哑。到了晚上10点30分，会议结束时，现场仍然人头攒动。 “保安不得不让我们离开，”Uszkoreit 说。也许对他来说最满意的时刻是当计算机科学家塞普·霍赫赖特 (Sepp Hochreiter) 出现并赞扬了这项工作时——考虑到霍赫赖特是长短期记忆的共同发明者，这真是一种恭维，而变形金刚刚刚将其作为该领域的首选锤子。人工智能工具包。

变形金刚没有立即接管世界，甚至谷歌。凯泽回忆说，在该论文发表前后，沙泽尔向谷歌高管提议，该公司放弃整个搜索索引，并用变压器训练一个巨大的网络——基本上是为了改变谷歌组织信息的方式。那时，就连凯撒也认为这个想法很荒谬。现在的传统观点是这只是时间问题。

一家名为 OpenAI 的初创公司的进攻速度要快得多。这篇论文发表后不久，OpenAI 的首席研究员 Ilya Sutskever（他在 Google 任职期间就认识 Transformer 团队）建议该公司的一位科学家 Alex Radford 致力于研究这个想法。结果就是第一个 GPT 产品。正如 OpenAI 首席执行官 Sam Altman 去年告诉我的那样，“当 Transformer 论文发表时，我认为谷歌没有人意识到它的含义。”

内部情况更为复杂。 “对我们来说，很明显，变形金刚可以做一些非常神奇的事情，”Uszkoreit 说。 “现在，你可能会问，为什么2018 年Google 没有推出 ChatGPT ？实际上，我们可能会在 2019 年甚至 2020 年拥有 GPT-3 甚至 3.5。最大的问题不是，他们看到了吗？问题是，既然我们已经看到了它，为什么我们不采取任何行动呢？答案很棘手。”

/ 姓名：AIDAN GOMEZ / 职业：COHERE 联合创始人兼首席执行官

许多技术评论家指出，谷歌从一个以创新为中心的游乐场转变为一个注重利润的官僚机构。正如戈麦斯告诉英国《金融时报》的那样，“他们并没有实现现代化。他们没有采用这项技术。”但对于一家技术领先行业并数十年赚取巨额利润的大公司来说，这需要很大的勇气。谷歌确实在 2018 年开始将 Transformer 集成到产品中，首先是其翻译工具。同年，它推出了一种名为 BERT 的新的基于 Transformer 的语言模型，并于次年开始将其应用于搜索。

但与 OpenAI 的巨大飞跃以及微软将基于 Transformer 的系统大胆整合到其产品线相比，这些幕后的变化似乎显得胆怯。去年，当我问首席执行官桑达尔·皮查伊（Sundar Pichai）为什么他的公司不首先推出像 ChatGPT 这样的大型语言模型时，他认为在这种情况下，谷歌发现让其他人领导是有利的。 “我并不完全清楚这是否也能奏效。事实上，在人们看到它是如何运作的之后，我们可以做更多的事情，”他说。

不可否认的事实是，该论文的所有八位作者均已离开谷歌。Polosukhin 的公司 Near 建立了一个区块链，其代币市值约为 40 亿美元。 Parmar 和 Vaswani 于 2021 年作为业务合作伙伴共同创立了 Adept（估计估值为 10 亿美元），目前正在创办他们的第二家公司，名为 Essential AI（融资 800 万美元）。 Llion Jones 位于东京的 Sakana AI 估值为 2 亿美元。 Shazeer 于 2021 年 10 月离职，共同创立了 Character AI（估计估值 50 亿美元）。该集团的实习生艾丹·戈麦斯 (Aidan Gomez) 于 2019 年在多伦多联合创立了 Cohere（预计估值 22 亿美元）。 Jakob Uszkoreit 的生物技术公司 Inceptive 估值为 3 亿美元。所有这些公司（Near 除外）都是基于变压器技术。

/ 姓名：LUKASZ KAISER / 职业：OPENAI 研究员

凯撒是唯一一个没有创办过公司的人。他加入了 OpenAI，是一种名为Q*的新技术的发明者之一，Altman 去年表示，这项技术将“揭开无知的面纱，推动发现的前沿”。 （当我在采访中试图就此问题询问 Kaiser 时，OpenAI 公关人员几乎跳到桌子对面让他闭嘴。）

谷歌会想念这些逃亡者吗？当然，除了其他从公司迁移到新的人工智能初创公司的人之外。 （皮查伊提醒我，当我向他询问 Transformer 离职的情况时，业界宠儿 OpenAI 也出现了流失：“人工智能领域非常非常有活力，”他说。）但谷歌可以吹嘘说，它创造了一个支持人工智能的环境。追求非传统的想法。 “在很多方面，谷歌都遥遥领先——他们投资了正确的人才，创造了我们可以探索和挑战极限的环境，”帕尔玛说。 “花了一些时间才采用它并不疯狂。谷歌面临的风险要大得多。”

没有那个环境：就没有变压器。作者不仅都是谷歌员工，而且还在同一办公室工作。走廊里的偶遇和无意中听到的午餐谈话引发了重要时刻。该群体在文化上也是多元化的。八位作者中有六位出生在美国境外；另外两人分别是两名暂时居住在加利福尼亚州的持有绿卡的德国人和一名家人逃离迫害的第一代美国人的孩子。

Uszkoreit 在柏林的办公室发表讲话时表示，创新取决于合适的条件。 “它让人们对处于人生正确阶段的事物感到超级兴奋，”他说。 “如果你拥有了这些，并且在做的过程中享受到了乐趣，而且你正在解决正确的问题——而且你很幸运——那么奇迹就会发生。”

乌兹科雷特和他著名的父亲之间也发生了一些神奇的事情。据他的儿子 Hans Uszkoreit 报道，经过所有这些餐桌上的争论，他现在已经联合创立了一家正在构建大型语言模型的公司。当然，使用变压器。