OpenAI 的首席科学家 Ilya Sutskever 讲通用人工智能 AGI （他的发量让人安心）

 

在油管上刷到一个很好的访谈是对 OpenAI 的首席科学家 Ilya Sutskever 的采访，主要讲的通用人工智能（AGI）是的，他们在考虑 AGI，OpenAI 真的打算走很远……看着他的发量就让人觉得安心，于是我认真听了一下，确实很值得分享。

我请 ChatGPT 帮忙整理成了文字然后翻译

先放出 ChatGPT 的翻译版本原文请去funai.world(00:44) 今天我有幸采访OpenAI的联合创始人兼首席科学家Ilya SutskeverIlya，欢迎来到The Lunar Society。

谢谢，很高兴来到这里首先一个问题，不许谦虚(01:02) 并非所有科学家都会在自己的领域取得重大突破，而能够在整个职业生涯中取得多个独立重大突破的科学家更是少之又少，有什么区别？是什么让您与其他研究人员不同？为什么您能在您的领域取得多个突破？谢谢你的夸奖。

这个问题很难回答(01:21) 我非常努力，全力以赴，到目前为止效果还不错我认为就是这样而已明白了为什么GPT没有更多非法用途？为什么没有更多的外国 zf 利用它传播宣传或qz老年人？也许他们还没有真正做很多这样的事情。

(01:49) 但同时，如果现在有这种情况发生，我也不会感到惊讶我可以想象他们会利用一些开源模型，尝试将其用于这个目的当然，我预计这将是他们未来感兴趣的事情技术上可能他们还没有想得足够多？或者没有使用他们的技术大规模实施。

或者可能正在发生，这是很烦人的(02:09) 如果发生了这种情况，你能追踪到吗？我认为大规模追踪是可能的，是的这需要特殊操作，但是可能的现在AI在经济上非常有价值，比如说在飞机的规模上，但我们还没有达到AGI。

(02:29) 这个窗口有多大？很难给出一个准确的答案，而且肯定会有一个好几年的窗口这也是一个定义的问题因为在AI成为AGI之前，它将逐年以指数方式增长价值回顾过去，可能只有一两年，因为那两年比以前的年份更大。

(03:03) 但我会说，已经从去年开始，AI产生了相当多的经济价值明年会更大，之后会更大所以我认为从现在到AGI，这段时间会有一个很好的多年时期好吧因为我很好奇，如果有一个使用你们模型的创业公司，在某个时候，如果你们有了AGI，世界上就只有一个企业了，那就是OpenAI。

(03:31) 任何企业还有多少时间窗口，他们实际上正在生产AGI无法生产的东西？这和问距离AGI还有多久是同一个问题回答这个问题很困难我犹豫不决地给你一个数字也因为有这样一个效应，那就是研究技术的乐观人士往往低估了到达那里所需的时间。

(03:55) 但我通过思考自动驾驶汽车来使自己脚踏实地特别是，有一个类比，如果你看看特斯拉的大小，看看它的自动驾驶行为，它看起来像是什么都能做但同时也很明显，就可靠性而言，还有很长的路要走我们可能在我们的模型方面也处于类似的位置，它看起来也像是能做任何事情，同时，我们还需要做一些工作，直到我们真正解决所有问题，使其变得更好、更可靠、更稳健和表现良好。

到2030年，AI占GDP的百分比是多少？(04:32) 哦，天哪，这个问题很难回答给我一个上下限问题是我的误差范围是对数级别的我可以想象一个巨大的百分比，我也可以想象一个令人失望的很小的百分比(04:50) 假设到2030年，这些LLM创造的经济价值并不多。

尽管你可能认为这不太可能，但现在你认为这种情况发生的最佳解释是什么？我真的不认为这是一个可能的可能性，这是对问题前提的声明但是，如果我接受你的问题前提，事情在现实影响方面令人失望的原因是什么？我的答案是可靠性。

(05:22) 如果结果是你真的希望它们是可靠的，但它们最终没有实现可靠性，或者可靠性比我们预期的要难我真的不认为这会是这样的情况但是，如果我必须选择一个，你告诉我——嘿，为什么事情没有成功？那就是可靠性。

你仍然需要查看答案并仔细核对一切(05:43) 这确实会对这些系统能产生的经济价值产生很大的影响明白了它们在技术上是成熟的，问题只是它们是否足够可靠嗯，在某种意义上，不可靠意味着技术上不成熟是的，说得对。

(06:03) 在生成模型之后是什么？之前，你一直在研究强化学习这基本上是我们通向AGI的范例吗？还是说在这之后还有什么？我认为这个范例会走得非常非常远，而且我不会低估它这个范例很可能不是AGI的形式因素。

我不愿意说下一个范例会是什么，但它可能涉及到过去所有不同想法的整合(06:33) 你指的是某个具体的东西吗？很难具体说明所以你可以说，下一个token预测只能帮助我们匹配人类的表现，而不能超越它？要超越人类的表现需要什么？我质疑下一个token预测不能超越人类表现的说法。

表面上看，它不能(06:54) 看起来好像如果你只学会模仿，预测人们会做什么，那就意味着你只能复制人们但这里有一个反驳这种观点的反论如果你的基础神经网络足够智能，你只需问它——一个具有极大洞察力、智慧和能力的人会做什么？也许这样的人并不存在，但很有可能神经网络能够推断出这样一个人的行为。

(07:25) 你明白我的意思吗？是的，尽管这种洞察力是从哪里得来的？如果不是从…从普通人的数据中得来的因为如果你想一想，预测下一个token意味着什么？实际上这是一个比看起来更深刻的问题(07:46) 预测下一个token意味着你理解导致创建那个token的底层现实。

这不仅仅是统计虽然它是统计，但统计又是什么？为了理解那些统计数据并将它们压缩，你需要了解世界上有什么是在创造这组统计数据的？所以你说——好吧，我有了所有这些人(08:15) 是什么让人们产生这种行为？那么他们有思想和感觉，他们有想法，他们以某种方式行事。

所有这些都可以通过预测下一个token来推断出来我会争辩说，这应该使得在很大程度上可能说——嗯，你能猜猜如果你拿一个具有这种特征和那种特征的人会怎么做吗？这样的人可能不存在，但因为你在预测下一个token方面如此优秀，你仍然应该能猜到那个人会做什么。

(08:43) 这个假想的、想象中的人，他的心智能力远远超过我们其他人当我们对这些模型进行强化学习时，从AI而不是人类获得强化学习数据还需要多久？已经有大部分默认的强化学习数据来自AI了人类被用来训练奖励函数。

但是，奖励函数与模型的交互是自动的，强化学习过程中产生的所有数据都是由AI创建的如果你看看当前受到关注的技术/范例，比如因chatGPT而备受关注的强化学习，从人类反馈中学习（RLHF）(09:37) 人类反馈已被用来训练奖励函数，然后奖励函数被用来创建训练模型的数据。

明白了是否有可能完全摆脱人类的参与，让它像AlphaGo一样自我改进？是的，当然你真正希望的是人类教师与AI合作教导AI你可能想把这想象成一个世界，在这个世界里，人类教师做1%的工作，AI做99%的工作。

你不希望它是100%的AI但你确实希望它是一个人机协作，来教导下一代机器我有机会尝试这些模型，它们似乎在多步推理方面表现不佳虽然它们一直在变得更好，但要真正突破这个障碍需要什么？我认为专门的训练将帮助我们实现这一目标。

更多的基础模型改进也将帮助我们实现这一目标但从根本上说，我觉得它们在多步推理方面并不那么糟糕实际上，我认为它们在不允许大声思考时的心智多步推理能力是不足的(10:47) 但是当它们被允许大声思考时，它们的表现相当不错。

我预计这方面的表现将随着更好的模型和特殊训练而显著提高在互联网上的推理token是否不足？是否有足够的推理token？对于这个问题的背景，有人声称在某个时候，我们将用完token，一般来说，用于训练这些模型。

我不认为我们会在推理token方面面临短缺在训练大型语言模型时，互联网上仍然有大量数据可以利用我们可以从各种领域和类型的文本中获取推理和知识，这有助于我们的模型不断地学习和改进当然，随着技术的发展，我们可能需要更多的高质量、多样化的数据以继续推动AI的进步。

这可能意味着我们需要关注那些尚未充分利用的数据来源或创造新的数据集然而，就目前而言，我们并未看到推理token短缺的迹象作为研究人员和开发人员，我们的任务是确保我们的AI系统不断地学习、推理和进步，以便为全球各行各业创造价值。

通过不断地改进我们的模型和训练技术，我们可以充分利用互联网上现有的大量数据，从而推动AI领域的持续发展(11:14) 是的，我认为总有一天这种情况会发生，到那时，我们需要其他方法来训练模型，提高它们的能力，改善它们的行为，确保它们能精确地做到我们想要的，而不需要更多的数据。

你们还没有用完数据吗？还有更多？是的，我认为数据的情况还相当不错(11:34) 还有很多可以继续但是某个时候数据会用尽的最有价值的数据来源是什么？是 Reddit、Twitter 还是书籍？你们从哪里获取大量其他类型的 tokens？通常来说，你需要那些讨论更智能话题的 tokens，更有趣的 tokens。

(11:56) 你提到的所有来源都很有价值也许 Twitter 除外但是我们是否需要采用多模态来获取更多 tokens？还是我们仍然有足够的文本 tokens？我认为你仍然可以在仅使用文本的情况下走得很远，但采用多模态似乎是一个非常有成果的方向。

(12:12) 如果你愿意谈论这个问题，我们还没有抓取 tokens 的地方在哪里？显然，我不能回答这个问题，但我相信对于每个人来说，这个问题都有不同的答案我们能从算法改进中获得多少数量级的提高，而不是从规模或数据方面？这个问题很难回答，但我相信肯定有一些。

(12:36) “有一些”是很多还是一点点？只有一种方法可以找到答案好的让我听听你对这些不同研究方向的快速看法检索式变压器就是以某种方式将数据存储在模型之外，并以某种方式检索它看起来很有前途(12:52) 但你认为这是一条前进的道路吗？看起来很有前途。

机器人当时 OpenAI 放弃机器人领域是正确的决定吗？是的，那是正确的那时候，继续研究机器人是不可能的，因为数据太少了那时如果你想研究机器人，你需要成为一家机器人公司(13:12) 你需要有一个非常庞大的团队来研究机器人和维护它们。

即使如此，如果你要拥有100台机器人，这已经是一个庞大的运作了，但你也不会得到太多数据所以，在大部分进展来自计算能力和数据结合的世界中，机器人领域没有数据途径(13:47) 所以在当时，我们做出了停止研究机器人的决定，因为没有前进的道路。

现在呢？我会说现在有可能创造一条前进的道路但是人们需要真正致力于机器人任务你真的需要说 - 我要制造成千上万，甚至数十万、数百万的机器人，并从它们那里收集数据，找到一条逐渐的道路，在这条道路上，机器人做得越来越有用。

然后使用获得的数据来训练模型，它们会做得更好(14:22) 你可以想象这是一个逐步改进的过程，制造更多的机器人，它们做更多的事情，收集更多的数据，依此类推但你真的需要致力于这条道路如果你说，我想让机器人发生改变，那就是你需要做的事情。

(14:39) 我相信有一些公司正正在做这件事但你需要真正热爱机器人，并且愿意解决处理它们的所有物理和物流问题这和软件完全不一样我认为如今，在足够的动力下，人们可以在机器人领域取得进展有哪些想法让你兴奋，但由于目前的硬件无法很好地运行，所以你无法尝试？我不认为现有的硬件是一个限制。

这不是情况(15:05) 明白了但是你想尝试的任何东西都可以启动吗？当然你可能希望现有的硬件更便宜，或者说它具有更高的内存处理带宽但总的来说，硬件根本不是问题让我们谈谈对齐(15:31) 你认为我们会有一个对齐的数学定义吗？一个数学定义是不太可能的。

而不是获得一个数学定义，我认为我们将获得多个定义，从不同方面看待对齐这就是我们想要的保证我的意思是，你可以在各种测试中观察行为，一致性，在各种对抗压力情况下观察，你可以观察神经网络是如何从内部运行的你必须同时观察这几个因素。

在模型释放到野外之前，你需要多么确定？100%？95%？这取决于模型的能力模型能力越强大，我们需要的信心就越大好的，假设它几乎是AGIAGI在哪里？这取决于你的AGI能做什么请记住，AGI是一个含糊不清的术语。

你的普通大学本科生就是一个AGI，对吧？关于AGI的含义存在很大的模糊性根据你将这个标记放在哪里，你需要更多或更少的信心你之前提到了几种对齐的路径，现在你认为哪种是最有前景的？我认为它将是一个组合(16:57) 我真的认为你不会只想要一个方法。

人们希望有多种方法的组合在这里，你花费大量计算力对抗地寻找你想要教授的行为与它所展示的行为之间的任何不匹配我们使用另一个神经网络来观察神经网络的内部，了解它是如何运作的(17:22) 所有这些都是必要的。

每种方法都会降低不对齐的概率而且你还希望建立在一个世界中，你的对齐程度增加得比模型的能力更快你认为我们今天为了理解模型所采取的方法对实际超级强大的模型适用吗？它们适用的程度如何？是同样的东西在它们上面也能很好地工作吗？这不能保证。

(17:39) 我会说目前我们对我们的模型的理解仍然相当粗浅我们取得了一些进展，但还有更多的进展是可能的所以我希望最终，真正成功的事情是当我们有一个小型神经网络，这个神经网络被很好地理解，并被赋予了研究大型神经网络行为的任务，以便验证。

(17:59) 在什么时候，大部分AI研究都是由AI完成的？今天当你使用Copilot时，你是如何划分的？所以我预计有一天你会问你的ChatGPT的后代，你会说 - 嘿，我正在考虑这个和那个你能给我一些建议我应该尝试的有成效的想法吗？你实际上会得到有成效的想法。

(18:22) 我不认为这会让你能够解决以前无法解决的问题明白了但它只是以某种方式更快地告诉人们给他们想法它本身并没有参与研究？这只是一个例子你可以用各种方式切分这个问题但瓶颈在于好的想法、好的见解，这是神经网络可以帮助我们的地方。

如果你要为某种对齐研究结果或产品设计一个价值十亿美元的奖金，你会为这个十亿美元的奖金设定什么具体标准？有没有什么适合这个奖金的东西？(18:55) 有趣的是，您问的这个问题，我最近正在考虑这个问题我还没有想出确切的标准。

也许是一个奖项，我们可以说两年后、三年后或五年后回头看，就像那是主要成果一样所以，与其说有一个评奖委员会立即决定，不如说你等待五年，然后追溯地授予奖项(19:21) 但没有具体的事情，我们可以确定你解决了这个特定问题，并且取得了很多进展？取得了很多进展，是的。

我不会说这是全部的东西你认为端到端训练对于越来越大的模型是正确的架构吗？或者我们需要更好的方式来连接这些东西？端到端训练非常有前景将事物连接在一起也非常有前景(19:44) 一切都充满希望所以Open AI预计在2024年的收入为十亿美元。

这个数字可能非常准确，但我只是好奇，当你谈论一种新的通用技术时，你如何估计它将带来多大的意外收获？为什么是那个特定的数字？我们已经有了一个产品，从GPT-3时代开始，从两年前通过API，我们看到了它是如何成长的。

我们也看到了DALL-E的反应是如何增长的(20:18) 你看到了ChatGPT的反应是怎样的，所有这些都给了我们可以进行相对明智的推断的信息也许这将是一个答案你需要有数据，你不能凭空产生这些东西，因为否则你的误差范围将在每个方向上都是100倍。

(20:42) 但是，大多数指数级增长在进入越来越大的数量时不会保持指数级，对吗？那么在这种情况下如何确定呢？你会对AI下赌注吗？在与你交谈之后，我不会让我们谈谈一个后人工智能（AGI）时代的未来是什么样子的。

我猜你正在为这个宏伟目标每周工作80小时，你真的很迷恋这个目标(21:02) 在一个你基本生活在AI退休社区的世界里，你会感到满足吗？在AGI出现后，你个人会做些什么？关于在AGI出现后我会做什么或者人们会做什么这个问题非常棘手。

人们将从何寻找意义？但我认为AI可以帮助我们解决这个问题(21:30) 我想象的是，我们将因与AGI互动而变得更加开明，这将帮助我们更正确地看待世界，并因此在内心变得更好想象一下与历史上最好的冥想老师交谈，这将是一件有益的事情。

但我也认为，由于世界将发生很大变化，人们很难确切地理解正在发生的事情以及如何真正作出贡献(21:59) 我认为有些人会选择成为部分AI，以便真正扩展他们的思维和理解，并真正解决社会将面临的最艰难的问题你会成为部分AI吗？这非常诱人。

你认为到公元3000年还会有实体的人类存在吗？3000年？我怎么知道公元3000年会发生什么事？这看起来像什么？地球上还有人类在四处走动吗？或者你们考虑过这个世界实际上应该是什么样子吗？(22:26) 让我向你描述一下我认为这个问题不太正确的地方。

它暗示我们可以决定我们希望世界看起来像什么我认为这个观点是错误的变化是唯一的常态因此，即使在建立AGI之后，这并不意味着世界将是静止的(22:50) 世界将继续发生变化，世界将继续发展它将经历各种各样的转变。

我认为没有人知道3000年的世界会是什么样子但我确实希望有很多人类的后代将过上幸福、充实的生活，他们可以按照自己的意愿自由生活(23:15) 他们将是那些解决自己问题的人我认为一个非常乏味的世界是，我们构建了这个强大的工具，然后 zf 说 - 好吧，这个AGI说社会应该以这样的方式运行，现在我们应该以这样的方式运行社会。

我更愿意看到一个世界，人们仍然可以自由地犯错误，承受后果，并逐渐在道义上进化，以他们自己的方式向前发展，而AGI更像是一个基本的安全网(23:47) 你花多少时间思考这些问题，而不是只做研究？我确实会花很多时间思考这些问题。

它们是非常有趣的问题我们现在的能力，在哪些方面已经超过了我们在2015年的预期？又在哪些方面还没有达到你此时此刻的预期？实际上，这正是我在2015年所期望的(24:13) 2015年，我的想法更多的是 - 我不想对深度学习下赌注。

我想尽可能地押在深度学习上我不知道怎么样，但它会弄清楚但是有没有什么具体的方式，你觉得它比你预期的要多或者要少？比如说从2015年开始的一些具体预测？很遗憾，我不记得我在2015年做的具体预测了(24:37) 但我确实认为，总的来说，在2015年，我只是想搬到一个可以尽可能大地押在深度学习上的地方，但我并不知道具体情况。

我没有关于七年后事情会发展到什么程度的具体想法不过，2015年，我确实与人们进行了所有这些最好的预测，在2016年，也许是2017年，事情会发展得非常远但是具体细节(25:03) 所以这既是令我惊讶的，又是我提出了这些激进的预测。

但也许我内心只相信其中的50%现在你相信什么，即使OpenAI的大多数人也觉得牵强？因为我们在OpenAI进行了大量沟通，人们对我的想法有很好的了解，我们已经真正达到了在OpenAI彼此看待这些问题的程度。

(25:26) 谷歌有其定制的TPU硬件，拥有来自所有用户、Gmail等的大量数据这是否让他们在训练更大、更好的模型方面具有优势？最初，当TPU问世时，我印象深刻，认为这很了不起但那是因为当时我对硬件了解不足。

(25:46) 实际情况是，TPU和GPU几乎是一回事它们非常相似GPU芯片稍大一些，TPU芯片稍小一些，也许成本稍低但后来GPU和TPU都生产得更多，所以GPU可能最终更便宜(26:11) 但从根本上讲，你有一个大型处理器，还有大量的内存，两者之间存在瓶颈。

TPU和GPU要解决的问题是，从内存将一个浮点数移动到处理器所需的时间，你可以在处理器上执行几百个浮点操作，这意味着你必须进行某种批处理(26:31) 从这个意义上讲，这两种架构是相同的所以我真的觉得从某种程度上说，关于硬件的唯一重要事项是每次浮点运算的成本和整体系统成本。

它们之间没有太大差别吗？实际上，我不知道我不知道TPU的成本是多少，但我怀疑，如果有的话，TPU可能更贵，因为它们数量较少(26:58) 当你进行工作时，花多少时间配置正确的初始化？确保训练运行顺利并获得正确的超参数，又花多少时间提出全新的想法？我会说这是一个组合。

提出全新想法只占工作的一小部分(27:21) 当然，提出新想法很重要，但更重要的是理解结果，理解现有的想法，理解正在发生的事情神经网络是一个非常复杂的系统，对吧？你运行它，得到一些行为，这很难理解发生了什么？理解结果，弄清楚要运行什么样的下一个实验，大部分时间都花在这上面。

(27:42) 理解可能出了什么问题，可能导致神经网络产生意料之外的结果我会说花很多时间提出新想法我不太喜欢这个框架这不是说它是错误的，但主要活动实际上是理解你认为两者之间的区别是什么？(28:15) 至少在我心中，当你说提出新想法时，我会想到——哦，如果做这样那样怎么样？然而，理解更像是——这整个事物是什么？其中的真正潜在现象是什么？发生了哪些潜在的影响？为什么我们要以这种方式而不是另一种方式行事？当然，这与可以描述为提出想法的事物非常相邻。

但理解部分是真正的行动发生地(28:35) 如果你回想一下像ImageNet这样的事情，那是更多的新想法还是更多的理解？那肯定是理解那是对非常古老的东西的新理解在Azure上进行培训的经历是怎样的？(28:57) 很棒。

Microsoft一直是我们非常好的合作伙伴他们真正帮助将Azure带到一个非常适合机器学习的地步，我们对此非常满意整个AI生态系统对台湾可能发生的事情有多脆弱？比如说，如果台湾发生海啸，AI的发展会受到怎样的影响？。

(29:24) 这绝对会是一个重大的挫折几年内，没有人能获得更多的计算能力但我预计计算能力会重新涌现例如，我相信英特尔有像几代前那样的晶圆厂所以这意味着如果英特尔愿意，他们可以生产出类似四年前的GPU(29:42) 但是，这并不是最好的选择，实际上，我不确定我关于英特尔的说法是否正确，但我确实知道台湾以外还有晶圆厂，只是没有那么好。

但你仍然可以使用它们，仍然可以在这方面走得很远这只是成本问题，只是一个挫折随着这些模型变得越来越大，推理会变得成本过高吗？我对这个问题有一个不同的看法推理不是变得成本过高实际上，随着技术的发展，我们可以期待推理成本会下降。

但是，随着模型变得更大、更复杂，我们可能需要更多的计算资源来支持它们这就需要在计算能力和模型大小之间找到合适的平衡(30:08) 更好模型的推理成本确实会变得更高但是这是否成为禁忌呢？这取决于它的实用性。

如果其实用性超过了其成本，则不是禁止性的打个比方，假设你想找律师谈话你有一些案子或需要一些建议，你很乐意花费每小时400美元对吧？如果你的神经网络能够给你可靠的法律建议，你会说——我很乐意花400美元来得到这个建议。

突然推理变得非常不是禁忌了问题是，神经网络能够以这个成本提供足够好的答案吗？是的 (30:29) 你只需提供不同模型的价格歧视吗？今天已经是这样了在我们的产品上，API提供了多个不同大小的神经网络，并且不同的客户使用不同大小的神经网络，具体取决于他们的使用情况。

如果有人可以使用小型模型进行微调并获得满意的结果，他们将使用该模型 (31:17) 但是，如果有人想做更复杂和更有趣的事情，他们将使用最大的模型您如何防止这些模型变成商品，以至于这些不同的公司只是互相出价，直到GPU运行的成本基本上为止？是的，毫无疑问有一股力量正在试图创造这种情况。

答案是要继续取得进展 (31:32) 您必须继续改进模型，必须继续提出新想法，使我们的模型变得更好、更可靠、更值得信赖，这样您就可以信任它们的答案所有这些都是是的但假设到了2025年，有人以成本提供2024年的模型。

而且它仍然很好 (31:53) 如果比起一年前的模型，新模型更好，为什么人们还要使用旧的模型呢？有几个答案对于某些用例，这可能是真的将有一个2025年的新模型，将驱动更有趣的用例还将有推理成本的问题如果你可以研究如何以更少的成本提供相同的模型。

(32:19) 对于不同的公司，同一模型的成本会有所不同我还可以想象一定程度的专业化，某些公司可能会在某些领域专业化，并比其他公司更强对我来说，这可能是对商品化的回应随着时间的推移，这些不同公司的研究方向会趋于收敛还是分歧？他们是否会越来越相似？还是分支到不同的领域？在短期内，我认为看起来存在收敛。

我预计会出现收敛-分歧-收敛的行为，即在短期内，会有很多收敛，长期会有一些分歧，但一旦长期的工作开始实现，会再次出现收敛 (32:51) 对了，当其中一家发现最有前途的领域时，每个人都会去做…是的当然，现在发表的论文少了，所以需要更长时间才能重新发现这个有前途的方向。

但这就是我想象的情况收敛，分歧，收敛(33:10) 我们一开始谈到这个话题当zf了解到这些模型的能力时，你担心jd或某种攻击会获取你的权重，或者以某种方式滥用这些模型并了解它们吗？是的，您绝对不能排除这种可能性。

这是我们尽力防范的事情，但对于每个正在构建这些模型的人来说都将是一个问题 (33:45) 您如何防止您的权重泄露？您有非常好的安全人员有多少人有能力SSH进入具有权重的计算机？安全人员做得很好，所以我真的不担心权重会被泄露。

 (34:14) 在这种规模下，您预计会有哪些新的意外属性？有什么是全新的吗？我相信一些非常新奇的属性会出现，我不会感到惊讶我非常兴奋的事情是——可靠性和可控性我认为这将是一个非常非常重要的紧急属性如果您拥有可靠性和可控性，这将有助于您解决很多问题。

可靠性意味着您可以信任模型的输出，可控性意味着您可以控制它我们将看到，但如果这些新的紧急属性确实存在，那将非常酷(34:50) 有没有一些方法可以提前预测？在这个参数计数中会发生什么？在那个参数计数中会发生什么？我认为可以对特定能力进行一些预测，虽然这绝对不是简单的，并且至少在今天无法进行非常精细的预测。

但变得更好地预测是非常重要的，任何对此感兴趣且有研究想法的人都可以做出有价值的贡献您对这些缩放定律有多认真？有一篇论文说——需要多少数量级的增加才能得到所有推理？您是否认真对待它？还是您认为在某些时候它会失效？缩放定律告诉您下一个单词预测准确率的对数会发生什么，对吗？还有一个完全不同的挑战，即如何将下一个单词预测准确率与推理能力联系起来。

我确信它们之间存在联系，但这种联系是复杂的我们可能会发现其他东西可以为我们提供更多的推理能力您提到了推理令牌，我认为它们可能有帮助可能还有其他一些有帮助的东西您是否考虑只雇用人类为您生成令牌？还是所有东西都要来自已有的资料库？我认为依赖人来教我们的模型做事情，特别是确保它们行为良好并且不会产生虚假信息，是一件非常明智的事情。

这是不是很奇怪，我们恰好在同一时间拥有所需的数据、转换器和GPU？就你而言，你认为这些事情同时发生是奇怪的吗？这绝对是一个有趣的情况我会说这在某种程度上不那么奇怪为什么不那么奇怪呢？是因为什么驱使了数据存在、GPU存在和转换器存在？数据存在是因为计算机变得更好、更便宜，我们拥有越来越小的晶体管。

(37:04) 突然，某一刻，每个人都可以负担得起个人电脑一旦每个人都有了个人电脑，您真的想将它们连接到网络上，您获得了互联网一旦您拥有互联网，您就会突然出现大量数据GPU同时改进，因为您拥有越来越小的晶体管，您正在寻找可用的事情。

游戏竟然是您可以做的事情然后在某个时候，英伟达说——游戏GPU，我可以将其变成通用GPU计算机，也许有人会发现它有用结果它对神经网络很有用也许GPU会在五年后，十年后到达，这可能是可能的(38:09) 所有这些维度的进步都是相互关联的，这并非巧合。

在哪些维度上进步并不是可以自由选择的这种进步有多么不可避免？假设你和 Geoffrey Hinton 以及其他一些先驱从未出生，那么深度学习革命是否会在大致相同的时间发生？它会有多少延迟？也许会有一些延迟。

(38:35) 也许只有一年的延迟？真的吗？很难说我不愿意给一个更长的答案，因为GPU将会不断改进我无法想象会有人不会发现它因为这里还有一件事情假设没有人做过它，计算机会变得越来越快，越来越好(38:57) 训练这些神经网络变得越来越容易，因为你有更大的GPU，所以训练它只需要更少的工程工作。

你不需要像以前那样优化你的代码当 ImageNet 数据集出现时，它非常巨大，使用起来非常困难现在想象一下，你等几年，下载变得非常容易，人们只需要调整一下就可以了 (39:18) 我猜最多只需要几年的时间。

不过我不太确定，因为你不能重新运行这个世界让我们再回到对齐的问题作为一个深度理解这些模型的人，你对对齐有什么直觉？在当前的能力水平下，我们已经有了一套相当好的想法来对齐它们 (39:45) 但我不会低估对齐比我们聪明的模型的难度，比如有能力误导我们的模型。

这是一个需要深入研究的问题学术研究人员经常问我他们最好的贡献是在哪里(40:14) 对齐研究是学术研究人员可以做出非常有意义贡献的一个领域除此之外，你认为学术界是否会提出关于实际能力的重要洞见，或者这些洞见只会出现在公司中？公司将意识到这些能力。

学术研究人员有可能提出这些见解 (40:30) 由于某种原因，这似乎并不经常发生，但我认为这并不是学术界本身的问题并不是学术界做不到也许他们只是没有考虑到正确的问题或者说因为在公司中更容易看到需要解决的问题。

我明白了 (40:51) 但有可能会有人会突然意识到……我完全赞同我怎么可能排除这种可能性呢？这些语言模型开始真正影响原子世界而不仅仅是位世界的具体步骤是什么？我认为位世界和原子世界之间并没有明确的区别。

 (41:10) 假设神经网络告诉你：“嘿，你应该这样做，这会改善你的生活”但你需要以某种方式重新安排你的公寓然后你按照神经网络的建议重新安排了你的公寓神经网络影响了原子世界好吧 (41:31) 你认为需要几个像Transformer一样重要的突破才能实现超人类AI？或者你认为我们已经在书中得到了这些见解，我们只需要实现它们并将它们联系起来？我实际上并没有看到这两种情况之间有太大的区别，我来解释一下原因。

过去取得进步的方式之一是我们认识到某些东西一直具有期望的特性，但我们没有意识到(42:03) 这是一个突破吗？你可以说是的这是对书中某些内容的实现吗？同样是的我的感觉是，这些情况很可能会发生但事后看来，这将不会像是一次突破。

每个人都会说：“哦，当然显然这种事情可以做到” (42:24) Transformer之所以被提出作为一个特定的进步，是因为对于几乎任何人来说，这种事情都不是显而易见的所以人们可以说这不是他们知道的事情。

让我们考虑深度学习最基本的进步，大型神经网络在反向传播的训练中可以做很多事情哪里是新颖之处？不在神经网络中不在反向传播中 (42:50) 但这绝对是一个巨大的概念突破，因为很长一段时间以来，人们没有意识到这一点。

但是现在，每个人都看到了，每个人都会说：“噢，当然，大型神经网络每个人都知道它们可以做到这一点”你对你的前导师的新的前向前向算法有什么看法？(43:15) 我认为这是一种试图在不使用反向传播的情况下训练神经网络的方法。

如果你有一个神经科学的动机，并且你想说：“好的，我怎样才能想出一些试图近似反向传播的好性质的东西而不进行反向传播？”这就是前向前向算法要做的但是如果你只是想设计一个好的系统，那么没有理由不使用反向传播 。

(44:03) 这是唯一的算法我在不同的背景下听过你谈论将人类作为现有例子的用法，以证明AGI的存在在什么时候你会不那么严肃地接受这个隐喻，不再追求它作为研究的动力？因为这对你来说是一个存在的例子(44:26) 在什么时候我会不再关心人类作为智能存在的例子？或者说在追求模型智能的过程中不再追求它作为例子？我认为受人类启发是好的，受大脑启发是好的。

正确受到人类和大脑的启发是一门艺术，因为很容易抓住人类或大脑的非本质特性(44:59) 许多研究人员的研究旨在受到人类和大脑的启发，往往变得太具体人们变得太——好吧，应该遵循哪个认知科学模型？同时，考虑神经网络本身的概念，即人工神经元的概念。

这也受到了大脑的启发，但它却非常有成果 (45:20) 那么，他们是如何做到这一点的？人类的行为有哪些是基本的，你可以说这证明了我们能够做到这一点？什么是本质的？实际上，这是某些更基本事物的新兴现象，我们只需要集中精力，让自己的基本功做得更好。

我们可以通过受到人类智能的启发来获得灵感，但要小心最后一个问题：为什么在你的情况下，成为深度学习革命的先驱之一并仍然成为顶尖研究人员之一之间有如此强烈的相关性？你会认为这两件事情不会那么相关但是为什么会有这种相关性？ 。

(46:11) 我认为这些事情并不是非常相关老实说，这个问题很难回答我只是一直很努力，结果到目前为止足够了因此，这是毅力这是必要的，但不是充分条件许多事情需要在一起才能真正弄清楚你需要真正去尝试，并且需要有正确的看问题的方式。

回答这个问题真的很难给出一个有意义的答案 (46:37) Ilya，与你交谈真的很快乐非常感谢您来到The Lunar Society我很感激您把我们带到了办公室谢谢是的，我真的很喜欢非常感谢

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186