什么是概念推理？

什么是概念推理？

你从未孤立地学习任何东西。当有人告诉你蒂姆·库克 (Tim Cook) 运营苹果公司时，你不会把这当作一个简单的信息储存起来。你的大脑会同时识别出蒂姆·库克是一个人，苹果是一家组织，“运营”意味着执行权力，这种知识在时间上与现在相关联，并且它（横向地、分层地、因果地）连接到你已经了解的关于技术、公司治理、供应链的信息，也许还有你上周读到的产品发布。所有这些都是你不经提示推断出来的。没有人给你提供一个模式。

这个过程，即从原始信息中形成结构化的、关系型的知识，就是概念学习。每一个新的知识都在与已知的一切相关联的情况下被理解，或者被当作噪音丢弃。

而且，这些都不局限于抽象。代码是概念性的。数值数据是概念性的。价格变动、函数签名、传感器读数。每一个只有与其他事物相关联才具有意义。概念学习不区分“软”知识和“硬”数据。如果某事物具有结构、关系和上下文，它就是一个概念，概念学习会统一对待它。

模式匹配的问题

大多数机器智能方法都依赖于统计模式匹配。系统摄取大量数据，识别相关性，并生成按概率加权的输出。当目标是流畅性或近似时，这种方法效果尚可。但是，当你需要精确性、一致性或能够解释自身结论的推理时，它会退化，通常是悄无声息地，通常是灾难性的。

局限性在于架构。一个建立在统计关联基础上的系统，没有关于事物是什么或它们如何在结构上相关的内部模型。它只记录某些模式共同出现，而不知道为什么。对于文本生成来说足够可用。但对于决策、数值推理或适应新信息（而无需大规模重新训练）来说，是不可靠的。

同样的架构批评也适用于传统的知识图谱。传统的知识图谱依赖于嵌入查找，或在存储为静态断言的扁平三元组（主语、谓语、宾语）上进行模式匹配。在上面分层代理检索并不能修复底层的缺陷；它只是为一种原本不适合推理的表示添加了编排复杂性。在扁平三元组上的检索会扩展为更多的检索，而不是推理。

那么：是否存在一种推理方法，可以在模式匹配和查找无法胜任的地方发挥作用？

一个不同的起点

概念学习从一个不同的前提开始：系统应该形成关于事物是什么以及它们如何相关的实际表示，而不是累积表面层模式之间的关联。

这意味着同时在多个维度上处理信息：在时间上（对事件和状态进行排序），在因果上（建模是什么导致了什么），在关联上（映射跨领域的连接），以及在元认知上（根据任务的实际要求评估自身推理质量）。这些都不会按顺序发生。知识从进入架构的那一刻起，就以这种方式被编码，并发地、相互依赖地，因为人类的大脑也不会先执行一个“时间模块”，然后再执行一个“因果模块”。它在上下文中理解事物，一次性地理解，而这正是我们着手构建的能力。

一个建立在这个基础上的系统，无需明确的指示，就能识别出蒂姆·库克是一个人，而苹果是一家组织。它可以自主地推断出关系，确定其知识的哪些元素在给定的上下文中具有最大的权重，并提炼出最相关的内容。它可以跨领域和数据类型进行泛化，因为它的理解是结构性的，因此它不需要每个领域的标记示例。

我们的推理架构 Core，遵循这个前提。人类认知仍然是我们拥有的最好的通用推理的例子。我们将此认真地作为架构灵感的来源，而不是作为一种比喻。

作为遍历的推理

学习和推理通常被视为独立的过程。概念学习（知识如何形成）和概念推理（当你使用知识时会发生什么）是同一事物的两个方面。它通过学习进行推理，并通过推理进行学习。

当你通过一个问题进行推理时，你正在导航你自己的知识。你从你所知道的开始，沿着关系到达相邻的想法，并得出从未被明确存储，但从路径本身出现的结论。

无论路径长短，机制都是一样的。如果有人问狗是什么颜色，你从“狗”开始，答案就在那里：一步，一个关系，微不足道。你不会将狗分解成分子然后向上工作。你从概念本身开始，在正确的抽象级别上，答案的距离映射到概念距离，而不是计算距离。

现在扩展一下。如果有人问半导体出口限制可能如何影响消费电子产品的定价，你可以这样走：半导体→制造→台积电→苹果→供应限制→组件成本→零售定价。每一步都紧随上一步，结论从这个过程中显现出来。相同的机制，更长的路径。

这使得遍历从根本上不同于检索。一个概念推理系统从意义开始。概念通过有意义的、多维的关系连接起来，推理通过这些连接进行移动。查询的答案是在运动中构建的，无论该运动是一步还是二十步，以你思考复杂情况时建立理解的方式来组装自己。

将此与知识图谱的工作方式进行对比。传统的知识图谱将关系存储为静态的三元组，并通过嵌入相似性或模式匹配的查询来检索它们：“什么靠近这个向量？”或“什么匹配这个模板？”表示是扁平的。在上面分层代理检索并不能改变这一点；它只是编排更快的查找。Core的知识层使用比三元组更丰富的表示，更接近于超图而不是传统的知识图谱，作为更大架构的一个组件。它进行推理，而它们进行检索。推理路径本身就是计算，每一步都激活相关的概念，动态地加权相关性，并将上下文向前传播。

它的知识变得越丰富，它的推理就变得越细致。一个统计模型没有可以加深的内部结构，只有权重和输出上的概率分布。一个知识图谱，无论多大，只提供查找深度，而从不提供推理深度。两者都达到了相同的上限。Core的设计完全围绕一个不同的前提，因此上限不适用。

它还可以推理它从未被明确教导过的事情，只要相关的概念和关系存在。新颖的结论从通过现有知识的新颖路径中产生。

这些都不是反对大型语言模型的论点。对于统计方法的界限在哪里，人们的意见各不相同，我们坚持自己的观点，同时不否认它们做得好的地方。大型语言模型在语言处理和百科全书式的知识方面确实很擅长。但是我们不相信它们会成为推理的核心。Core的目标是占据这个空间，而不是取代已经在其他方面做得好的东西。

不是所有东西都需要学习

以下是被人类记忆所忽略的一点：对于你所知道的大部分内容，你不会逐字逐句地回忆。你从概念上理解事物（原因、关系、模式、原则），并在需要时从这种理解中重建具体细节。你大致了解2008年金融危机是如何展开的，是什么导致了它，以及随之而来的是什么。你可能不记得确切的日期或精确的数字，除非它们重要到足以让你记住。

但是有些事情你确实记得很清楚。你的名字。你的年龄。你的地址。你银行账户的密码。完全不同的类别。精确的、身份层面的事实，你只是知道，总是，而无需通过推理来获得。

一个受到认知如何处理知识启发的系统，应该尊重这种区别。某些基本的事实，我们称之为“原始物”，占据着它们自己的层级。精确的、永久可访问的、免于概念知识所经历的流动推理。你不需要“弄清楚”你自己的名字。有些事情就是知道的，而且架构以相同的方式处理这类知识：固定的、直接的、不受推理的影响。

“原始物”是由用户塑造的。你就是训练者。你决定Core应该将什么作为基石：锚定一切的事实、身份和常量。这是故意的。应用于不同领域的相同推理架构需要不同的基础，只有训练它的人知道什么是不应该漂移的。

然后还有其他一切：原始历史数据、文档、精确的数字、逐字记录。试图将所有这些内在化到推理架构中，就像记住你读过的每一本书的每一个字一样。你不会那样做。这会破坏使你认知具有价值的东西：抽象和关系思考的能力。

相反，你把书籍当作工具。你知道它们存在，你知道它们大致包含什么，并且当精确性很重要时你会求助于它们。外部数据源在概念学习系统中扮演着相同的角色：可查询的工具，在需要精确性时可用，而不会给进行实际推理的架构带来负担。将逐字存储塞进推理系统是完全错误的权衡。

它的复合效应

这种方法会产生复合效应。

每一个进入Core的新概念都会丰富它。更多的概念会产生更多的关系可以发现，更多的方式可以推理，更多的涌现理解。它随着学习而变得更有能力，而不仅仅是变得更大。就像人类的专业知识会产生复合效应一样，你学习的每一个新事物都会提高你学习下一个事物的能力，因为你有更多的结构可以将其连接起来。

没有得到加强的事物会逐渐消失。停止相关的知识会随着时间的推移而失去权重，就像你逐渐忘记你不使用的东西一样。增长和衰减都是推理的一部分。

元认知，被转化为计算。你会本能地反思自己的想法，注意到你的推理何时感觉不健全，并调整你的方法。任何认真地将人类认知作为灵感的架构都不能遗漏这种能力。

当信号冲突时，Core会保持竞争的解释。它不会对它们进行平均，也不会默认选择最可能的答案。它会保持歧义，直到一种解释以足够的清晰度解决，这是任何统计运算都无法产生的，但推理自然会做到。

更多上下文

封闭测试版中提供的Core的第一个对人类语言友好的形式：推理架构运行在一个会话界面和一个兼容OpenAI的API中，为了自然语言交互的目的，有意地剥离了其大部分复杂性和自由度。完整的架构，以及它可以采取的其他形式，将在未来的版本中讨论。

我们希望你在测试版开放时，以及在我们推出Core可以交互的不同形式之前，喜欢使用它。感谢所有封闭测试版用户到目前为止的反馈。我们将在今年上半年慢慢地从多个方面走出隐身状态。

目前，这是入口点。

• 原文链接： x.com/rei_labs/status/20...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～