开通VIP，畅享免费电子书等14项超值服
首页
好书
留言交流
下载APP
联系客服
2024.05.28北京
-本篇附录杨立昆教授世界模型JEPA论文摘要简介和争议背景,全文将在下一篇播出，论文全文约有4.6万字。
目录
1世界模型JEPA观点及争议背景
2编译作者观点
3FT采访立昆和关于META分析摘要
4杨立昆教授世界模型架构论文摘要
5序
6引言
7自主智能模型架构
8设计与训练世界模型
9设计与训练演员
10设计配置器
12致谢
13参考文献
14世界模型架构图示中使用符号
15附录：隐变量的折算推理
1.了解物理世界;
2.具有持久内存;
3.可以推理;
4.可以计划，也许是分层的。
人类和许多动物表现出的智能行为所必需以上四个基本特征。
杨立昆教授解释说自动回归LLM不足以达到人类水平的智力（甚至是猫水平的智力）。但是，我称之为“目标驱动”的替代架构有朝一日可能会达到人类水平的智能。他们使用基于JEPA（联合嵌入预测架构，非生成式）的世界模型。有了这个，我们可能拥有以下系统：1.了解物理世界2.具有持久内存3.可以推理4.可以计划，也许是分层的。人类和许多动物表现出的智能行为所必需的四个基本特征。
一些专家对杨立昆的愿景是否可行表示怀疑。杜兰大学计算机科学副教授阿伦·库洛塔（AronCulotta）表示，常识长期以来一直是“人工智能的眼中钉”，教授模型因果关系具有挑战性，使它们“容易受到这些意外故障的影响”。一位前MetaAI员工将世界建模的推动描述为“模糊的绒毛”，并补充说：“这感觉就像插了很多旗子。另一位员工表示，Fair尚未证明自己是DeepMind等研究机构的真正竞争对手。从长远来看，杨立昆认为，该技术将为用户可以通过可穿戴技术进行交互的AI智能体提供动力，包括增强现实或“智能”眼镜，以及肌电图（EMG）“手镯”。“（人工智能智能体）要想真正有用，他们需要具备类似于人类水平的智能，”
杨立昆(Yann立昆)教授Courant数学科学学院，纽约大学Meta-基础人工智能研究所
编译者摘要：杨立昆教授提出的通用人工智AGI的世界模型架构完全不同于现在的基于Transformer的大语言模型的生成式GenAI，AGI世界模型需要复杂的数学知识，神经科学、认知科学和哲学，机器学习、机器人工程。世界模型采用联合嵌入预测架构(JointEmbeddingPredictiveArchitecture,简称JEPA)。JEPA并非生成式模型，它并不能简单地用于从x预测y。它仅捕捉x和y之间的依赖关系，而无需显式生成y的预测。JEPA能够感知、规划、推理，短期记忆及执行。本报告主要原创贡献在于
·具有所有模块可微分且许多模块可训练的整体认知架构。
·一种非对比性自我监督学习范式，它生成同时具有信息性和可预测性的表示。
·将H-JEPA作为层次规划中不确定性下的预测世界模型的基础。
感叹杨立昆教授的对物理世界的哲学及深奥抽象能力到数学之知识转化输出、神经网络机器学习知识渊博，惊叹其否定之肯定之批评能力和兼收并蓄的吸收能力。
杨立昆教授的世界哲学观：
现实世界并非完全可预测。未来世界状态的不确定性可能由多种原因造成：世界本质上是随机的。即使使用高度抽象的表示，现实环境也不可能完全预测。
·世界是可决定性的但又混沌的，因此如果没有无限精确的感知，很难预测(类型2的aleatoric不确定性)。
·世界是可决定性的，但部分可观测(属于第三类aleatoric不确定性)。
·世界是完全可观测的，但传感器只提供了关于世界状态的部分信息(知识不确定性，类型1)。
·视觉模块提取的世界状态表示并不包含精确预测所需的全部信息(元知识不确定性，类型2)。
·由于其表现力的局限(有限理性或认识不确定性，类型3),世界模型存在不准确之处。
杨立昆教授提出的世界模型JEPA架构目前还只是高阶的，很多问题都是未知的，例如第一个问题是，是否可以从视频中构建和训练一个层次化的JEPA当前方案并未详述各模块的具体架构细节。短期记忆的确切结构和功能，以及它如何用来表示对世界状态的信念，仍然有些模糊。当前提案中最难以理解的方面之一就是配置器模块，其神秘性尤为突出。
论文摘要
关键词：人工智能、机器常识、认知架构（CognitiveArchitecture）、深度学习、自我监督学习、能量基模型（Energy-BasedModel）、世界模型（WorldModels）、联合嵌入架构（JEDA:JointEmbeddingArchitecture）、内驱动机(ntrinsicMotivation.)。
动物和人类展现出的学习能力和对世界的理解远超当前人工智能(Al)和机器学习(ML)系统的功能。
青少年如何能在大约20小时的练习中学会驾驶汽车，孩子们又如何能通过少量接触就能习得语言为什么大多数人在从未遇到过的情况下也能知道如何应对各种情况相比之下，当前可靠的机器学习系统需要经过大量的训练试验，即使是罕见的情况组合也需频繁出现，才能确保其可靠性。尽管如此，我们最好的机器学习系统在诸如驾驶等现实世界任务中的表现仍远逊于人类，即使它们接收了大量专家的监督数据，在虚拟环境中经历了数百万次强化学习试验，以及工程师硬编码了数百种行为。
案可能在于人类和许多动物学习世界模型的能力，即对世界运行方式的内在理解。
当前，人工智能研究必须应对三大挑战
1.机器如何通过观察来学习表征世界、进行预测和行动呢
在现实世界中的交互代价高昂且危险，智能代理应当通过观察尽可能多地学习世界知识，以减少执行特定任务所需的昂贵和危险尝试的数量。
2.机器如何能够以与梯度学习兼容的方式进行推理和规划
我们学习的最佳方法依赖于估计和利用损失的梯度，而这只能在可微分架构中实现，且与基于逻辑的符号推理难以调和。
本文提出了一种智能体的架构，针对上述三个挑战提出了可能的解决方案。
该论文的主要贡献如下：
1.一个整体的认知架构，其中所有模块都是可微分的，并且许多模块是可以训练的(第3节，图2)。
2.JEPA和层次化的JEPA:一种用于预测性世界模型的非生成式架构，它学习表示的层次结构(第4.4节和第4.6节，图12和图15)。
3.一种非对比性自我监督学习范式，它生成同时具有信息性和可预测性的表示(参见第4.5节及图13)。
4.将H-JEPA作为不确定环境下层次规划的预测世界模型的基础(第4.7节，图16和17)。
人类和非人类动物似乎能够通过观察和在无需任务指导、无人监督的情况下进行微不足道的互动，学习到关于世界运行的庞大背景知识。可以推测，这种积累的知识可能构成了通常所说的常识的基础。常识可以视为一系列描述世界的模型，它们能告诉一个智能体什么可能是真的，什么合乎情理，什么不可能发生。利用这些世界观模型，动物们能以极少的尝试学习新技能。它们能预测行为的结果，推理、规划、探索，并设想解决问题的新方法。重要的是，当面对未知情境时，它们还能避免危险的错误。
自动驾驶汽车系统可能需要数千次强化学习试验，才能理解在弯道超速会导致不良后果，并学会减速以防止打滑。相比之下，人类能够利用对直觉物理学的深刻理解，预知这类结果，并在学习新技能时大体上避免致命的行动路径。
常识知识不仅能让动物预测未来的后果，还能填补时空上的信息空
我认为，设计能够使机器在无监督(或自我监督)方式下学习世界模型，并利用这些模型进行预测、推理和规划的学习范式和架构，是当前人工智能(Al)和机器学习(ML)的主要挑战之一。一个主要的技术难题是如何构建可训练的世界模型，以处理复杂的预测中的不确定性。
人类和非人类动物在生命的最初几天、几周和几个月内习得关于世界基本运作方式的知识。尽管这些知识的获取速度惊人，但它们看似基础，以至于我们常常理所当然地认为如此。在生命的最初几个月里，我们了解到世界是三维的。
图1:这张图表(EmmanuelDupoux提供),显示了婴儿通常在什么年龄获得关于世界运行方式的各种概念。它支持这样的观点，即抽象概念，如物体受到重力和惯性的影响，是在更不抽象的概念(如物体永久性和将物体归类到大类别)之上习得的。大部分这些知识主要通过观察获得，尤其是在最初几周和几个月内，很少有直接干预。
世界中的光、声和触觉源头与我们有一定距离。视觉感知中每个点都有距离，这是解释我们从左眼到右眼视角变化，或头部移动时世界观变化的最佳方式。视差运动使得深度变得明显，进而使物体的存在变得清晰，以及物体可以遮挡远处物体的事实得以体现。一旦物体的存在被确立，它们可以根据外观或行为自动归类。在物体概念之上，我们了解到物体不会自发出现、消失、改变形状或瞬间移动：它们平滑地移动，且任何时刻只能处于一个位置。掌握了这些概念后，学习起来就容易了，比如有些物体是静止的，有些有可预测的轨迹(无生命的物体),有些行为稍显不可预测(如风中的水、沙、树叶等集体现象),还有一些似乎遵循不同的规则(有生命的物体)。在此基础上，直观的物理概念如稳定性、重力、惯性等也会逐渐形成。通过观察有生命物体对世界的效应(包括主体自身的行动影响),我们可以推断因果关系，进而获取语言和社会知识。
图1(EmmanuelDupoux提供),展示了婴儿在何时似乎习得了基本概念，如对象持久性、基本类别和直觉物理学等。更高抽象层次的概念似乎建立在较低层次概念之上。
借助对世界的这种认知，结合硬编码的行为和内在驱动力/目标，动物能够迅速学习新任务，预测并适应环境变化。
他们考虑行动的后果，并提前规划，预见到成功的行动路径，以避免危险的局面。
但人类或动物的大脑是否能容纳所有生存所需的世界模型呢本文的一个假设是，动物和人类的前额叶皮层中可能只有一个世界模型引擎。这个模型引擎可以根据手头的任务动态配置。拥有一个可配置的世界模型引擎，而非为每种情况单独建立模型，可能会使得对世界运作方式的知识在不同任务之间共享。这或许能够支持类比推理，即将针对一种情况配置好的模型应用到另一种情况中。
为了具体说明，我将直接进入所提议模型的描述。
图2自主智能的系统架构。假设该模型中的所有模块都是可微分的“，因为一个模块馈入另一个模块（通过连接它们的箭头）可以获得成本标量输出相对于其自身输出的梯度估算。
自主智能系统的架构。该模型中的所有模块都被假设为“可微分”的，即通过连接它们的箭头从一个模块流向另一个模块时，可以得到成本标量输出相对于其自身输出的梯度估计。
配置器模块接收(此处为清晰起见未表示)所有其他模块的输入，并配置它们以执行当前任务。
感知模块估计当前世界的状态。
世界模型模块根据演员提出的想象动作序列预测可能的未来世界状态。
成本模块（Cost）计算一个名为“能量”的单个标量输出，衡量智能体的感知不适程度。
它由两个子模块组成：不变(不可训练)的内在成本（IntrinsicCost）模块，负责计算当前状态的即时能量(如疼痛、快乐、饥饿等);以及可训练的批评者模块，用于预测内在成本的未来值。
短期记忆模块负责跟踪当前和预测的世界状态及其关联的内在成本。
演员模块计算动作序列的提议。世界模型和评估器计算可能的结果。演员能够找到一个最小化估计未来成本的最佳动作序列，并输出该序列的第一个动作。
自主智能体的提议架构如图2所示。
它由多个模块组成，其功能如下所述。其中一些模块可以在运行时配置，即它们的确切功能由配置器模块决定。配置器的作用是执行控制：当接收到一个待执行的任务时，它会预先配置感知、世界模型、代价函数和执行者。
关键问题在于，世界模型必须能够表示对世界状态的多种可能预测。自然世界并非完全可预测。特别是当它包含可能存在对抗性的智能代理时更是如此。即使世界仅包含行为混沌或状态不完全可观测的无生命物体，这种情况也常常存在。
在构建提议的架构时，有两个关键问题需要回答：
(1)如何使世界模型能够生成多个合理预测并表示预测中的不确定性；
(2)如何训练这个世界模型。
成本模块通过一个称为能量的标量量来衡量代理的“不适”程度。能量由两个子模块计算的两个能量项之和组成：内在成本模块和可训练的批评者模块。代理的整体目标是采取行动，以保持处于平均能量最低的状态。
IntrinsicCost内在成本模块是硬编码的(不可变、非可训练),它计算一个标量，即内在能量，用于衡量代理在瞬时的“不适”程度。
考虑疼痛(高内在能量)、快乐(低或负内在能量)、饥饿等。模块的输入是世界状态，由感知模块提供，或是世界模型预测的潜在未来状态。
智能体的最终目标是在长期内最小化内在成本。这是基本行为驱动力和内在动机的基础。
可训练的批评者模块预测未来的内在能量估计。
类似于内在成本，其输入要么是世界的当前状态，要么是由世界模型预测的可能状态。在训练过程中，批评者从关联记忆模块中检索过去的状态和随后的内在成本，然后训练自己根据前者预测后者。批评者模块的功能可以通过配置器动态调整，以引导系统朝着更大的任务中的特定子目标前进。
由于成本模块的两个子模块都是可微分的，能量的梯度可以反向传播到其他模块，特别是世界模型、执行器和感知器，用于规划、推理和学习。
演员模块计算动作序列的提议，并将动作输出给效应器。演员向世界模型提出一个动作序列。世界模型根据动作序列预测未来的状态序列，并将其传递给成本函数。
如果动作空间是离散的，可以使用动态规划来寻找最优动作序列。优化完成后，演员将第一个动作(或一小串动作)输出给效应器。这个过程类似于最优控制中的模型预测控制(Bryson和Ho,1969)。
图3：模式1感知-动作事件。感知模块估计世界的状态s[0]=Enc（x）。参与者通过策略模块a[0]=A（s[0]）直接计算一个操作或一小段操作序列。
模型在感知-行动序列中可以采用两种可能模式。
第一种无需复杂的推理，直接从感知输出和可能的短期记忆访问中产生动作。我们将称其为“模式-1”,类比于卡内曼的“系统1”。
第二种模式涉及通过世界模型和成本进行推理和规划，类似于优化控制和机器人技术中的经典规划和推理范式——模型预测控制(MPC)。
Mode-1的感知-行动片段如图3所示。
策略模块的功能由配置器调控，根据当前任务对其进行配置。
通过利用世界模型，智能体能够设想一系列行动并预测其效果和结果，从而减少了在外部世界尝试多个动作并测量结果的昂贵和危险的探索需求，降低了寻找良好行为和策略的必要性。
1.感知：感知系统从世界当前状态中提取一个表示，记作s[0]=P(x)。成本模块计算并存储与该状态相关的即时成本。
2.行动提案：演员提出一个初始动作序列，供世界模型评估(a[0],…,a[t],…,a[T]).
3.模拟：世界模型预测由提议的动作序列(s[1],…,s[t],…,s[T])可能导致的一个或多个可能的世界状态表示序列。
5.规划：演员提出一个成本更低的新动作序列。这可以通过梯度基方法实现，即反向传播成本梯度通过计算图到动作变量。由此得到的最低成本动作序列表示为(a~[0],…,a~[T])。完整优化可能需要多次迭代步骤2-5。
6.表演：在确定一个低成本动作序列后，演员将该序列的第一个(或前几个)动作发送给效应器。这个过程会重复进行，针对每一次感知-行动环节。
这个过程本质上就是控制理论文献中所说的模型预测控制(Model-PredictiveControl,MPC),采用的是递归视界策略。与经典最优控制的主
要区别在于，世界模型和成本函数是通过学习得到的。
原则上，任何优化策略都可以用于步骤5。
当世界模型和代价函数表现良好时，基于梯度的优化方法可能效率较高。然而，如果动作-代价映射存在不连续性，特别是在状态和/或动作空间可以离散化的情况下,可能需要使用其他优化策略，如动态规划、组合优化、模拟退火和其他无梯度方法，以及启发式搜索技术(例如剪枝的树搜索)等。
如图5所示的过程展示了如何训练一个策略模块A(s[t])推理作为能量最小化
图6：成本模块的体系结构。成本模块包括内在成本模块
通常情况下，人工智能智能体的行为特性可以通过以下四种方式来定义：
1.通过显式编程，在满足特定条件时激活特定行为
2.通过定义一个目标函数，使得代理通过找到最小化该目标的动作序列来执行期望的行为。
3.通过直接监督训练代理，使其表现出某种行为。代理观察专家教师的动作，并训练一个模式1策略模块来复制它。
4.通过模仿学习训练代理。代理观察专家教师的行为，推断出他们在执行动作时似乎正在优化的目标函数。这产生了模式2行为的评估子模块。这个过程有时被称为逆强化学习。
第二种方法在工程实现上比第一种简单得多，因为它只需要设计一个目标，而不是设计完整的行为。此外，第二种方法也更健壮：预设的行为可能会因意外情况或环境变化而失效。有了目标，代理可以调整其行为。
满足在未预期环境条件和变化下的目标。第二种方法利用代理的学习和推理能力，以减少设计师可能预先设定的脆弱先验知识量，这些先验知识可能会变得过时。
短期记忆可以被实现为键值记忆网络中的内存模块：查询向量与多个键向量进行比较，产生一个得分向量。这些得分经过归一化后，作为系数用于输出存储值的线性组合。它可被视为一种“软”关联记忆，能够进行插值。其优点在于，通过适当的新的键/值槽分配策略，它具备一次性学习的能力，同时可以在键之间进行平滑过渡，并且是端到端可微分的。
可以说，设计适用于世界模型的架构和训练范式是未来几十年人工智能取得实质性进展的关键挑战。本提议的一大贡献正是提出了一种层次化的架构和世界模型的训练方法，使其能够在其预测中表示多种可能的结果。
训练世界模型是一个典型的事例，即自我监督学习(Self-SupervisedLearning,SSL),其基本思想是模式补全。预测未来的输入(或暂时未观察到的输入)是模式补全的一个特例。在这个工作中，世界模型的主要目标被视为预测世界状态的未来表示。
第一个问题涉及到序列决策过程学习的核心问题之一：训练集的多样性取决于所采取的行动。这个问题将在第4.10节中进行讨论。
第二个问题更为严峻：世界并非完全可预测。因此，世界模型应能够从给定状态(如有需要，包括动作)表示出多种可能的结果。这可能是当前提议所解决的最艰巨挑战之一。这个问题将在下面第4.8节中进行讨论。
图8:自监督学习(SSL)与能量基模型(EBM)。
图9：基于潜在变量能量的模型(LVEBM）
图10:几种标准架构及其对崩溃的容忍度。
图11:EBM训练中的对比和正则化方法。
这就是我反对对比方法的主要原因。
对于EBM训练的正则化方法，从长远来看比对比性方法更具前景，因为它们可以避免困扰对比性方法的维度灾难。这些方法的核心是构建一个损失函数，它会降低训练样本的能量，并同时最小化模型赋予低能量区域的y空间体积。
低能量区域的体积由能量和/或损失中的正则化项衡量。通过在降低数据点能量的同时最小化这个正则化项，低能量区域会“紧密包裹”高数据密度区域。
非对比性正则化方法的主要优势在于，它们比对比性方法更不易受到维度灾难的影响。
关键问题是如何设计这样的体积最小化正则器，这很大程度上取决于模型架构，将在接下来的章节中讨论。然而，非对比性方法早已存在，例如稀疏建模、稀疏自编码器，以及带有噪声潜在变量的自编码器(如VAE)。
重要的是要注意，对比式和正则化方法并不相互排斥，可以在同一模型上同时使用。
正规化方法如何应用于图10(b-d)所示的架构呢
核心内容是联合嵌入预测架构(JointEmbeddingPredictiveArchitecture,简称JEPA)。JEPA并非生成式模型，它并不能简单地用于从x预测y。它仅捕捉x和y之间的依赖关系，而无需显式生成y的预测。
图12:联合嵌入预测架构(JEPA)由两个编码分支组成。
JEPA在表示空间中的预测能力使其明显优于直接生成y预测的生成模型。
图14:使用VICReg训练JEPA。
图15:分层JEPA(H-JEPA)
JEPA的学习能力使其能够处理抽象表示，实现准确的预测，从而支持层次堆叠。在这个图示中，JEPA-1提取低层次表示并进行短期预测。JEPA-2接受JEPA-1提取的输入，进一步提取更高级别的表示，以便进行更长期的预测。更抽象的表示忽略了长期难以预测的输入细节，使得它们能够用更粗略的世界状态描述来进行更长远的预测。
JEPA可以选择训练其编码器，以消除输入中的无关细节，从而使表示更具可预测性。换句话说，JEPA将学习使世界可预测的抽象表示。编码器的不变性特性会消除不可预测的细节，或者将它们推入预测器的潜在变量中。通过训练准则和潜在变量正则化，将尽可能减少被忽略的信息量。
值得注意的是，生成式潜在变量模型并不能消除无关细节，除非将它们编码到潜在变量中。这是因为他们不会生成关于y的抽象(不变)表示。这就是我们反对使用生成架构的原因。
JEPA学习抽象概念的能力表明，有必要扩展其架构以处理多尺度和多层次的预测。直观地说，低层次表示包含大量输入细节，可用于短期预测。然而，使用同样详细程度进行长期精确预测可能会有困难。相反，高层抽象表示可能支持长期预测，但代价是牺牲了许多细节。
让我们以一个具体的例子来说明。
图15展示了多级、多尺度世界状态预测的一种可能架构。变量x,x',x'表示一系列观测值。
我认为在多个抽象层次上表示世界状态序列对于智能行为至关重要。通过多级的世界状态和动作表示，复杂任务可以分解为越来越详细的子任务，当接收到局部条件时，这些子任务可以转化为具体的行动序列。
如果我们的世界模型能够分层进行预测，那么它能否被用来分层进行模式2推理和规划呢
图16:模式2层次规划的分层JEPA(HierarchicalJEPAforMode-2HierarchicalPlanning)。
现实世界并非完全可预测。未来世界状态的不确定性可能由多种原因造成：
图17:面向模式2的不确定环境中的分层JEPA(层次化JEPA)层次规划。
在规划阶段，隐变量从通过吉布斯分布（Gibbs）应用于正则化项得到的分布中采样。每次采样都会导致不同的预测。为了生成一致的隐状态序列，正则化的参数可以作为先前状态和检索记忆的函数。
·由于其表现力的局限(有限理性或认识不确定性，类型3),世界模型存在不准确之处
·由于训练数据有限，世界模型存在不准确性(知识不确定性，类型4)。
世界模型的架构细节应取决于智能体所演化的环境类型。
传统上，深度学习架构中的模块通过向量或多维数组来传递状态。然而，这种方法在被建模对象的状态在每次
迭代中仅发生轻微变化的情况下往往效率低下。
一个智能体的典型行为只会改变世界状态的一小部分。如果一个瓶子从厨房被移动到餐厅，瓶子、厨房和餐厅的状态会受到影响，但世界其他部分保持不变。
这表明世界状态应当存储在某种可写入的内存中。每当发生事件时，仅更新事件影响的世界状态内存部分，其余部分保持不变。
许多关于世界的知识可以通过纯粹的观察来获取。原则上，物理物体的运动定律可以通过观察推导出来，而无需干预。但高效训练世界模型可能需要更积极或“主动”的信息收集。
一个智能体可以列举出五种获取信息的方式，通过这些方式它可以了解世界运行的机制：
1.观察(Observation):通过直接感知环境来收集数据。
2.交互(Interaction):通过与环境中的对象进行操作，学习其响应。
-被动观察：代理接收到传感器流(如视频、音频等)。
-活动性聚焦：智能体接收到的数据流中，注意力的焦点可以自由移动而不会影响环境。例如，可以在
定向视觉和声音传感器的同时观看场景，或者接收一个宽视角、高分辨率的视频和/或音频流，在其中可以控制注意力的集中点.
3.被动智能体：观察另一个作用于环境的智能体的感官流，从而推断出智能体行为对环境状态的影响。
4.主动自我运动：智能体从真实或虚拟环境中接收感官流，其中传感器的位置可以调整而不会显著影响环境。这可能包括可操纵的主动传感器(如距离传感器、热传感器、化学传感器),以及触觉传感器。
5.主动智能体：受智能体行动影响的感觉流。这使得能够建立因果模型，使智能体能够学习预测其行为的后果。这种模式将探索-利用困境置于前沿。
演员模块的作用有三个方面：
1.给定世界模型对模式2动作的预测，推断出最小化成本的理想动作序列。
2.生成多个潜在变量配置，这些配置表示代理未知的世界状态部分。
3.训练生成模式1行为的策略网络。
动作和潜在变量在概念上没有区别。无论是哪种变量，演员都必须探索其可能的配置。对于潜在变量，需要探索以在不确定性中进行规划；而对于动作变量，目标是找到一个最优配置，以最小化成本。在对抗性场景(如游戏)中，演员需要探索最大化成本的潜在配置。实际上，演员扮演着优化器和探索者的角色。
当世界模型和成本函数表现良好时，演员模块可以通过基于梯度的优化过程推断出最优的动作序列。它通过反向传播计算并通过展开的世界模型得到成本的梯度估计。演员模块利用这些估计来更新动作序列。
当世界模型或成本函数表现不佳时，基于梯度的动作序列最优搜索可能失效。在这种情况下，可以采用其他搜索/规划方法。如果动作空间是离散的或者可以离散化，可以使用动态规划方法或近似动态规划方法，如束搜索或蒙特卡洛树搜索。实际上，任何在最优控制、机器人或“经典”人工智能背景下发展起来的规划方法，在这种情况下都适用。
通过规划/推理/优化过程获取到最优动作序列后，可以将这些动作作为目标来训练策略网络。策略网络随后可用于快速执行，或者仅用作优化阶段前的良好初始动作序列起点。可以为多个任务训练多个策略网络。
演员(Actor)还会生成潜在变量的配置。这些潜在变量表示代理未知的世界状态部分。理想情况下，演员会系统性地探索潜在变量的可能配置。理想情况下，如图17中的R1和R2所示，潜在变量的正则化器应当代表从其中可以采样的对数先验概率。然而，类似于策略网络，可以设计一个潜在变量的近似推断模块，该模块学习潜在变量的分布。良好的分布会产生合理的预测，而这些预测可能依赖于当时的全部变量。
配置器是代理的主要控制器，它接收所有其他模块的输入，并调节它们的参数和连接图。这种调节可以路由信号、激活子网络、集中注意力等。在一个预测器和感知编码器的上层是Transformer块的情景中，配置器的输出可能构成这些Transformer块的额外输入令牌，从而调节其连接图和功能。
配置器模块的引入有两方面的原因：硬件重用和知识共享。能够复用同一电路执行多个任务具有明显优势，特别是当任务可以按顺序完成，并且资源(如参数内存)有限时。但还有一个好处：知识重用。一个合理的假设是，针对特定环境训练的世界模型可以通过微调调整，用于一系列不同的任务。可以设想一个“通用”的环境模型，其中一小部分参数由配置器根据当前任务进行调节。这比为每个技能单独建立世界模型更加数据和计算高效。然而，缺点是代理一次只能执行一项任务。
世界模型的预测部分必须能够根据当前任务执行各种功能。对于执行低抽象层次短期预测的预测器，配置可能涉及动态信号路由。在低级视网膜映射特征数组表示中，预测可能简化为单个特征向量的局部位移，伴随微小的向量变换。这可以通过局部门控/路由电路高效实现。对于更高抽象层次的长期预测，使用Transformer架构可能更优。Transformer块特别适合处理对象交互的物体基础推理，因为它们的功能对排列具有不变性。由于这个特性，无需关心哪些对象对应哪个输入令牌：结果将保持一致且与输入分配相符。基于模型的机器人领域的最新工作提议在整个轨迹级别使用Transformer,通过调整注意力电路来配置预测器进行因果预测或其他任务。
配置器最重要的功能之一是为代理设定子目标，并为此子目标配置成本模块。如第3.2节所述，一种简单的方法是通过调整基本成本子模块线性组合的权重来使成本可配置。这可能适用于不变的内在成本子模块：过于复杂的内在成本调节可能会使代理的基本驱动力难以控制，包括实现安全防护的费用项。相比之下，可以设想更复杂架构，使得成本中的可训练批评者部分能够灵活调整。如果将高级成本定义为对象之间的一组期望关系(“螺母是否已安装在螺丝上”),则可以使用经过训练的变压器架构来衡量世界状态与所需条件之间的偏离程度。同样，可以使用额外的标记输入来调节函数。
未得到解答的问题是，配置器如何学会将复杂任务分解为一系列子目标，这些子目标可以单独由智能体完成。这个问题留待未来进一步研究。
论文中提出的大部分观点并非新颖，已经在认知科学、神经科学、最优控制、机器人技术、人工智能和机器学习(特别是强化学习)等领域以各种形式进行了深入探讨。
该论文可能的主要原创贡献在于
为了解决多模态/模糊问题，有研究提出在表示空间中进行视频预测。在某些工作中，表示空间来自于经过监督训练的视觉管道，例如用于语义分割。然而，对预训练视觉管道的依赖降低了这些方法仅通过观察学习世界模型的通用性。
与JEPA的精神一致，也有人提出自动学习视频帧表示的方法，以便于轻松预测。这些提议通常局限于学习低级特征，并且常常通过解码器重构来防止模型塌陷.
对于许多作者来说，能量基模型(Energy-BasedModel,EBM)指的是其分布为能量函数的负指数化的概率模型。
构建当前提案的认知架构，详尽实现所有细节，并让系统处理非平凡任务绝非易事。通往成功的道路可能充满了未预见的挑战。解决这些问题可能会耗时多年。
要将提议的架构转化为实际运行的系统，需要付出巨大的努力。可能会出现一些看似在该架构规格范围内难以解决的问题和陷阱。
第一个问题是，是否可以从视频中构建和训练一个层次化的JEPA它能否学习第4.1节中提到的那种抽象概念层次结构
关于JEPA(具体上下文未知，推测可能是一个协议或模型),一个尚未明确的问题是如何精确地规范化潜在变量以最小化其信息含量。提出了几种可能的机制：使潜在变量离散、低维、稀疏或随机。但目前尚不清楚哪种方法最终会更优。
当前提案并未规定演员必须采用何种方式推断隐变量实例和最优动作序列。所有模块的可微性原则上使得基于梯度的优化方法可用于此目的，但在实践中可能面临复杂问题。特别是当动作空间离散或从动作到成本的映射高度非光滑时，基于梯度的方法可能效果不佳，此时可能需要使用其他(无需梯度的)搜索算法，如动态规划、信念传播、蒙特卡洛树搜索(MCTS)、satisfiability求解等。
在模式-2的规划/推理中，对潜在变量进行多重配置可能需要现有提案未描述的额外机制。人类似乎具备自发地在不同感知解释之间循环的能力，这可以从魔方和具有多个等效解释的其他视觉错觉中看出。在这个模型中，对模糊感知的不同解读可能由潜在变量的不同值表示。虽然可以设想多种探索性机制系统地探索潜在变量值的空间，但这里并未详述这样的机制。
尽管提出的架构并非专为模拟人类和其他动物的自主智能、推理和学习而设计，但仍然可以从某些方面进行类比。
以下内容具有一定推测性，旨在串联认知科学和神经科学中启发当前工作的某些概念。
该架构中的许多模块在哺乳动物大脑中都有对应部分，执行相似的功能。
感知模块对应于大脑皮层的视觉、听觉和其他感觉区域，以及一些联合区域。世界模型和评估器对应于前额叶的不同部分。内在代价模块对应于基底节中参与奖励的结构，包括杏仁核。可训练的评估器可能对应于前额叶中参与奖励预测的部分。短期记忆的功能与已知的海马体功能重叠。配置器可能对应于前额叶执行控制和调节注意力的结构。演员则集合了运动前区中负责制定和编码运动计划的区域。
预测性世界模型的概念在认知科学中久负盛名，而预测编码的理念在神经科学中同样占据重要地位。JEPA架构及其对应的非采样对比式自监督学习方法在一定程度上契合了预测编码和有效编码的理念。
提出的架构拥有一个单一的世界模型引擎，可通过配置器针对手头任务进行配置。我主张这不仅可能通过硬件重用带来计算优势，还可能支持跨多个任务的知识共享。人类大脑中可能存在一个可配置的世界模型引擎的假设，可能解释了为何人类能同时执行一个“意识”驱动的推理和规划任务。一个大胆的猜测是，意识的错觉可能是大脑中类似配置器模块的副产品，它监督大脑其他部分的功能，并为当前任务进行调整。或许，如果大脑足够大到容纳多个独立且不可配置的世界模型，配置器就变得多余，意识的幻象也会随之消失。
动物和人类的情绪基础是什么即时情绪(如疼痛、快乐、饥饿等)可能是由类似于提议架构中内在成本模块的大脑结构引发的结果。其他情绪如恐惧或欣喜可能是大脑结构(其功能类似于可训练的评价器)对结果预期的结果。
存在一个成本模块，通过寻找最优行动驱动代理的行为，这表明这里所提议的自主智能代理必然具备类似情绪的属性。如同动物和人类，机器的情绪将源于内在的成本，或者是可训练的评价器对结果的预期。
普遍认为，当前没有任何人工智能系统具备任何形式的常识，哪怕是在家猫身上也能观察到的那种。动物似乎能够获取足够的世界运行背景知识，展现出一定程度的常识。相比之下，即使在自我监督预训练(如从文本中学习)的情况下，人工智能系统展现的常识水平也非常有限，这使得它们显得有些脆弱。
例如，大型语言模型(LLMs)似乎从书面文本中提取了惊人的大量背景知识。但人类的常识知识很大程度上并未在任何文本中体现，而是源于我们与物理世界的互动。由于LLMs没有直接体验到潜在的真实世界，它们展现的常识知识非常肤浅，可能与现实脱节。
对常识的一种可能描述是其使用世界模型来填补空白的能力，例如预测未来，或者更广泛地说，填充从感知或记忆中获取不到的世界信息。根据这个定义，常识是一种能力，它源自一系列世界模型或是一个可配置以适应当前情境的单一模型引擎。这种对常识的理解完全符合“基于实例的智能”范畴：常识是一系列从低抽象层次到高抽象层次的模型集合，包括通过语言习得的知识在内。
SSL(安全套接层)能否应用于可配置的H-JEPA架构，从而构成机器常识的基础一个经过适当训练和配置的H-JEPA是否能够嵌入足够的预测知识，并捕捉到足够多关于世界的依赖关系，以展现出某种程度的常识性行为
我推测，常识可能源于学习能够捕捉世界中观察到的自洽性和相互依赖性的世界模型，使代理能够填补缺失的信息并检测其世界模型的违背。
本节概述了近年来提出的一些可能通向人类级别智能的路径。大型Transformer架构在预测文本和其他模态方面的惊人能力促使一些人认为，我们只需要扩大这些模型的规模(Brownetal.,2020;Brownetal.,2020)。强化学习在游戏和其他简单环境中的惊人效果让另一些人相信奖励机制就足够了(Silveretal.2021)。最后，当前深度学习系统的局限性表明，当面临更复杂的任务时，我们需要更多策略。
大型语言模型(LLMs)以及更广泛地说，通过生成式自我监督学习训练的大型Transformer架构，在捕捉文本中的知识方面取得了惊人的成功。这引发了人工智能界关于是否可以通过扩展这些架构实现人类级别Al的争论。在这个辩论中，我的观点是，仅凭规模扩大并不足够，原因有两点。
首先，当前大语言模型基于“分词化”数据并具有生成性。每个输入模态必须转化为一系列“令牌”,以向量形式编码。对于文本，这已经是一种离散令牌的序列，但对于连续高维信号如视频，这种方法就不太适用了。
LLM风格模型使用的SSL训练可以视为一种特定类型的无隐变量生成模型，使用了一种称为去噪自编码器(Vincentetal.,2010)或遮掩码自编码器(Devlinetal.,2018)的特定对比方法。因此，它们受限于生成模型、无隐变量模型和对比方法的局限性。生成模型在连续空间中难以表示复杂的不确定性。
大语言模型LLMs通过只处理有限集合中的离散对象(如字典中的单词)来简化预测中的不确定性表示。预测一个单词的不确定性，归结为生成一个向量，其各维度对应字典中每个单词(或离散令牌)的概率得分。然而，对于像视频这样的高维连续模态，这种方法无效。为了表示这类数据，需要通过编码器消除要建模变量的
无关信息，就像JEPA那样。此外，信号的高维度性也阻碍了通过规范化分布来表示不确定性。
其次，当前模型只能处理非常有限形式的推理。由于这些模型中缺乏抽象潜在变量，它们无法探索感知的多种解释或寻找实现目标的最佳行动路径。实际上，在这样的模型中动态地设定目标几乎是不可能的。
提出的架构旨在最小化系统在现实世界中学习任务所需的实际操作次数。它通过学习一个世界模型，该模型尽可能多地掌握世界知识，而无需在现实中采取行动来实现这一目标。它利用可微分的世界状态内在成本。这使得该提议更接近于最优控制，而不是强化学习。在这个模型中，大部分学习发生在世界模型层面(感知编码器和预测器)。在这种背景下，强化学习(RL)的作用是什么
在大多数强化学习(RL)环境中，奖励(或成本，即负奖励)由环境提供给智能体。换句话说，内在成本模块就是环境本身，因此是一个未知函数。我们可以通过观察世界状态、采取行动并观察结果奖励来探究该函数的值。奖励对动作或状态的梯度是未知的，必须通过估计来获取。
类似于策略梯度方法中的多动作试验。在Actor-Critic算法中，奖励函数被一个称为批评者(Critic)的模块近似，该模块被训练来逼近未来奖励期望值的估计。批评者提供了奖励函数的可微分近似。
但是模型自由的强化学习(RL)在样本效率上极其低下，至少与人类和动物的学习相比是这样，学习一项技能需要大量的尝试。标量奖励为学习系统提供了低信息反馈。因此，纯粹的RL系统需要大量尝试才能学会相对简单的任务。基于模型的RL显然具有显著提高样本效率的潜力。但问题在于如何训练世界模型：它是通过执行动作并获取奖励来训练，还是通过预测世界状态来训练在后一种情况下，奖励显然不够：系统中的大多数参数被训练用来预测大量世界观测值。这与Silver等人的近期立场论文标题(Silver等人，2021)所表达的观点相反，奖励在这个场景中起着相对较小的作用。
在提出的架构中，推理被归结为演员通过各种搜索方法(参见3.1.4节)通过最小化能量或满足约束来找到合适的行为组合和潜在变量。
如果动作和潜在变量是连续的，且预测器和代价模块可微并且行为良好，可以使用基于梯度的方法进行搜索。然而，可能存在这样的情况：动作作为预测器输出的函数变化迅速，且动作空间本质上是不连续的。这通常发生在抽象级别较高时，决策更倾向于定性。自动驾驶汽车的高层决策可能对应于“在岔路口左转或右转”,而低层版本则是轮子角度的一系列序列。
但是，基于梯度的搜索方法相对于无梯度搜索方法在效率上的优势促使我们寻找让世界模型训练过程能够发现层次表示的方法，这样规划/推理问题就可以构成原本离散问题的连续松弛版本。
一个悬而未决的问题是，这里提出的推理类型是否能够涵盖人类和动物所有具备的推理形式。
本文的观点源于多年与众多人士的交流互动，不可能在此一一列举。
以下是其中一些突出的名字：莱昂·波图(LéonBottou)、约书亚·本吉奥(YoshuaBengio)、杰弗里·辛顿(GeoffreyHinton)、罗伯·费格斯(RobFergus)和贾延德拉·马利克(JitendraMalick);埃马纽埃尔·杜普勒克斯(EmmanuelDupoux)和斯坦尼斯拉斯·德哈恩(StanislasDehaene);米卡埃尔.亨纳夫(Mikael
NYU的AlfredoCanziani和NicolasCarion;FAIR的LiJing、YubeiChen、RandallBalestriero和StéphaneDeny;NYU的VladSobal、JiachenZhu和KatrinaEvtimova。
省略。下一篇全文将如论文全部附录。
图18:架构图示中使用的符号。
架构图纸使用了通常绘制因子图的符号——圆表示变量，矩形表示因子。圆角矩形则代表确定性函数。填充的圆圈表示观测变量，或者是确定性函数的输出。
空心圆圈代表潜在变量，即必须通过最小化某种成本或从分布中采样来推断的变量。红色矩形代表能量项。这些模块有一个隐含的标量输出，它以加性的方式对系统的总能量做出贡献。这类似于因子图中的约定。圆角矩形表示确定性函数，可能有一个或多个输入。