2025年6月6日！AI关键拐点？人类数据殆尽，合成数据要崛起？

智能体技术发展迅猛，已成为科技界关注的焦点。Sutton的观点为智能体的发展和管理提供了新的视角。那么，这些观点将如何影响智能体的未来发展趋势？

强化学习哲学基础

Sutton提出了一种见解，即智能体若想超越当前的局限，应当借鉴婴儿和运动员的行为方式，通过与环境的互动来积累并运用直接经验。这一见解与1947年Alan Turing关于“机器应当从经验中获取知识”的预测不谋而合，进而为人工智能哲学的初期发展打下了坚实的基础。该研究突出了智能体通过与环境互动以丰富经验的价值，同时强调不应仅限于模仿人类已有的文本资料。

视角拓展至社会治理

Sutton不仅专注于技术领域的研究，而且其研究视野已拓展至社会治理领域。他提出，“去中心化合作”这一模式相较于“中心化控制”模式，展现出更为显著的优点。此外，他还指出，将人工智能的应用范围限制在单一目标上的观点，与历史上对人类行为进行控制的思维模式有着相似之处。通过推动智能实体与人类在多个目标上的协同追求，我们可减少单一节点故障和僵化现象的发生概率；此举有助于构建一个更具适应性和灵活性的治理体系结构，以应对人工智能发展的挑战。

真正智能的实现方式

智能的精髓在于模仿婴幼儿或运动员，通过感知与行动的反复循环，依赖第一人称的体验来实现自我发展。案例如AlphaGo和AlphaZero的强化学习，已证实了从虚拟到现实经验转化的有效路径。展望未来，智能体将利用内在的激励机制和世界模型的构建，实现持续的自我提升，而这正是人类与动物自然学习的基础方式。

经验对智能体的重要性

智能体在处理传感器接收的数据和执行器输出的信息时，经验的作用尤为突出，这对于从经验中挖掘知识至关重要。即使智能体事先已经具备了某些知识，这些知识也应当与经验相互补充。以智能体在模拟移动及其结果的过程中所积累的经验为例，这些经验成为了其学习与决策过程中的重要依据。

强化学习中的目标设定

在强化学习领域，智能体各自确立了追求的具体目标，并配备了相应的奖励机制，以此来实现这些目标。与此同时，自然界中的动物也具备类似的信号传递系统。Sutton 对经济体系的运作原理进行了深入探究，并提出，当体系内个体具备各异的目标和能力时，整个体系的运作效率能够得到显著提高。在此特定背景下，去中心化的合作模式相较于中心化的管理方式，展现出更加显著的优越性。

未来发展与社会思考

Sutton的观点可概括为：人类与人工智能的共生进步取决于去中心化的协作方式。同时，在探讨智能体未来发展趋势时，我们还需关注到，目前系统在训练阶段更倾向于预测人类可能使用的词汇，而非实时世界的实际情况，这种训练方式亟需得到改进。该观点引发了以下疑问：在智能体广泛融入社会的未来阶段，我们应当如何有效地协调智能体多元化目标与整个社会利益之间的矛盾？若您认同本文所阐述的观点，请给予点赞并积极推广。