登录

快速注册

AI学会“以牙还牙”,OpenAI发布多智能体深度强化学习新算法LOLA

作者:新智元 时间:2017/09/15 阅读:3647
编者按:本文由新智元编译,来源:OpenAI,编译:文强,刘小芹;36氪经授权发布。 OpenAI和牛津大学等 […]

编者按:本文由新智元编译,来源:OpenAI,编译:文强,刘小芹;36氪经授权发布。

OpenAI和牛津大学等研究人员合作,提出了一种新的算法LOLA,让深度强化学习智能体在更新自己策略的同时,考虑到他人的学习过程,甚至实现双赢。每个LOLA智能体都调整自己的策略,以便用有利的方式塑造其他智能体的学习过程。初步试验结果表明,两个LOLA 智能体相遇后会出现“以牙还牙/投桃报李”(tit-for-tat)策略,最终在无限重复囚徒困境中出现合作行为。研究人员表示,即使是目前最先进的深度强化学习算法,也没能做到这一点。LOLA向构建能够考虑其他智能体的智能体迈出了一步。

OpenAI今天更新博客,发布了一种新的算法,能够让智能体在学习的过程中考虑到其他智能体,并且发现有利于自我同时也有利于协作的策略。这种算法被称为“考虑对手学习情况的学习”(Learning with Opponent-Learning Awareness,LOLA),是朝向构建能够对其他智能体建模的智能体迈出的一小步。

LOLA:首次在深度强化智能体中体现人类合作的“心智理论”

具体说,LOLA智能体“Alice”会对另一个智能体Bob的参数更新进行建模,建模的过程依赖于Alice自己的策略以及Bob参数更新对Alice预期回报的影响。然后,Alice会更新自己的策略,让其他智能体(比如Bob)的学习步骤更有利于自己的目标。

LOLA智能体可以在游戏(比如迭代的囚徒困境或捡硬币游戏)中,发现有效的互惠策略。相比之下,最先进的深度强化学习方法,比如 Independent PPO,无法在游戏中学习这样的策略。这些智能体一般都会学习采取自私的行为,忽视其他智能体的目标。LOLA解决了这个问题,虽然也是让智能体采取有利于自身利益的行动,但这个行动也包含了其他智能体的目标在里面。有了LOLA,就不需要手工制定促进合作的规则,也不需要设置环境条件鼓励合作,智能体能自动探求倾向于合作的行为。

研究人员表示,LOLA的灵感来自于人类是如何合作的:人类非常擅长于推理自己的行动将如何影响其他人未来的行动,并且经常发明与其他人合作的方式来实现“双赢”。人类善于合作的原因之一,是他们对其他人有一种“心智理论”(theory of mind),这让他们制定出为合作方带来好处的策略。

到目前为止,这种“心智理论”还没有在深度多代理强化学习中得到体现。对于当前最先进的深度RL智能体来说,另一个智能体只是环境中第一部分,跟一棵树没有固有的区别。

数学证明:纳入“项”进行对手学习步骤的参数建模

LOLA性能的关键是项的纳入(inclusion of term):

AI学会“以牙还牙”,OpenAI发布多智能体深度强化学习新算法LOLA在这里,左边描述了Alice的回报如何取决于Bob策略的变化。右边描述了Bob的学习步骤如何依赖Alice的策略。两者相乘,基本上就描述了Alice如何通过改变Bob的学习步骤让Alice自己奖励增加的情况。

研究人员表示,他们在训练智能体时,智能体会尝试在预期对手的的学习步骤之后,再对自己的回报进行优化。通过预期对手的学习步骤,智能体可以主动塑造(shape)对手的参数更新,让对手更新的结果对自己有利。

研究人员表示,上述公式假设能够获得两个价值函数的真实梯度和粗糙度(hessian),还可以使用样本来估计所有相关的项(term)。特别地,可以通过应用策略梯度定理来估计二阶项,这使得LOLA适合于任何深度强化学习环境。

AI学会“以牙还牙”,OpenAI发布多智能体深度强化学习新算法LOLA

数学推导示例,详情请参见论文

我们可以在LOLA里增加一个步骤——对手建模,基于其他智能体的行动来预测其参数。研究人员表示,他们将来还会就此进行拓展,比如从观察到的学习中推断架构和奖励。

实验结果

LOLA可以在两种情况下工作,一是可以获得其他智能体的策略(LOLA),二是只能通过跟踪估计其他智能体的状态(LOLA-OM)。 在捡硬币中,两种方法都可以拿出更多的硬币(图(a)),并且比其他方法的得分要高得多(图(b))。

AI学会“以牙还牙”,OpenAI发布多智能体深度强化学习新算法LOLALOLA训练出了更成功的智能体。在捡硬币游戏中,两名智能体(红和蓝)相互竞争捡硬币。硬币也分为红色和蓝色,当智能体捡起一个与自己颜色相符的硬币时就得1分,但捡起颜色不符的硬币会被扣2分。因此,如果两个智能体都很贪心地捡硬币,不分颜色,那么每个人平均都得0分。LOLA智能体能够学会主要拿起与自己颜色相符的硬币,从而得到更高的分数。

AI学会“以牙还牙”,OpenAI发布多智能体深度强化学习新算法LOLA研究人员还探讨了目前LOLA的缺点及改进方向。当使用大的批次大小和full roll-outs减少差异时,LOLA的效果最好。但这也意味着这种方法对内存和计算力的需求都很高。此外,在对手建模的情况下,LOLA不是很稳定,研究人员希望未来能够改进并解决这个问题。

论文:考虑对手学习过程的学习

AI学会“以牙还牙”,OpenAI发布多智能体深度强化学习新算法LOLA摘要

在机器学习中,多智能体(multi-agent)设置变得UI而来越重要。除了最近出现的很多深度多智能体强化学习(deep multi-agent reinforcement learning)的工作外,分层强化学习(hierarchical reinforcement learning),生成对抗网络和分散优化( decentralized optimization)都可以看作是这种设置。

但是,在这些设置中,多个 learning agent 的存在使得训练问题不固定,而且经常导致训练不稳定或得到不符合期望的最终结果。我们提出 Learning with Opponent-Learning Awareness(LOLA),这是推断其他智能体的预期学习(anticipated learning )的一种方法。LOLA 学习规则包括一个额外的项(term),用于估计该agent的策略对于其他agent的预期参数更新的影响。

我们的研究显示,可以使用似然比策略梯度更新的扩展来有效地计算LOLA更新规则,使得该方法适合于无模型强化学习(model-free reinforcement learning)。因此,该方法可以扩展到大的参数和输入空间以及非线性函数近似。初步结果表明,两个LOLA agent 的相遇导致“以牙还牙”( tit-for-tat)的出现,最终在无限重复囚徒困境中出现合作。

在这个领域,与原始的学习者相比,LOLA的收益也更高,而且对于基于更高阶梯度的方法的开发,LOLA也是稳健的。对于无限重复猜硬币博弈,只有LOLA智能体收敛到纳什均衡。我们还将LOLA应用于使用深度递归策略的的嵌入式社会困境的 grid world 任务。同样,通过考虑其他agents的学习,LOLA agents 学会了出于私利的合作。

论文地址

以牙还牙(tit for tat,也叫“投桃报李”)是一个用于博弈论的重复囚徒困境(reiterated prisoner's dilemma)非常有效的策略。“以牙还牙”策略有四个特点:

  • 友善:“以牙还牙”者开始一定采取合作态度,不会背叛对方

  • 报复性:遭到对方背叛,“以牙还牙”者一定会还击报复

  • 宽恕:当对方停止背叛,“以牙还牙”者会原谅对方,继续合作

  • 不羡慕对手:“以牙还牙”者个人永远不会得到最大利益,整个策略以全体的最大利益为依归。

在众多策略中,“以牙还牙”是最有效的,曾连续数年击败由计算机科学家,经济学家和心理学家等团队所提出的策略。博弈论者尽管没有实质证据,但他们认为“以牙还牙”是最佳的策略。

OpenAI博客

发表回复


copyright © www.scitycase.com all rights reserve.
京ICP备16019547号-5