Agent的课件01.ppt
Agent技术,参考书：多Agent系统引论Michael Wooldridge（英）著 电子工业出版社人工智能一种现代方法 Stuart Russell（美）等著，人民邮电出版社，2004移动Agent技术 张云勇、刘锦德 编著 清华大学出版社智能Agent及其在信息网络中的应用王汝传、徐小龙、黄海平 著北京邮电大学出版社教师：朱耀琴,授课与考核方式,教学方式 课堂授课+课堂讨论课后文献阅读课后编程 考核方式 到课记录+文献综述+（开卷或闭卷）考试+程序,第一章 引 言,Agent的起源Agent的研究现状 Agent的研究内容Agent的相关概念Agent的应用应用Agent的注意点,Agent的起源,Minsky在1986年出版的思维的社会一书中提出了Agent，认为社会中的某些个体经过协商之后可求得问题的解，这些个体就是Agent，Agent应具有社会交互性和智能性。,从20世纪80年代才开始研究，而直到20世纪90年代中才得到广泛的认同，是计算机科学中比较新的一个分支。,Agent的研究,国际上有关Agent的研究主要可以分为两个时期：,1977-1990年，主要集中于智能Agent研究。1990年以来，有关Agent的研究和应用更广泛，并出现了一系列达到实用的系统。,Agent的研究现状,召开了各种以Agent为主要议题的国际性学术会议International Conference On Mutli-Agent SystemsThe International Conference On the Practical Application of Intelligent Agents and Multi-Agent TechnologyThe International Conference On Autonomous Agents 成立了各种旨在促进Agent应用，制定相关标准组织如FIPA，KAOS等 创办了各种学术期刊和网站如Jounal of Autonomous and Mutli-Agents System如AgentLink,上述这些都说明了Agent正在成为一个逐渐成熟的热点研究领域。目前，对Agent的研究主要分为三大类：智能Agent多Agent系统（MAS）面向Agent的程序设计（AOP）,智能Agent：主要研究Agent的理论和结构，可看作是MAS研究中的微观层次。在这方面国内外研究人员已经作了大量的工作，发表了许多论文，提出了多种理论模型，其中倍受青睐的是BDI模型。该模型认为Agent是从意识立场出发的信念（Belief）、期望（Desire）和意图（Intention）的三元认知结构。,多Agent系统：目前MAS研究的主要方面有MAS理论、多Agent协商和多Agent规划等等；另外，还有MAS在Internet上的应用、移动Agent系统、电子商务、基于经济学和市场学的MAS等。现在，关于MAS系统框架标准的制定成为Agent研究人员的焦点，之所以这样，是因为MAS框架标准的制定是使MAS从实验室走向市场的关键环节。,面向Agent的程序设计：AOP主要研究Agent技术的应用。它已从早先的将意识态度作为Agent程序的核心推广到设计和建造Agent系统的各种软件技术和开发方法中，包括各种开发工具和实验床。AOP语言是这个研究领域的核心。目前有三类AOP语言：第一类是思考型语言，其代表是Shoham的Agent0语言；第二类是反应性语言，其代表是General Magic公司的Telescript；第三类是将OOP技术与AOP思想相结合而构造的混合型Agent开发语言，如DAISY，LALO等。,Agent的研究内容,Agent的相关概念,尽管目前学术界对于什么才是Agent仍存有争议，不过有一点是可以肯定的-Agent研究的基本思想是要开发出能够吸引和帮助所有最终用户的软件系统。软件Agent是Agent研究的主要方向，本课程所说的Agent，如果没有特别的声明即指软件Agent。,由于Agent的研究人员来自许多不同的领域，使得Agent的定义和表现各不相同，但是有一点可以肯定Agent是计算机程序。它所体现的高层特性应该包括：从抽象意义上说，Agent是自主且持续运行的，它可以代表某个特定的人采取行动（只要该行动符合该人的利益），因此，Agent必须也是强壮的且能够安全地处理私人信息。Agent应当是高度交互的，它们将自己的大部分时间用于与其它Agent及人类通信。Agent是其所处计算环境中的主动参与者，也就是说，它们对于全局系统状态发生反应和导致其变化。从实际意义上说，Agent应该是实际的和有用的，否则我们对它的研究就是失去了意义。,文献【刘大有,杨鲲,陈建中.Agent研究现状与发展趋势.软件学报.2000 Vol.11 No.1】给出了一个Agent的简单定义：Agent是一类在特定环境下能感知环境，并能自治地运行以代表其设计者或使用者实现一系列目标的计算实体或程序。,Agent的属性,自主性：Agent运行时不直接受他人控制，对自己的行为与内部状态有一定的控制力。,这是最基本的属性，也是区别于过程、对象等的一个重要特征！,反应性：Agent能够感知所处的环境，并通过行为对环境中相关事件作出适时反应。,社会性：即通信能力，Agent通过某些交互途径与其他Agent交换信息，协同完成自身问题求解或帮助其他Agent完成相关活动。,协同性：Agent能相互间协同工作完成复杂任务。,是最重要属性和Agent社会性的具体表现！,Agent的分类,Agent分类最基本的标准是Agent的属性。,根据移动属性可以分为：静止Agent和移动Agent。根据结构可以分为思考型Agent和反应型Agent。根据Agent拥有的理想和基本的属性进行分类：协同型Agent、界面型Agent、学习型Agent和智能Agent。,多Agent的相关概念,在实际环境中，单个Agent的能力有限，而且实验表明，智能、理性的行为是多个具有相对简单行为的实体在交互活动中产生的结果，而不是一个孤立实体所能拥有的性质。因此，从实际的角度出发，当我们利用Agent求解问题时，应该将具有不同能力的Agent个体组成一个为完成某个任务而共同合作的整体，即多Agent系统（MAS），以期获得整体效应大于各部分和的目的，这是导致MAS产生的直接原因。与此同时，Internet的迅速普及更为MAS中各Agent之间的行为动作、合作交互提供了一个开放的基础环境。,从本质上说，MAS是一种典型的分布式系统。从分布式人工智能（DAI）的角度来说，MAS是由多个问题求解实体所组成的，为求解任何一个单实体都不能完成的任务而共同工作的松耦合问题求解网络。目前，研究人员将MAS的概念作了进一步的推广，凡具备下列特点的，由多个自治组件组成的系统都可以称为MAS：每个Agent都不具备完全单独求解问题的能力 在系统中没有全局的系统控制 数据分散在系统中的各个节点 计算呈异步特性,多Agent系统不完全是分布式/并发系统因为假设Agent是自治的，能够独立作出满足设计目标的决策，一般假定在设计多Agent系统时同步和协调结构不是硬性绑定的，这与标准的并发/分布式系统不一样，因此需要一种机制可以使Agent在运行时同步和协调它们的动作。在多Agent系统中，出现的冲突是自利的实体之间的冲突，在典型得分布式/并发系统中，隐含地假定所有的部件之间有共同的目标，而在多Agent系统中，假定Agent主要关心它自己的利益。,多Agent系统不完全是人工智能人工智能很大程度上关注智能的构成：学习能力、规划、图像理解等，与此相比，Agent研究领域关心的是把这些成分进行集成，以提供一个能独立决策的实体。当我们构造一个在某种环境下执行任务的Agent时，很可能要在某种程度上利用人工智能技术，但用的最多的还是标准的计算机科学和软件工程。也就是说，构造Agent时需要使用人工智能技术，但不必为此而解决所有的人工智能问题。经典的人工智能忽略了Agent的社会性，这种社会性包括与伙伴通信、合作、达成一致的能力，这些也都是与学习、规划等同等重要的智能行为。,多Agent系统结构,多Agent系统有两种结构形式：纯分布式结构：系统中的所有Agent相互共享信息和知识，每个Agent具有协商通信能力。联邦式结构：引入了基于中介的协调机制，将一组Agent形成一个联邦，联邦内的Agent只与中介进行通信，中介负责联邦内部Agent的行为协调，并代表联邦与其他中介进行通信和行为协调。,这种结构适用于规模较小的系统，因为当系统规模很大，Agent的数量很多时，系统的通信量将会非常大，系统结构将会非常复杂，同时这种结构的局部自治性好，但不易达到全局优化的目标。,这种结构简化了纯分布式系统的通信与控制的复杂性，能够解决复杂的实际问题，但中介必须提供相应的服务，帮助系统发现合作者和需求者，正确传送消息，处理可能出现的问题。,Agent的应用,工作流和业务过程管理Agent旅游者接待系统分布式感知Agent信息检索和管理Agent电子商务Agent人机界面Agent其他应用,Agent的应用旅游者接待系统,Agent通过在线信息源得到旅游者的兴趣、姓名和组织，还要得到旅游者的工作和他在组织中的地位等更多的信息；借助于得到的信息，通过查询个人数据库来决定合适的接待（如接待人员等）；旅游者接待Agent选择一些最初的接待人员，通过接触和总结日程安排Agent的信息，询问他们在何时会见旅游者，如果某一人员没有日程安排Agent的信息，发出一封Email；核对所有的回应；旅游者接待Agent为每一个旅游者生成一个包含不同种类的预定房间和接待人员名单；系统与组织者联系和验证确认或拒绝、建议等。,任务Agent和信息Agent相互协作以产生每一个旅游者的日程安排表。,Agent的应用,上海交通大学的高国军等采用多Agent技术建立了一个可重构的企业信息系统，该系统可以有效地支持应用企业的敏捷化。Mehra和Nissen采用Agent开发环境工具和Java语言研究并开发了基于Agent的敏捷供应链管理系统浙江大学的刘金琨等提出了基于多Agent的钢铁工业生产过程控制系统；Lane等设计了单个机器人的多Agent系统，采用实时黑板Agent作为框架的核心，实现了分布式黑板结构，并采用分布式问题求解、实时数据库、实时推理技术以提高机器人的实时响应速度，该机器人已成功应用于自主式水下车辆的声纳信号解释。,应用Agent的注意点,Agent系统是典型的人工智能技术，由于人工智能方面的制约，Agent技术也在本质上受限于这些约束虽然Agent在广泛的领域得到应用，但是它不是万能的求解方法，对许多应用，传统的软件开发风格（如OO）可能是更合适的。尤其是目前Agent技术相对还不成熟，应用也较少，而且目前来说，任何Agent系统的开发本质上还处于试验阶段，目前尚没有可靠的、可信的和有效的方法论。当第一次学习多Agent系统时，存在一种倾向，就是把所有东西都看作Agent，从概念上讲，这是可以接受的，但是不难发现，这种想法/做法是极度无效的：管理Agent和Agent之间相互通信的开销将迅速超过基于Agent求解方法的收益。,编程题坦克大战游戏,一、场地场地大小为一块矩形区域，该区域分为若干小格，以小格为单位，场地的大小不会超过48*36。场地有边界，不允许出界以及穿越。二、坦克及炮弹一般对战双方拥有若干辆坦克，最少一辆最多四辆，一般为两辆。每辆坦克都有一定生命值，可以抵御若干发炮弹的攻击，一般为十发。双方坦克数量、初始生命值以及炮弹威力都可以在游戏开始前设定。请注意：炮弹是不区别敌我的，只要遇到坦克就击中它。,编程题坦克大战游戏,三、行走及开炮1、坦克一次最多向前走一格，炮弹一次向前走两格。请注意：由于不能出界，所以有可能出现坦克“原地踏步”的情况，也就是如果坦克到达边界之后仍然向边界走，那么就一步也走不了。一格里只能有一辆坦克，如果两辆坦克同时走向同一格，那么它们都不能走动。2、在每一步，每辆没有被击毁的坦克选择向一个方向走一步或原地不动，同时可以选择向一个方向开炮或不开炮，每次每一辆坦克可以发射一发炮弹，走动先于开炮完成，也就是说坦克走到新的位置以后再开炮，这时炮弹首先出现在与坦克相邻的一格，如果这一格里有一辆坦克，那么它将击中这辆坦克。,编程题坦克大战游戏,四、胜负标准 比赛采取2n+1局n+1胜制(n=5)，如果有需要可以加赛若干局。每局有一定步数限制（可以预先设定），如果在规定步数之内一方所有坦克全部被击毁则判负，如果双方同时被判负则产生平局，如果规定步数结束时双方都有坦克没有被击毁，则比较双方坦克剩余生命值的总和，多的一方获胜，如果双方一样多则产生平局。,作业题（最后一次上课时交打印稿）,查阅当前关于Agent技术方面的相关文献，就Agent技术的某一方面（如移动Agent、多Agent协商、Agent技术应用、Agent的组织、Agent的通信等）写一篇文献综述，要求参考文献数不得少于10篇，且文献发表年份至少是近5年，至少要有1篇英文文献。不能是照搬照抄某篇或某几篇文献的大段内容，应该是关于这些文献的读后感。要有自己的论述与比较。,第二章 智能Agent,智能Agent简介智能Agent的抽象模型环境智能Agent的抽象结构告诉Agent如何动作,智能Agent的简介,智能Agent应该具有的各种能力：反应性：智能Agent可以感知它们的环境，并可以对环境发生的变化以及时的方式做出反应，以满足它们的设计目标；预动性：智能Agent通过主动发起可以表现出目标引导的行为，以满足它们的设计目标可以主动发起一个动作；社会行为能力：智能Agent可以与其他Agent交互，以满足它们的设计目标。,强调一下：智能体的概念只是用来分析系统的一个工具，而不是来把整个世界划分成智能体和非智能体的绝对特特性，例如可以把计算器视为智能体，当感知序列“2+2=”时，计算机会执行显示“4”的动作，但这种看法根本无助于理解计算器的实质。,Agent与对象,传统的对象的概念和Agent的概念至少有三个区别：与对象相比Agent包含更强的自治性的概念，特别是它们自己决定是否接受其他Agent的请求执行一个动作；Agent具有灵活的（反应的、预动的、社会的）行为能力，标准的对象模型根本没有这种行为能力;多Agent系统本质上是多线程的，其中每个Agent至少假设有一个控制线程。,Agent与专家系统,Agent与专家系统的主要区别如下：经典的专家系统是与现实分离的它们与任何环境没有直接联系，而是把用户作为“中间人”发生作用；专家系统一般不能采取反应式的、预动的行动;专家系统一般没有社会行为能力，不能进行合作、协调和协商。,智能Agent的抽象模型,Agent接收从环境中感知的输入，并产生输出动作作用于环境，这种交互通常是一个连续不断的过程。,举例说明真空吸尘器,Agent可以感知它所处于哪个方格中，以及该地点是否有灰尘，它可以选择向左移动，向右移动，吸取灰尘，或者什么也不做。,环 境,可观察的与不可观察的：在可观察的环境中，Agent可以获得全部的、准确的、最新的环境状态信息。,确定性的与非确定性的：在确定性环境中，任何动作都会有一个确定的效果，当执行了一个动作以后不会出现状态的不确定性。或者这样定义：如果环境的下一个状态完全决定于当前的状态和智能体执行的动作。,静态与动态：静态环境是假设如果没有Agent执行动作，环境不会发生改变，相反，动态环境有其他过程发生作用，因此会在Agent的控制之外发生变化。,离散的与连续的：如果存在确定的、有限数量的动作并且可以在环境中被感知，则环境是离散的。,最复杂、最一般的环境类型是不可观察的、不确定性的、动态的和连续的。具有这种特性的环境通常称为开放环境。环境特性在决定Agent设计过程的复杂性中有重要作用，但这决不是起作用的仅有因素，第二个起作用的重要特性是Agent与环境交互的性质。（函数系统、反应式系统、实时交互）,函数系统接受某些输入，根据输入进行计算，最终产生输出，如编译器；由于Agent处在一个概念上不会终止的环境中，在这个环境中它必须做出会产生全局影响的局部决策，在局部环境下看起来完全合理的决策，当在系统的全局情况下考虑时可能产生不希望的效果，如打印机控制器；实时交互是在评价Agent性能时有时间参与的简单一种交互；,智能Agent的抽象结构,1.假设环境是任何离散的瞬时状态的有限集合,2.假设Agent有一个可知性动作的清单，它们改变环境的状态，设 是（有限的）动作集合：,任何连续的环境都可以用达到需要的任意精度的离散环境建模,因此Agent在环境中的一次执行 是环境状态与动作的一个序列,智能Agent的抽象结构,表示：,是所有可能的（和 上的）有限序列集合,是以动作结束的序列所组成的 的子集,是以状态结束的序列所组成的 的子集,定义：为了表示Agent的动作作用于环境的效果，引入状态转移函数,状态转移函数建立了一个执行（假设以Agent的动作作为结束）与可能的环境状态集合之间的映射，这些环境状态是动作执行的结果,注意：首先，假设环境是与历史有关的，环境的下一个状态不仅仅是由Agent执行的动作和当前的状态决定，早时Agent所做的动作对决定当前状态也起部分作用；其次，这个定义允许不确定的环境，因此在某个状态下执行一个动作的结果具有不确定性。,智能Agent的抽象结构,（假设 由一个动作作为结束），则不可能存在对的后继状态。在这种情况下，系统结束执行。另外，假设所有执行最终会结束。,形式上，环境Env可以表示成一个三元组,Agent的模型可以表示为：该模型由一个函数表示，该函数是将一次执行（假设以环境状态为结束）映射到动作。故Agent根据系统的到当前为止的历史决定执行什么动作。,两个Agent 和 对环境Env是行为等价的，当且仅当,两个Agent 和 是完全行为等价的，当且仅当它们对所有环境是行为等价的,纯反应式Agent,纯反应式Agent在决定如何动作时并不参照其历史，它们的决策完全基于当前状态，不考虑过去的状态，它们有时也被称为定向Agent，表示成函数：,加热器停止，如果 环境温度正常,Agent的感知,把环境状态映射到感知把感知序列映射到动作,有状态的Agent,性能度量,考虑前面所述的真空吸尘器的例子，如何来决定智能体的好还是坏？我们可以使用性能度量，它是智能体成功程度标准的具体化。真空吸尘器的例子如何确定性能度量方法？（1）通过统计8小时工作时间内清理的灰尘量（问题？）（2）（改进方法？）理性智能体的定义：对于每个可能的感知序列，根据已知的感知序列提供的证据和智能体内建的先验知识，理性智能体应该选择期望能使其性能度量最大化的行动。,告诉Agent如何动作,一般地说，我们希望告诉Agent要做什么，而不告诉它怎么去做。可以不直接定义任务，而是使用某种性能度量。效用函数：效用是表示状态有多“好”的数值，效用越高，状态越好。谓词说明任务：是用谓词的执行来代替效用函数的作用。,效用函数,效用是表示状态有多“好”的数值，效用越高，状态越好。Agent的任务是实现效用最大的状态，而不需要对Agent详细说明如何做到这一点。定义为：，这个函数给每一个状态一个实数值。，这个函数则把效用赋给状态的执行缺点：很难找到合适的效用函数;有比定义效用更方便的讨论方法。（如谓词说明任务）,谓词说明任务和任务环境,通常遇到的两种最常见的任务类型是实现型任务和维护型任务,实现型任务用一些目标状态说明定义，Agent被要求实现这些状态之一。通常可以认为是与环境的博弈，如果Agent可以迫使环境到达目标状态之一，则Agent获胜。维护型任务则是要求Agent避免出现某一状态。也可以把它看成博弈，如果Agent避免了所有状态，则该Agent获胜。可以通过实现型任务和维护型的组合定义更复杂的任务，如：在避免B的所有状态的同时实现G中的任一状态。,是一个执行谓词，当且仅当,满足谓词说明,核反应堆八皇后问题？继续举例？,课后题,图灵测试是1950年阿兰.图灵提出的，他建议与其提出一个长长的而可能有争议的清单来列举职能所需要的能力，不如采用一项基于人类这种无可质疑的智能实体的辨别能力的测试。如果人类询问者在提出一些书面问题后，无法判断答案是否由人写出，那么计算机就通过了测试。,Loebner奖每年颁发给最接近于通过某个版本图灵测试的程序。查找Loebner奖最近的得主，他们使用了什么技术？对AI目前的发展水平有什么推动？,讨论:Agent举例,给出你所知道的Agent的其他例子（不一定是智能Agent），并定义以下问题：Agent所处的环境以及环境的种类Agent可以执行的动作库，以及这些动作的前提条件Agent的设计目标，即要实现什么？,讨论:对坦克大战游戏Agent建模,1.分析坦克大战游戏中的环境2.讨论坦克大战游戏中的感知3.讨论坦克大战游戏中的动作4.讨论坦克大战游戏中的性能度量,
