2022新机器智能教材.docx

《2022新机器智能教材.docx》由会员分享，可在线阅读，更多相关《2022新机器智能教材.docx（150页珍藏版）》请在课桌文档上搜索。

1、新机器智能第1章人工智能与人类智能1979年6月，当我从康奈尔大学电气工程专业毕业时，对自己的生活没有任何规划。我开始在美国俄勒冈州波特兰市新成立的英特尔公司担任工程师。当时，微型计算机行业刚刚起步，而英特尔公司则是行业翘楚。我的工作是分析和解决我们公司的主要产品，即单板机在使用过程中出现的问题。由于英特尔公司发明了微处理器，从而使整台计算机可以放在一块电路板上。我印发了一份新闻简报，去了一些地方旅行，并拜访了一些客户。尽管那时我很年轻，很想念在俄亥俄州辛辛那提工作的好友，但说实话日子过得不错。几个月后发生的一件事改变了我的人生方向。我阅读了新出版的科学美国人9月刊。那一期的内容全部与大脑有关

2、，它重新点燃了我童年时对大脑的兴趣。这期杂志很吸引人，从中我了解到大脑的组织结构、发育情况和化学成分，视觉、运动和其他特殊功能的神经机制，以及精神障碍的生物学基础。我觉得这是科学美国人有史以来最好的一期。与我交谈过的几位神经科学家告诉我，这期杂志对他们的职业选择起到的作用，就像它对我产生的影响一样重要。该期杂志中，最后一篇文章思考大脑是弗朗西斯克里克写的，他是DNA双螺旋结构的发现者之一，当时他致力于研究大脑。克里克认为，尽管关于大脑的详细知识在不断积累，但大脑的工作原理仍然是一个难解之谜。科学家通常不写他们不知道的东西，但克里克不在乎。他就像那个指出皇帝没穿衣服的男孩。根据克里克的说法，神经

3、科学只有大量的数据，没有一种理论。他的原话是：“目前明显缺乏的是一个普适的思想框架。“对我来说，这位英国绅士的言外之意是：我们对大脑的工作原理毫无头绪。在当时，情况的确如此；而到了今天，情况依然如此。克里克的话对我来说有一种号召力。它唤醒了我渴望了解大脑和制造智能机器的毕生愿望。虽然我当时刚刚大学毕业，但我决定改变职业方向。我要研究大脑，不仅要了解它是如何工作的，而且要以这些知识作为新技术的基础，制造智能机器。但是，要将这个计划付诸行动，我还需要一些时间。1980年春天，我被调到英特尔公司的波士顿办事处，与我未来的妻子团聚，那时她刚刚开始读研。我当时的工作是教导客户和员工如何设计基于微处理器的

4、系统。但一个不同的目标吸引了我：我想弄清楚如何设计基于大脑理论的系统。我心中的工程师角色意识到，只要了解了大脑是如何工作的，就可以制造它们，而制造人工大脑的自然方法是用硅芯片。而我当时就在一家发明了硅存储芯片和微处理器的公司工作，因此我想，说不定我可以劝说英特尔公司高层，让我能花部分时间思考智能以及如何设计类似大脑的存储芯片的问题。我给英特尔公司时任董事长戈登摩尔(GOrdonMOore)写了一封信。这封信的主要内容如下：亲爱的摩尔博士：我建议公司成立一个研究小组，研究大脑的工作原理。这个小组可以先从一个人开始，那个人就是我。我相信我们能弄清楚这个问题。总有一天，这将成为一门大生意。杰夫霍金斯

5、摩尔帮我与英特尔公司的首席科学家特德霍夫(TedHoff)取得了联系。我飞到加利福尼亚去见他，并提出了研究大脑的建议。霍夫因两件事而闻名：第一件事是他在设计第一个微处理器过程中的贡献，我知道这件事。第二件事是他在早期神经网络理论方面的成就，当时我还不知道。霍夫对人工神经元及其应用经验丰富。而彼时的我在这方面还没有太多经验。听完我的建议后，他说他不相信在可预见的未来人们有可能弄清楚大脑是如何工作的，因此对于英特尔公司来说，支持我没有意义。霍夫是正确的，现在几十年过去了，我们才刚开始在理解大脑方面取得重大进展。在商业界，时机就是一切。不过，当时我还是很不服气。我通常会选择一条最简单易行的路来实现我

6、的目标。当时看来，在英特尔公司研究大脑是实现我的目标的最简单办法。在这个选项被排除后，我开始寻找下一个最好的办法。我决定申请麻省理工学院的研究生，该学院的人工智能研究举世闻名，而且它就在这条路上，我去那里很方便。麻省理工学院似乎很适合我。我在计算机科学方面接受过大量培训，我有一个制造智能机器的愿望，这些都没问题。我想先研究大脑，看看它们是如何工作的呃，这是个问题。这最后一个目标，即想了解大脑的工作原理，在麻省理工学院计算机科学与人工智能实验室的科学家看来，是不可能实现的。我着实有一种碰壁的感觉。麻省理工学院可谓是人工智能领域的西点军校。就在我申请进入麻省理工学院学习时，那里已经聚集了几十个聪明

7、人，他们对通过计算机编程产生智能行为的想法非常着迷。对这些科学家来说，视觉、语言、机器人和数学只是编程问题。大脑可以做到的事情，计算机都能做到，就算是大脑做不到的事情，计算机也能做到，所以为什么要被“自然界计算机”大脑那与生俱来的混乱状况限制思维呢？研究大脑会限制思维。他们认为，最好是研究计算的极限，然后在数字计算机中完美地表达出来。他们的终极目标是写出最初与人类能力相匹配，然后超越人类能力的计算机程序。他们采取了一种以目的证明手段的方法，却对真正的大脑如何工作不感兴趣，一些人甚至以忽视神经生物学为荣。这让我很震惊，因为我觉得这种解决问题的方式完全错误。直觉告诉我，人工智能的方法不仅无法创造出

8、能产生人类行为的程序，而且也无法使我们理解什么是智能。计算机和大脑秉承两种完全不同的原则。一个是编程，一个是自学；一个必须性能完好才能工作，一个自然灵活且能兼容失误；计算机具备中央处理器（CPU）,大脑则没有中央控制机制。个中差异不胜枚举。我了解计算机的工作原理，无论是上层的操作系统，还是底层的物理实现，这些知识让我有一种强烈的直觉，即大脑和计算机在本质上是不同的。我无法证明这一点，但我就是知道这一点，就像一个人可以凭直觉知晓事物一样。最终我推断：人们可以利用人工智能打造有用的产品，但无法制造真正的智能机器。而我想研究大脑生理学和解剖学，了解真正的智能和感知，迎接克里克的挑战，为大脑如何工作提

9、出一个普适的框架。我特意把目光投向了新皮质，即哺乳动物大脑进化过程中最晚出现的部分，也是智能的所在。只有了解了新皮质的工作原理，我们才可以制造智能机器，但在此之前没办法做到。很可惜，我在麻省理工学院遇到的教授和学生并不认同我的想法。他们不相信需要研究真正的大脑才能了解智能和制造智能机器。1981年，麻省理工学院拒绝了我的入学申请。能力有限的人工智能今天许多人还会这样认为，人工智能依旧是一个前景光明的方向，只是在等待足够的算力来兑现它的许多承诺。持这种想法的人认为，当计算机拥有足够大的内存和足够强的处理能力时，人工智能研究人员将能够制造智能机器。我不同意这种观点。人工智能有一个根本缺陷，那就是它

10、未能充分理解什么是智能，或未能理解某个事物意味着什么。简单回顾一下人工智能的历史和它秉承的原则，就能解释这一研究方向是如何走偏的。人工智能是随着数字计算机的出现而诞生的。早期推动人工智能领域发展的一个关键人物是英国数学家艾伦图灵(AlanTUring),他是通用计算机概念的提出者之一。他的壮举是正式证明了通用计算的概念，即所有计算机在逻辑上都是等价的，无论它们具体是如何构建的，情况都是如此。作为验证的一部分，他构想了这样一台机器这台机器有三个基本组成部分：一个处理盒、一条纸带以及一个在纸带上来回移动时读写标记的装置。纸带是用来存储信息的，就像计算机代码中著名的1和O那样的信息。当时存储芯片或磁

11、盘驱动器还没有发明，所以图灵就想到用纸带存储信息。这个盒子，也就是我们今天所说的CPU,会遵循一套固定的规则来读取和编辑纸带上的信息。图灵用数学方法证明，如果你为CPU选择了一套正确的规则，并给它一个无限长的纸带，它就可以执行宇宙中任何可定义的操作集。这就是通用图灵机的雏形。无论你要处理的问题是计算平方根、计算弹道轨迹、玩游戏、编辑图片，还是核对银行交易信息，它们本质上都是一串由O和1组成的代码，因此任何通用图灵机都可以通过编程进行处理。这些程序执行的都是信息处理。所有数字计算机在逻辑上都是等价的。图灵的结论是无可争辩的事实，也是实实在在的成果，计算机革命及其后续所有产品都建立在它的基础之上。

12、然后，图灵又提出了新的问题，即如何制造一台智能机器。他觉得计算机可以拥有智能，但他并不想陷入这是否可能的争论。他也不认为自己能够正式定义智能，所以并没有尝试。但他提出了一种证明智能存在的方法，即著名的图灵测试：如果一台计算机能够欺骗人类提问者，使其认为自己也是一个人，那么根据定义，这台计算机就拥有智能。就这样，以图灵测试为衡量标准，以通用图灵机为媒介，图灵开创了人工智能领域。人工智能领域的核心信条是：大脑只是另一种形式的计算机。怎样设计一个人工智能系统并不重要，只要它能产生类似于人类的行为即可。人工智能的支持者看到了计算和思考之间的相似之处。他们说：“看，人类智能最令人印象深刻的壮举显然涉及对

13、抽象符号的操作，而这也是计算机做的事。当人类说话或倾听时，发生了什么？人类使用定义明确的语法规则来操控名为单词的精神符号。人类下棋时，发生了什么？人类使用心理符号表征各枚棋子的位置和彼此间的恰当联系。当人类看东西时，发生了什么？人类用心理符号表征物体、它们的位置、它们的名称和其他属性。当然，人类是用大脑来执行这一切的，而不是用我们制造的计算机，但图灵已经表明，你如何定义或操纵这些符号并不重要。你可以将多个齿轮装配起来，你可以用电子开关系统，还可以用大脑的神经元网络，不管怎样，只要你的工具能够实现通用图灵机的等效功能即可。”1943年，神经生理学家沃伦麦库洛克(WarrenMCCUIk)Ch)和

14、数学家沃尔特皮茨(WalterPittS)发表的一篇科学论文支持了这一假设。这篇论文颇具影响力，其中描述了神经元怎样执行数字功能，也就是说，他们想到了神经细胞怎样复制计算机的核心形式逻辑。他们的想法是，神经元可以像工程师所说的逻辑门那样执行操作。逻辑门实现了简单的逻辑运算，如与运算、或运算和非运算，对应的逻辑运算符分别为AND、OR和NOT。计算机芯片由数以百万计的逻辑门组成，它们被连接成精确而复杂的电路。一个CPU只是一个逻辑门的集合。麦库洛克和皮茨指出，神经元也可以用精确的方式连接在一起执行逻辑功能。由于神经元收集彼此的输入并处理这些输入，从而决定是否启动输出，你可以将神经元想象成活的逻辑

15、门。因此，他们推断，可以将大脑想象成是由“与门”“或门”和其他逻辑元素组成的，这些逻辑元素又都是由神经元组成的，与数字电子电路的布线方式十分类似。我不清楚麦库洛克和皮茨是否真的认为大脑是以这种方式工作的，他们只是说有可能是这样。从逻辑上讲，这样看待神经元也能说得通。从理论上讲，神经元可以实现数字功能。然而，没有人质疑这是否为神经元在大脑中的实际接线方式。他们不在乎是否存在生物证据，一厢情愿地认为大脑只是另一种计算机。另外要注意的是，人工智能哲学还得到了20世纪上半叶心理学主流趋势，即行为主义的支持。行为主义者认为我们不可能知道大脑内部发生了什么。他们把大脑称作一个黑盒子，认为人们不知道里面正在

16、发生什么。但人们可以观察和测量动物的环境和行为，即它的感觉和行为，它的输入和输出。他们承认，大脑含有反射机制，可以通过奖励和惩罚来调节动物的新行为。但除此之外，人们不需要研究大脑，尤其是混乱的主观感受，如饥饿、恐惧，或不需要理解某种事物的含义。行为主义最终在20世纪下半叶衰落了，但人工智能将长期持续存在。到第二次世界大战结束后，电子数字计算机得到了更广泛的应用，研究人工智能的先驱们摩拳擦掌，开始编程。语言翻译？简单！就是一种破译代码的方式，我们只需要将系统A中的每个符号映射到系统B中的对应物上即可。视觉？也很容易。我们已经知道处理旋转、比例和位移的几何理论，而且可以很容易地将它们编码为计算机算

17、法，所以我们已经成功了一半。人工智能专家提出了大胆的设想，即计算机智能将首先与人类智能相当，然后超越人类智能。具有讽刺意味的是，几乎可以通过图灵测试的计算机程序是一个名为伊丽莎(Eliza)的程序。它扮演的是精神分析师的角色，它采用的策略是将你的问题重新表述给你听。例如，如果一个人输入“我男朋友不再和我说话了“，伊丽莎可能会说：“告诉我更多关于你男朋友的事。”或者会问：“你为什么认为你的男朋友和你不再说话了？”这个程序只是随随便便设计出来的，尽管功能非常简单且微不足道，但它还是骗过了一些人。开发人员做过一些更认真的尝试，比如编写程序“积木世界(BlOCkSWOrId)。它是一个模拟房间，里面有

18、不同颜色和形状的积木。你可以向“积木世界”提出问题，如：“红色大方块上面有一个绿色金字塔吗？”或者提出要求“把蓝色方块移到红色小方块上面”。程序会回答你的问题或尝试做你要求它做的事情。所有这些都是虚拟的，而它确实能按你的要求行事。但它的这些操作都仅限于它那高度人工化的积木世界，超出这个范围就行不通了。因此程序员无法将其泛化推广，从而做一些有用的事情。与此同时:公众也被源源不断且看似成功的人工智能技术和新闻报道所打动。有一个能解决数学定理的程序最初令人们兴奋不已。自柏拉图以来，多步骤推理一直被视作人类智能的巅峰，所以一开始人工智能似乎大获成功。但是，就像“积木世界”一样，人们最终发现这个程序是受

19、限的。它只能发现非常简单的定理，而这些定理都是已知的。然后，“专家系统引起了巨大轰动，这类系统是包含大量知识与经验的数据库，能够解答人类用户提出的问题。例如，医学专家系统可能能够根据人类用户给出的症状清单诊断病人所患疾病。但它们的能力同样有限，没有表现出任何接近于广义智能的能力。计算机国际象棋棋手可以达到专业人类棋手的水平，IBM开发的国际象棋计算机“深蓝”击败了国际象棋世界冠军加里卡斯帕罗夫。但这些成功并非真正意义上的成功：“深蓝”不是因为比人类聪明而获胜，而是因为它的计算速度是人类计算速度的数百万倍。“深蓝”没有直觉。一个专业的人类棋手看着棋盘上的位置，马上就能看出移动哪些棋子最有可能赢棋

20、或陷入危险，而计算机对什么是重要的没有与生俱来的感知，因此必须探索更多的选择。“深蓝”也对国际象棋游戏的历史毫无感觉，对对手也一无所知。它会下棋却不了解国际象棋，就像计算器会算术却不了解数学一样。在所有情况下，成功的人工智能程序都只擅长做专门为它们设计的那件特定的事情。它们没有普适性，也没有显示出灵活性，就连它们的创造者都承认它们不会像人类那样思考。起初，人们认为某些人工智能问题很容易解决，但后来没有取得任何进展。即便在今天，也没有一台计算机能够像3岁孩童那样理解语言，或者像小老鼠那样看东西。经过多年的努力，承诺未兑现，成果不尽人意，人工智能开始黯然失色。该领域的科学家转向了其他研究领域。人工

21、智能创业公司失败了，资金也变得越来越少。通过编程让计算机实现感知、语言和行为等最基本的任务，似乎也不太可能完成。直到今天，也尚未有什么进展。正如我之前所说，仍然有人相信人工智能的问题可以通过更快的算力来解决，但大多数科学家认为整个努力的过程都存在缺陷。我们不应该责怪人工智能先驱的失败。图灵非常聪明。他们都能看出，通用图灵机将改变世界，而且它确实改变了世界，但不是通过人工智能改变的。不具备智能的计算机我对人工智能论断的质疑形成于我申请进入麻省理工学院学习那段时间。加州大学伯克利分校颇具影响力的哲学教授约翰塞尔(JohnSearle)说，计算机不是也不可能是智能的。为了证明这一点，他在1980年设

22、计了一个叫作“中文屋”(ChineseRoom)的思想实验。这个实验是这样的：假设你有一个房间，房间的一面墙上有一条窄缝，房间里面有一个只会说英语的人坐在桌子旁边。他手里有一本厚厚的说明书，以及数量足够多的铅笔和草稿纸。这本说明书上用英语写明了操作、分类和比较汉字的方法。请注意，说明书中没有介绍汉字的含义，只介绍了如何复制、擦除、重新排序、抄录汉字等。有人从房间外将一张纸从窄缝处塞了进来。上面用中文写着一个故事和与这个故事有关的问题。房间里的人不会说中文，也不认识汉字，但他拿起纸，按照说明书开始工作。他机械地按照说明书上的指令行事。指令有时告诉他在草稿纸上写字，有时又告诉他移动和擦除字符。这个

23、人按照一条又一条的指令，书写和擦除字符，直到书中的指令告诉他，他的工作已经完成了。他的最终成果是一张写满了汉字的纸，他不知道这些汉字就是问题的答案。说明书告诉他，把这张纸从窄缝处递出去。他照做了，并想知道这乏味的一整套操作到底有什么含义。房间外，一个懂中文的人正在阅读递出的那张纸。他表示，这些答案都是正确的，甚至见解深刻。如果有人问他，这些答案是否出自一个理解了这个故事的聪明人，他一定会说是的。但是他说的对吗？谁理解了这个故事？肯定不是房间里的人。房间里的人不懂中文，不了解这个故事是关于什么的。理解这个故事的也不是那本说明书，那只是一本书，静静地放在写字台上，和一堆纸在一起。那么，理解是在何处

24、发生的呢？塞尔的答案是，没有理解发生，只是一系列无意识的翻页和用铅笔在纸上划来划去的动作而已。现在将这个场景套用到人工智能身上：“中文屋”和数字计算机简直一模一样。人是CPU,无意识地执行指令，书是向CPU提供指令的软件程序，而在纸上划来划去相当于将信息存入存储器。因此，无论计算机设计得多么巧妙，哪怕能够通过产生与人相同的行为来模拟智能，它都没有理解力，也没有智能。塞尔明确表示他不知道什么是智能，他只是说不管智能是什么，计算机显然并不具备这一能力。这一观点在哲学家和人工智能专家之间引起了轩然大波，催生了数以百计的文章，并招来了很多谩骂。人工智能的捍卫者摆出了几十条理由反驳塞尔的这一观点，比如说

25、，尽管房间里的所有部件都不懂中文，但整个房间懂，或者房间里的人在执行操作时理解了中文，只是他自己没有意识到而已。我则认为塞尔的观点是正确的。当我思考有关“中文屋”的争论，以及计算机如何工作时，我没有看到理解发生在任何地方。我确信我们需要理解什么是“理解”，需要一种定义它的方式，这样我们才能清楚一个系统什么时候是智能的，什么时候不是，什么时候理解中文，什么时候不理解中文。而它的行为并没有告诉我们这些。人不需要通过“做什么来理解一个故事。我可以安静地读一个故事，虽然我没有明显的行为，但我的理解和领悟是显而易见的，至少对我来说是这样。止匕外，你不能从我安静的行为中看出我是否理解这个故事，甚至不能看出

26、我是否懂这个故事所使用的语言。你稍后可能会问我问题，看我是否理解了这个故事。但我的理解是在我读故事的时候发生的，而不仅仅是在我回答你的问题时发生的。本书的一个观点是，理解力不能用外部行为来衡量。正如我们在接下来的章节中将看到的那样，它反而是大脑记忆事物并利用这些记忆进行预测的内部衡量标准。“中文屋”“深蓝”和大多数计算机程序都没有类似的衡量标准。它们不明白自己在做什么。我们判断计算机是否拥有智能的唯一方法是通过其输出或行为进行判断。人工智能的捍卫者给出的最有说服力的观点是，理论上，计算机可以模拟整个大脑。计算机可以模拟所有神经元及其连接，如果它做到了，就没有什么可以区分大脑的“智能”和计算机模

27、拟的“智能了。虽然这在实践中可能无法实现，但我认同这个观点。但人工智能研究人员并没有模拟大脑，因此他们的程序也没有智能。如果不先了解大脑的工作方式，就无法模拟它。从生物学入手研究智能在我遭到英特尔公司和麻省理工学院的拒绝后，我不知道接下来该怎么做。我认为当一个人不知道接下来的路该怎么走时，最好的策略往往是不做任何改变，直到你知道该怎么选了。所以我的选择就是继续留在计算机领域。我对于留在波士顿感到很满足，但在1982年，我的妻子想搬到加利福尼亚，所以我们就搬家了(这同样是一条最简单易行的路)。我在硅谷一家名叫GRlD系统的创业公司找到了一份工作。该公司发明了笔记本电脑，那是一台漂亮的机器，后来成

28、为纽约现代艺术博物馆收藏的第一台计算机。我先是在市场部工作，然后去了工程部，最终发明了一种名为GridTaSk的高级编程语言。我和我发明的这种编程语言在GRID系统公司取得成功过程中，发挥了越来越重要的作用，因此，我的事业也得以顺利发展。但是，我仍然无法克制对大脑和智能机器的好奇心。我无法抑制研究大脑的强烈愿望，于是参加了人体生理学的函授课程并开始自学，当然，从来没有人被函授学校拒绝过！在学习了相当多的生物学知识后，我决定申请学习生物学研究生课程，从生物科学内部入手研究智能。如果计算机科学界不想要一个大脑理论家，那么也许生物学界会欢迎一个计算机科学家。那时还没有理论生物学，更没有理论神经科学，

29、所以生物物理学似乎是最符合我兴趣的领域。我努力学习，参加必要的入学考试，准备简历，征求推荐信，后来被加州大学伯克利分校的生物物理学项目录取，成为全日制研究生。我欣喜若狂。我认为自己终于可以认真地开始研究大脑理论了。我辞去了在GRlD系统公司的工作，并不打算再涉足计算机行业。当然，这意味着我没了收入。我的妻子在想“是时候买房成家了”，而我则高兴地成为一个不用养家糊口的人。这绝对不是一条最简单易行的路，但这是我最好的选择，我妻子也尊重我的决定。GRlD系统公司的创始人约翰埃伦比(JohnElIenby)在我离开之前把我拉到他的办公室，对我说：“我知道你不打算再回GRlD系统公司或计算机行业了，但你

30、永远不知道会发生什么。为什么要彻底离开而不选择请假呢？这样的话，如果在一两年内你真的回来了，你还能重新获得你离开时的工资、职位和股票期权。”他的态度很诚恳。我接受了，但我知道，我已经永远离开了计算机行业。第2章神经网络1986年1月，当我进入加州大学伯克利分校工作时，做的第一件事是梳理智能和大脑功能方面相关理论的发展历史。我阅读了由解剖学家、生理学家、哲学家、语言学家、计算机科学家和心理学家所撰写的数百篇论文。许多不同领域的人撰写了大量有关思维和智能的文章，而且每个领域都有一套自己的期刊，各自使用自己的术语。我发现他们的描述既不一致也不完整。语言学家用诸如“句法”和“语义”之类的术语谈论智能，

31、因为对他们而言，大脑和智能都与语言有关；视觉科学家采用的是2D、2.5D和3D草图，因为在他们看来，大脑和智能都与视觉模式识别有关；计算机科学家则谈论模型和框架，这是他们为了表达知识而创造的新术语。这些人都没有谈及大脑的结构，以及大脑是如何实现这些理论的。虽然解剖学家和神经生理学家撰写了大量有关大脑结构及神经元行为的文章，但他们大多未曾尝试去研究并推导更为普适的理论。不同的实验方法以及由此产生的大量数据，理解起来不仅非常困难，而且令人沮丧。大约就在此时，一种全新的有关智能机器的发展思路崭露头角，并且颇有前景。自20世纪60年代末以来，神经网络就以某种形式出现了，但就研究机构获得的资金与人才而言

32、，神经网络和人工智能存在竞争关系。“重达800磅的大猩猩”(B人工智能明显比神经网络研究更受人们的追捧。神经网络研究人员被列入黑名单，长达数年无法获得资助。不过，仍有少数人在继续思考这一方向，直到20世纪80年代中期，他们才终于守得云开见月明。很难确切解释为什么大家突然对神经网络产生了兴趣，但毫无疑问，其中一个促成因素是人工智能技术的发展持续遭遇失败。人们设法寻找人工智能的替代品，并在人工神经网络中找到了一种。神经网络是对人工智能方法的真正改进，因为神经网络的体系结构基于真实的神经系统，不过非常松散。神经网络研究人员，也被称为连接主义者，他们并不热衷于计算机编程，而是渴望研究神经元相互连接后形

33、成的整体所展现的行为。大脑由神经元构成，因而大脑就是一个神经网络。连接主义者希望通过研究神经元之间的相互作用，清楚地了解智能难以捉摸的特性，并通过复制神经元群之间的正确连接来解决人工智能无法解决的一些问题。神经网络与计算机的不同之处在于，它没有CPU,也不会将信息存储在集中式存储器中。神经网络的知识和记忆分布在整个连接中，就像真正的大脑一样。从表面上看，神经网络似乎与我的兴趣非常契合，但我很快对这个领域的研究感到失望。当时我认为，对于理解大脑而言，有必不可少的三大准则。第一准则是，考虑大脑的功能时需要包括时间因素。真正的大脑能够处理快速变化的庞大信息流，而这种通过大脑的信息流完全是动态的。第二

34、准则是反馈的重要性。神经解剖学家早已发现，大脑内部充满了反馈连接。比方说，在新皮质和在大脑中位置比较靠下的丘脑之间的连接回路中，反向连接（即通向输入）的数量几乎经常是正向连接数量的10倍！这就意味着，每有一根向前传递信息进入新皮质的神经纤维，就会有10根从新皮质反向将信息传递回感官的神经纤维。同时，反馈也控制着整个新皮质的大多数连接。虽然反馈的确切用途还不为人所知，但从已发表的研究成果来看，它确实广泛存在。综上所述，我认为反馈是至关重要的。第三准则是，任何一个关于大脑的理论或模型都应该能够解释大脑的物理结构。就像后文中提到的那样，新皮质不是一个简单的结构，而是由一个不断重复的层次结构组成的。任

35、何一个没有体现这种结构的神经网络，肯定不会像大脑那样工作。很可惜，虽然神经网络研究呈爆炸式增长，但大多数研究都止步于一些极其简化的模型，而这些模型都无法满足上述三大准则。大多数神经网络主要是由少量神经元组成的三层网络。第一层神经元被用来表示输入模式；然后，这些输入神经元会被连到第二层神经元，即隐藏层神经元；随后，隐藏层神经元被连到了第三层的输出层神经元。神经元之间的连接具有不同强度。根据连接强度的不同，一个神经元的激活会促进另一个神经元的激活，但可能会抑制第三个神经元的激活。因此通过改变这些连接强度，神经网络可以学会将输入模式映射到输出模式。这些简陋的神经网络只处理静态的输入模式，不会做出任何

36、反馈，结构上也完全不像人脑中的神经网络。有一种最常见的神经网络叫“反向传播“网络。这种网络通过将错误信号从输出层反向传播回输入层来学习。你可能认为这应该算一种反馈，但其实不是。首先，虽然“反向传播，网络在学习时，会发生错误信息的反向传播，但是当网络经过训练能够正常工作时，信息传播就只有一个方向了，即从输入层到输出层。其次，这些简单神经网络不具备时间的概念。它们只是将静态的输入转变为静态的输出。因此，在这些网络内部不存在任何历史记录，哪怕是刚发生不久的事情。最后，与大脑中那些复杂的层次结构相比，这些神经网络的架构还是显得微不足道。我以为该领域内的研究会很快转向更为真实的网络，但这种情况并没有发生

37、。由于这些简单的神经网络的应用场景已经有很多，整体研究反而停滞了很多年，并未取得进展。随着这样一种全新又有趣的工具的诞生，一夜之间，成千上万的科学家、工程师和学生可以据此申请研究经费，获得博士学位，出版关于神经网络的书籍。人们忙于创办各种公司，利用神经网络来预测股市、处理贷款申请、核实签名，以及监测其他上百种关于模式分类的应用。也许神经网络的创造者怀有更宏伟的目标，但是这个领域被另一批人主宰了，而这些人对于理解大脑工作原理及智能并没有兴趣。大众媒体并不太了解这种区别。报纸、杂志和电视科学节目将神经网络描述为“类脑”，或者将其称为“按照与大脑相同的原理”工作。与必须对所有程序进行编程的人工智能不

38、同，神经网络通过样例学习，在某种程度上似乎更智能。NetTaIk就是一个经典案例，它学会了将字母序列映射到语音中。用印刷文本训练神经网络，听起来就像是计算机在朗读单词。不难想象，假以时日，神经网络就能与人类对话。各大官方媒体报道都错误地将NetTaIk称为一种学习如何朗读的机器。NetTalk是一个很棒的案例，但它的实际功能微不足道。它无法阅读，也不能理解，几乎没有实用价值。它只是将字母组合与预定义的声音模式匹配起来。关于神经网络和大脑的区别，请让我打个比方。我们先不去想大脑是如何工作的，而是看看计算机是如何工作的。经过多年研究，我们发现，计算机里的部件都由晶体管组成。数亿个晶体管精准而复杂地

39、连接在一起，但我们并不理解计算机是如何工作的，晶体管又为何以这种形式连接。因此，有一天我们决定只连接少数晶体管，想看看会发生什么。我们没有想到，虽然只有3根晶体管，但以某种形式连接时，它们就变成了一个放大器：一端的一个信号传输到另一端时被扩大了。收音机和电视里的扩音器就是以这种形式的晶体管组成的。这项发现十分重要，一夜之间，一个新兴产业就出现了，人们纷纷利用晶体管的这种信号放大效应制造晶体管收音机、电视和其他一些电子设备。这虽然也不错，但我们还是不知道计算机是如何工作的。尽管扩音器和计算机都由晶体管组成，但它们之间并无共同点。同理，大脑和一个三层神经网络虽然都由神经元构成，但它们也毫无共同点。

40、1987年夏天，有件事情进一步浇灭了我对神经网络的热情。我参加了一次神经网络会议，听了一家名叫NeStOr的公司相关人员的演讲。该公司试图出售一种神经网络应用程序，用于识别便笺簿上的笔迹。他们公司给该程序定价100万美元。这引起了我的注意。尽管NeStOr公司宣传他们的神经网络算法有多么高超，将它视为又一项重大突破，但我认为可以用更简单传统的方式识别笔迹。那晚回家后，我开始思考这个问题。两天后，我就设计出一款笔迹识别器，它识别速度很快，尺寸小巧，功能灵活。我的方案没有使用神经网络，也没有像大脑那样工作。尽管受那次会议的启发，我打算设计一种带手写功能的计算机，并最终在10年后产生了PalmPil

41、ot,但它也使我确信：神经网络相较于传统方法，并无多大改进。我创建的笔迹识别器最终成为涂鸦（GraffIti）文本输入系统的基础，这套系统用于首批PaIm产品。我觉得NeStOr公司离倒闭不远了。对简单神经网络的介绍就到这里。它们的大多数功能都可以通过其他方法轻松处理，最终媒体也不再报道了。至少，神经网络研究人员并没有声称他们的模型是智能的。毕竟，它们就是非常简单的网络，无法媲美人工智能程序。我不想给你留下所有神经网络都是简单的三层这种印象，一些研究人员一直在研究不同类型的神经网络。如今，“神经网络”一词用于描述各种模型，其中一些模型的特点在生物学上更符合这个词的本义，另一些则不尽然，但几乎没

42、有人尝试了解新皮质的整体功能或结构。我认为，大多数神经网络最基本的问题是它们与人工智能程序所共有的特征。两者都因为过于关注行为而承受着不可衡量的损失。无论将这些行为称为“答案”、“模式”还是“输出”，人工智能和神经网络都是在假定智能就是程序或神经网络在处理给定输入后产生的行为。计算机程序或神经网络的最重要属性是它提供正确的还是所需的输出。受图灵启发，神经网络的研究人员认为智能就等于行为。但智能不仅是要在行为或表现上体现的问题。行为是智能的体现，但不是智能的核心特征或基本定义。只要稍加思考，你便能明白这一点：你足够智能，可以躺在黑暗中思考和理解。忽略大脑中发生的事情，只将注意力集中在行为上，已经

43、成为理解智能和构建智能机器的一大障碍。自联想记忆在探索关于智能的新定义之前，我想先介绍另一项连接主义研究，该研究在描述大脑如何工作方面与大脑的实际情况非常接近。但问题是，很少有人意识到这项研究的重要性。当神经网络大出风头时，有一小部分神经网络理论家创造了一些并不关注行为的网络，并称之为自联想记忆(auto-associativememory)。这些网络也由简单的神经元构成。神经元之间互相连接，并在达到一定阈值时被激活。不同的是，这些连接包括了许多反馈。比起反向传播网络只是把信息向前传递，自联想记忆会把每一个神经元的输出反馈给输入，就好像自己给自己打电话一样。这样的反馈回路导致出现了一些有趣的特

44、性。当一种行为模式应用于这些人工神经元时，它们会对这种模式形成记忆，同时，网络会把模式与这些记忆自动关联。这也是他们被称作“自联想记忆”的原因。这样一种连接方式可能第一眼看起来特别荒唐。为了从记忆里检索一种模式，你必须提供你想要检索的模式。这就好像你去水果店买一串香蕉，店主问你如何支付时，你说用香蕉支付。你可能会问，这样做有什么意义呢？但是自联想记忆确实存在几项重要特性，而这些特性也存在于真实的大脑中。第一个重要的特性就是，你无须使用完整的模式进行检索，只使用这个模式的一部分，或者是被打乱的模式即可。即便你在检索时使用的是一个被弄得一团糟的模式，自联想网络也可以用它检索出正确的模式，就像最初储

45、存时那样。这就好像你去水果店用已经吃了一半的、快烂掉的棕色香蕉，换回一个完整的青色香蕉；或者好像你去银行拿着一张无法辨认的残币，然后收银员对你说：“这看起来是一张破损的100元纸币。把它给我，我给你换张新的。”第二个重要特性是，与其他神经网络不同，自联想记忆可以用来记忆一个模式序列，或者是时间模式(temporalpattern)。这个功能可以通过在反馈上加入时间延迟来实现。通过这个延迟，你可以给自联想记忆呈现一个模式的序列，它可以记住这个序列。以一段旋律为例，我先输入“一闪一闪亮晶晶”的前几个音符，然后自联想记忆就可以返回整首歌。即使只输入一部分序列，自联想记忆也可以找回剩余部分。我们之后也

46、会看到，这就是人类学习所有事物的方式。我认为大脑也使用了类似自联想记忆的连接方式来实现这点。自联想记忆暗示了反馈和时变输入的潜在重要性，但大多数研究人工智能、神经网络以及认知行为的科学家都忽视了它们。就整体而言，神经科学家并没有做得更好。他们也很了解反馈，因为他们就是发现反馈的人，但大多数人没有形成或发展相关理论，来解释为什么大脑需要这么多反馈，只是在模糊地谈论“阶段”和“调制在他们提出的关于大脑整体功能的多数想法中，并没有考虑时间的作用或考虑得不够充分。他们倾向于根据事情发生的地点来绘制大脑图表，而不看随着时间的推移，神经激发模式何时会相互影响，以及以何种方式相互影响。当然，这种偏见部分源自

47、当前实验技术的局限性。20世纪90年代又被称为“脑研究的黄金十年”，功能成像技术是当时最热门的一项发明之一。功能成像机器可以拍摄人类大脑活动的照片，但无法捕捉快速的变化。因此，科学家要求被试一遍又一遍专注地执行一项任务，就好像要求他们在拍照时一动不动一样，只不过此时拍摄的是心理照片。结果，科学家掌握了大量数据，弄清了在执行某些任务时，相应的活动发生在大脑的哪些区域，而关于真实的随时间变化的输入如何流经大脑的数据却很少。功能成像可以明确在特定时刻，当事情发生时相应的大脑活动发生在大脑中的哪个位置，但不易捕捉大脑活动是怎样随时间变化的。虽然科学家也想收集这些数据，但他们缺乏优秀的技术手段。因此，许

48、多主流的认知神经科学家继续相信“从输入到输出”的谬论。固定一种输入，然后看会得到何种输出。新皮质的连接图一般按照这样一种流程来展示：从初级感觉区开始，也就是从视觉、听觉、触觉等输入的地方开始，向上流入更高级的分析、规划、运动等区域，再将指令下达给肌肉。先感知，后行动。我并非想暗示每个人都忽略了时间和反馈。这个领域如此广阔，几乎每个理论都有它的拥护者。近年来，人们越来越相信反馈、时间和预测的重要性。但多年来，人工智能和经典神经网络所受到的热烈追捧，使得其他方法都被抑制和低估了。行为决定了智能吗无论是智能领域外行还是专家，都认为行为决定了智能。这一点并不难理解。至少几个世纪以来，人们一直将大脑的能

49、力比作发条，接着又将其比作泵和管道，然后是蒸汽机，后来又比作计算机。从艾萨克阿西莫夫(IsaacAsimov)提出的机器人学三定律，到星球大战StarWars)系列影片中的机器人C3PO,几十年来，科幻小说中充斥着人工智能的理念。让智能机器做事的想法在我们的想象中根深蒂固。所有机器，无论是人类制造的还是人类想象出来的，都是为了完成某件事而设计的。我们没有会思考的机器，有的只是会行动的机器。即便是观察人类同胞，我们也会关注他们的行为，而不是探究他们潜藏的想法。因此，从直觉上看，智能行为似乎应该是智能系统的度量标准。然而，纵观科学史，直觉往往是发现真相的最大障碍。科学框架通常很难被发现，并非因为它们很复杂，而是因为人们容易受直觉影响，从而做出一些不正确的假设，进而无法看到正确的答案。在哥白尼提出日心说之前，当时的天文学家错误地认为地球处于宇宙中心，静止不动。因为从感觉上讲，情况就是这样的。从直觉上说，