文 | superkai

一个刁钻的角度，从暴雪游戏风暴英雄来看波音737MAX8空难事件，你会恍然大悟，更能挖掘出诸多关于人工智能潜在的安全隐患问题。

3月10日，一架埃塞俄比亚航空公司的波音737 MAX 8客机坠毁，机上157人全部罹难。而在5个月前，2018年10月29日，已有一架载有189名乘客和机组人员的印尼狮子航空公司同型号客机坠毁。

由于两者的相似性，中国民航局第一时间要求国内航空公司停飞波音737 MAX 8，随后各国纷纷跟进。在埃塞俄比亚航空坠毁的客机残骸中找到的线索，还有卫星网捕捉到的客机飞行轨迹，均表明事故与印尼狮航失事客机存在类似问题，本来不愿停飞波音737 MAX 8的美国态度突然转变，也加入了停飞波音737 MAX系列客机的行列。

可靠的推测是，波音737 MAX 8客机的飞行控制系统出了问题。具体可能为防止飞机失速的机动特性增强系统MCAS（Maneuvering Characteristics Augmentation System）因传感器故障误以为飞机失速自动接管飞机强制飞机向下俯冲，导致惨剧发生。

关于事故原因，大家关注的问题是，MCAS系统的权限很高，如果没有被关闭，能直接控制飞机，因传感器故障执行错误的操作时会跟人工操纵作对争夺对飞机的控制权，从而展开“人机大战”，最终导致机毁人亡。

智能系统如何会跟人类争夺控制权，发生“人机大战”，有人可能会有疑问，有一个方法可以亲身体会到“人机大战”这种憋屈，那就是去玩暴雪的游戏风暴英雄。

在暴雪公司的MOBA游戏风暴英雄中，有一个合作模式，可以让玩家跟由电脑控制的敌方队伍对战。在这个模式还可以选择电脑队友，组建一支玩家跟由电脑控制的队友混搭的队伍游戏。另外，游戏进行中如有玩家掉线或因其它原因离开游戏，本来由玩家控制的英雄便会换成由电脑来控制，以保证游戏继续进行。

由AI控制角色是游戏不可或缺的一个重要功能。那么，玩家跟由电脑控制的队友混搭的队伍的“人机协作”如何呢？其实也有“人机协作”变“人机大战”的惨剧发生。

风暴英雄今年重建开发团队之后对游戏发布了一个升级补丁，其中的一项升级依说明就是对AI的优化，实际结果却是“负优化”，本来之前游戏中AI的行为尚可，出了新补丁之后AI一下子变得非常“弱智”，行为不可理喻。之后暴雪对AI进行了一些修复，但至今仍未回到AI崩坏之前的水平。

我们已经习惯了Windows系统不断升级不断出新漏洞不断打补丁，但始终会有新问题出现。波音公司也即将对MCAS系统进行升级，但愿能彻底解决客机的安全问题，毕竟一旦出问题很可能会关系到飞机上一百多人的生命安全。

由于飞机的设计问题，波音新增了一个MCAS系统，这个系统正是两起空难的根源。为什么会出现这样的问题，在暴雪的游戏风暴英雄中可以得到解答。

①人工智能必然越来越要求更多权限，越来越自作聪明

在游戏风暴英雄中，玩家可以通过快捷键向由电脑控制的队友下达各种指示。在早期版本中，玩家是叫电脑队友干什么电脑队友就干什么。但是随着版本更新，电脑队友变得越来越不听话，经常无视玩家的指示自行其是。

毕竟我们想要的是机器人而不是木头人，木头人是主人叫做什么就做什么技术成分不高，设计者想要的是更智能的机器人。

在一方面，这种改变看似是进步的。比如说，早期版本，玩家命令电脑队友攻击野怪，所有电脑队友无论距离多远、正在做什么事都会赶过来，有时这种行为是一种不合理的耗费。而在现在的版本，玩家命令电脑队友攻击野怪，电脑队友未必会响应玩家的命令，如果相隔太远，或者正在做什么AI认为更重要的事，AI会对玩家的命令不理不睬。

但在另一方面，这种改变同时带来了新的问题。比如说，现在玩家想将所有电脑队友都叫来一起打野怪中的首领，但很难凑齐人，总有AI不愿意听话，继续做自以为更恰当的事情。

AI认定地图机制的优先级高于打野怪，一旦地图机制出现，AI便会放弃打野怪的任务赶去事件发生地点，就算野怪已经被打剩一丝血尽可以打完野怪再赶去，这种情况下无论玩家怎样再下命令让AI打野怪AI也不会听你的，就算玩家明知现在这样的阵容抢地图机制肯定抢不过AI还是会试图赶去事件发生地点。诸如此类，有很多肯定错误的行动，AI坚持要去做，而拒不服从玩家正确的指令。

人工智能设计者总是试图设计出比人类更聪明的人工智能，给人工智能行动的优先级比人工控制更高。这样会带来很多问题。

想想看，家里请来一个保姆是怎样的情形？如果不是钟点工，你得给保姆家门钥匙，也就是系统权限。你不在家的时候，家里发生什么事，你总不能要求保姆先打电话向你请示过才去做吧，你得给保姆一定的自主权。

再进一步，你的保姆常常会觉得自己比你更懂怎样做家务，就算是你花钱请保姆来干活的，保姆也未必每一件事都听你的。有时候保姆会违背你的意志自以为是地做事情，让你很抓狂。

就是这样的，人工智能设计者并不信任人类，认为人类是有缺陷的，人工智能应该能比人类做得更好。人工智能设计者给予人工智能比人类更高的权限优先级。这是一切问题的根源。

波音空难事件也是这样。波音公司更信任他们的自动控制系统，给予了自动控制系统比人类更高优先级的控制权限。

别忘了，人类才是人工智能的领导者，人工智能归根到底是服务于人类的。人类更喜欢自己来做决定，将生死大权抓在自己手上，这样，出了事故也能将责任归咎于某一个人身上，而非冰冷的机器。人工智能的设计原则，应该是人类优先才对。

②统一的人工智能系统比多个分散独立的人工智能系统更好控制

在遭遇复杂的情况下，这时很难找到一种绝对正确的处理方法。就像行军打仗，没有绝对可行的制胜之道。就像玩风暴英雄，也没有稳赢的打法。或者就像带小孩，特别是什么事都能干出来的熊孩子，一样没有绝对正确的方法。很多时候唯有随机应变，因地制宜。而且每一种处理方法各有利弊，需要权衡。

跟人一样，人工智能做决策永远不断会有新的平衡问题出现，尤其是复杂的机器、系统，遇到复杂的情况。平衡搞不好，就会顾此失彼。

触发器满足条件立即触发是原罪。波音737 MAX 8客机的MCAS系统有一个缺陷，就是只要有一个传感器的数据出现异常便马上进行处理做出操作。而空客类似的保护系统需要两个或三个传感器同时报警，以防误报情况发生。

在复杂的情况下，需要综合各方面数据，才能作出恰当的处理。但是，无论在什么领域中的应用，在程序设计上，程序员通常都是设计成设置好触发器之后一旦满足条件立即触发操作，这样的程序简单直接，但有致命的硬伤。

当有某个触发器接收到的数据有错误时，程序马上作出的错误操作，有可能是无法挽回的致命错误。譬如波音空难。

另外，通常情况下，程序中会有多个触发器，当有多个任务同时进行，同时触发多个触发器作出操作时，就会彼此矛盾。

暴雪游戏风暴英雄中AI的行为便是明眼可见很好的例子。在游戏中，经常会看到电脑控制的英雄傻乎乎地原地打转。这是为什么？

就是因为上面所说的，多个任务同时进行同时触发多个触发器作出操作造成彼此矛盾。AI接收到A事件打算赶往A地点，而同时又接收到B事件打算赶往B地点，两个触发器不断触发彼此矛盾的操作，AI并不会作出唯一的选择，而是就只会在两个选择中不断循环，结果什么都做不了。

直至某一个事件结束，AI终于不用作出选择了，这时才会去做另一事件，如A事件结束AI就做B事件，或B事件结束AI去做A事件。

就好像，小明的爸爸叫小明扫地，小明的妈妈叫小明去买酱油，傻乎乎的小明准备扫地时突然想到要买酱油就赶紧跑出家门，但出了家门又猛然想起要扫地紧忙又跑回家里，回到家门又想起要买酱油……如此如此，这般这般，陷入了无限的死循环。直至妈妈把扫地这活干完了，小明不用扫地了，这才安心出门去买酱油；或者爸爸把酱油买了，小明就老老实实地在家扫地了。

同时进行的事件总有轻重。比如说，小明想在家扫地，但这时突然发生地震，得赶紧跑出家门逃命。在AI程序设计上常常会见到这样的低级错误：地震发生后小明马上跑出家门，但一离开家小明又想到要扫地于是又回去了，刚一进家门又意识到地震了得赶紧跑出去逃命啊，于是小明就在家门口不断进进出出，无限循环下去，结果被地震震死了……

在风暴英雄游戏中这种情况可不少。当核心被攻击时，在外面的AI死活就是不回城救援，结果核心被爆游戏也就输了。其实AI并不是完全没有意识到要回去，而是当AI想要回城的时候，同时又有别的事件发生，打断了AI的回城，AI又去做别的事情了，这就是典型的捡芝麻丢西瓜。

AI并不是坚决不回城，而是在犹犹豫豫中始终无法作出回城的决心。

不恰当的AI程序设计，很容易陷入捡芝麻丢西瓜、捡西瓜丢芝麻这样不断的死循环中。需要有一个决策的大脑，综合各项情况作出恰当的抉择。

从另一方面来看，也就是必然需要一个统一的人工智能系统，而非多个分散独立的人工智能系统。

波音737 MAX 8客机的一个症结所在，就在于MCAS系统是独立于自动驾驶系统之外的。由于传感器的数据出现错误，MCAS系统将机头往下压，就算距离地面只有一米了还死不悔改。

如果MCAS系统是从属于主自动驾驶系统的，自动驾驶系统可以综合飞机各项数据分析，找到某项数据跟另一项数据存在的矛盾，处理方面的策略稳妥一些，就不会死脑筋一味向下俯冲导致坠机惨剧发生了。

③人工智能如何正确理解人类的意图是一个永远的难题

复杂的机器，完全由人工操纵是不可能的。人机协作是必需的。在人机协作中，必然要求人工智能正确理解人类的真实意图。

比如说，飞机在飞行过程中，正面有一个障碍物体出现，这时飞机可以向上飞绕开，也可以向下、向左或向右，这些选择都可以，但如果驾驶员想向上闪避，而人工智能想向下闪避，两者造成了冲突，什么都干不了，眼睁睁看着飞机撞上去造成惨剧发生，这是不行的。

机师想拉升飞机，MCAS系统却想将飞机往下压，这样的事故不应发生。

在实际应用中，应该给予人类操纵者最高的权限，人工智能的地位不能凌驾于人类之上越权操作。人工智能毕竟不是真人，要想人工智能绝对正确地理解人类的意图是不可能的，解决方法就是人类拥有最高领导权。

也可以这样理解，你家的保姆不可能完全明白你的需求，你家的最高权限得在你手里，你不准保姆做的事保姆可不能擅自行动，可否明白？

人机协作的过程中，如果人工智能不能正确理解人类的意图，两者之间的配合出现问题，有时还不如完全由人工智能控制的效果。

这在风暴英雄中得到了很好的印证。在合作模式中，玩家选择电脑队友组建一支玩家跟由电脑控制的队友混搭的队伍跟由完全电脑控制的敌方队伍对战时，会遭遇很多这样的问题。

比如说，地图机制发生时，如果电脑控制的敌方队伍先一步到达事件地点，己方的AI很可能就死活不愿前往事件地点了。这种诡异的现象，究竟是因何导致？

是这样的，电脑队友并不能确定玩家是否前往事件地点，事件地点已经有了对面5个AI了，己方4个AI各自一盘算，4个AI是打不过5个AI的，就放弃前往事件地点了。

己方4个AI是有着各自的独立灵魂的，常常有的AI试图前往事件地点，而有的AI已经放弃前往事件地点，兵力无法集结，寡不敌众，于是乎当然干不过对面5个AI啦，打的话只能是一个个去送死。而对面5个AI，因为是完全由AI控制的角色，却能达成一致，统一向事件地点运动，在团战中获利。

还有这样的情况，纵然玩家尽快或提前赶到事件地点，跟己方4个AI汇合，这时对面5个AI赶到，团战开始，玩家为了躲技能往后闪避了一下，己方4个AI马上自作聪明以为玩家要撤退了，都跟着往后逃跑了，于是乎，团战崩盘了。

可以看到，玩家要想在抢地图机制时抢赢对面5个AI，须要在地图机制发生之前提早抵达事件地点，或者在地图机制发生时比对面5个AI提前一步来到事件地点，同时别忘了发指令命令电脑队友前往事件地点，在接战时尽量不要为了躲技能往后闪避，这样才有赢面。

所以说，一定要有一个统一的人工智能系统，不能是多个分散独立的人工智能系统，波音737 MAX 8客机独立于自动驾驶系统的MCAS系统就是祸根。人工智能永远不可能正确理解人类的真实意图，在人机协作的过程中，人类需要享有绝对的最高控制权，人类才是领导者。