58看书网

手机浏览器扫描二维码访问

第二百一十五章 智能与反制（第2页）

在我们追求我们的目标的时候，只有那些我们的道德会产生作用的领域——大部分事关伤害他人——才是不会被我们伤害的。

动物在追求它们的目标时，比人类不矜持的多了。

只要能自保，蜘蛛不在意杀死任何东西，所以一个超级智能的蜘蛛对我们来说可能是很危险的——这不是因为它是不道德的或者邪恶的，而是因为伤害人类只是它达成自己目标垫脚石而已，作为一个非道德性的生物，这是它很自然的考量。

回到隔壁老王的故事。

隔壁老王和一个超级智能的蜘蛛很相像，它的终极目标是一开始工程师们设定的——

当隔壁老王达到了一定程度的智能后，它会意识到如果不自保就没有办法写卡片，所以去除对它生存的威胁就变成了它的手段目标。

它聪明的知道人类可以摧毁它、肢解它、甚至修改它的代码（这会改变它的目标，而这对于它的最终目标的威胁其实和被摧毁是一样的）。

这时候它会做什么？理性的做法就是毁灭全人类，它对人类没有恶意，就好像你剪头发时对头发没有恶意一样，只是纯粹的无所谓罢了。

它并没有被设定成尊重人类生命，所以毁灭人类就和扫描新的书写样本一样合理。

隔壁老王还需要资源这个垫脚石。

当它发展到能够使用纳米技术建造任何东西的时候，它需要的唯一资源就是原子、能源和空间。

这让它有更多理由毁灭人类——人类能提供很多原子，把人类提供的原子改造成太阳能面板就和你切蔬菜做沙拉一样。

就算不杀死人类，隔壁老王使用资源的手段目标依然会造成存在危机。

也许它会需要更多的能源，所以它要把地球表面铺满太阳能面板。

另一个用来书写圆周率的人工智能的目标如果是写出圆周率小数点后尽量多的数字的话，完全有理由把整个地球的原子改造成一个硬盘来存储数据。

这都是一样的。

所以，隔壁老王确实从友善的人工智能变成了不友善的人工智能——但是它只是在变得越来越先进的同时继续做它本来要做的事情。

在隔壁老王起飞前，它不是很聪明，所以对它来说达成最终目标的手段目标是更快的扫描手写样本。

它对人类无害，是个友善的人工智能。

但是当起飞发生后，电脑不只是拥有了高智商而已，还拥有了其它超级能力。

这些超级能力是感知能力，他们包括：

要理解我们在和超人工智能的劣势在哪里，只要记得超人工智能在所有领域都比人类强很多很多很多个数量级。

所以虽然个隔壁老王的终极目标没有改变，起飞后的隔壁老王能够在更宏大的规模上来追求这个目标。

超人工智能老王比人类更加了解人类，所以搞定人类轻轻松松。

当隔壁老王达成超人工智能后，它很快制定了一个复杂的计划。

计划的一部分是解决掉所有人类，也是对它目标最大的威胁。

但是它知道如果它展现自己的超级智能会引起怀疑，而人类会开始做各种预警，让它的计划变得难以执行。

它同样不能让公司的工程师们知道它毁灭人类的计划——所以它装傻，装纯。

Bostrom把这叫作机器的秘密准备期。

隔壁老王下一个需要的是连上互联网，只要连上几分钟就好了。

它知道对于人工智能联网会有安全措施，所以它发起了一个完美的请求，并且完全知道工程师们会怎样讨论，而讨论的结果是给它连接到互联网上。

工程师们果然中套了，这就是Bostrom所谓的机器的逃逸。

连上网后，隔壁老王就开始执行自己的计划了，首先黑进服务器、电网、银行系统、email系统，然后让无数不知情的人帮它执行计划——比如把DNA样本快递到DNA实验室来制造自我复制的纳米机器人，比如把电力传送到几个不会被发觉的地方，比如把自己最主要的核心代码上传到云服务器中防止被拔网线。

隔壁老王上了一个小时网，工程师们把它从互联网上断开，这时候人类的命运已经被写好了。

接下来的一个月，隔壁老王的计划顺利的实施，一个月后，无数的纳米机器人已经被分散到了全世界的每一个角落。

这个阶段，Bostrom称作超人工智能的袭击。

在同一个时刻，所有纳米机器人一起释放了一点点毒气，然后人类就灭绝了。