表现力的机器,我们所身处的现实——即所有为我们所依赖的基本逻辑与模型——便不会发生严重的更改和动摇。我们的历史线在整体上也是连贯而稳定的,局部的错乱会被迅速地修整与导正,以确保那些真正重要的成果不会丧失。
许多重要的工作在此前提下得以展开。所有现存许愿机都被要求尝试过那些最被期望实现的指令,比如在现阶段暂时被我们认为是最高目标的那一个:通俗地说,就是要令世间一切种族与生命获得永恒的、不可剥夺的健康与幸福(当然,我们在实际操作层面并不是直接对许愿机这样要求的。正如前文所强调的,用未经严格定义的自然语言发布如此影响广泛的指令极可能会——目前的实践结果几乎是百分百会——造成灾难性的后果。没有严格定义意味着给许愿机过多的自主理解空间,而几乎所有种类的许愿机在面对“伟大愿景”时都似乎有一种共同倾向,它们在未受约束时选取的最简单方案通常是:消灭指令发布人,以及指令内容中所涉及的全部主体。
我们当然不能让这些思考逻辑独特的机器们胡搅一气,但这的确是个既引起巨大迷惑,同时又非常令人沮丧的事实。似乎无论我们用什么形式的许愿机来执行,用任何一种文明曾使用过,正在使用,或预备使用的自然语言来索取永生,它们提供的第一解决都完完全全是指令的相反意思:死亡(除非我们事先限定不允许它们采取这种方案。这究竟是基于何种机制而引起的反馈?这是否是在说,即便是这些被我们认为通往无限的机器,实际上在意识与生命问题上也并非真的全能?它们的反应是一种运行错误后的处理机制?“恼羞成怒”?这是可能的,但迄今以来,没有任何一台机器承认这点——我们的确试过对每一台注册过的机器进行了相关条件的预验证,我们询问它们假设提出这个愿望,它们是否会因不可实现而输出错误的结果,而,所有的机器都给予相同的反馈:它们能实现这个愿望,并且也不会输出错误的结果。那似乎是在说,在许愿机的思考逻辑中看来,“永生”与“福利最大化”都是“死亡”的同义词。
用自然语言来描绘“伟大愿景”是失败的,但迄今为止,通过机器语言来进行严格定义的尝试也仍未获得太大的进展。许愿机们仍然倾向于消灭许愿者,就好像这正是指令本身的意思。事情在此陷入了困局,因为生与死的差异是不言自明的,任何一个心智复杂到足以钻研许愿机问题的文明都能分辨出这两个概念是多么不同。如果许愿机的反应暗示着它们在本质上是一回事,这结论背后代表的事实已不可理喻,完全超出理解,或至少,将令我们彻底的绝对的难堪。它仿佛是我们自身无意义性的铁证,因而这一结论是我们最不愿意去做的。(从另一个方面来说,如果它是真的,那我们去考虑它似乎也就毫无意义了。
尽管这个本质问题的阴影仍如灭性星尘的迷雾般缭绕在所有许愿机研究者的思维里,在现阶段,读者们不必把它当作一个严重到足以影响生活的问题(当然我们知道大部分读者本来也不会这么做。截止到当前阶段,我们所找到的对于“伟大愿景”与实际结果间的矛盾的最广为接纳的解释是:这是一个停留在词汇定义层面的问题。我们未能真正地正确地定义“永生”或“永恒幸福”——那也同样可以说我们没能正确地定义“死亡”。
当许愿机从我们这里接收到指令时,它并不真正知道那维持存在的渴望是什么,而把它变成了一种形式上的诡辩。如果我们说生命就是持续活动,它就让尸体活动,如果我们说生命就是持续思考,它就在杀死我们以前把我们的神经系统引入一个逻辑死循环。可是,如果我们仔细地思考这件事,就不得不承认我们并没把定义真正地讲清楚,因为就连我们自己也尚不完全清楚一切。这并不意味着我们在其他指令词汇上就毫无问题,如果以同样严格的标准来考究我们当前所运用的一切定义,它们同样可以被吹毛求疵。奇怪的是,大部分时候许愿机都显得十分“宽容”,它>> --