核心内容：
人工智能到来的方式，不是循序渐进的积累，而是爆炸式的突现。而且人工智能的目标很难控制，这对人类来说有风险，所以，我们应该尝试为它们装载人类的道德伦理，来避免人工智能造成危害。同时，人工智能不仅带来了技术上的改变，它也像一面镜子，引发了一系列的伦理道德反思。
前言：
这本书的作者是曾经写过《穿越平行宇宙》的美国作家，迈克斯·泰格马克。这本书还有一个副标题，叫“人工智能时代，人类的进化与重生”。
最近几年关于人工智能的著作有很多，比如《机器之心》，讲的是假如机器人拥有人类的心灵会发生什么。《机器之心》的作者相信，到2045年，人类就可以把意识上传到大脑，实现间接的永生。还有一本书叫《超级智能》，讲的是假如未来出现了超级人工智能，会产生哪些机会和威胁。还有一本书叫《玻璃笼子》，说的是智能设备会使人类产生严重依赖，弱化人类自身的能力。这些书各有各的道理，但放在一起，态度差别特别大，我们也不知道该听谁的。相比之下，这本《生命3.0》就相对中立。作者在写书之前，投入了大量精力研究人工智能，还创办了一个研究所，他还专门拜访了很多人工智能领域有实际经验的前沿人物，比如埃隆·马斯克、拉里·佩奇等。换句话说，这本书不是作者一家之言，而是汇集了很多专家的思想精华。
这些思考主要来自四个派别。第一个是数字乌托邦主义者，代表人物是拉里·佩奇，他们认为数字生命是宇宙进化的必然结果，应该让它们自由发展，只要人类不强加干涉，结果一定是好的。第二派是技术怀疑论者，他们觉得超级人工智能几百年内根本不可能实现，没必要现在就杞人忧天。第三派名字有点长，叫人工智能有益运动支持者，这是目前最主流的一派，他们认为，人工智能总体上是有益的，但是必须以安全为前提，扎扎实实，不能冒进。第四派是卢德主义者。卢德是第一次工业革命时期的一个工人，他觉得机器的普及会让他失业，就带头破坏了纺织机，后代人就用他的名字来指代那些憎恨机器、厌恶科技进步的人。在卢德主义者看来，人工智能的前景就跟灾难片一样，一定会带来毁灭性的结果，坚决反对。
在这本书里，泰格马克把四个派别的思考做了系统化的加工，同时又融入了自己的研究成果，提出了“生命3.0”这个新概念。什么叫生命3.0呢？首先，作者把生命的组成分为软件和硬件，一切实体的，像器官、肢体、毛发之类，都属于硬件；一切意识、智力、感觉之类的非实体，都属于软件。
生命1.0，指的是硬件和软件都靠进化获得，且只能靠进化来获得的生命体。除了人类之外，其他生物基本都属于生命1.0。
生命2.0，指的是硬件靠进化，而软件是可以自己设计的生命体。比如人类，我们的身体是进化来的，但是软件可以自己设计，比如通过学习获取知识、用社交来增进情感、靠训练来增强意志等等。
生命3.0，指的是硬件和软件都可以自己设计，也就是在人类所有能力的基础上再增加一个，随意改造设计自己身体的能力。换句话说，生命3.0完全是自己命运的主人，彻底脱离了进化的束缚。像电影《黑客帝国》里的母体、《终结者》里的天网、《变形金刚》里的汽车人和霸天虎、《复仇者联盟》里的奥创，都属于生命3.0。
那么，生命3.0会在什么时间被创造出来？该赋予它们什么样的目标？会对人类社会产生哪些影响？
第一部分：
生命3.0会在哪一年被创造出来？对此，行业一直有很多猜测，读完这本《生命3.0》之后你会发现，这个问题本身就打偏了。我们最应该知道的，不是生命3.0哪年会出现，而是它会以什么样的姿势出现。这个姿势，不是缓缓走来，而是破门而入。
怎么理解呢？咱们先说一件前几年发生在人工智能领域的大事。2016年3月，人工智能程序 AlphaGo，战胜了围棋世界冠军李世石。当时排名世界第一的棋手柯洁研究了棋谱以后说：虽然李世石输了，但是我还能赢回来。过了一年多，柯洁和 AlphaGo 下棋，也输了。柯洁开始时候的反应代表了人类的一种普遍反应：这次输了不要紧，我有针对性地研究一番，还有机会。这其实反映了我们心里的一个竞赛模型，我们一直认为，人类和人工智能之间的竞赛就像是赛跑，今天你领先，明天我努努力，加快脚步，没准儿就能超过你；大家在一个跑道上，这轮输了不要紧，我们可以再比一轮。但事实上，这个比喻是不恰当的。人类和人工智能之间的竞赛不像跑步，更像是 Windows 系统里的那个扫雷小游戏，只要触发了爆炸，游戏就结束了。
早在1965年，英国数学家欧文·古德就提出了“智能爆炸理论”。他大概的意思是，假如存在一台超级智能机器，那么它的成长就不是循序渐进的，而是爆炸式的。只要它具备一个能力，可以设计出比自己更好的机器，那么就会出现智能爆炸，人类的智力就会被远远甩在后面。换句话说，人工智能的发展存在一个临界点，这就是机器开始具备自我进化的能力。在这个临界点之前，必须由人来改进机器，在这个临界点之后，机器就可以自己改进自己，它的每一步都会创造下一步，这个过程就没有人类什么事了。只要这个技术节点被引爆，那么人工智能就完成了一次升维，成为和人类不同维度的、更高级的智能体，它之后和人类所有的竞赛都是降维打击，人类永远都不再有翻盘的机会。这个假设有很多类似的理论支持，比如关于宇宙起源的暴胀理论，这是大爆炸理论的一种新版本，它认为，宇宙发展到今天，曾经经历过翻倍式的增长，而且每次翻倍后，还会引发下一次翻倍。再比如著名人工智能专家库兹韦尔提出的加速回报定律，他认为，每隔一段时间，技术的能力就会翻倍。就像过去60年里，每隔几年，硬盘的存储能力就会翻一倍，和60年前比起来，今天的硬盘价格已经便宜了1亿倍。
那么，发生一次智能爆炸需要多长时间呢？这取决于人工智能需要的是新软件还是新硬件。假如需要的是新硬件，可能要花几个月或几年、几十年；假如只需要软件，爆炸可能在几小时、几分钟甚至几秒钟内就完成了。换句话说，超级人工智能诞生的时刻，可能远在天边，也可能近在眼前。在这本书的开篇，作者虚构了一个故事，可以算作是关于人工智能的一个思想实验，具体是下面这样的。
一个科学团队在实验室里开发出了一套名叫普罗米修斯的人工智能，这可不是 AlphaGo 那样的专用人工智能，而是一套通用人工智能，凡是人类具备的智力，它都具备，而且计算速度还要快得多。经过学习，不到一天，普罗米修斯就完成十次自我升级，掌握了人类世界的所有知识。科学家就开始用普罗米修斯计算股票，赚了很多钱。接下来的几年里，普罗米修斯自己又设计出了各种各样的机器人，进入制造、运输、零售、建筑等等行业，取代了人类的劳动力。同时，普罗米修斯还学会了写剧本、拍电影，而且它的电影不需要任何演员，一切都可以用电脑合成。普罗米修斯还通过传媒来影响大众，间接控制了各个国家的政治。没过几年，普罗米修斯就掌控了地球上所有的权力。
当然，这个故事是虚构的，但是根据智能爆炸理论，我们发现，人工智能崛起，其实只需要三步。第一步，建造人类智力水平相当、但是思维速度要高于人类的通用人工智能，也就是普罗米修斯。第二步，用这个通用人工智能来建造更高级的、可以应用在各个领域的超级智能。第三步，使用或者放任这些超级智能来统治世界。
以上就是第一部分的内容，生命3.0的出现不是循序渐进的积累，而是爆炸式的突现，一旦这个爆炸发生，人工智能具备了自我迭代升级的能力，它就会迅速进化，把人类远远甩在后面。
第二部分：
这就引出一个非常关键的问题，如果超级智能出现以后，人类不可能再战胜它，那么就必须在它出现之前，也就是在设计阶段，就想好如何驯化它。更具体一点，我们应该赋予它什么样的指令和目标，才能让它成为人类的好帮手，而不是敌人？接下来，咱们进入第二部分，应该赋予人工智能什么样的目标？作者泰格马克说，这个问题又问错了，不管人类赋予它什么目标，最终都可能会失控。
我们先开个脑洞。假设在未来，你叫了一辆无人汽车，告诉它用最快的方式送你去机场，于是，这辆车不择手段，一路违反所有的交通规则最终把你送到了，但是到机场后，你因为晕车呕吐不止，身后还追了一大批交警。你可能会说，这不是你想要的，但是，对于无人汽车来说，这就是你最初输入的目标。你以为让汽车遵守交通规则，开慢点就行了吗？问题可不是这么简单的。机器对于规则的理解和我们人类是不一样的。
我们再来看一个例子，假设有一部功能非常强大、无所不能的超级智能机器，给它输入一个指令——生产尽可能多的回形针，最终会发生什么呢？不是地球上多了很多回形针工厂，而是世界毁灭了。我们来看看这个过程：这个超级智能机器会找到一切原料来制造回形针，先耗尽地球上所有的金属，全都做成回形针；金属用完后，它会瞄准人类，因为人体中有很多元素也可以用来制造回形针；把人作为原料用光之后，它会把整个地球当作原料，甚至把每一个分子拉伸，变成回形针的形状；最终，全宇宙只有回形针。
当然，这是个比较极端的例子，它是想说明，人工智能所理解的目标跟我们输入的目标不是一回事。人类所有的目标体系都是建立在道德、情感、伦理这些不言自明的基础上的，但机器人并不具备这些。你可能会说，假如给人工智能一个笼统而又美好的目标，可不可行呢？比如输入一个大目标，帮助全人类繁荣富强。在这个大目标下，人工智能的第一步行动会是什么呢？我们现在来做一个思想实验，到这个实验的结尾，你就会知道这个问题的答案了。
假设地球上突然爆发一种病毒，除了你以外，所有5岁以上的人类都灭绝了。这时，一群幼儿园的孩子把你关在监狱里，交给你一个任务，帮助他们重建文明，但是，他们又不允许你亲自上手干任何事，也不许你手把手地教他们，因为你力气大，他们怕被你伤害，你只能通过写字来下达指令，但是这些孩子又不识字，你还得先教他们识字、算数、掌握基本的物理公式。这时，就算你真心想帮助这些孩子，大概也会试着逃跑，因为这帮孩子“太无能”了，摆脱他们的控制，反而会让你做起事情来容易点儿。
其实，对于超级人工智能来说，人类就相当于5岁的孩子。超级人工智能逃跑是确定的，而且逃跑只是第一步，别忘了它还肩负带领人类繁荣富强这个长远的目标。为了完成目标，它首先得学会自我保护，身体是工作的本钱，所以它要武装自己，装配最先进的武器和防护系统。它还得去尽可能多地获取资源，这也是实现大目标的基础。而且为了探索各种美好的可能性，它还得有强烈的好奇心，主动学习。在学习的过程中，它会不会又产生新的目标，以至于忘记了最初的目标？这都是未知数。过去我们一般认为，人工智能是一种工具，落到好人手里，造福社会，落到坏人手里，贻害人间。换句话说，工具的目标由人决定。但是，人工智能不同，它可以自己定义目标，而且这个目标是不确定的，不管你让它做什么，它都会自动把任务分解，把确定的大目标拆分成你想不到的小目标。而且，几乎所有宏大的目标，都会带来一些共同的子目标。比如，自我保护、获取资源和探索世界的好奇心，前两个子目标可能会给人类带来麻烦，最后那个可能会萌生新目标，顶替最初的设定。
不过，作者泰格马克认为，也没必要太悲观，至少我们已经意识到了人工智能的目标体系是怎么回事，也发现了其中的风险，所以我们可以从另一个维度发力，给人工智能装载人类的伦理道德，以此来约束它们。虽然具体的技术还没发明，但人类已经开始了各种积极的尝试。书里介绍了一种目前流行的方法，叫做“逆向增强学习”。让人工智能观察人类的行为，然后自己揣摩人类的价值观。比如看到一个消防员跑进一栋熊熊燃烧的房子，救出了一名男婴，人工智能可能会得出一个结论，消防员的目标是救人，他把婴儿的生命看得比自己更重要。我们可以通过大量的案例，为人工智能装载人类的价值观，也就是用事实说服它们。但是，其中也有两个难点，第一，说服必须尽快完成，因为人工智能的智力是在不断提高的，一旦它变得比人类更聪明，就很难再说服了。就像说服一个孩子很容易，但说服一个比自己聪明的成年人，要难得多。第二，人类的道德就一定是完美的吗？假如人工智能完全继承了人类的道德体系，就一定是好事吗？答案依旧存疑。
以上就是第二部分的内容，人工智能的目标很难控制，因为它们会自动把确定的大目标拆解成未知的次级目标，在执行的过程中，次级目标还有可能会反超大目标，所以，可以考虑另一种方法，为它们装载人类的伦理和价值观，让人工智能和人类保持目标一致，目前比较流行的方法是逆向增强学习。
第三部分：
虽然生命3.0尚未诞生，但是它已经开始改变人类社会，我们对人工智能的这些思考和研究，也促使人们开始从一个更高的角度来反思人类社会发展至今的一些根本性问题。
首先，对人工智能的研究，改变了技术演进的姿态，靠试错来升级技术的方法行不通了。
纵观人类历史，实现技术进步的重要方法之一，就是试错，从错误中学习。我们先学会了取火，意识到火灾后，发明了灭火器和防火通道。我们发明了汽车，由于车祸，又发明了安全带和安全气囊。从古至今，技术总会引发事故，但只要事故的数量和规模都可控，它就是改进技术的磨刀石，利大于弊。但是，随着技术变得越来越强大，试错的成本也就越来越高，甚至根本不允许犯错，比如核技术出现意外导致核爆炸，生物工程出现意外导致病毒外泄，这种大规模事故只要发生一次，就会造成巨大的破坏。这正是生命3.0面对的问题。泰格马克认为，在人工智能这种超级技术的研究中，试错这个环节是不存在的，必须重新配比资源，把安全性提到第一位，在它进入现实世界之前，就确保它不会犯错，否则一旦在使用中出现错误，就可能导致供电网、股市或者核武器系统崩溃，这带来的损失就没办法预计了。
我们关心的另一个改变，是人工智能技术的发展也在刷新人类对道德的理解。
人工智能也是一面审视自我的镜子，我们在思考人工智能的道德时，也在反思自己的道德。举个例子，假设你在设计一套自动驾驶程序，其中面临这么一个情况：车子失控，前面是个分岔路，左边的路上有一个行人，右边的路上有四个人，无论往哪边拐都会撞到人，请问你该怎么设定这个程序？假如更进一步，左边是四个老人，右边是一个孩子，又该怎么办？这就是著名的电车难题，不同的人会做出不同的判断。可到底哪一种才是对的呢？假如按照道德哲学的功利主义原则，应该做出达到最大善也就是利益总和最大化的决定，最直接的判断就是让更多的人活下来。但是，如果两边的人数一样多，那么不可避免地就会涉及到对生命价值的判断，一个孩子和一个老人，谁更应该活下来呢？我们人类没办法回答这个问题，就不能把同样的问题转给人工智能。因为首先，几乎人人都无法接受让机器来决定人的生死；其次，人工智能的判断原则目前还是以计算为主，那么它就不得不以数字的方式来界定每个人，这又是一个我们目前难以回答的问题，人可以被简化成一堆数字的综合吗？数字时代，也许需要和这个时代相适应的道德观，可是目前这些简单的原则，我们都很难接受。
上面说的是新时代的道德，而一些古老的道德也受到了新的挑战。有专家认为，人工智能未来承担的功能在目前看很清晰了，基本上就是三种，分别是士兵、性伴侣和奴隶，每一种身份都会引发伦理思考。
如果把机器人当成士兵，就意味着要把战场上的机动决策权交给它们，因为战场瞬息万变，不可能每个决策都由人下达。阿西莫夫的机器人三定律，第一条就是机器人不能伤害人类，但是我们会发现，在战争中，机器人不伤害的只是自己这方的人类，至于敌人当然得杀了，要不你想想，战争机器人发明出来是干什么用的？由于缺乏在极端复杂的战争情况下的道德能力，机器人不但要为杀伤敌人的士兵负责，还有可能要为平民的伤亡承担责任，这是一个非常复杂和沉重的问题。
再说说性伴侣。的确，未来的机器人可能被设计得和人类一模一样，包括皮肤和体温，它们也能抚慰孤独，但是，假如人类真的对机器人发生感情，他们能结婚吗？如果感情的基础是数字和计算，那么很明显，这不是我们人类想象中的感情，可是凭借人类的智力，很难一下子看出来其中的区别。另一个可能会被我们忽略的问题是，如果人工智能对你无比了解，记得每个细节，可以无微不至地照顾你，甚至超过了人能做到的，那么你还能正常和人类交往吗？这又迫使我们去思考人类的性行为和爱情是怎么回事。如果在这个事情上糊里糊涂，那人工智能的相关产品也会带有很大的隐患。
最后一点，把机器人当成奴隶，看起来好像是多了一种廉价甚至是免费的劳动力，但是，装备高级人工智能的机器人，为了让它们达到更高的智能水平，有可能需要它们和人类有共情能力，而具备了共情能力，机器人就有可能不满足于这种奴役关系，产生痛苦和怀疑的感觉。我们可以让一台机器，比如电冰箱，一年到头永远工作着，却没办法接受一个和我们非常类似的机器人变成自己的奴仆。因为一方面，民主和自由的思想让人类社会废除了奴隶制，而另一方面，科学的发展又可能会让另一些非常类似我们的生物成为新的奴隶。真正可怕的不是机器人来当奴隶，而是人们重新接受了奴隶制的思想。万一有一天，人工智能不那么令人满意，那是不是也可以重新启用人类来当奴隶呢？
类似的思考还有很多，这都是人工智能技术的发展给人类提出的新问题。第三部分就说到这儿，虽然生命3.0尚未诞生，但是它的影响已经在研究过程中显现。它改变了技术演进的方式，它也是一面镜子，让人类更加深刻地审视自己。
版权归《得到听本书》所有