对于现代社会的复兴者，Elon Musk而言，他对超级智能机器人的自我实现表示了恐惧-他曾说：“我们正在通过人工智能研究来召唤恶魔”。–在星期天，Musk详细列出了他是怎么认为人工智能会毁灭人类的。Musk是Tesla和SpaceX的创始人，在neil degrasse tyson每周播报 的Startalk栏目上演讲谈到了未来，人工智能是这次谈话的主题。“我对最近的超级人工智能感到相当的担忧。我认为这可能是一种比核武器更加危险的东西。”Musk说道。“我们应该对它表示小心。如果有一种数字超级智能系统可以快速地发展，自我优化的递归会在一种非指数的方向上暴增，这可以让他自我修改程序，变得更加聪明而且能够实现快速迭代，在短短的24小时内写到百万级别数量的电脑上。”

如果人工智能能够杀死我们，这逐渐就像科幻电影中所预言的那样发生的：人工智能会自我实现而且教他自己如何变得更加地比我们聪明，然后它会变得无法控制。Musk说，我们必须考虑一个问题：我们为什么尝试着开发超级智能机器人。如果是为了人类的友谊关系而且能让我们变得更幸福（就像《她》这部电影一样，推荐你们看一下），但是，事情可能不会这么发展。“超级数字人工智能的实用功能是非常重要的”。他在优化方面需要做什么事情呢？我们需要切实地对待这句话“什么是人类的幸福？”Musk 说，“可以断言，一个不幸福的人会被终结。或者我们应该被俘获，而且通过注射一些多巴胺或者是血清素来提高我们的幸福指数。我只是强调我们应该提高我们的谨慎程度。”

Tyson问musk，他是否认为他们会奴役我们：Musk回答：“如果我们足够幸运，我们将会像宠物一样。”当然，Musk并不是在信口开河。他考虑了这个问题很久，这是他的谈话中一个非常有争议的论点。他甚至花费了1000万美元，试着让超级人工智能远离危险。

Tyson和他的搭档主持人，Bill Nye，他们当然也在不遗余力地考虑科技的运用问题，他们都认为Musk的理论有点过时了。“这个世界百分之二十的人没有用电。他们也不能用电话。”Nye说，“我认为人们要记住—电脑是值得依赖的——但是一些人实际上或者在某种意义上在做最底层的工作。若你关掉超级电脑或者人工智能设备，什么事情都不会发生。”

Tyson说道，像Musk一样的人都在对那些智能机器人会阻止你关闭他们这一点而感到焦虑，但是Nye问道，一台电脑怎么样“制造一种东西阻止你做这种事？这看起来是一个可以解决的问题。”同样，人工智能研究者们说道，Musk的言论对研究有一种激冷效应，对于我们被机器人控制这一点来说，我们无需焦虑。

但是创造杂乱无章的数字软件的想法是可以控制的，这不是一个噩梦般的情景——它已经发生了。想一想Stuxnet这个病毒程序，它是由NSA创造出来，被认为在机理上对伊朗的富集铀工厂造成了损害，现在在因特网上广泛地传播（同时也感染到了俄罗斯核电站）。Stuxnet是一个具体的软件程序，并不在一般的电脑上使用，而且它能自我复制并且传播，但是很容易预见，超级智能软件可以让它自己在世界上的各种设备上传播。然后，唯一的解决方案是拔掉电脑上的电源。但是到那时，我们在哪里呢？