伊萨克·阿西莫夫（1920-1992），20世纪最有影响力的科幻作家之一
1942年，阿西莫夫在短篇小说“Runaround”（《环舞》）中首次提出了三定律：
一、机器人不得伤害人类，或因不作为使人类受到伤害。
二、除非违背第一定律，机器人必须服从人类的命令。
三、除非违背第一及第二定律，机器人必须保护自己。
但后来，阿西莫夫又加入了一条新定律：第零定律。
零、机器人不得伤害人类整体，或因不作为使人类整体受到伤害。
阿西莫夫的科幻设定里，机器人三定律是植入到近乎所有机器人软件底层里，不可修改不可忽视的规定，绝不仅仅是“建议”或者“规章”。
但显然这不是一个物理定律，所以现实中的机器人并不遵守——至少暂时如此。
在《环舞》里，负责水星开矿任务的机器人在第二和第三定律的冲突中陷入“焦虑”，开始不停地绕圈子
“……有人问，我是不是觉得我的三定律真的可以用来规范机器人的行为——等到机器人的灵活自主程度足以在不同的行为方式中选择一种的时候。我的答案是：‘是的，三定律是理性人类对待机器人（或者任何别的东西）的唯一方式。’”
而如果这样一个超级智能的程序编得不够好，或者它不在乎人类的需求，那么对我们而言就是彻头彻尾的灾难。我们必须保证它是安全的。
他们的观点是，阿西莫夫三定律完全不能胜任，而如果我们想保证超级智能的安全，我们需要一些全然不同的东西。
电影《我，机器人》就是根据阿西莫夫的同名小说集改编的，机器人三定律是其核心
阿西莫夫的未来
在海尔姆看来，机器人根本无关紧要。
好的开端？
鉴于阿西莫夫三定律是第一个真正试图解决人工智能行为问题的方案，那么就算是超级人工智能，它能不能也起到一定效果——或者至少有所启迪呢？
“老实说，我真没从机器人三定律里获得什么灵感，”海尔姆说。“机器伦理学的共识是，它无法成为机器伦理的合适基础。”
三定律的确广为人知，但现实中无论是AI安全研究者还是机器伦理学家，都没有真的使用它作为指导方案。
“原因之一是这套伦理学——我们称之为‘义务伦理学’（deontology）——作为伦理基础是行不通的。依然有几个哲学家试图修复义务伦理学体系，但同一批人常常也热衷于‘智能设计’或者‘神命论’之类的东西，”海尔姆说，“没几个人严肃对待他们。”
按照义务伦理学，一项行为合不合道德，只决定于行为本身是否符合几条事先确定的规范，和行为的结果、动机等等完全无关
他总结了三定律的几处缺陷：
－内在的对抗性
－基于有缺陷的伦理框架（义务伦理）
－不被研究者接受
－哪怕在科幻文学里也会出问题
格策尔表示赞同。“设立三定律的目的就是以有趣的方式出问题，这也正是为何围绕它们的小说如此有趣，”他说，“所以三定律只在这个意义上有指导作用：它告诉我们，用具体的定律来规范道德伦理是必定行不通的。”三定律在现实中完全无法运作，因为其中的术语太模糊，受制于主管解释。
歧视机器人？
三定律的另一个侧面是显而易见的基质沙文主义——按照定律，就因为机器人的躯体是硅做的，不是血肉之躯，他们就必须遵从人类的需求，不管他们有多么强大的能力也没用。
“百分之百，”格策尔说，“阿西莫夫的未来社会是光天化日的基质沙文主义，人类拥有的权利比人形机器人的权利更多。三定律的目的就是维持这种社会秩序。”
海尔姆的视角略有不同，他认为，如果我们真的身处这样的场景，那我们已经走得太远了。
“我认为设计有意识、有自我觉知的人工智能或机器人，本身就是很不明智的，”海尔姆说，“而且，虽然那些电影小说里AI研究者常常‘不小心’就搞出了有意识的人工智能，我认为这在现实中不可能发生。人们不可能纯靠好运碰上意识，需要大量的努力和知识才行，而且大部分AI研究者都是遵循伦理的人，他们会避免创造出哲学家所谓‘有道德意义的存在体’。毕竟，他们完全可以创造出不具有内在道德问题的高阶思考机器嘛。”
因此，关于设计不对称定律、管理机器人价值的问题，海尔姆并不太在意。他认为未来的AI研究者只需少许道德约束即可。
“话虽如此，我认为人类也是原子组成的，所以理论上也可以人工合成一种生命形态或者机器人，让它拥有道德意义，”海尔姆说，“我希望没人会真的这么做，大部分人应该也不会做，但恐怕不可避免地，总会有些好炫耀的傻瓜为了追名逐利而第一个做些什么事情——任何事情——哪怕是如此不道德、如此愚蠢的事情。”
但是，如果真的出现了和人类一样聪明一样可爱一样有能力自主决策的机器人，我们还应该因为他们是“人造”的而不给他们平等权利吗？
三定律2.0？
三定律有显而易见的缺陷，能否用修正或者补丁之类的挽救它呢？而且确实有很多科幻作家这么尝试过，多年来有不少修正版本。
“不，”海尔姆说，“三定律不会有补丁。不存在能挽救它的办法。”
除了太不自洽、无法实现之外，海尔姆说，三定律本质上是对抗性的。
“我更偏爱的机器伦理路线是更合作性的、更自我一致的，而且更多使用间接规范性，这样就算系统一开始误解了或者编错了伦理规范，也能恢复过来，抵达一套合理的伦理准则。”海尔姆说。
格策尔呼应了海尔姆的观点。
“定义一套伦理原则、把它作为机器伦理的核心路线，恐怕毫无希望——如果我们讨论的是灵活的人工通用智能（AGI）的话，”他说，“如果AGI拥有直觉、灵活、适应性的伦理观，那这些伦理原则对它来说可以是有用的基本指南，帮助它使用它自己的伦理直觉。但这样的话，这些原则就不是它的核心了，只是一个侧面。人类就是这样的——我们学会的伦理规范是有用的，但用法只是指引我们的伦理本能和直觉而已。”
如何建造安全AI？
既然定律路线行不通，那么应该怎样保证AI不会毁灭人类呢？
“AGI研究者里，很少有人相信能造出一个百分之百安全毫无隐忧的系统，”格策尔说，“但这对于大部分人来说并非什么困扰，因为说到底，人生中也没什么东西是百分之百的。”
格策尔相信，一旦我们造出了早期AGI系统，或者至少是比我们现有东西强大得多的AGI原型机，我们就可以通过研究和实验获得多得多的AGI伦理学信息。
电影《终结者》可能是最著名的机器人末日场景之一：高度发达的机器人和人类开战，毁灭了大部分人类文明
“当一群聪明的原始人发明语言的时候，他们是等到一套成熟的语言形式理论出现、用它预测了语言引入社会后的未来影响，然后才动手的吗？”
“这么说是什么意思？我在机器智能研究所的同事卢克·穆豪森总结得很好。他说，问题总是从哲学领域移到数学领域再到工程领域，”海尔姆说，“哲学提出有意义的问题，但这些问题常常太不精确，没人能知道一个新答案是否意味着我们又进了一步。但如果我们能把重要的哲学问题——智能，本体，价值——复述成足够精确的数学，要么对要么错；接下来就可以建立模型，在此基础上成功扩展，总有一天能够用作真实世界的工程目的。”
【直播中奖信息】华为开发者大会2020发烧友直播间抽奖信息公
“年货”采购进行时，华强芯城15家代购渠道全系列特惠，最高满