一键终止：让人工智能更安全

    开发“阿尔法狗”的深度思维公司人工智能专家洛朗·奥叟和牛津大学人类未来研究所专家斯图尔特·阿姆斯特朗，日前发表最新论文称，正在研发可以关闭人工智能的“一键终止”开关，以预防科幻影片中机器人毁灭人类等类似情况的发生。

    论文说，人类控制者需要一个“红色大按钮”来终止机器人等人工智能的危险行为，这个按钮的核心就是让人工智能在深度学习的过程中，永远都无法学会去抵抗人类按下“一键终止”按钮。

    人工智能“一键终止”按钮涉及机器学习中的强化学习过程。强化学习的微妙之处在于，人类程序员不可能总是判断出人工智能程序认为是胜算最高的一步；人工智能可能发现一些“捷径”，而这些捷径可能给人类带来不想看到的结果。

    以“机器人搬运工”为例，如果机器人负责在仓库内分拣货物以及将户外货物搬到仓库内，按照人类程序员的设定，机器人会优先到户外进行搬运。然而最近天气反常，总是下雨，过多的户外工作会损耗机器人的使用寿命，控制人员不断发出让机器人进屋的指令，次数多了，机器人就能学会并认为在仓库内工作更具优先性，甚至可能抵制在户外工作。

    “一键终止”按钮需要解决的关键问题在于如何让机器人认为“终止”只是一次性行为，人类的终止指令是无害、中性的，人类的“关机”行为不会在人工智能的强化学习过程中产生任何印记。最终，研究人员会让人工智能将“一键终止”开关的按下看作是自身策略的结果。

    阿姆斯特朗曾表示，人类语言如此微妙，很有可能被人工智能误读。一条“阻止人类继续承受痛苦”的指令，可能会被人工智能解读为“杀掉所有的人类”，而“保证人类安全”的指令也可能让机器人把所有人禁闭起来。他认为，人类处在一场致力于打造安全人工智能机器的竞赛中，必须争分夺秒，以免为时过晚。