最近，禁止殺傷性機器人運動呼吁聯合國禁止研發和使用自動武器，也就是有自主意識、有殺傷能力的人工智能。不過，有觀點認為，人類騎其實需要制造會“違抗命令”的人工智能。本文原題為“Why we should build AI that sometimes disobeys our commands”，最初發表在NewScientist上。

人類與人工智能互動的未來將會引發焦慮。隨著人們開始推動將倫理觀念輸入到人工智能體系中，我們必須承認這樣一個想法：我們需要制造出可以對命令說“不”的機器。

這么做的目的不僅僅是讓機器人不對未識別的命令的做出回應，同時也是希望給機器人賦予這么一樣能力——即在特定情況下，拒絕不合適、有用的人類命令。這一設想并不容易實現，對于某些人來說也很難接受。

盡管人工智能發展迅速，我們仍然處于這一大變革的開始階段。許多復雜的人工智能系統還遠遠未達到能夠獨立做決定的階段，在相當長的一段時間內，這些人工智能系統仍然只能一起工作或是在人類的指示下工作。

創造出能夠彌補人類缺點、而非能毀滅人類的人工智能越來越被認為是這項技術完美的發展方向。但是，關鍵在于，這也意味著如果人工智能具備了倫理觀念，它不僅會拒絕人類非法或不道德的命令，也能執行這些命令。

隨著人工智能系統變得更加強大和普遍，他們是否會具備倫理觀念這一問題變得突出起來。幸運地是，關于這一問題的研究在人工智能領域和學術界都很豐富。DeepMind這一由谷歌在2014年收購的倫敦人工智能研究組是最近想要發行具備倫理觀念的機器人的研究組，他們邀請了來自不同領域的顧問，以幫助了解清楚由人工智能在社會上究竟扮演何種角色所引起的兩難之境。但是隨著我們不斷探尋無人駕駛汽車深層次的決策制定過程，深思軍用機器人是否能夠得到允許以做出殺戮的決定，嘗試發現植根于機器學習算法中的種族主義和性別歧視，我們需要退后一步，認識到我們努力做的東西具體情境和它的復雜性。

抵抗是有效的

在幾乎所有情境下，由機器所做的決定可以追溯到由人提出的要求。如果機器想要具備倫理觀念，它必須有能力識別一項請求是否是合乎道德，在某些情況下，它必須克制自己，不做決定。

人類并不完美。我們已經可以看到有一些觀點認為軍用機器人相比于人類，可以更好的決定是否摧毀一個目標。這樣的想法認識到了人類可能會在做決定時犯認知性的錯誤。

與此類似，軍用機器人不會參與到由憤怒或是厭惡驅使的暴行當中。但是，如果由人工智能控制的機器人被命令去攻擊一個村莊呢?美國士兵受到的訓練中就有識別和拒絕非法命令。軍用人工智能也應當根據同樣的規則來工作。

同樣的規則適用于軍事之外的領域。無論我們是在討論一個批準或者拒絕貸款的金融機器人，努力避免危險路況的無人車，還是分發止痛藥的醫藥機器人。一個得到購買機器人授權的人類用戶，可能會引導人工智能做一些如果人類做會被認為是有問題、甚至是非法的事情，比如讓少數群體更難獲取貸款，走一條已經關閉或者是很危險的路，開過量的鴉片類藥物。

除非人工智能可以識別并拒絕這類決定，否則的話，我們不過也就是打造另一個也會存在人類固有的缺點的智能機器世界，只不過在計算機客觀性的掩飾下這個世界的陰暗面并不那么明顯。

拒絕在某些時候可能具有侵犯性，但是具備倫理觀念的人工智能的未來更加合理，這意味著我們會習慣知道什么時候說“不”的機器。