最近，禁止殺傷性機(jī)器人運(yùn)動呼吁聯(lián)合國禁止研發(fā)和使用自動武器，也就是有自主意識、有殺傷能力的人工智能。不過，有觀點(diǎn)認(rèn)為，人類騎其實(shí)需要制造會“違抗命令”的人工智能。本文原題為“Why we should build AI that sometimes disobeys our commands”，最初發(fā)表在NewScientist上。

人類與人工智能互動的未來將會引發(fā)焦慮。隨著人們開始推動將倫理觀念輸入到人工智能體系中，我們必須承認(rèn)這樣一個想法：我們需要制造出可以對命令說“不”的機(jī)器。

這么做的目的不僅僅是讓機(jī)器人不對未識別的命令的做出回應(yīng)，同時也是希望給機(jī)器人賦予這么一樣能力——即在特定情況下，拒絕不合適、有用的人類命令。這一設(shè)想并不容易實(shí)現(xiàn)，對于某些人來說也很難接受。

盡管人工智能發(fā)展迅速，我們?nèi)匀惶幱谶@一大變革的開始階段。許多復(fù)雜的人工智能系統(tǒng)還遠(yuǎn)遠(yuǎn)未達(dá)到能夠獨(dú)立做決定的階段，在相當(dāng)長的一段時間內(nèi)，這些人工智能系統(tǒng)仍然只能一起工作或是在人類的指示下工作。

創(chuàng)造出能夠彌補(bǔ)人類缺點(diǎn)、而非能毀滅人類的人工智能越來越被認(rèn)為是這項(xiàng)技術(shù)完美的發(fā)展方向。但是，關(guān)鍵在于，這也意味著如果人工智能具備了倫理觀念，它不僅會拒絕人類非法或不道德的命令，也能執(zhí)行這些命令。

隨著人工智能系統(tǒng)變得更加強(qiáng)大和普遍，他們是否會具備倫理觀念這一問題變得突出起來。幸運(yùn)地是，關(guān)于這一問題的研究在人工智能領(lǐng)域和學(xué)術(shù)界都很豐富。DeepMind這一由谷歌在2014年收購的倫敦人工智能研究組是最近想要發(fā)行具備倫理觀念的機(jī)器人的研究組，他們邀請了來自不同領(lǐng)域的顧問，以幫助了解清楚由人工智能在社會上究竟扮演何種角色所引起的兩難之境。但是隨著我們不斷探尋無人駕駛汽車深層次的決策制定過程，深思軍用機(jī)器人是否能夠得到允許以做出殺戮的決定，嘗試發(fā)現(xiàn)植根于機(jī)器學(xué)習(xí)算法中的種族主義和性別歧視，我們需要退后一步，認(rèn)識到我們努力做的東西具體情境和它的復(fù)雜性。

抵抗是有效的

在幾乎所有情境下，由機(jī)器所做的決定可以追溯到由人提出的要求。如果機(jī)器想要具備倫理觀念，它必須有能力識別一項(xiàng)請求是否是合乎道德，在某些情況下，它必須克制自己，不做決定。

人類并不完美。我們已經(jīng)可以看到有一些觀點(diǎn)認(rèn)為軍用機(jī)器人相比于人類，可以更好的決定是否摧毀一個目標(biāo)。這樣的想法認(rèn)識到了人類可能會在做決定時犯認(rèn)知性的錯誤。

與此類似，軍用機(jī)器人不會參與到由憤怒或是厭惡驅(qū)使的暴行當(dāng)中。但是，如果由人工智能控制的機(jī)器人被命令去攻擊一個村莊呢?美國士兵受到的訓(xùn)練中就有識別和拒絕非法命令。軍用人工智能也應(yīng)當(dāng)根據(jù)同樣的規(guī)則來工作。

同樣的規(guī)則適用于軍事之外的領(lǐng)域。無論我們是在討論一個批準(zhǔn)或者拒絕貸款的金融機(jī)器人，努力避免危險路況的無人車，還是分發(fā)止痛藥的醫(yī)藥機(jī)器人。一個得到購買機(jī)器人授權(quán)的人類用戶，可能會引導(dǎo)人工智能做一些如果人類做會被認(rèn)為是有問題、甚至是非法的事情，比如讓少數(shù)群體更難獲取貸款，走一條已經(jīng)關(guān)閉或者是很危險的路，開過量的鴉片類藥物。

除非人工智能可以識別并拒絕這類決定，否則的話，我們不過也就是打造另一個也會存在人類固有的缺點(diǎn)的智能機(jī)器世界，只不過在計(jì)算機(jī)客觀性的掩飾下這個世界的陰暗面并不那么明顯。

拒絕在某些時候可能具有侵犯性，但是具備倫理觀念的人工智能的未來更加合理，這意味著我們會習(xí)慣知道什么時候說“不”的機(jī)器。