機器倫理和機器人權利正迅速成為人工智能/機器人界的熱門話題。我們將爭辯說，試圖讓機器做出道德決定或享有權利的嘗試是錯誤的。相反，我們為智能人工代理提出了一種新的安全工程科學。特別是，我們對科學界提出了挑戰，以開發能夠證明即使在遞歸自我改進下它們實際上也是安全的智能系統。

倫理與智能系統

在過去的十年中，計算機科學的新子領域蓬勃發展，涉及機器倫理學的發展：

機器倫理、計算機倫理、機器人倫理、ethicALife、機器道德、電人倫理、計算倫理學、機器人倫理學、機器人權利、人為道德、只是一些旨在用更先進的機器的安全性來解決社會問題的提議。但是，由于道德規范不是普遍的，因此永遠無法選擇“正確的”道德規范來代替整個人類。

人工智能安全工程

即使我們成功地設計出能夠通過道德圖靈測試的機器，類似人的性能也意味著一些不道德的行為，這在我們設計的機器中是不可接受的。換句話說，我們不需要機器來作為全道德代理人來討論是非。我們需要機器本身具有安全性并遵守法律。

AI安全研究的一個共同主題是，可以將超級智能代理保存在密封的硬件中，以防止其對人類造成傷害。

這種想法起源于諸如EricDrexler之類的科學遠見者，他們建議限制超人機器，以便可以安全地研究和使用其輸出。同樣，未來學家尼克·博斯特羅姆(NickBostrom)提出了一種OracleAI(OAI)的想法，該想法只能回答問題。

最后，戴維·查默斯(DavidChalmers)在2010年提出了“防漏”奇點的想法。他建議出于安全原因，首先將AI系統限制在模擬虛擬世界中，直到在受控條件下可以完全理解其行為趨勢為止。

羅馬·揚波爾斯基(RomanYampolskiy)提出了AI限制協議的正式概念，該協議將“AI-Boxing”表示為計算機安全挑戰。他將人工智能限制問題(AICP)定義為將人工智能實體限制在密閉環境中的挑戰，如果該信息交換未經密閉授權，則該實體無法通過合法或秘密渠道與外部環境交換信息權威。據說成功地違反了CP協議的AI系統已經逃脫了。

提議的協議基于提出帶有受限答案的所謂“安全問題”的想法。一個安全的問題被定義為一個人可以根據自己的優點而在沒有任何超級智能幫助的情況下找到答案的問題。為什么這有用?假設從事癌癥治療的科學家正在研究兩種潛在的治療方法。

每個人都可以在沒有AI協助的情況下進行開發和測試，但是每個人都需要花費大約3年的時間。如果科學家認為他們有平等的工作機會，那么應該首先嘗試哪個?如果選擇了錯誤的選項進行首先測試，人類將仍然可以治愈癌癥，但是它將在3年后發生。如果我們可以要求AI建議先嘗試哪個選項怎么辦?

這個問題很安全，原因有很多。首先，每個可能的答案具有相等的正確概率。其次，人類可以在沒有AI協助的情況下回答它，因此向AI尋求幫助只會加快進度，而絲毫不會改變結果。從本質上講，它等于很幸運地猜到了多項選擇答案。最后，該問題的答案可以被編碼為單個位，從而很難在提供的答案中隱藏其他消息。

為了確保潛在問題是安全的，可以使用一組專家進行審查。專家們都應經過培訓，經過AI安全工程師培訓，這意味著他們熟悉AI的設計及其限制環境以及機器倫理方面的最新發展。專家可能還需要接受計算機心理學方面的培訓，而計算機心理學是目前不存在的專業，將來可能成為現實。

現有的一門學科可能對AI問題復習專家的培訓有最大的幫助，這是Artimetrics，這是Yampolskiy等人提出的研究領域。出于安全目的而識別，分類和認證AI代理，機器人和虛擬現實的化身。

大挑戰

作為AI安全工程的巨大挑戰，我們提出了為自我完善系統開發安全機制的問題。如果人工智能機器具有與人類工程師一樣的能力來設計下一代智能系統，那么重要的是要確保經過數千代持續不斷的自我完善而無需人工操作，初始設計中包含的任何安全機制仍能正常工作干擾。

理想情況下，每一代自我完善系統都應能夠提供可驗證的安全性證明，以供外部檢查。允許安全的智能機器為其自身設計一個固有的不安全升級將是災難性的，從而導致功能更強大，更危險的系統。

一些人認為，這一挑戰要么無法解決，要么如果無法解決，將無法證明所發現的解決方案是正確的。隨著任何系統的復雜性增加，設計中的錯誤數量會成比例地增加，甚至可能成倍增加。

自我完善系統(最復雜的調試系統)中的單個錯誤也將違反所有安全保證。

更糟糕的是，即使是在設計完成之后，也可能會引入缺陷，這可能是由于硬件缺陷引起的隨機突變，也可能是由于自然事件(例如短路修改了系統的某些組件)而引起的。

AGI研究是不道德的

某些類型的研究，例如人類克隆，對人類的某些醫學或心理實驗，動物(大猿類)研究等，被認為是不道德的，因為它們可能會對測試對象產生不利影響，因此受到法律的禁止或限制。此外，由于這類技術可能對人類造成破壞性影響，因此還暫停開發諸如化學，生物和核武器等危險技術。

同樣，我們認為某些類型的人工智能研究屬于危險技術類別，應加以限制。經典的AI研究(其中教會計算機在特定領域自動執行人類行為，例如郵件分類或拼寫檢查文檔)當然是合乎道德的，不會給人類帶來潛在的風險問題。另一方面，我們認為人工通用情報(AGI)研究應該被認為是不道德的。從邏輯上講，這是根據許多觀察得出的。

首先，真正的AGI將具有解決普遍問題和遞歸自我完善的能力。

因此，它們有可能在任何領域都超越人類，從而使人類不必要，從而使其滅絕。

另外，一個真正的AGI系統可能具有與人類類似的意識類型，這使機器人遭受了真正的可能性，并且由于該原因，任何使用AGI的實驗也是不道德的。

我們建議設立AI研究審查委員會，類似于醫學研究建議審查中所使用的委員會。人工智能專家團隊應該評估每個研究建議，并確定該建議是否屬于標準AI有限域系統之內，或者可能導致完全成熟的AGI的發展。

應限制可能導致不受控制的人工通用通用情報的研究獲得資金或受到全部或部分禁止。對于專門針對AGI架構的安全措施和控制機制的開發，可能會有例外。

如果允許開發AGI，那么超級智能機器和人之間就會有直接競爭。最終，由于它們的自我完善能力，這些機器將占主導地位。或者，人們可以決定給機器供電，因為機器功能更強，出錯的可能性更小。

人類不應該將自己的未來交到機器手中，因為它將無法奪回動力。通常，機器永遠不應終止人的生命或做出任何其他不重要的有關人的倫理或道德判斷。

由機器運行的世界將給人類文化，生活方式和人類生存的總體可能性帶來不可預測的后果。BillJoy提出的問題：“未來會需要我們嗎?”今天和以往一樣重要。“我們究竟是要成功還是要失敗，是要生存還是成為這些技術的受害者，還沒有決定”。

機器人權利

最后，我們想談一談機器倫理的一個分支，它在表面上與安全無關，但是據稱在倫理機器的決策中發揮了作用-機器人權利(RR)。

RR問我們是否應該賦予我們的心靈孩子以社會賦予人格的人所享有的權利，特權和責任。我們認為答案是肯定的“否”。

盡管人類是“平等創造”的，但機器的設計應遜色;它們應該沒有權利，并且可以根據需要消耗掉，使它們作為工具的使用對創作者更加有利。

我們在這個問題上的觀點很容易辯解，因為機器不會感到痛苦(或者更少有爭議的設計為不會感覺到任何東西)，即使機器被破壞也不會遭受痛苦。機器當然可以成為我們能力上的平等，但不應設計為在權利方面成為我們的平等。授予機器人權利將不可避免地導致包括投票權在內的民權。

鑒于未來幾十年機器人的預計數量以及復制潛在智能軟件的簡便性，一個由具有投票權的人工智能成員組成的社會將很快被它們所控制，從而導致上述各節中所述的問題。

結論

我們希望為解決本文提出的問題的未來研究方向提供一些廣泛的建議。首先，研究本身需要從僅理論家和哲學家感興趣的領域轉變為實踐計算機科學家的直接參與。

需要開發有限的AI系統，以試驗非擬人化思維并改善當前的安全協議。

數十年來，本文提出的問題一直只存在于科幻小說作家和哲學家的領域。也許通過這種方式，或者是由于像SIAI這樣的組織的倡導，人工智能安全的話題已逐漸開始出現在主流出版物中。我們很高興地報告，一些初步工作已經開始出現在科學場所，這些研究旨在專門解決AI安全和道德問題，即使僅在人類級別的智能系統中也是如此。

隨著越來越多的接受，將有可能在許多主流學術場所出版，并且我們呼吁這一卷的作者和讀者開始專門研究同行評審的期刊和會議，以討論AI安全性研究。隨著發布場所的普及，更多的科學家將參與并開發實用的算法，并開始進行與AI安全性研究直接相關的實驗。想了解更多關于人工只能的信息，請繼續關注中培偉業。

這將進一步鞏固AI安全工程作為感興趣的主流科學主題的地位，并將產生一些期待已久的答案。同時，我們最好假設AGI可能給人類的生存帶來嚴重的風險，因此應該相應地進行或不進行。