1.?標準模型

1.1.?我們能控制一個從外太空來的超級智能實體的概率幾乎為零

1.2.?隨著根據(jù)標準模型設(shè)計的機器變得更加智能，以及它們的行動范圍遍及全球，關(guān)閉機器這種方法越來越不可行

1.2.1.?機器將會追求它們自己的目標，無論目標錯得多么離譜

1.2.2.?它們將會抵制關(guān)閉它們的企圖

1.2.3.?它們將會獲得有助于實現(xiàn)目標的一切和全部資源

1.2.4.?機器的最佳行為可能包括欺騙人類，讓人類自以為給了機器一個合理的目標，這樣機器就能獲得足夠的時間來實現(xiàn)其實際目標

2.?有益機器的原則

2.1.?那些行動有望實現(xiàn)我們的目標，而不是它們的目標的人工智能

2.2.?主要用于指導(dǎo)人工智能研究人員和開發(fā)人員如何創(chuàng)建有益的人工智能系統(tǒng)

2.2.1.?機器的唯一目標是最大限度地實現(xiàn)人類的偏好

2.2.1.1.?這里的偏好是包羅萬象的，它們涵蓋了在任意遙遠的未來你可能關(guān)心的一切

2.2.1.2.?而且它們是你的偏好：機器并不是要識別出或采用一套理想的偏好，而是要理解并盡可能滿足每個人的偏好

2.2.2.?機器最初不確定這些偏好是什么

2.2.3.?關(guān)于人類偏好的最終信息來源是人類行為

2.3.?不確定性一直是人工智能的核心問題

2.3.1.?人工智能系統(tǒng)目標中的不確定性被簡單地忽略了

2.4.?第一原則：純粹的利他主義機器

2.4.1.?即機器的唯一目標是最大限度地實現(xiàn)人類的偏好

2.4.2.?將會有益于人類，而不是蟑螂

2.4.3.?我們無法回避這種受益人特有的益處

2.4.4.?機器秉承純粹的利他主義，也就是說，它絕對不為自己的幸福甚至自己的存在賦予內(nèi)在價值

2.4.5.?在機器人中加入任何自我保護的偏好，都會在機器人內(nèi)部建立一個與人類幸福不完全一致的額外的激勵機制

2.4.6.?問題

2.4.6.1.?人類是否真的擁有有意義的或穩(wěn)定的偏好

2.4.6.1.1.?“偏好”是一種理想化的概念，在許多方面都與現(xiàn)實不符

2.4.6.2.?鑒于通常不可能確保每個人都得到他們最喜歡的結(jié)果，因為我們不可能全都成為宇宙之王，那么機器應(yīng)該如何權(quán)衡多個人的偏好？

2.4.6.2.1.?人類偏好可以而且確實包括動物福祉，以及人類可以直接從動物生存中受益的方面

2.4.6.2.2.?機器應(yīng)該關(guān)注動物的喜好，除此之外，人類還應(yīng)該建造比人類更關(guān)心動物的機器，這是一個很難維持的立場

2.4.6.2.3.?一個更站得住腳的立場是，人類傾向于做出與我們自身利益相悖的短視決策，這往往會給環(huán)境及動物帶來負面影響

2.4.6.2.3.1.?更少做出短視決策的機器將有助于人類采取更環(huán)保的政策

2.4.6.2.3.2.?在未來，如果我們對動物的福祉給予比現(xiàn)在更大的權(quán)重，可能意味著犧牲一些我們自己固有的福祉，那么機器也會適應(yīng)

2.5.?第二原則：謙卑的機器

2.5.1.?機器最初并不確定人類的偏好是什么

2.5.1.1.?這是創(chuàng)造有益機器的關(guān)鍵

2.5.2.?一臺自以為完全理解真正目標的機器會一門心思地追求這個目標

2.5.3.?假設(shè)機器對目標的完美理解將其與人類分離開來，那么人類的所作所為將不再重要，因為機器理解目標并追求目標

2.5.4.?一臺對真實目標感到不確定的機器會表現(xiàn)出一種謙卑

2.5.4.1.?它會順從人類，允許自己被關(guān)閉

2.5.4.1.1.?它的理由是，只有當(dāng)它做錯了什么，即做了違背人類偏好的事情的時候，人類才會關(guān)掉它

2.5.4.1.2.?如果人類真的關(guān)掉了機器，那么機器就能避免做錯事情，這便是它的意圖

2.5.4.1.2.1.?機器有積極的動機讓自己被關(guān)閉

2.5.4.1.3.?它仍然與人類聯(lián)系在一起，人類是一個潛在的信息來源，可以讓它避免錯誤，做得更好

2.6.?第三原則：學(xué)習(xí)預(yù)測人類偏好

2.6.1.?關(guān)于人類偏好的最終信息來源是人類行為

2.6.1.1.?第一個目的是為“人類偏好”這個詞提供一個明確的基礎(chǔ)

2.6.1.1.1.?根據(jù)假設(shè)，人類偏好并不存在于機器中，機器也無法直接觀察到它們，但是在機器和人類偏好之間一定存在著某種明確的聯(lián)系

2.6.1.1.2.?如果人類的某種偏好對人類可能做出的任何實際或假設(shè)的選擇都沒有任何影響，那么可能就不必說這種偏好存在了

2.6.1.2.?第二個目的是讓機器變得更有用，因為它能更多地了解我們想要的東西

2.6.1.2.1.?如果它對人類偏好一無所知，它對我們就毫無用處

2.6.1.2.2.?人類不是完全理性的

2.6.1.2.2.1.?人類的偏好和人類的選擇之間存在著不完美的差異，如果機器要將人類的選擇解釋為人類偏好的證據(jù)，那么它就必須考慮到這些不完美

3.?樂觀的理由

3.1.?需要擺脫20世紀技術(shù)的驅(qū)動思想之一：優(yōu)化給定目標的機器

3.1.1.?第一個原因是，我們有強大的經(jīng)濟動機來開發(fā)遵從人類的意愿，并逐漸與用戶的偏好和意圖保持一致的人工智能系統(tǒng)

3.1.1.1.?人工智能系統(tǒng)的愚蠢和有限的行為范圍使我們免受這些后果的影響，但這種情況將會改變

3.1.1.2.?一個行業(yè)參與者可能會因為粗心的設(shè)計摧毀整個行業(yè)，這為形成以安全為導(dǎo)向的行業(yè)聯(lián)盟和執(zhí)行安全標準提供了強大的經(jīng)濟動機

3.1.1.3.?所有的主要參與者都在公開文獻中發(fā)表了它們以安全為導(dǎo)向的研究

3.1.2.?第二個原因是，用于學(xué)習(xí)人類偏好的原始數(shù)據(jù)，即人類行為的例子非常豐富

3.1.2.1.?這些數(shù)據(jù)不僅通過彼此共享著大約數(shù)十億人的數(shù)據(jù)的億萬臺機器的相機、鍵盤和觸摸屏以直接觀察的形式出現(xiàn)，而且還以間接的形式出現(xiàn)

3.1.2.2.?人類對書籍、電影、電視和廣播的大量記錄，這些記錄幾乎完全與人們的行為有關(guān)

3.1.2.2.1.?即使蘇美爾人和埃及人最早的和最乏味的用銅錠交換大麥的記錄，也讓我們對人類對于不同商品的偏好有了一些了解

3.1.2.2.2.?在解釋這種原始資料時會遇到困難，這些原始資料包括政治宣傳、謊言、瘋子的胡言亂語，甚至政治家和總統(tǒng)的聲明，但是機器當(dāng)然沒有理由把這些都當(dāng)真

3.1.2.2.3.?機器可以（也應(yīng)該）將來自其他智能實體的所有交流解釋為游戲中的動作，而不是事實陳述

3.1.2.2.3.1.?無論誠實與否，人類都可能被自己的信念所欺騙

3.1.2.3.?第二類間接證據(jù)擺在我們面前，這就是我們創(chuàng)造世界的方式

3.1.2.3.1.?地板上鋪著地毯，是因為我們喜歡在柔軟溫暖的表面上行走，我們不喜歡響亮的腳步聲

3.1.2.3.2.?花瓶放在桌子中間而不是邊緣，是因為我們不想讓它們掉下來摔碎等

3.1.2.3.3.?一切非自然安排的事物都為了解居住在這個星球上的奇怪的兩足動物的好惡提供了線索

4.?謹慎的理由

4.1.?一家發(fā)布全自動駕駛汽車的汽車制造商將獲得巨大的市場優(yōu)勢

4.1.1.?這一優(yōu)勢將會自我強化，因為制造商能夠更快地搜集更多數(shù)據(jù)，以改善系統(tǒng)的性能

4.1.2.?如果另一家公司趕在優(yōu)步之前推出全自動出租車，優(yōu)步等打車公司將會很快破產(chǎn)

4.2.?謹慎和仔細的工程設(shè)計似乎遠不如時髦的演示、人才的爭奪和倉促的推廣更重要

4.3.?讓來自公共資助機構(gòu)的科學(xué)家和廣大民眾共同尋找最佳的監(jiān)管方式，越早越好

4.3.1.?一旦公司的科學(xué)家開始主導(dǎo)研究事業(yè)，那就太晚了

4.4.?經(jīng)濟競爭不僅發(fā)生在公司之間，還發(fā)生在國家之間

4.4.1.?美國、中國、法國、英國和歐盟紛紛宣布對人工智能進行數(shù)十億美元的國家投資

4.4.2.?高級人工智能將會大大提高幾乎所有領(lǐng)域的生產(chǎn)率和創(chuàng)新率

4.4.2.1.?它的擁有者如果不將其分享出去，就能擊敗一切競爭國家或集團

4.5.?人類級別的人工智能不是零和博弈，分享它不會產(chǎn)生任何損失

4.5.1.?在沒有首先解決控制問題的情況下，關(guān)于誰能成為第一個實現(xiàn)人工智能的人的競爭，是一個負和游戲

4.5.1.1.?每個人的回報都是負無窮

4.6.?人工智能研究人員影響人工智能全球政策演變的能力有限

4.6.1.?我們可以指出可能帶來經(jīng)濟和社會利益的應(yīng)用

4.6.2.?我們可以對可能的監(jiān)視濫用和武器濫用等發(fā)出警告

4.6.3.?我們可以為未來發(fā)展的可能路徑及其影響提供路線圖

4.6.4.?能做的最重要的事情就是設(shè)計盡可能安全且對人類有益的人工智能系統(tǒng)