2014年，SpaceX的首席履行官埃隆·馬斯克發了一條推特：“博斯特羅姆的《超等智能》值得一讀，對人工智能必定要萬分當心，它能夠比核彈還風險。”統一年，劍橋年夜學宇宙學家霍金對BBC說：“開辟完全的人工智能能夠招致人類消亡。”微軟開創人之一比爾·蓋茨也曾小心地表現：“我是對超等智能覺得擔心的那一派。”

　　2008年，盤算機迷信家埃利澤·尤得庫斯基在《全球災害風險》中描繪了AI滅世的場景：“AI的智力從阿米巴一路上升到村里的笨伯誰人級別，然后止步于人類天賦的程度，如許的能夠性有多年夜？”他本身的答復是：“從物理上說，我們有能夠造出一臺運算速度百萬倍于人腦的盤算機。假如人腦加快到這個程度，那末早年須要思慮一年的成績，如今31秒以內就可以處理。而這就意味著，外界才過八個半小時，心坎就曾經感到閱歷了近千年的思慮時光。”尤得庫斯基以為，如今不為這個成績著想，今后就來不及了：“AI的時光不雅念和你我分歧，比及你的神經元想好‘我該做點甚么’時，你就曾經輸了。”

　　這派設法主意的代表是牛津年夜學哲學家尼克·博斯特羅姆在《超等智能》一書中提出的所謂“回形針量產機”的思想試驗：人類設計了一臺AI來造回形針，它在耗盡了最后的原料以后，就開端極力搜刮一切可用的資料，包含人類身上的那些。博斯特羅姆在2003年的一篇論文中寫道，只需這個頭一開，AI就會“先將全部地球耗盡，乃至進一步應用四周更年夜規模內的一切資料，把它們都改革成一部部臨盆回形針的裝配。”用不了多久，全部宇宙就只剩下回形針和臨盆回形針的機械了。

　　我對這個假想持疑惑的立場。第一，這個末日場景須要知足連續串前提能力完成，中央任何一個環節失足，末日的戲碼都沒法演出。英國西英格蘭年夜學的電氣工程傳授艾倫·溫菲爾德在2014年的一篇文章中如許寫道：“假設我們造出了和人類相當的AI，假設這部AI明確了本身的任務道理，又假設它能將本身改良成具有超等智能的AI，再假設這個超等AI出于有意或歹意開端消費資本，還要假設我們沒能拔失落它的插頭？到那時，我們才能夠碰到費事。這風險不是沒有，只是幾率甚微。”

　　第二，AI的研發其實要比猜測的遲緩很多，個中每個步調，人類都有時光叫停。就像谷歌董事長埃里克·施密特在答復馬斯克和霍金時所說的那樣：“你們認為人類會留意不到嗎？留意到以后，不會去關失落那些電腦嗎？”谷歌的DeepMind公司曾經成長出了一個封閉AI的開關，它被戲稱為“緊迫紅按鈕”，可以在AI意圖造反時按下。百度首席迷信家吳恩達也表現（針對馬斯克的話），有人“還沒登上火星，就開端擔心火星上的生齒成績了。”

　　第三，AI滅世論的根據常常是自然智能和人工智能之間的毛病類比。2015年，哈佛年夜學的試驗心思學家斯蒂芬·平克在答復Edge網站年度成績“你對會思慮的機械有甚么意見”時，對這一點做了解釋：“AI災害論者都在智能的概念中投射了狹窄的年夜須眉心態。他們假定智力超出人類的機械人會制訂出免職主人或是統治世界的目的。”但現實上，平克指出，人工智能異樣能夠“沿著女性的道路退化：既能闇練地處理成績，又沒有祛除無辜者或主宰人類文明的愿望。”

　　第四，電腦“想做”某事的說法（好比想把世界釀成回形針）意味著電腦有了情感，然則就像科普作家邁克爾·喬羅斯特指出的那樣：“一旦AI對某事有了神往，它就進入了一個獎賞與處分的世界，好比它會曉得，做了好事就要遭到我們的處分。”

　　斟酌到汗青上的末日預言還沒有一個應驗，再加上AI幾十年來的成長一貫陡峭，我們應當有富余的時光樹立一套平安系統，以避免AI撲滅世界的工作產生。