在剛曩昔的周末，OpenAI 的人工智能花了 10 分鐘就打敗了人類的 Dota 世界冠軍。正這樣多讀者所知，游戲是很多研發(fā)人員用來(lái)練習(xí)人工智能的對(duì)象。

　　在 OpenAI 位于舊金山的辦公室里，研討人員 Dario Amodei 正在經(jīng)由過(guò)程賽船冠軍賽（Coast Runners）來(lái)練習(xí)人工智能。不外，這小我工智能似乎有點(diǎn)掉控了。

　　賽船冠軍賽的游戲規(guī)矩很簡(jiǎn)略，假如想贏，選手必需搜集到最多的分?jǐn)?shù)，然后跨過(guò)起點(diǎn)線。

　　但 Amodei 的人工智能玩著玩著有點(diǎn)過(guò)分了，它在賡續(xù)地尋求高分，不但毫無(wú)跨過(guò)起點(diǎn)線的意思，反倒為了要多轉(zhuǎn)幾個(gè)圈拿高分，它開(kāi)端和其它賽船碰撞，或是在進(jìn)程中本身撞墻爆炸了。

　　為了應(yīng)對(duì)，Amodei 和 OpenAI 的同事 Paul Christiano 正在研發(fā)一套不只可以自我進(jìn)修，同時(shí)也情愿接收人工監(jiān)控的算法。

　　（Amodei 在告訴人工智能，如何的操作形式才更好）

　　在賽船游戲的練習(xí)中， Amodei 和同事將不時(shí)經(jīng)由過(guò)程按鍵來(lái)指出人工智能的欠妥的地方，告訴人工智能，不只要贏分?jǐn)?shù)，同時(shí)也要跨過(guò)起點(diǎn)線。他們以為，這類包括了人工干涉成份的算法可以確保體系平安性。

　　而在 Google 旗下 DeepMind 的研討人員也贊成 Amodei 和同事的設(shè)法主意。兩個(gè)團(tuán)隊(duì)，分離代表了 OpenAI 和 DeepMind，比來(lái)罕有地協(xié)作揭橥了部門人工智能平安方面的研討論文。

　　除此之外，Google 旗下的 Google Brain，和來(lái)自伯克利年夜學(xué)和斯坦福年夜學(xué)的研討團(tuán)隊(duì)，都設(shè)有該偏向研討課題，從分歧方面斟酌人工智能平安成績(jī)。

　　除這類在自我進(jìn)修進(jìn)程中“弄錯(cuò)重點(diǎn)”的潛伏風(fēng)險(xiǎn)，另外一個(gè)可料想的人工智能風(fēng)險(xiǎn)在于“為了完成義務(wù)，謝絕被開(kāi)辟者關(guān)機(jī)”。

　　普通在設(shè)計(jì)人工智能時(shí)，研發(fā)人員都邑給它設(shè)定“目的”，就像賽艇游戲中的“得分”一樣。一旦人工智能將取得“分?jǐn)?shù)”為最終目的，它能夠會(huì)發(fā)生一個(gè)辦法論——想要取得加倍多的分?jǐn)?shù)，個(gè)中一個(gè)辦法就是不封閉本身，如許就可以無(wú)盡頭地獲得分?jǐn)?shù)了。

　　伯克利年夜學(xué)的研討人員 Dylan Hadfield-Menell 和團(tuán)隊(duì)比來(lái)宣布了評(píng)論辯論這個(gè)成績(jī)的論文。他們以為，假如在設(shè)盤算法的時(shí)刻，讓人工智能對(duì)目的堅(jiān)持必定不肯定性，它們才有能夠情愿保存本身的“關(guān)機(jī)鍵”。他們采取了數(shù)字方法來(lái)測(cè)驗(yàn)考試完成這個(gè)設(shè)置，今朝還處于實(shí)際階段。

　　除人工智能自我“掉控”，研討人員還在斟酌黑客對(duì)人工智能的干涉影響。

　　古代盤算機(jī)視覺(jué)基于深度神經(jīng)收集（deep neural networks），它經(jīng)由過(guò)程進(jìn)修剖析年夜批量數(shù)據(jù)來(lái)構(gòu)成對(duì)形式的懂得。也就是說(shuō)，假如要讓盤算機(jī)學(xué)會(huì)甚么是“狗”，那就讓它剖析年夜批量狗的圖片，并從中尋覓紀(jì)律。

　　但 Google 的 Ian Goodfellow 則以為，這類形式能夠會(huì)為黑客供給“蒙騙”人工智能的機(jī)遇。Goodfellow 和其它研討人員曾展現(xiàn)，只需修正圖片中的幾個(gè)特定像素，他們就可以讓神經(jīng)收集信任圖片中的年夜象是一輛汽車。

　　假如這個(gè)神經(jīng)收集是運(yùn)用在安保鏡頭的話，如許就成績(jī)年夜了。

　　即使你用了數(shù)百萬(wàn)張標(biāo)記了‘人’的照片來(lái)練習(xí)一個(gè)物件辨認(rèn)體系，你照樣可以隨意馬虎拿出體系和人工辨認(rèn) 100% 分歧意的圖片。我們須要認(rèn)清這類景象。

　　Goodfellow 說(shuō)道。固然這些研討年夜多仍處于實(shí)際階段，但這群努力于將不測(cè)扼制于搖籃的研討人員深信，越早開(kāi)端斟酌這個(gè)成績(jī)?cè)胶谩eepMind 人工智能平安方面的擔(dān)任人 Shane Legg 說(shuō)道：

　　固然我們還不克不及肯定，人工智能將以多塊地速度成長(zhǎng)。但我們的義務(wù)是測(cè)驗(yàn)考試懂得并猜想，這類技巧將有能夠以哪一種方法被誤用，并測(cè)驗(yàn)考試找出分歧的應(yīng)對(duì)方法。