天然說話處置，又稱 NLP（Natural language processing），是今朝和將來 AI 范疇最主要的基本技巧之一，重要是在機械進修的基本上聯合說話學和統計學在主動化辦事中對說話停止建模。說的直白一點，NLP 就是關于人和機械若何相互懂得、機械若何更懂人類的癥結。

　　作為今朝 AI 最重要的兩個分支范疇，NLP（天然說話處置）和 Computer Vision（盤算機視覺）分離代表了人類測驗考試讓機械懂得世界的兩個緯度，也是今朝人工智能范疇成長最快的兩個分支。隨同國際外各家智能音箱和語音助手的涌現，NLP 一時光成了浩瀚科技巨子正面比武的 AI 主疆場。

　　天然說話處置究竟若何一路走來、終究又將會讓機械和人之間的關系走向哪？作為在 NLP 范疇投資最多的公司，Google 也許是最有談話權的。

　　清除說話妨礙，Google NLP 的第一個義務

　　在 Google 的概念中，說話不該該是人類溝通的妨礙，更不該該是應用收集的障礙。

　　Google 研討項目總監 Linne Ha 告知極客公園，Google 的任務在于匯總全球的信息并使其可以或許被廣泛獲得和應用，而廢除說話妨礙就成了個中的癥結。清除說話形成的隔膜，這些年來一直是 Google NLP 團隊的重要義務之一。這類清除其實不止逗留在翻譯層面，說話處置（文天職析、生成、對話等）、音頻處置、手寫辨認等都是 Google 正在著眼處理的成績。

　　今朝世界上有 6000 種說話，這個中跨越 100 萬人應用的說話就有 400 種，還有許多小眾的方言。但如今的互聯網主導說話仍然是英語，全球年夜約 50% 的收集內容都是英文的。讓全球的人都能成為互聯網的受害者，不被說話的差別所障礙，這恰是 Google Bringing Everyone online 籌劃的巨大假想。

　　「同一碼」和「不要豆腐」字體，它們是 Google 完成這件事的第一步。

　　Unicode（同一碼）是盤算機的尺度字符編碼，它為每種說話中的每一個字符設定了同一而且獨一的二進制編碼，以知足跨說話、跨平臺停止文本轉換、處置的請求，谷歌一種都在勉勵更多的國度和地域廢棄應用非 Unicode 的字體。

　　除此以外，許多時刻當電腦和手機等裝備在對文本停止襯著，假如裝備上沒有響應的字體，就會涌現空白方塊字符，這些方塊看起來就像豆腐一樣。針對這類情形，Google 開辟了一款叫做 Noto 的字體（Noto 就是 No Tofu 的縮寫），它簡直兼容一切說話，而且供給同一的作風，以此來清除文字在分歧裝備上襯著涌現的空白方塊（Tofu）。

　　（圖片起源：techtolead）

　　當出現方法的妨礙清除以后，信息的輸出就成了下一個須要處理的成績。而機械進修的參與，開端讓人與機械之間的信息交互方法產生了變更。

　　手寫和語音是谷歌在鍵盤以外付與機械的信息吸收方法，這個在通俗用戶看起來天真爛漫的演進，面前實際上是一個不小的工程。

　　不論是手寫照樣語音，配合存在的一個成績是個別差別。許多時刻，就算是統一種文字、統一種說話，也會由于分歧的人而帶上分歧的口音和分歧的字跡。面臨這個成績，Google NLP 搜集了年夜量書寫樣本和語音樣本，并應用機械進修從這些樣本中進修去識別字跡和口音。

　　早在十年之前 Google 就有了語音搜刮的假想，而且在 2007 年 Google 想出了經由過程供給 GOOG-411（Google Voice Local Search） 的辦事來搜集數據。這個全主動的語音辨認搜刮辦事很受迎接，也很快贊助 Google 依據這些訊問的語音樹立了一個年夜型數據庫。經由這些高質量的語音搜刮數據練習，一年以后，語音搜刮就足以在智妙手機上啟動了。

　　以后 Google 又經由過程活著界各地的年夜量收集，擴大了 50 種其他說話的語音搜刮才能，讓全球數百萬人可以以更低的門坎應用上互聯網。

　　神經收集，NLP 的躍遷籌馬

　　DNN（深度神經收集）的參加，讓 Google 的語音交互技巧上升到了一個全新的高度。

　　2012 年 Google 正式開端應用深度神經收集，這項技巧在一開端就讓語音辨認才能進步了約 25％，且以后 Google 賡續在優化算法，讓這類辨認率的晉升后果一直堅持著微弱的增加。同時，機械進修的才能晉升也讓 Google NLP 的才能有了年夜幅度的晉升，可以或許更好的懂得人類的句子。

　　今朝，Google 經由過程這些技巧供給了 30 多種說話的語音輸出支撐，涵蓋跨越十億人。個中個一典范的應用場景就是的 Gboard 輸出法和 Google 語音搜刮，這些 App 供給了 119 種說話的支撐，包含 11 種印度語，3 種印度尼西亞語，乃至包括了 2 種非洲最主要的說話——斯瓦希里語和阿姆哈拉語。

　　Google 的團隊從多年的數據搜集中得出了一套高效低本錢的計劃，經由過程和統一處所的人用多說話停止溝通，用更少的數據樹立了更好的說話模子。

　　在處理了根本的溝通成績以后，Google NLP 也開端在更多范疇釋放本身價值，個中最典范的兩個場景就是翻譯和 AI 語音助手。

　　谷歌在 2016 年 9 月正式推出了整合神經收集的翻譯對象——GNMT（Google Neural Machine Translation）谷歌神經機械翻譯體系，這一翻譯技巧的應用恰是 Google 在 NLP 范疇技巧演進的一次直不雅表現。這類將全部句子視作翻譯單位的方法，對句子中的每部門停止帶有邏輯的聯系關系翻譯，翻譯每個字或單詞時都包括著整句話的邏輯。

　　在專訪中 Linne Ha 也告知極客公園，NMT 關于 SMT 更多是一種互補的關系，并沒有相對的好壞之分，他們各安閑分歧的情形下有著各自的優勢。NMT 的涌現填補了之前 SMT 才能沒法籠罩的長句翻譯和龐雜邏輯翻譯等成績。

　　智能語音助手 Google Assistant 則是 Google NLP 技巧今朝最焦點主要的應用。早在 2012 年的安卓 4.1 和 Nexus 手機上谷歌的智能語音助手就以 Google Now 的情勢和用戶見過面了。

　　其時的 Google Now 恰是應用 NLP 技巧完成與用戶交互，爾后經由過程 Web 辦事來停止問答、供給建議、完成辦事等舉措。而從 2016 年開端，具有更壯大 NLP 處置才能的 Google Assistant 就開端慢慢代替 Google Now，贊助用戶在手機上完成更龐雜的語音交互指令。

　　Google NLP 技巧程度直接影響著 Google Assistant 的才能規模，所以當 NLP 技巧經由過程機械進修在歷久的語音輸出、語音搜刮練習和積聚后，逐步可以或許控制對話才能，而不再只是純真的簡略指令處置才能。

　　這時候的 Google Assistant 也開端變得愈來愈萬能，它可以或許從對話中進修積聚對天然說話的語意、邏輯的懂得才能，其實不斷優化。

　　NLP 的機會和挑釁

　　NLP 也許不會有一個確實的止境，由于天然說話一直都在演化，而天然說話處置技巧須要賡續去順應這類變更。

　　固然今朝的 NLP 技巧不管是在算法照樣數據構造上都還沒有到達極限，但限制它的能夠其實不是只是算法和數據，而是沒法猜測的說話習氣的變遷，和賡續涌現的新辭匯，和舊辭匯的新用法。在專訪中 Linne Ha 也告知極客公園，今朝的 NLP 最年夜的挑釁在于若何應用應用算法，更快的從無限數據中進修和順應說話習氣的新變更，并實時做出調劑。

　　異樣的，機械翻譯也毫不會完整代替人類，由于除說話靜態變更的影響，數據量和算法異樣是須要處理的成績。今朝可以或許被應用的數據的范圍相較于全部人類文明的說話貯備來講其實太小，即便是 Google 也照舊面對雷同的成績；同時，即便有朝一日真的具有了全部人類文明的說話常識庫，現有的算法和盤算才能也難以完成如斯宏大的數據練習。

　　所以，未來 NLP 能夠其實不必定可以或許想一個真實的人一樣和我們停止對話，終究它也許更能夠飾演一種高等幫助的腳色，成為我們說話系統的一部門。

　　不外，NLP 在將來卻有能夠也會對人類的說話習氣發生一些影響，好比多說話的應用習氣，一小我能夠會具有正式和非正式兩種說話習氣。

　　而當極客公園問到現在的新興創業公司在 NLP 范疇還有哪些機遇時，Linne 絕不遲疑的說出了「Assistant」，在她看來，如今語音智能助手的市場有太多太多未被彌補的空白場景。

　　另外一個機遇則隱蔽在像廣東話如許的特別說話中，這些說話中存在許多沒法被轉化為書面文字的行動語，這類行動語關于須要先將語音轉化為文字，從而進修并懂得的 NLP 技巧來講是一個亟待處理的癥結成績。所以，NLP 將來的機遇極可能就隱蔽在「beyond text」（超出文本）的說話進修技巧上。

　　整體而言，說話是使互聯網更具包涵性的癥結地點。而說話關于下一個無所不在的盤算時期是相當主要，為了讓我們真正處于將來時期的數據情況中，我們須要可以或許天然地與盤算機攀談，讓盤算機懂得我們。而這不該該只是應用英語的多數人的特權，而是一切人都應當享有的人工智能時期的福利。

　　而讓機械更好的做到這一點，恰是 Google NLP 的目的和任務。