FaceBook（FB.US）意念實時轉(zhuǎn)語音準(zhǔn)確率達76% 最終計劃是打造一款A(yù)R眼鏡

[復(fù)制鏈接]

潔制Amy

電梯直達

1^#

發(fā)表于 2019-7-31 15:00:14 | 只看該作者 |倒序瀏覽 |閱讀模式

今天，加州大學(xué)舊金山分校（UCSF）和Facebook（FB.US）在Nature Commuications上發(fā)表的一項研究顯示：

他們在“非植入式”的穿戴設(shè)備上取得了最新進展，構(gòu)建出了一個大腦-計算機系統(tǒng)，能準(zhǔn)確解碼佩戴設(shè)備的人聽到和說出詞語和對話，實時從大腦信號中解碼。

也就是說，在這種腦機接口面前，你的所思所想已無處遁形，F(xiàn)acebook已經(jīng)讓意念打字成為了現(xiàn)實。

此前，馬斯克的腦機接口公司Neuralink也發(fā)布過腦機接口系統(tǒng)，但這種植入式的設(shè)備需要向大腦中植入3000多個電極，以此來檢測神經(jīng)元的活動，但非植入式的設(shè)備就免去了復(fù)雜的植入步驟。

研究人員表示，目前對生成和感知的兩部分語言進行解碼，準(zhǔn)確率超出了他們的想象，分別能達到61%和76%的準(zhǔn)確率。

這項項目對于正常人和殘疾人來說，都具有實用意義。

比如，你可以將思維直連到語音助手siri，查詢天氣、搜索信息不用直接喊出來了。

研究人員之一、加州大學(xué)舊金山分校神經(jīng)外科醫(yī)生Edward Chang表示，這是向神經(jīng)植入物邁出的重要一步，因為中風(fēng)，脊髓損傷或其他疾病而失去說話能力的患者，有望因此獲得自然交流的能力。

如何意念轉(zhuǎn)語音

這項成果來自Facebook Reality Labs，一直與加州大學(xué)舊金山分校合作開展這項腦機接口的研究。

Facebook的設(shè)想是，設(shè)計一種可以將大腦信號轉(zhuǎn)換成語言的裝置，不需要勞動任何一塊肌肉，深度學(xué)習(xí)就能直接讀懂大腦，解碼腦中所想，實現(xiàn)流暢交流。

為了進行試驗，研究人員此前還招募了五名在醫(yī)院接受癲癇治療的志愿者。

他們先是從高密度皮層活動中提取相關(guān)信號特征。志愿者們說了上百句話，而通過植入性大腦皮層電圖（ECoG），研究人員可以跟蹤控制語言和發(fā)音的大腦區(qū)域的活動，并將這些活動與志愿者說話時嘴唇、舌頭、喉部和下顎的微妙運動聯(lián)系起來，然后將這些運動學(xué)特征翻譯成口語句子。

研究人員采用bLSTM（bidi-rectional long short-term memory）循環(huán)神經(jīng)網(wǎng)絡(luò)來破譯ECoG信號表達的運動學(xué)表征。

接著用另外一個bLSTM解碼先前破譯的運動學(xué)特征中的聲學(xué)特征。

在這個過程中，兩個神經(jīng)網(wǎng)絡(luò)都會被投喂訓(xùn)練數(shù)據(jù)，以提高它們的解碼性能。

在今年的四月份，利用這樣的方法，F(xiàn)acebook已經(jīng)實現(xiàn)了以每分鐘150詞的速度幫你說出所思所想。

而在這篇最新的論文Real-time decoding of question-and-answer speech dialogue using human cortical activity中，他們在此前研究基礎(chǔ)上，研究人員想進一步提高精度。

大多數(shù)語音解碼的工作原理是對一個人在想什么聲音做出最佳猜測，在解碼過程中可能會被“synthesizer”和“fertilizer”這類發(fā)音相似的單詞混淆。

但Facebook的新系統(tǒng)增加了上下文信息來幫助區(qū)分這些單詞。

首先，這個算法預(yù)測從一組已知問題中聽到的問題，比如“你在一塊土地上撒了什么?”然后，這些信息作為上下文來幫助預(yù)測答案：“肥料”（fertilizer）。

Edward Chang表示，通過添加上下文，這個系統(tǒng)能夠用的指定問題和答案解碼感知（聽到）的語音準(zhǔn)確率達到76%，解碼產(chǎn)生（口頭）的語音準(zhǔn)確率達到了61%。

Facebook表示，未來將擴大系統(tǒng)的詞匯量，讓其能適用在更廣泛的領(lǐng)域。

緣起兩年前

Facebook早在兩年前，就開始著手這個項目了。