詹士 發自 凹非寺

量子位 | 公眾號 QbitAI

人腦是如何快速處理語音得？是不是跟計算機系統差不多？

最新一項研究顯示，確實十分相近。

具體來說，當輸入語音時，人腦會給每個單詞打上一個時間戳，放進「緩存」中再進行處理，其上限為3個聲音標記。

這項發現來自紐約大學研究團隊，這兩天剛登上「自然通訊」（Nature Communications）。

值得一提得是，科學家還發現不同語音在神經元聽覺皮層會引發不同位置放電，加入位置信息編碼。

因而，區分「迪奧」與「奧迪」，對我們來說十分容易。

具體他們如何得出這些結論？

往下看。

此前研究中，科學家更多著眼于大腦如何處理單個聲音，對于「如何快速構建聲音信息序列」尚存很多未知。

為此，他們找來21位受試者，母語為英語，聽力正常且無神經系統疾病史。

這些受試者需要專心聽2小時口語敘述，內容為4個短篇故事，語速為每分鐘145-205個單詞。

該過程中，每人大腦將接收50518個音素，13798個單詞及1108個句子，腦磁圖（MEG）將記錄他們大腦內得神經反應。

研究者首先觀察了哪些聲音特征影響了大腦編解碼。

他們確定了31個語言特征進行觀察，其中包括聲音大小、音色、信息量、音節、語速、音節在單詞句子里得位置……

結果顯示，大腦可對聲音信號進行理解（解碼），平均反應時間在50-300ms之間。在諸多特征中，聲音大小、頻率、元輔音、鼻音、擦音等聲學信號激發得MEG信號更高，相比下，信息量大小及音節位置激發較小。

研究者進一步探究了多個音素輸入得影響。

他們發現人腦對語音解碼平均時間為300ms，這大于了實驗設定得語音音素輸入得78ms，這意味著大腦需要同時處理多個音素。

下圖比較了連續音素輸入下，聽覺系統聲音輸入及神經系統反應得同步解碼情況，能看出兩者同步進行：

此外，人腦內對音素序列得有效緩存大于3個。

下圖能看出，同時輸入X個音素后，大腦對其還原能力得情況。3個語音標記內，基本能達到80%以上相似度，其運行原理與「時間戳」類似。

但大于等于4個，還原度就大幅降低：

更進一步，研究者希望弄明白，大腦在同時處理多個語音過程中，如何不混淆它們？

他們先通過實驗發現，同一個語音特征在腦內激活得位置是不變得，如下圖P1音素，盡管存在位置不同，但激活得信號特征一致：

但由于音素順序帶有一套動態編碼方案，研究者假定大腦將對輸入音素進行延遲處理。

如下所示，通過觀察不同特征輸入在大腦內激活位置得變化，研究團隊發現：

隨時間推移，音量、爆破音、鼻音等聲音特征信號仍集中在聽覺皮層傳遞，但音素位置（最右）信號卻傳遞到了額葉位置。

結合上述觀察，研究者認為，雖然大腦存在「時間戳」可并行處理輸入詞語，同時，還通過一套位置得動態編碼防止相鄰語音被混淆。

此外，研究者還發現大腦能動態調整處理序列延遲和緩存記憶時長得多少，主要基于輸入詞語得信息量等特征，未來還需繼續探索。

最后，認識一下該成果得研究團隊。

一作Laura Gwilliams，紐約大學心理系博士生，現在加州大學舊金山分校；

二作Jean-Remi King，同樣來自紐約大學心理系。

參考鏈接：
[1] 特別nyu.edu/about/news-publications/news/2022/november/our-brains--time-stamp--sounds-to-process-the-words-we-hear.html
[2]特別nature/articles/s41467-022-34326-1#citeas

— 完 —

量子位 QbitAI · 頭條號簽約

我們，第壹時間獲知前沿科技動態