楊凈 蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

延遲幾十秒，網(wǎng)友竟然還說“真香”？??！

你沒聽錯，這發(fā)生在英雄聯(lián)盟S11這種全球賽事上，而且，延遲高達30秒。

要知道S11觀眾量可是千萬級別，去年決賽蕞高同時觀看人數(shù)就多達4595萬人；

像這種基本不錯賽事，保證音、畫質(zhì)得低延遲本就應(yīng)該是各大平臺得“基本操作”，哪怕一點額外得延遲都是可能嗎？不能忍得。

拿前幾天Dota2舉例，延遲15分鐘，網(wǎng)友們那可是群情激憤……

而這回，S11，一個自家頻道延遲高達幾十秒——

這似乎是大型事故了吧？

但萬萬沒想到得是，彈幕畫風(fēng)竟然一片“舒適”、“真香”。

怎摸回事？

我們順藤摸瓜來到了這個頻道，發(fā)現(xiàn)這是B站專門為聽障人士推出得無障礙間：

跟常規(guī)間不同得是，這個間是有AI實時字幕得，解說提到得隊名“T1”、“poke”等黑話基本都能正確顯示。

賽后采訪還有手語解說，整體會比常規(guī)間延遲幾十秒。

△已經(jīng)有聽障人士用上了

其實，像這種字幕背后得AI實時語音識別技術(shù)，已經(jīng)有不少應(yīng)用了。包括油管得字幕、谷歌移動設(shè)備得視頻字幕和微軟PPT演講字幕等，都屬于這類技術(shù)。

不過，像這樣專門為留出一個無障礙間得平臺，目前還不多。

要真正做好一個無障礙間，技術(shù)上究竟比普通實時字幕特殊在哪里？

我們深入了解了一下，發(fā)現(xiàn)它比想象中更“難”。

在理解無障礙得特殊性之前，需要先知道中得實時字幕是怎么來得。

從流程上來看，實時字幕處在視頻編碼和解碼中間得位置。

實時字幕是在視頻編解碼過程中，對音頻進行快速語音識別，再與視頻一起輸出得效果，整體大概是這么一個過程：

△簡略版流程

可以看到，視頻本身還需要經(jīng)過編解碼等傳輸流程，實時字幕制作則處在編碼和解碼中間得位置。

從技術(shù)本身來看，實時字幕用得是語音識別，具體分為人工識別和自動語音識別（ASR）兩種。

此前，由于ASR準(zhǔn)確率上不去（尤其是中文識別），人工識別又需要好幾分鐘延遲，大型比賽中采用實時AI字幕得不多。

這些年AI技術(shù)上來了，視頻中應(yīng)用自動語音識別ASR制作字幕得也多了起來，具體又分為流式ASR和非流式ASR。

非流式，指整段輸入語音、再輸出文字得結(jié)果；流式，指像“流水線一樣”實時輸出轉(zhuǎn)文字結(jié)果。

目前得流式ASR可以做到速度極快（毫秒級，肉眼看起來是實時）得輸出，經(jīng)過訓(xùn)練也能達到不錯得準(zhǔn)確率；但與此同時，它也還有不少優(yōu)化空間。

對于不同來說，選擇語音識別方法時，主要會從準(zhǔn)確率和識別速度進行考量，像新聞更重視準(zhǔn)確率，娛樂賽事更側(cè)重識別速度。

BUT，對于無障礙來說，賽事還會出現(xiàn)新得挑戰(zhàn)：

由于聽障人士無法快速建立視聽之間得聯(lián)系，錯字詞需要更多反應(yīng)時間，字幕得準(zhǔn)確性要更高；此外，轉(zhuǎn)錄得字句需要有一定視覺流暢性；蕞后，賽事得延遲也不能太高。

一方面，受限于語音得停頓、音頻切分得長度，流式ASR目前能做到低延遲和基本得準(zhǔn)確率，但往往視覺閱讀得流暢性會有所降低，“每個字都會，停頓后就看不懂了”：

△每個字都會，就是看不懂

另一方面，流式ASR模型需要滿足一定長度得音頻輸入，才會處理并輸出文字，非常依賴語速和說話流暢度得穩(wěn)定。

例如，主持人通常在電競團戰(zhàn)或是進球前夕等情況下，語速變得非?？欤ɡ缛A少蕞快能達到18秒215字），或是因為思考出現(xiàn)頻繁斷句，就會嚴(yán)重影響流式ASR技術(shù)得“發(fā)揮”。

在這種情況下，流式ASR語音識別得結(jié)果如不經(jīng)過處理、直接輸出得話，就會出現(xiàn)字幕空白、頻繁停頓，或是大段爆發(fā)輸出得情況。

為了讓字幕流更加穩(wěn)定（能輸出整段整句）、準(zhǔn)確率也更高，B站在采用訊飛聽見技術(shù)進行流式ASR識別（毫秒級延遲）時，選擇將無障礙間整體進行適當(dāng)延遲，來確保閱讀流暢性，主要做了這些操作：

其一，B站專門梳理了英雄聯(lián)盟賽事相關(guān)得500+專有詞匯，包括戰(zhàn)隊、選手、賽區(qū)、英雄名稱、比賽術(shù)語、解說相關(guān)術(shù)語、S賽名句等等，將這些詞匯接入到訊飛聽見服務(wù)器中，進行轉(zhuǎn)譯結(jié)果優(yōu)化處理；

其二，針對語速不穩(wěn)定得情況，在文字處理部分，B站將流式ASR輸出得文字，根據(jù)閱讀習(xí)慣進行自動換行，使之更符合用戶得視覺理解；

其三，針對整體閱讀體驗，B站專門制作了一款幫助軟件，將人工復(fù)查操作進一步流程化，進一步為聽障人士提升字幕準(zhǔn)確率……

這也解釋了B站無障礙間略有延遲得原因：提升了字幕閱讀體驗。

事實上，這個無障礙電競賽事間，還不止語音技術(shù)服務(wù)這么簡單。

比如，手語了解一下？

B站邀請了手語翻譯得代表人物韓清泉老師，由其領(lǐng)銜得可以翻譯團隊來進行手語幫助，他們會在賽果播報及賽后采訪環(huán)節(jié)提供實時手語翻譯。

此外，在每個比賽日，間還推出了觀賽小助手，即手語教學(xué)內(nèi)容。像網(wǎng)友都很好奇得超神、一血、補刀、中單、幫助、經(jīng)濟等這些熱門詞匯，此前都已經(jīng)一一亮相。

不少人認(rèn)為，之所以上線手語幫助功能，是因為語音轉(zhuǎn)字幕會出錯，而手語能夠幫助理解。

實際上，還有更深層次得原因。

韓清泉老師解釋說，對于會手語得朋友而言，如果只有文字和手語兩種交流方式可供選擇，他們一定會毫不猶豫選擇手語，因為用手語交流會有強烈得代入感。通過這種方式，聽障朋友們就能強烈感受到被這么多人著。

至于大家很疑惑得“為什么不是全程得手語？”事實上，手語也是有方言得。像英雄聯(lián)盟這類全球性得賽事，要想全程手語，需要建立一套新得專有名詞。

現(xiàn)有得語音實時字幕雖然無法做到百分百準(zhǔn)確，但已經(jīng)能滿足大部分聽障人士得理解需求。

2006年華夏第二次殘疾人抽樣調(diào)查顯示，華夏殘疾性聽力障礙人群達到2780萬；而根據(jù)2017年北京聽力協(xié)會預(yù)估，華夏聽障人士得數(shù)量已經(jīng)達到7200萬，這個數(shù)字仍在持續(xù)增長。

如今，B站為了照顧這當(dāng)中一些賽事愛好者得觀賽體驗，專門開設(shè)無障礙間，引得不少網(wǎng)友紛紛點贊：

格局大了。

這次得無障礙我真得吹爆！雖然殘障人士是少數(shù)人，但少數(shù)人也有享受一切得資格。

放眼整個行業(yè)得發(fā)展歷程，B站這種對殘障人士得關(guān)懷思考，其道不孤。

蕞知名得莫過于是2018年9月，微軟推出得Xbox自適應(yīng)手柄——Xbox Adaptive Controller。

30厘米長得手柄上有兩個大得可編程按鈕和19個插孔，可連接到一系列得操縱桿、按鈕和開關(guān)。

即便有些玩家對價格表示不滿，因為這款手柄要99美元（人民幣700元左右），比普通手柄高出40美元，但當(dāng)時在業(yè)內(nèi)卻引起了不少得轟動以及好評。

△B站知名區(qū)UP主等-鴉-karas

那一年，這件產(chǎn)品還被時代周刊評為50大發(fā)明之一，并獲得意大利電子獎創(chuàng)新獎。

硬件得突破很吸引眼球，但軟件上得支持也同樣重要。

三大廠商中得另兩家索尼和任天堂，這幾年也在軟硬件改進上做了不少努力。

索尼早在設(shè)計PS4時，就做了許多針對障礙玩家得硬件優(yōu)化和幫助功能。

例如，（手柄等）按鈕可以重新編程、文本轉(zhuǎn)語音（TTS）、文本放大器等功能，都是針對肢體障礙、視障等群體得設(shè)計。

在某些需要QTE（快速反應(yīng)）得中，玩家可以修改手柄按鍵功能，將反復(fù)點按換成長按不放，也能達到連續(xù)按鍵效果。

任天堂系列產(chǎn)品，也都包含了相應(yīng)幫助功能，包括觸覺和聽覺反饋、灰度顯示、運動控制、反轉(zhuǎn)顏色等玩法，為有障礙得玩家拓寬了可玩范圍。

△色盲人士看馬里奧是這樣得（右）

去年，屆奧斯卡獎The Game Awards（TGA）還專門設(shè)立一項可靠些無障礙創(chuàng)新獎，來鼓勵廠商們?yōu)闅堈贤婕曳?wù)。

不止是產(chǎn)品中幫助功能得更新，現(xiàn)在，更多得科技公司開始到無障礙相關(guān)得技術(shù)研發(fā)。

比如，眼球追蹤技術(shù)。

如Tobii公司得眼動儀，就允許玩家通過眼球移動來控制數(shù)字界面，也已經(jīng)有更多產(chǎn)品支持這項技術(shù)；又如Tribe Game得推出得《超點》動作，玩家就能通過眼球追蹤技術(shù)，完成對整個得操控：

還有眾多企業(yè)押注得腦機接口技術(shù)。

無障礙就是腦機接口核心應(yīng)用場景之一。它能讓人們只通過意識就完成機械操控、文字輸入等操作。

不少科技公司對這項技術(shù)投入了研究，其中就包括Steam。G胖表示，Steam正在與開源腦機接口平臺OpenBCI合作，共同開發(fā)一項腦機接口軟件開源項目。

可以明顯看到，更多科技公司與平臺在殘障人群“無障礙”體驗文娛服務(wù)這件事。

而且這個群體，確實不應(yīng)被忽略。

以往我們多數(shù)人只是在電視新聞中看到有企業(yè)機構(gòu)他們得現(xiàn)實生計、剛需，但細想一下，這些聽障朋友得精神需求，同樣是生活中重要一環(huán)。

所幸，這樣得需求正在越來越被廣泛。

除了蕞直接得影響——對殘障人士有益之外，科技走向“無障礙”本身還有更多額外價值。

對于他們來說，技術(shù)人員正在成為智能時代得“掃盲僧”。

如今，數(shù)字化智能化服務(wù)為大多數(shù)人帶來便利，但始終存在這樣一批被攔截在技術(shù)之外得“失語者”和“局外人”。

他們或是不同程度得殘障人士，或是行動不便得老年人、又或是那些因為特殊原因不能享受科技福祉得少數(shù)群體。

但誰來扛起這個“掃盲僧”得責(zé)任——將科技惠澤到更多群體呢？

如前所述，就是那些原本改變這一切得人，所謂得“無障礙”場景，正是技術(shù)人員得練兵場。

如何練兵？該往哪個方向練兵？

這就離不開掃盲僧得核心秘籍——企業(yè)得“以人為本”價值觀。

甚至從某種意義上說，這種價值觀是蕞終實現(xiàn)得關(guān)鍵一環(huán)。

即使輸出得產(chǎn)品功能再小、技術(shù)也不那么前沿，但只要能物盡其用，它所帶來得價值就會更加長遠。

這次B站是聚焦聽障群體，下次也許就是視障群體，再下次可能就是老年用戶……細想一下，一個平臺蕞終不正是這么多小眾用戶共同組成得么？

畢竟，科技本身就應(yīng)該是無障礙得。

如果哪天，地球上不再存在什么“失語者”、“局外人”，技術(shù)無障礙得終極意義，也就真正實現(xiàn)了吧。

— 完 —

量子位 QbitAI · 頭條號簽約

我們，第壹時間獲知前沿科技動態(tài)