在不久前結(jié)束的冬奧會(huì)各類賽事直播中，有不少虛擬人前來(lái)助陣，其中就有AI手語(yǔ)主播，為聽障人士提供了共享奧運(yùn)精彩的可能。但在日常生活中，聽障人士想要方便地獲取信息仍面臨著眾多困難，國(guó)內(nèi)不少科技公司都意圖通過(guò)技術(shù)的力量解決這些問(wèn)題。

3月3日下午，百度智能云曦靈的發(fā)布AI手語(yǔ)平臺(tái)和AI手語(yǔ)平臺(tái)一體機(jī)，則為手語(yǔ)服務(wù)普及、緩解無(wú)障礙窗口短缺困境提供了新解法。

百度智能云曦靈是百度在去年底的Create 2021上推出，是數(shù)字人生產(chǎn)、內(nèi)容創(chuàng)作、業(yè)務(wù)配置服務(wù)為一體的平臺(tái)級(jí)產(chǎn)品。目前已服務(wù)數(shù)十個(gè)用戶和多個(gè)場(chǎng)景，包含數(shù)字員工、虛擬偶像等，AI手語(yǔ)數(shù)字人也是其中一個(gè)重要方向。在此次冬奧會(huì)央視新聞客戶端上，百度智能云曦靈打造的AI手語(yǔ)主播就已上崗，目前已經(jīng)生產(chǎn)了超過(guò)200條視頻和進(jìn)行數(shù)場(chǎng)直播，總觀看次數(shù)已超過(guò)1億次。

百度集團(tuán)副總裁吳甜在發(fā)布會(huì)上表示，新代際用戶越來(lái)越多的在接受和喜愛數(shù)字內(nèi)容的消費(fèi)，以及虛擬世界帶來(lái)的新鮮感，數(shù)字人的需求正在不斷提升。同時(shí)，人工智能呈現(xiàn)融合創(chuàng)新和降低門檻的新特點(diǎn)，綜合運(yùn)用多技術(shù)的數(shù)字人帶來(lái)新體驗(yàn)，AI加持使數(shù)字人制作和運(yùn)營(yíng)成本與門檻降低，AI手語(yǔ)平臺(tái)將讓更多聽障人士享受科技帶來(lái)的便利。

搜狐科技在發(fā)布會(huì)上了解到，中國(guó)有超過(guò)2000萬(wàn)的聽障用戶，它占到全球總聽障用戶的39%，但專業(yè)的手語(yǔ)翻譯不足1萬(wàn)人，相較于日美等國(guó)家，手語(yǔ)翻譯人員與聽障用戶的比例是1比100，而我國(guó)的比例是1比2780，巨大的需求缺口亟待補(bǔ)足。

這些反映到具體生活中，就會(huì)對(duì)聽障人士的生活造成諸多不便。百度AI人機(jī)交互負(fù)責(zé)人李士巖就介紹到，絕大多數(shù)的線上場(chǎng)景，無(wú)論是APP電視還是智能硬件，都沒(méi)有提供手語(yǔ)服務(wù)。線下的場(chǎng)景則更為復(fù)雜，醫(yī)院有超過(guò)97%的聽障用戶因?yàn)闆](méi)有手語(yǔ)翻譯而在就診遇到困難;在火車站有超過(guò)75.73%的用戶沒(méi)有使用過(guò)火車站的無(wú)障礙手語(yǔ)設(shè)施。

此次百度智能云發(fā)布的AI手語(yǔ)平臺(tái)及AI手語(yǔ)平臺(tái)一體機(jī)有望改變這一現(xiàn)狀。據(jù)介紹，AI手語(yǔ)平臺(tái)具備視頻手語(yǔ)合成、直播手語(yǔ)合成、文本轉(zhuǎn)手語(yǔ)、語(yǔ)音轉(zhuǎn)手語(yǔ)四大功能，只需幾小時(shí)的部署，即可實(shí)現(xiàn)普通視頻合成為手語(yǔ)視頻、實(shí)時(shí)直播中增加手語(yǔ)畫面、文字翻譯為手語(yǔ)、語(yǔ)音實(shí)時(shí)翻譯為手語(yǔ)等多種效果。AI手語(yǔ)平臺(tái)可搭載在各類APP、網(wǎng)站、小程序中，讓聽障人士也能輕松實(shí)現(xiàn)線上社交、娛樂(lè)休閑、課程學(xué)習(xí)等各類需求。

對(duì)于醫(yī)院、銀行、機(jī)場(chǎng)等線下場(chǎng)景，此次發(fā)布的全離線一體機(jī)V3以及端云結(jié)合一體機(jī)P3，搭載了AI手語(yǔ)平臺(tái)的核心功能，可實(shí)現(xiàn)ASR語(yǔ)音識(shí)別、語(yǔ)音翻譯、人像渲染等多功能。通過(guò)將普通服務(wù)窗口轉(zhuǎn)換為“無(wú)障礙窗口”，聽障人士在醫(yī)院可輕松實(shí)現(xiàn)掛號(hào)、看診、繳費(fèi)、取藥等全系列流程，在車站、機(jī)場(chǎng)可獨(dú)立完成值機(jī)、托運(yùn)、改簽、中轉(zhuǎn)，在法院、警局等特殊場(chǎng)景中也可對(duì)各類緊急情況進(jìn)行實(shí)時(shí)平等的溝通。

但AI手語(yǔ)的實(shí)現(xiàn)也需要克服諸多技術(shù)挑戰(zhàn)。和傳統(tǒng)翻譯相比，手語(yǔ)翻譯并非按照日常說(shuō)話的順序，而要根據(jù)語(yǔ)句意思進(jìn)行語(yǔ)言精煉和語(yǔ)序調(diào)整。同時(shí)，手語(yǔ)是真正的小語(yǔ)種，數(shù)據(jù)量難以支撐訓(xùn)練，各類場(chǎng)景聲學(xué)環(huán)境復(fù)雜難部署，還需要唇語(yǔ)及表情的配合輔助理解。

因此想實(shí)現(xiàn)高可懂度的AI手語(yǔ)能力，就需要解決三個(gè)技術(shù)難點(diǎn)：語(yǔ)音識(shí)別的清晰度、手語(yǔ)翻譯的準(zhǔn)確度和手語(yǔ)動(dòng)作的流暢度。那么，百度智能云曦靈-AI手語(yǔ)平臺(tái)在提供聽得清、翻得準(zhǔn)、打得好的手語(yǔ)服務(wù)上做得怎么樣?

據(jù)了解，在語(yǔ)音識(shí)別清晰度上，百度智能云曦靈的AI手語(yǔ)平臺(tái)通過(guò)SMLTA語(yǔ)音識(shí)別算法模型，實(shí)現(xiàn)聲學(xué)、語(yǔ)言一體化端到端建模語(yǔ)音識(shí)別，在手機(jī)端近場(chǎng)語(yǔ)音識(shí)別率可達(dá)98%以上。

百度語(yǔ)音技術(shù)部總監(jiān)高亮表示，百度語(yǔ)音在手語(yǔ)平臺(tái)里主要需要解決實(shí)時(shí)的問(wèn)題，要把它做的又快又要準(zhǔn)，對(duì)模型的要求就特別高。“語(yǔ)音大模型SMLTA能夠做到實(shí)時(shí)識(shí)別和非常高的準(zhǔn)確度，還可針對(duì)諸如旅游、醫(yī)院、司法等不同領(lǐng)域的詞準(zhǔn)率進(jìn)行針對(duì)性訓(xùn)練，詞準(zhǔn)率可達(dá)96%。”

解決了語(yǔ)音的問(wèn)題，如何準(zhǔn)確翻譯成手語(yǔ)也是一大挑戰(zhàn)。百度人工智能技術(shù)委員會(huì)主席何中軍在交流會(huì)上表示，手語(yǔ)翻譯面臨語(yǔ)序順序不同、詞匯語(yǔ)義差異、效率和實(shí)時(shí)性等挑戰(zhàn)，為此百度研發(fā)了首個(gè)基于神經(jīng)網(wǎng)絡(luò)的精煉度可控手語(yǔ)翻譯模型，并聯(lián)合手語(yǔ)語(yǔ)言學(xué)專家、特殊教育專家等制定了自然手語(yǔ)標(biāo)注規(guī)范，建設(shè)了大規(guī)模自然手語(yǔ)翻譯語(yǔ)料庫(kù)，使得模型可以從真實(shí)數(shù)據(jù)中學(xué)習(xí)手語(yǔ)翻譯知識(shí)，比如語(yǔ)序的調(diào)整、詞語(yǔ)的映射以及長(zhǎng)度控制等，從而生成符合聽障人群習(xí)慣的自然手語(yǔ)。

“手語(yǔ)翻譯有點(diǎn)像同聲傳譯，對(duì)表達(dá)的準(zhǔn)確性和時(shí)間延時(shí)低，但打手勢(shì)速度比說(shuō)話要慢，所以更加需要對(duì)語(yǔ)言的提煉。”何中軍表示，這就需要在模型里面去學(xué)精煉度，同時(shí)引入長(zhǎng)度的控制模型，可以動(dòng)態(tài)調(diào)整語(yǔ)句的長(zhǎng)短，做到既能夠把主要意思傳遞出來(lái)，又能夠把一些不太重要的內(nèi)容忽略掉，從而達(dá)到準(zhǔn)確度和凝練度都能兼得的效果。

值得注意的是，在自然手語(yǔ)翻譯語(yǔ)料庫(kù)的建立也離不開諸多聽障人士的助力，天津理工大學(xué)聾人工學(xué)院的500多名學(xué)生就參與了百度手語(yǔ)數(shù)字人的語(yǔ)料庫(kù)標(biāo)注工作。 “去年11月份在接到這個(gè)任務(wù)的時(shí)候，真的是時(shí)間緊任務(wù)急，學(xué)生聽說(shuō)要為冬奧會(huì)服務(wù)，所以也是特別高興，其實(shí)也是為了服務(wù)聾人朋友自己。”天津理工大學(xué)聾人工學(xué)院副院長(zhǎng)袁甜甜分享到。

在手語(yǔ)動(dòng)作的流暢度上， AI手語(yǔ)平臺(tái)通過(guò)動(dòng)作融合算法， 基于《國(guó)家通用手語(yǔ)詞典》規(guī)范精修近11000多個(gè)手語(yǔ)動(dòng)作，讓每一個(gè)動(dòng)作的起落之間自然銜接，實(shí)現(xiàn)連貫性表達(dá)。再配合4D掃描技術(shù)訓(xùn)練，使得AI手語(yǔ)數(shù)字人表情自然生動(dòng)，口型生成準(zhǔn)確度高達(dá)98.5%。百度表示，未來(lái)將在不斷完善產(chǎn)品的基礎(chǔ)上，加快覆蓋和落地，解決各類場(chǎng)景中無(wú)障礙窗口稀缺的問(wèn)題。

標(biāo)簽： AI手語(yǔ)主播 聽障人士 AI手語(yǔ)平臺(tái) AI手語(yǔ)平臺(tái)一體機(jī)