閱讀提示：突破了手語生成技術難題，為聽障群體了解冬奧資訊帶來便利，同時有效解決了專業場景中手語服務資源相對匱乏的問題，促進了社會無障礙設施建設。

身穿白襯衫、紅西裝的“年輕女性”，將主播的口語播報內容，實時翻譯成手語，傳達給聽障群體……近日，北京廣播電視臺《北京您早》節目“上線”了手語播報數字人，與真人主播同步播報冬奧資訊。

相關數據顯示，我國聽力殘疾人約2780萬人，占全國殘疾人的30%以上。手語播報數字人的出現，讓“無聲世界”里開始充滿了溫暖的冬奧聲音。

記者了解到，北京冬殘奧會開幕在即，各項服務轉換工作接近尾聲。如何幫助盲聾殘疾人順利“收看”殘奧會比賽的配套工作也在有條不紊地進行。

此外，針對北京2022年冬奧會和冬殘奧會研發的手語播報數字人，未來有望被推廣至更多應用場景。

讓聽障人士感受冬奧魅力

杜銀玲是一位聾人，同時也是一位手語教師、網絡博主。

“以前，我們觀看體育比賽時，需要同時打開電視和手機，一邊看比賽畫面，一邊看手機中的文字解說。”她告訴記者，這樣雖然也能獲取到比賽信息，但過程較為復雜，體育賽事的觀賞性也大打折扣。

從AI合成主播到虛擬美妝博主，語音播報數字人在傳媒、醫療、教育等領域越來越常見，但手語播報數字人卻不常見。尤其在體育新聞專業領域，聽障群體往往無法直接通過手語播報獲取信息。

冬奧會期間正式上崗的手語播報數字人，由北京智譜華章科技有限公司、凌云光技術股份有限公司、清華大學計算機系賈珈教授團隊、中科院計算所陳益強研究團隊聯合打造。

研發團隊在前期調研中了解到，人工手語翻譯工作量大，電視節目主持人和手語主持人配合難度高，且手語翻譯專業人員稀缺。因此，團隊希望通過AI技術將口語播報內容翻譯合成為手語，并通過手語播報數字人進行播報。

“這套手語播報系統在表意的準確性和表達的可懂度方面具有突出優勢。”研發人員告訴記者，由于不需要過多人工干預，這套系統還能節省大量人力，在手語播報時更快、更精準地傳達相應信息。

“智能手語播報拓展了我們觀看比賽、理解比賽的渠道，讓我們更深入地沉浸在比賽的氛圍里。”杜銀玲說。

數字人如何學習手語

為了讓學員準確快速地進行手語翻譯，杜銀玲在日常教學中，會讓學員反復訓練，提高手語運用的熟練度。同樣，手語播報數字人在學習手語的過程中，也經歷了一番“系統而刻苦”的訓練。

手語播報數字人生成技術涉及多個領域，包括計算機視覺、自然語言處理、跨媒體計算、人機交互等。

在語料庫建設階段，手語播報數字人系統完成了《國家通用手語詞典》8214條通用手語，以及2000多條冬奧賽事相關詞匯手語的采集和錄制。為確保手語播報的準確性和專業度，研發團隊還收錄了10萬多條常用語句。

研發人員指著屏幕告訴記者，在龐大的數據源基礎上，團隊通過自主搭建的多模態肢體動作、表情、手勢同步采集系統，完成多模態動作捕捉數據采集，進而再通過建立高精度語義蒸餾模型、跨模態擬人生成算法等，實現對文本內容的手語播報。

“手語不同于自然語言表達，常規語速下正常人每分鐘能說出200多字，而在語音轉化到文字的過程中，需要提取核心語義。為此，團隊研發了高精度語義蒸餾模型，目的是從不同的文本中提取出有效的核心語義內容。”北京智譜華章科技有限公司首席技術官張鵬說。

此外，在清華大學計算機科學與技術系賈珈教授團隊的技術支持下，手語播報數字人在動作擬合技術上實現突破，即通過采用多模態手語采集方案，實現動作、手勢、表情同步采集，手語播報數字人的手語表現力趨近于真人手語老師，手語動作更加流暢、優美、協調。

推動無障礙溝通產品建設

深入體驗了手語播報數字人的專業服務后，杜銀玲對該項技術的未來充滿了期待。

“手語播報數字人將有利于推動國家通用手語標準普及，為殘疾人創造更多平等參與社會生活的機會。”杜銀玲說。

該系統上線前經過4輪測評，200多位聽障人士和手語老師參與驗證測評，結果顯示，手語播報數字人的手語可懂度接近90%。

凌云光技術股份有限公司副總裁楊藝表示，在進行大范圍聽障群體評測基礎上，手語播報數字人通過在關鍵技術上取得突破，實現了從以前只是“比畫”一下動作，到展示面部表情和復雜手語動作體系的跨越。

“每個地方方言不同，手語表達特點不同，手語播報數字人為聽障人士提供冬奧資訊的同時，也能提供手語標準示范，在教學層面為聽障人士提供獲取知識和信息的機會。”北京電視臺新聞頻道中心副主任王毅說。

談到手語播報數字人的未來發展前景時，多位業內人士均認為，“后冬奧時代”，這一系統有望被推廣至更多電視臺、網絡媒體，實現手語與語音之間的雙向轉換，讓“無聲世界”實現無障礙互動交流。