帳號已登出 2022-12-06

在應用商店搜尋StorySign，

它集成了HMS Core的OCR（Optical Character Recognition， 光學字元識別）技術，這是一種基於深度學習，將圖片上的文字智慧識別成文字的AI技術。那麼，既然AI可以智慧識別圖片上的文字， AI能不能做手語翻譯呢？給AI一段話，它如果可以自動翻譯成手語動畫，大家就可以跟著AI學習手語了，甚至AI也能成為聾人與健聽人之間的實時翻譯官，這樣AI造福的不僅僅是兒童的閱讀場景，更是更廣泛的聽障群體！

為了讓AI手語翻譯透過HMS Core能力開放出去，讓開發者去整合，進而服務到全球4。6億的聽障人群。首先要面對的難題便是 - AI能不能做手語翻譯，從文字智慧生成手語動畫？HMS Core組建了覆蓋AI手語翻譯所需要的3D數字人建模、自然語言理解、計算機視覺、3D動畫、圖形渲染、移動端Android開發、雲側服務化等眾多關鍵技術專家團隊，並邀請到國內權威手語語言學專業教授作為專案顧問，攜手共同攻關智慧實時手語翻譯專案。演算法和資料的雙重挑戰

手語翻譯專案啟動後，團隊透過查閱大量文獻和專利，快速對行業內相關技術進行了調研，一起梳理出了幾大難題。首先，要考慮到手語動作對於精度的高要求，1釐米指尖位置的誤差就可能表示完全不同的意思。其次，中文和手語成對的大規模高質量手語語料極難獲取，無法在短時間內找到這麼多專業的手語老師來提供語料。第三，手語作為獨立的語言，有其自身的語法及語序，中文與手語的語法及語序存在差異。例如中文“我沒有帶身份證”，對應的手語語序為“身份證/我/帶/沒有”。最後，手語不僅包括手部動作，還包含身體姿態及面部表情和口動，多模態資料的協同生成很重要。

透過對這些難題的逐一分析與解決方案的討論，手語團隊輸出了一種基於文字的多模態數字人動作和表情生成方案。這個方案由手語轉寫模組和手語動作表情生成模組組成，融合了手語語言學領域知識，並且能夠有效解決高質量動捕資料較少的問題。

演算法方案確定後，手語團隊迎來了更大的挑戰——資料。在人工智慧領域，有句話是“兵馬未動，糧草先行”，對手語翻譯專案來說，“糧草”就是手語資料獲取問題，包括手語轉寫資料和3D動作資料。如何制定合理的轉寫方案？什麼樣的動作捕捉裝置採集的資料可以滿足手語專案的商用要求？

轉寫是一件需要緊密結合語言學和計算機學的工作。為此，技術專家們與手語顧問緊密配合，投入到手語語言學知識學習中，經過了大量的討論，制定適合專案的手語轉寫標準。語言本是一件語感驅動的事，而計算機則是講究規則的。為了將手語語言學的知識總結成計算機能表達出的規則，團隊裡的人工智慧專家們和手語顧問對轉寫規則進行了多次討論，反覆修改優化了20多個版本，最終完成了適合專案要求的定製化轉寫方案。

在動作捕捉資料方面，透過多方調研以及對動捕裝置現場考察，過數十種之後，手語團隊發現發現，動捕資料採集情況遠比想象的複雜得多。在動捕採集的過程中，可能引入誤差的原因有很多，例如動捕服不夠貼身、動捕人員身型比例與手語數字人比例不一致等，導致動捕的原始資料無法直接使用。因此，手語團隊立刻組建動作修復小組，加快動捕資料的採集進度，使專案得以穩步推進。

手語數字人和開發者大會的故事

隨著資料採集進度的推進和AI演算法模型的迭代最佳化，手語服務的工程化也同步進展順利。手語翻譯團隊在短短一週的時間內就寫完了移動端SDK開發程式碼，並且順利地完成了端雲聯調。同時，在嘗試了多種不同的解決方案後，手語翻譯團隊透過旋轉角直接驅動骨骼的方式，避免在驅動後數字人動作的微小差別導致手語意思相差甚遠，讓手語數字人能夠準確地完成手語動作

一切就緒，手語服務準備開放首版本，在HDC交出一份滿意的答卷。手語團隊決定讓手語數字人全程支援開發者大會直播演講。這個挑戰可想而知，華為開發者大會上直播，觀看的人數非常龐大。如果手語數字人可以登上這個舞臺，在直播時為聽障朋友們提供手語翻譯，所有觀看直播的人都會注意到這個會打手語的紅衣女孩。這無疑可以吸引更多人來關注聽障人士，也就可以吸引到更多開發者藉助手語服務來為聽障手語使用者提供服務。

手語服務是從文字生成手語，直播時演算法的輸出嚴重依賴於語音識別的結果，語音識別的準確性如何保障？HDC大會演講中包含大量中英文混合的技術名詞，怎麼讓手語數字人打出這些詞？把整套驅動和渲染方案搬到自研引擎上能否相容？面對這些棘手的問題，手語團隊組建了HDC大會直播攻關小組，一部分成員攻關演算法，在最佳化手語生成演算法模型以覆蓋HDC大會可能會出現的科技語料；另一部分成員攻關直播時雲上語音識別、文字轉手語演算法部署以及3D模型驅動問題，以保證直播時手語數字人能順利識別到話筒中的聲音並打手語。在不到一個月的時間裡做足了充足的準備。

在HDC2021如約舉辦的當天。手語團隊的夥伴們在後臺緊張地守著直播畫面，他們緊緊盯著直播螢幕左下角的紅衣女孩，擔心手語數字人出現任何故障。所幸在整場直播中，她表現得遊刃有餘，非常驚豔！這一刻，團隊所有人的心情都是一樣的：不懈的努力沒有白費，手語數字人終於在HDC這個大舞臺上被大家看見了！

這是國內首次由數字虛擬人物進行的實時大會直播手語翻譯，這一切都得益於華為自研的AI演算法以及渲染技術，讓大會直播實時手語翻譯在完全無需真人的情況下得以實現。這套基於雲技術的語音識別、手語生成、驅動渲染的手語翻譯方案經過HDC2021得到了驗證，它不僅準確呈現了手語動作，也解決了手語翻譯目前普遍的的一個技術難點——表情系統。表情的出現讓手語數字人能夠更加完整準確地表達手語含義，目前手語服務已支援輸出10種不同的表情型別。相信在不久的將來，這套方案可以被搬上媒體內容製作中，聽障朋友們也可以獲取更多的社會資訊。

技術傳遞溫度

全球有4。6億聽障人群，當前的中文手語生成遠遠不足以覆蓋這些人群。未來，HMS Core手語團隊將持續最佳化手語翻譯效果和手語數字人渲染效果，同時也將構建英文手語生成能力，將手語服務全球化，以服務更多的聽障人群。

相信在不久的將來，手語數字人可以在更多的場合和大家見面，她可以出現在電視新聞節目的手語翻譯小視窗中，為大家翻譯新聞；也可以在大家乘坐地鐵、飛機的時候，可以用手語為聽障朋友們播報安全須知；甚至，在一些特殊教育學校裡，她可以做一位手語老師，教聽力障礙的同學們學習手語……。懷揣著這個美好的願望， HMS Core團隊基於手語服務能力正在打造StorySign2。0 APP，希望能帶給聽障人士更多的溫度。

正如HDC大會上的一句話：沒有人能夠熄滅滿天星光，每一位開發者，都是華為要匯聚的星星之火。目前，手語數字人已經透過HMS Core手語服務向開發者全面開放，讓更多的應用開發者都可以透過呼叫我們的手語服務SDK，快速實現手語實時翻譯，打造各類手語App，為聽障人士提供更加多樣化的服務。手語服務團隊希望和開發者一起，共築華為移動服務的滿天星光，打造一個溝通無障礙的世界。