【IT商業新聞網綜合報道】(記者 吳澤)一段視頻:一名研究人員戴上特制手套,一會兒把手指相對或張開,一會兒揮動手臂,隨著手勢變化,與電腦相連的揚聲器中傳出高低起伏的不同聲音。另一段視頻中,一名戴著手套的女歌唱家邊演唱邊做手勢,於是,清唱演變成一段配樂演唱。
這是加拿大不列顛哥倫比亞大學的電子和計算機工程教授悉尼·費爾斯最新研究成果:3D交互式手套,使用者只要戴上它做出各種手勢就可以合成為樂曲或一段話。
有研究稱,手勢不僅由骨骼肌肉驅動,而且受人的信念、意識的驅使,是涉及人的思維活動的高級行為。在虛擬現實系統中,手是用戶模型中十分重要的動作與感知關系模型,而手勢則是3D交互任務和技術的手段。
在上述表演中,使用者的手套上有3D位置傳感器,可以追蹤手勢信號,然後傳至電腦。根據設計好的程序,兩只手的不同手勢代表不同聲音片段。比如,右手握緊代表輔音、張開代表元音、左手控制音節的長短、右手抬起時代表高聲調、處於水平位置時是平聲調。
據悉,費爾斯先前開發出“手套交談”系統,采用神經網絡將用戶手勢轉換成手勢語言參數,通過語言合成器合成為語言輸出。他們研究初衷的是幫助失去語言能力的人“說話”。它讓傳統意義上不能講話的人發出聲音,但又不同於手語,因為使用者不必特意去學習手勢的含義”。隨著研究的深入,他們為它賦予音樂才能,“讓人們用手勢唱歌”。
不過,這項技術現階段還存在不足,比如,說出帶有情感色彩的詞時,它的聲音還不夠擬人,而是像機器人講話。此外,學習如何操作需要大約100小時。