青春靚麗、多才多藝的虛擬人“小琴”能夠流暢嫻熟地說和唱,她不僅具備了中、英、粵三種語言能力,輸入歌詞后,她即可自動識別主動唱出來,更為“神奇”的是,小琴還可以根據音頻生成仿真口型,并根據歌聲自動生成唱歌動作和表情,極為自然、真實、生動。這一“魔法”背后,是完全借助AI技術實現的,在經典歌聲合成模型的基礎上進行優化和改進,形成自研模型lyraSinger;構建了自有數據,并借助于NLP中臺的覓詞系統實現算法改詞;旋律來自提升提取與曲譜預測相結合的新方法,并運用自有領先的算法對時間戳進行對齊和矯正;音效則是來自全民K歌智能調音臺算法,采用AI加人工聯合方法實現混音效果。
作為一個“全能唱跳”少女,自然不會僅僅局限于說唱技能。天琴實驗室在音樂驅動領域推出的 Music XR Maker 系統,基于騰訊音樂長期以來建立的對音樂信息的強大理解能力,通過音樂,用AI的方式,可生成虛擬世界的各項基礎元素。例如“小琴”擅長舞蹈,她不但可以根據一段旋律任意生成舞蹈,隨著流行、芭蕾、爵士等音樂翩翩起舞,還可以通過整合最先進的手勢和動作識別算法,精準捕捉身體及手部動作,甚至手勢的細微變化,從而復刻一段舞蹈;可更換各種各樣的服飾,大大提升了虛擬人“小琴”的趣味性,僅僅需要一張圖片,即可生成相應服飾,極大豐富了“小琴”的“衣柜”,同時還支持2D和3D算法,兼容不同人體姿態,可適配到多種場景。過往的虛擬人大多只能基于自身做一些外形和技能的設定,而Music XR Maker系統開創性地加入了場景生成能力,基于“小琴”的預設動作以及通過算法自動生成的動作序列,同時匹配歌曲的曲風、情感、節奏等,即可為虛擬場景批量生成可媲美專業燈光師的炫酷燈光秀,再加上結合音樂節奏和舞蹈動作自動匹配生成的運鏡效果,讓“小琴”的歌舞MV錦上添花,堪比歌舞大片。
作為騰訊音樂首個音視頻實驗室,天琴實驗室匯聚了清華大學等國內外頂尖高校機構AI頂尖人才,與西工大、中科大等高校達成科研合作,其在音頻、視頻、音效等領域的專利技術達384個,曾先后榮獲了含MIREX音頻指紋比賽冠軍、聽歌識曲技術突破獎、深圳科技專利獎、中國專利優秀獎等大量海內外重量獎項。天琴實驗室的各項黑科技已化身各種實用功能,應用在騰訊音樂旗下的各個平臺中。例如去年99公益日,QQ音樂推出了國內首張低頻公益專輯——《聽見“聽不見”的音樂》,正是運用天琴實驗室的“聲伴分離、音樂生成、伴奏改編”等智能化音頻技術制作而成。而讓更多用戶熟知且受益的則是QQ音樂「聽歌識曲」功能,這已成為廣大樂迷找尋陌生好歌的"必備神器",這項技術早在2019國際音頻檢索評測大賽(MIREX)上就一舉奪得世界冠軍,至今仍是行業領先水平。此外,還有如智能修音、智能美膚、AI語音朗讀、智能音效、視頻歌單、掃一掃MV識別等大量實用技術已大量應用于QQ音樂、全民K歌等騰訊音樂各類音娛APP中。
此次全新虛擬人“小琴”的推出,既是天琴實驗室各種“黑科技”的一個集中展現,同時也體現了其揭開神秘面紗,以更親和的姿態擁抱用戶的堅定決心。而騰訊音樂也將持續在技術創新驅動下,將以科技賦能音樂的產品理念延伸到更多場景當中,為用戶創造更多元的音娛體驗,讓科技在音樂中更具人性化,釋放更多溫暖和樂趣。
