通過計算快速移動和振動表面(例如鈸)所產(chǎn)生的壓力波，斯坦福研究人員開發(fā)的全息聲音合成系統(tǒng)可以自動為計算機動畫渲染逼真的聲音。
計算機生成圖像的進步帶來了生動逼真的動畫，但與之相關(guān)的聲音通常只是錄音。現(xiàn)在，斯坦福大學的研究人員開發(fā)出了一種新系統(tǒng)，可以自動為各種動畫現(xiàn)象提供準確的聲音。
計算與數(shù)學工程研究所(ICME)的研究生Jui-Hsien Wang說道:"我花了數(shù)年時間試圖解開偏微分方程，這是控制聲音傳播的方式。這對我來說真的很令人興奮，而且很有趣。"
1. 預(yù)測聲音
通過幾何和物理運動，系統(tǒng)可以計算出每個對象的振動，以及如何像揚聲器那樣通過振動來激發(fā)聲波。它計算由快速移動和振動表面拋出的壓力波，但不會復制室內(nèi)聲學。因此，盡管不能在宏偉的大教堂中重現(xiàn)回聲，但它可以應(yīng)對各種情況下的詳細聲音，例如鈸相撞，顛倒的碗旋轉(zhuǎn)到停止，杯子填滿水，或虛擬人物用擴音器說話。
與動畫相關(guān)的大多數(shù)聲音都依賴于預(yù)先錄制的剪輯，這需要大量的手動操作來與屏幕上的動作同步。片段同時受限于存在的噪音，它們無法預(yù)測任何新的東西。能夠產(chǎn)生和預(yù)測聲音的其他系統(tǒng)僅支持特殊情況，或者假設(shè)幾何體不會出現(xiàn)太多變形。對于每個單獨的對象，它們同時需要很長的預(yù)計算階段。
論文共同作者Ante Qu說道:"我們基本上只是一個渲染按鈕，具有最少的預(yù)處理功能，在一次聲波模擬中將所有對象放在一起。"
由此方法產(chǎn)生的模擬聲音非常詳細。它考慮了動畫中每個對象產(chǎn)生的聲波，但也預(yù)測了這些聲波如何根據(jù)它們與場景中其他對象和聲波的相互作用而彎曲，反彈或減弱。
2. 挑戰(zhàn)
在目前的形態(tài)中，小組的流程需要一段時間來創(chuàng)建成品。但是，現(xiàn)在他們已經(jīng)證明了這種技術(shù)的潛力，他們可以專注于性能優(yōu)化，例如在并行GPU硬件上實現(xiàn)他們的方法，而這應(yīng)該會提高其速度。
然而，即便是在當前的形態(tài)下，這一切都值得我們的等待和期待。詹姆斯說道:"我們用系統(tǒng)生成的第一個水聲是我們模擬過的最好水聲之一，而水是計算機生成聲音方面的巨大挑戰(zhàn)。我們認為我們可能會有一些改進，但它已經(jīng)比以前的方法要好得多，甚至是開箱即用。這真的非常令人震撼。"
雖然該小組的研究能夠忠實地呈現(xiàn)各種對象的旋轉(zhuǎn)，摔倒和撞擊聲，但仍難以逼真地模擬更復雜的對象和相互作用，如斯特拉迪瓦里小提琴的回響音。這個研究小組表示，他們將不得不等待未來的解決方案。
計算機生成圖像的進步帶來了生動逼真的動畫，但與之相關(guān)的聲音通常只是錄音。現(xiàn)在，斯坦福大學的研究人員開發(fā)出了一種新系統(tǒng)，可以自動為各種動畫現(xiàn)象提供準確的聲音。
斯坦福大學計算機科學系的道格·詹姆斯(Doug James)教授說道:"計算為人類模擬現(xiàn)實的過程中存在一個圣杯。我們可以用物理和計算機圖形為場景制作動畫。但對于聲音，它們通常都是編造而成。目前無法為復雜的動畫內(nèi)容生成逼真的同步聲音，比如說自動濺水或碰撞物體。這(新系統(tǒng))填補了空白。"
研究人員將在ACM SIGGRAPH 2018大會介紹這個聲音合成系統(tǒng)。研究人員表示，除了電影和虛擬現(xiàn)實世界外，這個系統(tǒng)還可以幫助工程公司在物理生產(chǎn)之前對產(chǎn)品的聲音進行原型設(shè)計，并希望能夠鼓勵更安靜，更少刺激的設(shè)計。計算與數(shù)學工程研究所(ICME)的研究生Jui-Hsien Wang說道:"我花了數(shù)年時間試圖解開偏微分方程，這是控制聲音傳播的方式。這對我來說真的很令人興奮，而且很有趣。"
1. 預(yù)測聲音
通過幾何和物理運動，系統(tǒng)可以計算出每個對象的振動，以及如何像揚聲器那樣通過振動來激發(fā)聲波。它計算由快速移動和振動表面拋出的壓力波，但不會復制室內(nèi)聲學。因此，盡管不能在宏偉的大教堂中重現(xiàn)回聲，但它可以應(yīng)對各種情況下的詳細聲音，例如鈸相撞，顛倒的碗旋轉(zhuǎn)到停止，杯子填滿水，或虛擬人物用擴音器說話。
與動畫相關(guān)的大多數(shù)聲音都依賴于預(yù)先錄制的剪輯，這需要大量的手動操作來與屏幕上的動作同步。片段同時受限于存在的噪音，它們無法預(yù)測任何新的東西。能夠產(chǎn)生和預(yù)測聲音的其他系統(tǒng)僅支持特殊情況，或者假設(shè)幾何體不會出現(xiàn)太多變形。對于每個單獨的對象，它們同時需要很長的預(yù)計算階段。
論文共同作者Ante Qu說道:"我們基本上只是一個渲染按鈕，具有最少的預(yù)處理功能，在一次聲波模擬中將所有對象放在一起。"
由此方法產(chǎn)生的模擬聲音非常詳細。它考慮了動畫中每個對象產(chǎn)生的聲波，但也預(yù)測了這些聲波如何根據(jù)它們與場景中其他對象和聲波的相互作用而彎曲，反彈或減弱。
2. 挑戰(zhàn)
在目前的形態(tài)中，小組的流程需要一段時間來創(chuàng)建成品。但是，現(xiàn)在他們已經(jīng)證明了這種技術(shù)的潛力，他們可以專注于性能優(yōu)化，例如在并行GPU硬件上實現(xiàn)他們的方法，而這應(yīng)該會提高其速度。
然而，即便是在當前的形態(tài)下，這一切都值得我們的等待和期待。詹姆斯說道:"我們用系統(tǒng)生成的第一個水聲是我們模擬過的最好水聲之一，而水是計算機生成聲音方面的巨大挑戰(zhàn)。我們認為我們可能會有一些改進，但它已經(jīng)比以前的方法要好得多，甚至是開箱即用。這真的非常令人震撼。"
雖然該小組的研究能夠忠實地呈現(xiàn)各種對象的旋轉(zhuǎn)，摔倒和撞擊聲，但仍難以逼真地模擬更復雜的對象和相互作用，如斯特拉迪瓦里小提琴的回響音。這個研究小組表示，他們將不得不等待未來的解決方案。
