VRM を読み込んで ~ 音量に合わせてチョップさせてみた

VRM - VR向け3Dアバターフォーマット - を読み込んでみます。
VRMのページ : https://vrm.dev/
今回は 音量に合わせてチョップです。

音量部分はいつぞやのWebAudioAPIのサンプルからコピペ、無駄にミキシング & 1 kHz に反応です。もっとミニマムなサンプルも用意すべきでした、とても無駄に大きい。反応するのはFile0の方だけ。File1は伴奏用ということで。

 

Drop files here

File0
File1

 mixing result :                                                                     

 mixing source0 :                                                                     
 mixing source1 :                                                                     

Analyser

SmoothingTimeConstant :
MinDecibels :
MaxDecibels :

mixed	canvas	canvas
audio0	canvas	canvas
audio1	canvas	canvas

動作チェックはhttps://vroid.com/ (Mac版) 0.7.2 で自作したモデル。Mac の Chrome でだけ。
"Three.js での回転" かつ "VRM での関節の回転"がそれぞれ手探り。
肘が痛そうな方向に曲がっていそうです。その辺のコツを早く掴みたいなぁ...。 

動きにアサインする音量に関しても、周波数帯の絞り方、レンジとか、やはり深掘りするべきだなと。音量じゃなくアタック検出にするべきとか、いろいろ。

VRM読み込みあたりは、kiruroboさん のサンプルを参考にしています。

モデル使用に関する免責事項のお手本は、
 https://facevtuber.com/ さん。

[参考文献]