ThreeDPoseTrackerでVRMを動かしてみたい
2021-07-11 Toybox Comment : 0なんと今はUSBカメラひとつで全身トラッキングが出来る時代なのだそうです！！
この驚きの情報は、こちらの凪なぎささんのなぎなぎブログにて拝見させて頂きました。
素敵な情報を惜しみなく書いて下さってありがとうございます……！！
制作して下さっている方はyukihiko Aoyagiさんです。
素晴らしいアプリを制作して下さってありがとうございます！！
ダウンロードですが、yukihiko AoyagiさんのQiita内にリンクがあります。
USBカメラモーションキャプチャーThreeDPoseTrackerの説明 – Qiita
今回はVer.0.3.0をお借りいたしました。
ThreeDPoseTrackerの詳しい使い方は上記の方々が書いて下さっているのですが、配信用の要点を忘れないようメモしておきます。
まず初期状態でUSBカメラを使おうとすると、この赤枠で囲った部分にモーションキャプチャー元の人物が表示されてしまうと思います。
これではVtuberとしての配信が行えませんので、Configurationをクリックします。
ちなみに小窓に映る部分がモーションの入力データとなりますので、後々ここに全身が映るように立つことになります。
「Show Source Image」と「Show Input Image」という部分にチェックがありますので、これらを外します。
背景を透過してOBS等に取り込みたいという方は「Background Image File」のチェックも外します。
この3点のチェックを外して「OK」をクリック致しますと……
背景が緑色になりました。
これでOBSを使ってクロマキーで緑色を抜けば背景が透過された状態で録画や配信を行うことができますね！
が、私のようにVtuberに興味や憧れがおありの方なら、きっとご自分用のVRMで受肉したいですよね。
その場合は「Add Avatar」をクリックします。
「File」をクリックして、アプリに追加するVRMを選択、「New Avatar」の部分に任意のお名前を入れます。
ちなみに私はSHiHO（0.01）と入力いたしました。
無事に画面上にSHiHOが映るようになりました。
実際に動きを確認したい方は「Source Device」にUSBカメラが追加されているはずですので、そちらから選択して「Start Cam」をクリックすると（この時はPCに近い状態だと思いますのでちょっと大変なことになりますが）動きはじめるかと思います。
ここまでで録画・配信の下準備は完了です！
クロマキー合成とクロックパッドについては、「OBSでLive2Dをクロマキー合成で表示してみたい」のメモと同じです。
なので詳細は割愛致しますが、そちらを行うと上記の画像のような状態になるかと思います。
実際に動いてみました！
私の環境ではLow Qualityでないと動きませんでしたので、Hight Qualityで動かせる方が羨ましいです……（笑）
こちらのアプリ、いずれは商用化もするかもしれないとのことで、今後の発展が楽しみですね！！
でもこの場合マイクはどうすればいいんでしょう……ピンマイクみたいなやつを使うのでしょうか？
少なくともマイクを身に着けていないと音声入力は難しそうですよね。
改めまして素敵なアプリを開発して頂きありがとうございました！！
Tag : OBS Studio, ThreeDPoseTracker, VRoid