アニメ、3DCG動画そしてワードプレス作成役立ち情報

MMD自動化ツールで作成されたVMDを動画にして再生・元動画と比較

前記事では、OpenPoseを使ってAI（深層学習）による 人物ポーズ可視化の
例を紹介しました。 


自分で作成していた動画2例に適用して、関節点検出 をうまく行えている
ことが確認できましたが、私の 目的は、そうして検出したデータをモーション
ファイル に変換して、3DCG動画に適用することです。 


自分の動きをWebカメラで撮影した動画を利用すること も可能ですから、
モーションファイルへの変換ができ れば、いろんな動きをとらせた動画
の作成に繋がって いくことも期待できます。 


ということで、特殊な機材を必要とするモーション キャプチャーを使用する
ことなく、カメラ１つだけ で、動画→モーションファイル変換可能なツール
 として、既に公開されている「クラウド(colab)で MMD自動トレースをやってみた」
の方法で、実際に うまくいくか否かを試してみました。


結論を先に述べておくと、「え！？こんなに簡単 に出来てしまうの？」と
いうぐらいスムーズに 作業が進みました。 
やり方は、既に上で紹介しているHPで詳しく解説 されていますので、
ここで改めて取り上げることは しません。 


準備するものは、

 ●動画
 ●Google Chrome
 ●Googleアカウント 

ぐらいです。 


以下が自動化ツールへのリンクです。
但し、Colaboratory に GitHub API の使用を許可することが必要です。


【colab版MMD自動トレースへようこそ！（準備編）】

【colab版MMD自動トレースへようこそ！（実行編）】


準備編で、colab（Google colaboratory）の操作方法を学習してから開始
しますが、特に難しい操作 はなくて、クリックし、確認し、次から次へ
進めて いったらＯＫという、使い手に優しいツールでした。 
日本語が読めれば、迷うことはないでしょう。 


今回は、以下の「踊ってみた」動画を使わせて頂いて 最初のチャレンジを
しましたので以下に紹介します。 


元動画はコチラ 

上記動画から自動トレースで関節点検出した動画は以下




上記で自動で関節情報を検出させた後に自動化ツール で作成された
「vmdファイル」でアニメーションチェック したのが、以下に示す動画です。 


「PmxEditor_0257」にMMD準標準ボーンの追加プラグ インを追加して
処理したKisuna AIをモデルにして モーション（vmd）させている画面
（TransformerView） を動画キャプチャーしたものです。 

追加したプラグイン： 
SemiStandardBones.dll 
SemiStandardBonesPMX.dll





元動画の完全再現には至ってはおりませんが、ある程度 それらしく動いて
いるといった感じです。 
以下に、元動画のモーションと比較した動画を示しました。



編集すれば、より一層スムーズな動きに改善されると 思います。