新規記事の投稿を行うことで、非表示にすることが可能です。
2020年08月22日
MMD自動化ツールで作成されたVMDを動画にして再生・元動画と比較
MMD自動化ツールで作成されたVMDを動画にして再生・元動画と比較
前記事では、OpenPoseを使ってAI（深層学習）による 人物ポーズ可視化の
例を紹介しました。
自分で作成していた動画2例に適用して、関節点検出 をうまく行えている
ことが確認できましたが、私の 目的は、そうして検出したデータをモーション
ファイル に変換して、3DCG動画に適用することです。
自分の動きをWebカメラで撮影した動画を利用すること も可能ですから、
モーションファイルへの変換ができ れば、いろんな動きをとらせた動画
の作成に繋がって いくことも期待できます。
ということで、特殊な機材を必要とするモーション キャプチャーを使用する
ことなく、カメラ１つだけ で、動画→モーションファイル変換可能なツール
として、既に公開されている「クラウド(colab)で MMD自動トレースをやってみた」
の方法で、実際に うまくいくか否かを試してみました。
結論を先に述べておくと、「え！？こんなに簡単 に出来てしまうの？」と
いうぐらいスムーズに 作業が進みました。
やり方は、既に上で紹介しているHPで詳しく解説 されていますので、
ここで改めて取り上げることは しません。
準備するものは、
●動画
●Google Chrome
●Googleアカウント
ぐらいです。
以下が自動化ツールへのリンクです。
但し、Colaboratory に GitHub API の使用を許可することが必要です。
【colab版MMD自動トレースへようこそ！（準備編）】
【colab版MMD自動トレースへようこそ！（実行編）】
準備編で、colab（Google colaboratory）の操作方法を学習してから開始
しますが、特に難しい操作 はなくて、クリックし、確認し、次から次へ
進めて いったらＯＫという、使い手に優しいツールでした。
日本語が読めれば、迷うことはないでしょう。
今回は、以下の「踊ってみた」動画を使わせて頂いて 最初のチャレンジを
しましたので以下に紹介します。
元動画はコチラ
上記動画から自動トレースで関節点検出した動画は以下
上記で自動で関節情報を検出させた後に自動化ツール で作成された
「vmdファイル」でアニメーションチェック したのが、以下に示す動画です。
「PmxEditor_0257」にMMD準標準ボーンの追加プラグ インを追加して
処理したKisuna AIをモデルにして モーション（vmd）させている画面
（TransformerView） を動画キャプチャーしたものです。
追加したプラグイン：
SemiStandardBones.dll
SemiStandardBonesPMX.dll
元動画の完全再現には至ってはおりませんが、ある程度 それらしく動いて
いるといった感じです。
以下に、元動画のモーションと比較した動画を示しました。
編集すれば、より一層スムーズな動きに改善されると 思います。
前記事では、OpenPoseを使ってAI（深層学習）による 人物ポーズ可視化の
例を紹介しました。
自分で作成していた動画2例に適用して、関節点検出 をうまく行えている
ことが確認できましたが、私の 目的は、そうして検出したデータをモーション
ファイル に変換して、3DCG動画に適用することです。
自分の動きをWebカメラで撮影した動画を利用すること も可能ですから、
モーションファイルへの変換ができ れば、いろんな動きをとらせた動画
の作成に繋がって いくことも期待できます。
ということで、特殊な機材を必要とするモーション キャプチャーを使用する
ことなく、カメラ１つだけ で、動画→モーションファイル変換可能なツール
として、既に公開されている「クラウド(colab)で MMD自動トレースをやってみた」
の方法で、実際に うまくいくか否かを試してみました。
結論を先に述べておくと、「え！？こんなに簡単 に出来てしまうの？」と
いうぐらいスムーズに 作業が進みました。
やり方は、既に上で紹介しているHPで詳しく解説 されていますので、
ここで改めて取り上げることは しません。
準備するものは、
●動画
●Google Chrome
●Googleアカウント
ぐらいです。
以下が自動化ツールへのリンクです。
但し、Colaboratory に GitHub API の使用を許可することが必要です。
【colab版MMD自動トレースへようこそ！（準備編）】
【colab版MMD自動トレースへようこそ！（実行編）】
準備編で、colab（Google colaboratory）の操作方法を学習してから開始
しますが、特に難しい操作 はなくて、クリックし、確認し、次から次へ
進めて いったらＯＫという、使い手に優しいツールでした。
日本語が読めれば、迷うことはないでしょう。
今回は、以下の「踊ってみた」動画を使わせて頂いて 最初のチャレンジを
しましたので以下に紹介します。
元動画はコチラ
上記動画から自動トレースで関節点検出した動画は以下
上記で自動で関節情報を検出させた後に自動化ツール で作成された
「vmdファイル」でアニメーションチェック したのが、以下に示す動画です。
「PmxEditor_0257」にMMD準標準ボーンの追加プラグ インを追加して
処理したKisuna AIをモデルにして モーション（vmd）させている画面
（TransformerView） を動画キャプチャーしたものです。
追加したプラグイン：
SemiStandardBones.dll
SemiStandardBonesPMX.dll
元動画の完全再現には至ってはおりませんが、ある程度 それらしく動いて
いるといった感じです。
以下に、元動画のモーションと比較した動画を示しました。
編集すれば、より一層スムーズな動きに改善されると 思います。
2020年08月14日
AI（Deep Learning）による人物ポーズ可視化可能なOpenPoseを試してみる
AI（Deep Learning）による人物ポーズ可視化可能なOpenPoseを試してみる
第二波コロナ影響で再び外出を控えている毎日です。
みなさんは、如何お過ごしでしょうか。
梅雨も明けて、外は灼熱状態、そんな毎日、家の中で涼み
ながら、趣味の動画作成に時間を費やしています。
家の中では、マスクを外していれるので気が楽です。
今日は、「OpenPose」の話題です。
AIによる深層学習（Deep Learning）を用いて人物のポーズ
を可視化してくれる（関節点情報の取得できる）手法のこと
です。
OpenPoseは、静止画を入力するだけで人間の関節点を検出
することが可能。
さらにGPUなどの高性能プロセッサを使えば動画像内に
複数人の人物がいても、リアルタイムに検出することも
可能ということで、注目を浴びています。
身体だけでなく、顔と手まで解析可能。激しい動きの動画
でも検出できたりと、かなりの精度があるようです。
これを使いこなせれば、3DCGアニメーションで、いろんな
ポーズ、動きをモデルにとらせることができそうですね。
こうした関節点情報の取得は、実はこれまでも
「モーションキャプチャー」という技術を使えば可能
だったのですが、「人間の身体にセンサーを取り付けないと、
間接点の情報を取得できない」という課題がありました。
OpenPoseの画期的なところは、そうした特殊センサーを
使わなくても、カメラ1つあれば、複雑な解析ができて
しまうという点です。
既に、2018年3月15日付けの「Ledge.ai」のニュース記事
「OpenPoseとは | ディープラーニングで人のポーズを解析」で
事例をいくつも取り上げて紹介されている近年の注目
テクノロジーといったところです。
この「OpenePose」の導入手順については、以下のHPで詳細
な説明がされています。それに従って導入しました。
●OpenPose 1.5.1 のインストール（Windows 上）
●NVIDIA CUDA ツールキット 10.1，10.0 のインストール
（Windows 上）
●Windows で OpenPose を使ってみる
更に、以下も参考になります。
●技術的特異点：
OpenPoseを使って手っ取り早く姿勢推定をしてみる
(Windows10)
→結果の画像や動画の保存方法、取得した骨格位置などの
データを数値として出力する方法（他のアプリケーション
で使いたい場合などには有効な手段）が紹介されて
います。
過去に作成していた動画を使って、Openposeで解析をさせ
てみたのが、以下の２つの動画です。
Openpose解析の結果を、動画で保存するための手順は、
①以下のコマンドをコマンドプロンプトに入力
※私は、NVIDIA GeForce RTX2060を使用しているので、
コマンドは「gpu」版を使用しています。
cd C:\openpose-1.5.1-binaries-win64-gpu-python-flir-3d_recommended
cd openpose
bin\OpenPoseDemo.exe --video .\examples\media\AIKO.mp4 --face --hand --write_images .\output_folder\
②上記により、output_folderに連番画像が出力される
③Irfanviewで「image###」にファイル名を変換する
④Vegas Pro17.0で動画に変換
※なお、OpenPoseでhandとfaceを同時に使うにはそれなり
のスペックのGPUが必要となります。
※わたしが現在使用している環境
CPU： Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz
メモリ 8GB
Video： NVIDIA GeForce RTX 2060（4GB）
【動きが穏やかな動画のopenpose解析】
【動きが激しい動画のOpenPose解析】
動きの激しい後者の場合でも、きちんと姿勢推定が
されていました。顔、手の上方もきちんと得られて
いました。
OpenPoseの導入が無事できましたので、次は、得られた
情報を利用して、動画アニメーション用のモーション
に変換する作業に入りたいと考えています。
そのための良き指南書がありました。 以下です。
●クラウド(colab)でMMD自動トレース(Unityもいけるよ)
【6/14 ver1.03.06 更新】
ｐｓ：
2020年8月13日現在、上記のOpenPoseテクノロジー
を活用していると思われる製品が既に販売されている
ようです。
但し、法人向けであって、まだ個人向け販売はされて
いないようです。
「Vision Pose」
第二波コロナ影響で再び外出を控えている毎日です。
みなさんは、如何お過ごしでしょうか。
梅雨も明けて、外は灼熱状態、そんな毎日、家の中で涼み
ながら、趣味の動画作成に時間を費やしています。
家の中では、マスクを外していれるので気が楽です。
今日は、「OpenPose」の話題です。
AIによる深層学習（Deep Learning）を用いて人物のポーズ
を可視化してくれる（関節点情報の取得できる）手法のこと
です。
OpenPoseは、静止画を入力するだけで人間の関節点を検出
することが可能。
さらにGPUなどの高性能プロセッサを使えば動画像内に
複数人の人物がいても、リアルタイムに検出することも
可能ということで、注目を浴びています。
身体だけでなく、顔と手まで解析可能。激しい動きの動画
でも検出できたりと、かなりの精度があるようです。
これを使いこなせれば、3DCGアニメーションで、いろんな
ポーズ、動きをモデルにとらせることができそうですね。
こうした関節点情報の取得は、実はこれまでも
「モーションキャプチャー」という技術を使えば可能
だったのですが、「人間の身体にセンサーを取り付けないと、
間接点の情報を取得できない」という課題がありました。
OpenPoseの画期的なところは、そうした特殊センサーを
使わなくても、カメラ1つあれば、複雑な解析ができて
しまうという点です。
既に、2018年3月15日付けの「Ledge.ai」のニュース記事
「OpenPoseとは | ディープラーニングで人のポーズを解析」で
事例をいくつも取り上げて紹介されている近年の注目
テクノロジーといったところです。
この「OpenePose」の導入手順については、以下のHPで詳細
な説明がされています。それに従って導入しました。
●OpenPose 1.5.1 のインストール（Windows 上）
●NVIDIA CUDA ツールキット 10.1，10.0 のインストール
（Windows 上）
●Windows で OpenPose を使ってみる
更に、以下も参考になります。
●技術的特異点：
OpenPoseを使って手っ取り早く姿勢推定をしてみる
(Windows10)
→結果の画像や動画の保存方法、取得した骨格位置などの
データを数値として出力する方法（他のアプリケーション
で使いたい場合などには有効な手段）が紹介されて
います。
過去に作成していた動画を使って、Openposeで解析をさせ
てみたのが、以下の２つの動画です。
Openpose解析の結果を、動画で保存するための手順は、
①以下のコマンドをコマンドプロンプトに入力
※私は、NVIDIA GeForce RTX2060を使用しているので、
コマンドは「gpu」版を使用しています。
cd C:\openpose-1.5.1-binaries-win64-gpu-python-flir-3d_recommended
cd openpose
bin\OpenPoseDemo.exe --video .\examples\media\AIKO.mp4 --face --hand --write_images .\output_folder\
②上記により、output_folderに連番画像が出力される
③Irfanviewで「image###」にファイル名を変換する
④Vegas Pro17.0で動画に変換
※なお、OpenPoseでhandとfaceを同時に使うにはそれなり
のスペックのGPUが必要となります。
※わたしが現在使用している環境
CPU： Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz
メモリ 8GB
Video： NVIDIA GeForce RTX 2060（4GB）
【動きが穏やかな動画のopenpose解析】
【動きが激しい動画のOpenPose解析】
動きの激しい後者の場合でも、きちんと姿勢推定が
されていました。顔、手の上方もきちんと得られて
いました。
OpenPoseの導入が無事できましたので、次は、得られた
情報を利用して、動画アニメーション用のモーション
に変換する作業に入りたいと考えています。
そのための良き指南書がありました。 以下です。
●クラウド(colab)でMMD自動トレース(Unityもいけるよ)
【6/14 ver1.03.06 更新】
ｐｓ：
2020年8月13日現在、上記のOpenPoseテクノロジー
を活用していると思われる製品が既に販売されている
ようです。
但し、法人向けであって、まだ個人向け販売はされて
いないようです。
「Vision Pose」
2020年08月12日
録音した音声からノイズをきれいに消去する方法
録音した音声からノイズをきれいに消去する方法
わたしは、このブログでアニメ動画の記事を紹介する
機会が多いです。
自分が動画作成している時に遭遇した問題、そして、
それを解決できた際の講じた対策なども書いたりしています。
アニメキャラクターにリップシンクさせる時に、
バックグランドノイズが入っていると、無音であるにも
関わらず、口パクをしてしまうということがありました。
最近は、ボイスチェンジャーツールが多数提供される
ようになっていて、自分の声を性別に関係なく変更できる
のはいいけど、マイク音声入力なのでノイズを拾って
しまう・・・
そんな悩みもあるかと思います。
そんな時に、試してみて、これは「スゴイ！！」、
実用に耐える！！と感動したツールがありました。
それは、「Krisp」というツールです。
https://bit.ly/3kyRvKE
7万種以上の音声で学習したAIが、ノイズだけきれいに
消去可能という謳い文句で紹介されていましたが、
大袈裟ではなく、本当にキレイに消去してくれます。
下に、それを体感できる動画で紹介していますので、
ぜひ視聴してみてください。
以下は、ホームページで紹介されている内容からの引用です。
●人の声や騒音データを学習させたAIのディープラーニング
技術により、人の声と騒音を高い精度で識別、人の声のみを
送受信できるようにする独自技術を搭載。
●サイレンや叫び声のような通常のノイズキャンセル機能
では認識しにくい音も、この技術を使い、叫び声であれば、
子供の泣きわめいている声は騒音として消去し、大人が
驚いて発している大声は音声として残せる。
●自分のマイク、相手から聞こえるスピーカーの音、
どちらもワンクリックでノイズを消すことができる。
●600を超えるアプリに対応
●好きな入力、出力機器で使える。
手持ちのマイク、ヘッドセット、スピーカーなどで使用可能
●セキュリティも安心。
Krispはすべての音声処理をローカルで実行するので、
音声データが外部に漏れる心配はない。
こうした特徴のあるノイズ消去ソフトであると紹介されています。
しかし、文章だけでは、わかりませんから、実際に、ノイズが
入ってしまった音声に対して、
このKrispを使って、ノイズを消去している動画を作成しました
ので紹介します。
Audacityのノイズジェネレーターで作成した「シャー」という
ノイズを載せた音声を作りました。
この音声を使って「Facerig」でアニメーションを作成したもの
がここで紹介している動画です。
再生を始めると、「シャー」というノイズが聞こえますが、
Krispのアイコンを右クリックして現れるメニューの
「スピーカー」の文字の下に表示されている「ノイズをミュート」
というボタンを右にスライドさせると、Krispが起動します。
と同時に「シャー」というノイズがきれいさっぱりと消去される
のがわかると思います。
ノイズ消去するためのツールとして、これまで「Audacity」や
「Filmora」などを使ってみましたが、ここまできれいにノイズ
が消えることはありませんでした。
すばらしきツール「Krisp」といったところです。
感動ものでした。
せっかくの思い出の録画をしたのに、雑音が入ってしまって
台無し・・・・・とあきらめてしまっているならば、
このノイズ消去ツールを一度試されてみてください。
試す価値、大いにありデス。
わたしは、このブログでアニメ動画の記事を紹介する
機会が多いです。
自分が動画作成している時に遭遇した問題、そして、
それを解決できた際の講じた対策なども書いたりしています。
アニメキャラクターにリップシンクさせる時に、
バックグランドノイズが入っていると、無音であるにも
関わらず、口パクをしてしまうということがありました。
最近は、ボイスチェンジャーツールが多数提供される
ようになっていて、自分の声を性別に関係なく変更できる
のはいいけど、マイク音声入力なのでノイズを拾って
しまう・・・
そんな悩みもあるかと思います。
そんな時に、試してみて、これは「スゴイ！！」、
実用に耐える！！と感動したツールがありました。
それは、「Krisp」というツールです。
https://bit.ly/3kyRvKE
7万種以上の音声で学習したAIが、ノイズだけきれいに
消去可能という謳い文句で紹介されていましたが、
大袈裟ではなく、本当にキレイに消去してくれます。
下に、それを体感できる動画で紹介していますので、
ぜひ視聴してみてください。
以下は、ホームページで紹介されている内容からの引用です。
●人の声や騒音データを学習させたAIのディープラーニング
技術により、人の声と騒音を高い精度で識別、人の声のみを
送受信できるようにする独自技術を搭載。
●サイレンや叫び声のような通常のノイズキャンセル機能
では認識しにくい音も、この技術を使い、叫び声であれば、
子供の泣きわめいている声は騒音として消去し、大人が
驚いて発している大声は音声として残せる。
●自分のマイク、相手から聞こえるスピーカーの音、
どちらもワンクリックでノイズを消すことができる。
●600を超えるアプリに対応
●好きな入力、出力機器で使える。
手持ちのマイク、ヘッドセット、スピーカーなどで使用可能
●セキュリティも安心。
Krispはすべての音声処理をローカルで実行するので、
音声データが外部に漏れる心配はない。
こうした特徴のあるノイズ消去ソフトであると紹介されています。
しかし、文章だけでは、わかりませんから、実際に、ノイズが
入ってしまった音声に対して、
このKrispを使って、ノイズを消去している動画を作成しました
ので紹介します。
Audacityのノイズジェネレーターで作成した「シャー」という
ノイズを載せた音声を作りました。
この音声を使って「Facerig」でアニメーションを作成したもの
がここで紹介している動画です。
再生を始めると、「シャー」というノイズが聞こえますが、
Krispのアイコンを右クリックして現れるメニューの
「スピーカー」の文字の下に表示されている「ノイズをミュート」
というボタンを右にスライドさせると、Krispが起動します。
と同時に「シャー」というノイズがきれいさっぱりと消去される
のがわかると思います。
ノイズ消去するためのツールとして、これまで「Audacity」や
「Filmora」などを使ってみましたが、ここまできれいにノイズ
が消えることはありませんでした。
すばらしきツール「Krisp」といったところです。
感動ものでした。
せっかくの思い出の録画をしたのに、雑音が入ってしまって
台無し・・・・・とあきらめてしまっているならば、
このノイズ消去ツールを一度試されてみてください。
試す価値、大いにありデス。
カメラもVR機器も一切使わずに、誰でもバーチャルユーチューバーに
カメラもVR機器も一切使わずに、誰でもバーチャルユーチューバーに
みなさん、おはようございます、
こんにちわ、こんばんは。
私は、１０連休の長期休暇をとっています。
でも、今は、コロナ禍なので、外に出ることは
控えていて、家の中で過ごしています。
ボーっとしていても仕方ないので、パソコンで、
趣味の動画作成に時間を費やしています。
あ、そうだ、１日だけ外にでかけました。
お盆をむかえるので、お墓の掃除に行ってきました。
きれいに掃除をしてあげました。
ご先祖さんも喜んでくれたかな？
みなさんは、どのように過ごされていますか？
さて、今日は、とっても簡単に、ブイチューバに
なれるとされるツールの紹介です。
メイアライブというもので、カメラもVR機器も
一切使わずに、誰でもバーチャルユーチューバー
になって、キャラクターを動かせる、Windows
およびMac用のアプリです。
今、見てくれている動画そのものが、メイアライブ
のツールで作成したものなんです。
特に、専門知識は要りません。
メイアライブのツールをダウンロードしておいて、
合成音声を再生すると、キャラクターが勝手に
声に合わせて口を動かしてくれます。
また、いろんな表情が予め設定されているので、
指定されたショートカットキーでリアルタイムに
表情を変化させることもできます。
動画を録画するには、保存モードがないので、
画面録画用のツールを使用して保存することになります。
こんなアニメーション動画が、簡単に作成できるんです。
下に、このツールがダウンロードできるリンクを置いて
おきますので、興味があれば、ダウンロードして使って
みてください。
https://bit.ly/30I7uyr
みなさん、おはようございます、
こんにちわ、こんばんは。
私は、１０連休の長期休暇をとっています。
でも、今は、コロナ禍なので、外に出ることは
控えていて、家の中で過ごしています。
ボーっとしていても仕方ないので、パソコンで、
趣味の動画作成に時間を費やしています。
あ、そうだ、１日だけ外にでかけました。
お盆をむかえるので、お墓の掃除に行ってきました。
きれいに掃除をしてあげました。
ご先祖さんも喜んでくれたかな？
みなさんは、どのように過ごされていますか？
さて、今日は、とっても簡単に、ブイチューバに
なれるとされるツールの紹介です。
メイアライブというもので、カメラもVR機器も
一切使わずに、誰でもバーチャルユーチューバー
になって、キャラクターを動かせる、Windows
およびMac用のアプリです。
今、見てくれている動画そのものが、メイアライブ
のツールで作成したものなんです。
特に、専門知識は要りません。
メイアライブのツールをダウンロードしておいて、
合成音声を再生すると、キャラクターが勝手に
声に合わせて口を動かしてくれます。
また、いろんな表情が予め設定されているので、
指定されたショートカットキーでリアルタイムに
表情を変化させることもできます。
動画を録画するには、保存モードがないので、
画面録画用のツールを使用して保存することになります。
こんなアニメーション動画が、簡単に作成できるんです。
下に、このツールがダウンロードできるリンクを置いて
おきますので、興味があれば、ダウンロードして使って
みてください。
https://bit.ly/30I7uyr
