現在、滞在中の福岡では例年にないほどの寒さになっていて、暖房を消すと部屋が激しく寒くなります。暖房をつけっぱなしだと空気が乾燥するし、難しいですね。そして案の定風邪をひいてしまいました。それでも論文調査くらいは横になっててもできますからね。続けますよ。ベッドの上ではそれ以外にすることがあまりないので、ここ最近ハマっているYoutubeのジョーさんのジョーブログでも見ようかなと思います。

アマゾン川をイカダで下るところはかなり激しめです笑

さて、論文紹介に参りたいと思います。

概要

表情、全身の動作、指の動作をすべてキャプチャできるシステムの提案。
複数人のキャプチャも可能。

Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies
[ 論文 ]
www.youtube.com

提案するフランケンシュタイン(Frankenstein)モデルにより全身キャプチャを実現。
Frankensteinを拡張したアダム(Adam)モデルによって、ヘアスタイルや衣服の再現も可能。

その他の研究との差異

今までに全身や表情、指のトラッキングにフォーカスした研究は個々にあったが、それらを統合した一般的な手法は提案されていない。
- 今までどうしてそれができてこなかったのか
  - 全身をキャプチャするには広いスペースを確保する必要がある。
  - 一方で表情や指は全身に比べるとスケールが小さく、詳細な情報を取りづらい。(正面を向く必要があるなど)
人々の情報伝達手段(コミュニケーション)において、表情や全身及び指のすべてのジェスチャーに意味があり、重要。
複数人が互いにコミュニケーションしてるようなシーンのキャプチャも実現。

提案手法

マルチビューによる複数人の全身、表情、指のキーポイント検出
生成的な全身モデル: フランケンシュタインモデル及びアダムモデル

フランケンシュタインモデルとSMPLの違い。

ここでSMPLについて iwanao731.hatenablog.com

SMPLは全身のみ(表情と手の情報は含まれてない)ので、それに加えて表情と手の情報を加えたものがフランケンシュタインモデル

全身: SMPL
表情: Facewarehouse
手: アーティスト作成

まとめ

結果はすごいけど、いろいろと既存手法の組み合わせのような気がしてます。

shiropen.com

Kinectセンサー10台と上記ブログには書かれていますが、論文にそのような記載はありませんでした。ソースどこだろう...。

僕のCGアカデミア

グラフィクス系(主にキャラクターアニメーションに関する)論文やアクティビティを簡単に紹介するログ

論文紹介: Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies

概要

その他の研究との差異

提案手法

フランケンシュタインモデルとSMPLの違い。

まとめ

関連記事