論文紹介: DoubleFusion: Real-time Capture of Human Performances with Inner Body Shapes from a Single Depth Sensor
ぱったりと更新が止まってから一年が経ってしまいました。ちょうど昨年頃は福岡に出張中で有り余る時間を論文を読む時間に当ててこのブログを更新していたわけですが、その後、なんと2018年4月からCGのツールをもっと学ぼうということで、デジタルハリウッド東京本校に通っておりました。そこで、CG/VFX専攻とUI/UXD専攻をとっていて、だいたい週4日のデジハリ生活を過ごしていたために更新する時間がなく。ようやく先週に修了式を終え、今までのような日常生活を取り戻し、今に至ります。他にもデジハリに通い始めるタイミングで都内で一人暮らしも始めたりと、この一年間は慌ただしく過ぎ去っていき、色々と積もる話もあるのですが、それはまぁ回を追うごとに少しずつ紹介したいと思います。
ちなみにデジハリではこんなもの(Mayaのツール)を作りました。
卒制としてMayaのプラグインを作りました。表情の転写を可能にするExpression Transferと、関節の位置情報からリグのパラメータを逆推定するInverse Rig Mappingです。ソースコードも近日公開予定。https://t.co/QPU6ECknol#デジハリ東京本校 pic.twitter.com/ymsPC4p5Ck
— Naoya Iwamoto (@iwanao731) 2019年3月1日
概要
単一のデプスカメラを使って、人の動的なポーズや詳細な形状を取得する手法。
身体のレイヤーとさらに外側のレイヤー(衣服等)の二重レイヤーを仮定することで、様々な体型や衣服(スカートやカバン等)に応じた安定なトラッキングを実現
DoubleFusion: Real-time Capture of Human Performances with Inner Body Shapes from a Single Depth Sensor
関連研究
もう既に静的形状がわかっているもの(スキャンされた形状)にスケルトンが埋め込まれたモデルをテンプレートとし、非剛体変形によってフィッティングする手法がこれまでに多かったが、事前に静的な形状を取得するのが大きなリミテーションとなる。そのため、以前紹介したSMPLのようなパラメトリックなモデルが近年のトレンドとなっている。
そして最新動向としては、SMPLで大まかな形状を取りつつ、着ている服を別レイヤーで取得したり[ 関連 ] 、SMPLにテクスチャ貼ったりする手法[ 関連 ] をよく見かける。このあたりの論文は今後このブログで継続的に紹介していきたい。SMPLを使いつつ、詳細なシワの形状などを取得したい、という目的から、DoubleFusionのようなDepthセンサーを使って、高密度な形状を取得していく手法が主な関連研究の一つである。本研究は、先行研究では復元が困難だった高速な復元を可能にしているそう。
提案手法
0. 事前準備
SMPLの表面上に既定のノードを設定しておき、グラフ構造を作っておく。このグラフ構造では、身体構造を考慮してあり、異なる部位のノードが繋がったりするようなことはないようになっている。
撮影の際は、カメラ固定でAポーズからスタートするようにする。 デプスマップを使用して、最初のSMPLの体型とポーズを推定する。 デプスマップからマーチンキューブ法で三角形メッシュを作成し、特に離れているところは、ノードとして保存する。
1. Joint motion tracking
Data Term 二重レイヤーとデプスマップが近くなるようにする
Regularization Term (Key) できるかぎり形状を剛体にする
Pose Prior Term なるべく不自然なポーズにならないようにする
とりあえず、中途半端ですが、ここで一旦公開しちゃいます。
続きは後日。