研究の進め方って難しいですよね。

アイデアを見つけた時にまずプロトタイプを作ってから考えるか、関連研究をじっくりと調査して作戦を立てるか。トップダウンかボトムアップかって話だと思うんですが。

今までは結構プロトタイプ作ってからが多くて、実際に作ってみて見つかった欠点や問題をどう解決するかっていうので、新しい論文を書き上げる感じだったんですが。まぁ近年の研究動向だと、本当に移り変わりが激しいですし、特にキャプチャ系はたくさんあるので、何かしらかぶってしまいますよね。本当にレッドオーシャンになってきているので、年々更新していかないといきなり入れない領域になりつつあるような気がします。僕も今はいろいろと調査して手も動かしながらキャッチアップしようとしているところって感じですね。ここは我慢。調査しただけで、何かにまとめていないと無駄になってしまうので、こうしてウェブに書き溜めているわけです。

きっと無駄じゃない！笑

概要

既存のアニメーションパイプラインに準拠した三次元の人体モデル(体型や姿勢、肉揺れ)をパラメトリックに生成できるようにしたSMPLモデル(Skinned Multi-Person Linear model)を提案。

SMPL: A Skinned Multi-Person Linear Model, SIGGRAPH ASIA 2015
[ Project Page ]
www.youtube.com

以下のデータからモデル化。
- Tポーズのテンプレート
- ブレンドウェイト
- 姿勢に依存したブレンドシェイプ
- 個性に応じたブレンドシェイプ
- 頂点から関節の位置を推定する回帰

ここがミソみたいだけどよくわかってないです。

Unlike previous models, the pose-dependent blend shapes are a linear function of the elements of the pose rotation matrices. This simple formulation enables training the entire model from a relatively large number of aligned 3D meshes of different people in different poses.

同じデータセットを用いて生成したBlend-SCAPEと比較。
既存のアニメーションパイプラインに準拠した(compatibleな)モデル。

既存研究との比較

SCAPE: shape completion and animation of people, SIGGRAPH 2005
[ Project Page ]
www.youtube.com

上記の手法では
+ リアリティに欠ける(らしい)
+ 既存のソフトウェアで実装されていない
+ 既存のアニメーションパイプラインに準拠していない
+ 手作業が必要

本手法の特徴
- シンプル
- 幅広く使えるように標準的
- データからモデル化した変形ベースモデルのリアリティを保っている
身体情報(個性、姿勢、動的な脂肪の揺れ)に応じたブレンドシェイプを標準姿勢の時点で組み込み。
姿勢ブレンドシェイプを各部位の回転行列の要素の線形関数として数式化した点。(やっぱりよくわからない)
- この手法は上記のSCAPEと異なるらしい。
- 線形にすることで回転行列が拘束条件になるため、結果が他手法より良くなる。

使用したデータベース

CAESAR dataset : およそ男女それぞれ2000人分のスキャンデータをPCAによって圧縮したデータベース

身体形状データ(1786人分)に対して、テンプレートメッシュを位置合わせ 1.1 体型ブレンドシェイプ(body shape blend shapes)になる
トレーニング場のモデルの頂点エラーを最小化するために以下を推定
2.1 the blend weights
2.2 pose-dependent blend shapes
2.3 the mean template shape (rest pose)
2.4 a regressor from shape to joint locations