最近，Netflixでワンピースが観れるようになって廃人のような生活を繰り返すようになってしまっている@iwanao731です．福岡から帰ってきてだいぶ経ってしまいました．福岡で契約していたコワーキングスペースはなかなかよかったですね～．もう生活が仕事とプライベートワークって感じで自分の好きなことに集中して取り組める時間が沢山あって幸せでした．東京に戻ってからは仕事の締め切りがあって，2月中はずっと忙しかったのですが，3月は割と時間があってワンピースを見続ける体たらくな生活になってしまっております．

さて，今週の土曜日にSIGGRAPH ASIA 2017勉強会が開催される予定で，"Avatars and Faces"というセッションを担当することになったので，引き続きこの続いてるのか続いていないのかわからないブログ？を更新したいと思います．

概要

4Dスキャン形状から三次元の顔の形状と表情のモデルを学習するという論文．
Identity(個人の顔形状)とExpression(表情)に加え，Pose(ポーズ)ブレンドシェイプという概念？が導入されている．通常であれば，がPCAなどで低次元にモデル化されているが，本論文ではポーズブレンドシェイプ

Learning a model of facial shape and expression from 4D scans
[ プロジェクトページ ] [ 論文 ] [ 補足資料 ] [ データベース ]

新しいところ

本論文では，

Shape Blendshape
Pose Blendshape
Expression Blendshape

を組み合わせたモデルを提案しています．中でもPose Blendshapeは他の論文では見かけない概念だったので新しい点かと思います．

Tips

統計的な形状のモデリング手法の条件として，トポロジー(頂点数など)が同じでないと実現できない手法になっています．ですが，デプスセンサー等からキャプチャした形状は頂点数は毎フレームバラバラなのでリトポロジー(テンプレートを変形させてキャプチャ形状に近づける作業)をする必要があります．

このあたりを手っ取り早く行えるWrap3は素敵なツールだと思います．

Wrap3 Tutorial: OpticalFlowWrapping Part3 from Neo307 on Vimeo.

CAESARモデルは，沢山の人の顔の形状があるので，SMPLモデルから顔領域(肩より上)を切り抜いてきて，トポロジーを合わせたりする処理をしているそうです．そして，毎度おなじみDeformation Transferを使ってSMPLのフルボディと生成したボディで何かしらやっているみたい．

ボディ及び顔データベースをまとめたい

Facewarehouse
20個の異なる表情付きの150人のスキャン(おそらくHaoLi et al., 2013の手法を用いて，20->48個に拡張されている)
Basel Face Model
200人の若者から構成されている個人顔パラメトリックデータベース．ただし表情がついていない．最近の研究では，これを拡張して表情付きのものもある様子．
CAESAR
女性2100，男性1700人の全身形状データベース．
SCAPE: shape completion and animation of people (SIGGRAPH 2005 Presentation) - YouTubeでも使用されている．
SMPL
TBD
D3DFACS
400を超える4Dシーケンスデータ