論文紹介: Motion2fusion: real-time volumetric performance capture
久しぶりの投稿です。昨年デジハリを卒業した後は、忙しかったこともあり、その反動で気が抜けたような年になってしまいました。何もできなかったなぁと反省してたりします。そういうこと以外には同棲なんかを始めたりして、自分の時間を減った一方で、また別に楽しむ時間というのは増えた気もします。 仕事的には、2018年頃にやった仕事が会社で賞をもらって、様々な賞をもらったり、挙句には本社のSNSに挙げてもらえたりして、非常にありがたい年だったと思います。
Meet the creator of the 3D live maker, an #AR application on Huawei’s #Mate20Pro – Iwamoto Naoya. What’s life like for this senior researcher? Watch and find out. #WhoAreWe #innovation pic.twitter.com/LChGAkxpaD
— Huawei (@Huawei) 2019年8月27日
最近は、もうコロナで大変です。オフィスへの通勤も在宅になり、日常が一気に変わりました。去年の今頃はCochellaという世界最大興行収入？のフェスに行っていて最高の時間を過ごしておりましたが、最近は粛々と家で仕事などをしています。基本外出禁止ということなので、家で過ごす時間が増え、最近はワンピースを全館読むなど暇の極みみたいなことをして楽しんでいます。
しばらく時間は空いてしまいましたが、これまで全く論文を読んでいなかったというわけではなく、新しい知識を入れるための勉強、というか主に論文を読んで基礎知識をつけていたりしました。しばらく前ですが、アメリカの経済制裁によって社内の3DツールとしてMayaが使えなくなり、Blenderに移行し、一通り、Blenderのチュートリアルをやった頃に、Volumetric Video(VV)という分野？にハマり、そのあたりをずっと調べていました。最近になってちょっとずつこのVVシステムの実装のための基礎技術開発なんかを進めています。
前置きが長くなりましたが、論文の中身に入っていきたいと思います。
概要
Motion2fusion: real-time volumetric performance capture [ 論文 ]
実時間で非常に高精度かつ高速な動きのパフォーマンスキャプチャを実現した論文。最近のナウいワードだと、Volumetric VideoやVolumetric Captureなんて呼ばれていたりします。
論文のオリジナリティ
- 従来研究で問題だった形状が滑ってしまう問題に対して、新たなNon Rigid Alignment（非剛体位置合わせ）手法を提案
- 従来の位置合わせ手法で非常に重い行列計算だった箇所を機械学習手法に置き換えることによって、フレーム間の対応を高速に計算
- フレーム間によって変化するトポロジーを正確に捉え、それに合わせた正しい対応点抽出を実現
関連研究
僕の中の記憶だと、だいたい2008年くらいから全身をキャプチャする研究は盛んにおこなわれてきていますが、2015年にMicrosoftが出した論文によって、その熱が加速してきました。Microsoftの論文では非常にクオリティの高い全身復元動画(Volumetric Video)のキャプチャを可能にしましたが、実時間でその精度を再現することはまだ困難な状況でした。一方で、2011年ごろに登場したKinectFusionという論文では、一台のKinectを使用して、様々なアングルから対象物体をRGBD撮影することで、静的な物体に限り、3次元形状をきれいに復元することを可能にしました。その後登場したDynamicFusion等の論文によって実時間に動的な物体の形状を取得することも可能になりました。しかし、素早い動作に対してはメッシュが破綻してしまうという問題点がありました。また[ DoubleFusion ]等で行われているような、人体のテンプレートモデルといった事前情報を使わず、基本的には様々な動的物体を撮影可能ということで、個人的に非常に注目している論文です。
ここで紹介した論文等は今後別記事にて紹介できればと思っています。そういった記事を参照することでこの分野への相互的な理解も増えていくと思います。
提案手法
入力はRGBDが入力となり、そのポイントクラウドから、Deformation Graph(DG)を作成し、フレーム間のDG間の対応関係をSpectral Embedding Algorithmを利用して別空間へと投影することで、互いの距離をロバストに検出することを可能にしました。
対応点が見つかった後、Embedded Deformation (ED)と呼ばれる手法を使って前フレームの形状を次フレームに変形させていきます。その後は、Detail layerやAtlas texturingを使って、よりdenseな形状の取得を実現しています。
今日はいったん力尽きたのでまた後日更新します。
