論文紹介: [SIGGRAPH 2020] Motion Matching and Retargeting

こんにちは、iwanao731です。皆さんどうお過ごしでしょうか。感染者数としては第二波の流れがきていて、3, 4月のStay Home期間よりも多い状況ですが、5月以降からはオフィスでの勤務を続けております。GWであったり、夏休みも基本は在宅、行っても近所というような生活がおよそ半年近く続きましたが、人間適用するものですね。

私の場合、この在宅の時間を使って論文を読んだり、あとは客員研究員として大学の作業をやったりしています。特に論文で得た知識は仕事でも役に立つし、絶対に無駄にならないからいいですよね。ただ、論文読むのもなかなか時間がかかってしまいます。事前知識がある領域であればそんなにかからないかもしれませんが、私はDeep Learning系は詳しくないので、近年増え続けているそういった論文を追うだけで今は精一杯といった感じです。

さて、今回紹介するSIGGRAPHのモーション系セッションも例にもれずDeep Learningの流れを強く受けている領域ですので、コロナ期間にこのあたりの知識をとことん吸収していきたいなと思っています。

ちなみに今年のSIGGRAPHはバーチャル開催だそうですね。一応参加予定ですが、Technical Paperのセッションは基本録画済みのものを配信するだけと聞いています。実際の会場の空気感とか出会いとか、物理的にそこにあるから感じることのできる刺激が感じられない(まだわからないが)というのは非常に残念ではありますが、それを行っても仕方ないので、とにかく日々精進するのみです。

Motion Matching and Retargeting [ Link ]

個人的にこのセッションは今回のSIGGRAPHで最もアツいセッションなんじゃないかと思っています。 4本の論文のうち、Motion Matchingの改良がUbiSoftから2本、残りはStyle TransferやRetargetの論文が同じAuthorから2本出ています。すごい。

Robust Motion In-betweening
Harvey et al., SIGGRAPH 2020
[ Blog ] [ Paper ] [ Dataset ]

youtu.be

スパースなキーフレーム間の中間の動きをMotion Matchingの技術を応用することで可能にした論文。

Unpaired Motion Style Transfer From Video to Animation
Aberman et al., SIGGRAPH 2020
[ Project Page ] [ Paper ] [ Code ] [ Dataset ]

youtu.be

あるモーションに任意のモーションスタイルを付与する技術。従来法では、モーションAと任意のスタイルを考慮した親しい動きA'のペアをデータセットとして大量に用意する必要があったが、本論文では、そういったペアのデータセットを用意する必要ないところが売りである。また、スタイルの付与として3Dだけでなく、2Dの動画を入力することが可能になった。核となる技術は、スタイルを付与したい任意のモーションに対して、Decoderのプロセスで、スタイルの要素を排除し、与えたいスタイルのリファレンスからDecoderを通じて抽出したスタイル要素を、任意のモーションのEncoderプロセスの際に加えることでスタイルの転写を実現している。本論文では、スタイル抽出部分で従来法よりもより明確な分類が可能になっている。

Skeleton-Aware Networks for Deep Motion Retargeting
Aberman et al., SIGGRAPH 2020
[ Project Page ] [ Paper ] [ Code ] [ Dataset ]

youtu.be

体型の異なるキャラクタへのリターゲットを可能にする論文。従来法では、関節の個数などが同じデータである必要があったが、この手法では、MeshCNNから着想を得て、SourceとTargetのスケルトン構造をPooling層で削減しながら最小単位のジョイント構造に落とし込むことで、異なるスケルトン構造のモデル間を統一的に取り扱うことを可能にした。それ以外の部分はLossの設計次第。

Learned Motion Matching
Holden et al., SIGGRAPH 2020
[ Fast Forward ] [ Blog ] [ Paper ]

youtu.be