僕のCGアカデミア

グラフィクス系(主にキャラクターアニメーションに関する)論文やアクティビティを簡単に紹介するログ

論文紹介: DreamFace: Progressive Generation of Animatable 3D Faces under Text Guidance

久々の投稿の投稿になりましたが、ここ半年はCLIPやStable Diffusion、ControlNet、ChatGPTなど話題が目白押しで、ここまで論文技術がTwitterやニュースで話題になるとは想像もしていませんでした。中でもChatGPTの登場は強烈で、人とコンピュータの対話イン…

論文紹介: Skeleton-free Pose Transfer for Stylized 3D Characters

こんにちは、iwanao731です。もう一年以上も本ブログを書いておらず2022年ももうすぐで終わりに近づいています。最近は本当に技術進歩が速く、仕事でも最新情報にキャッチアップするのに一苦労しています。そんな中でもなんとかモーション生成系で論文が通っ…

論文紹介: Learning Skeletal Articulations with Neural Blend Shapes

お久しぶりです、iwanao731です。 三か月ぶりの投稿です。最近仕事でDeep Learning始めました。2017年に卒業してからはしばらくはそれまでのアニメーション知識で何とかなっていたんですが、アニメーション分野もDLの流れに飲まれそうになってきたのでPytorc…

論文紹介: MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement

こんにちは、iwanao731です。 コロナ禍二年目ですが、相変わらず変わらない生活が続いていますね。第一回の緊急事態宣言に比べて飲食店での酒類の提供ができなくなってしまったので、遠くにも行ってはいけないし、外で飲むこともできない、といった難しい生…

論文紹介: MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency

お久しぶりです,iwanao731です.2021年初投稿ですね.あけましておめでとうございます. 相変わらず2021年もコロナの状況は変わっておらず,緊急事態宣言も続いている最中ですが,コロナに振り回されず,今やれることをやっていかないとですね. とりあえず…

論文紹介: Semantic Deep Face Models

お久しぶりです.久々に論文をまとめようと思ってます. なんと11月はじめにコロナ陽性になりまして,ホテル療養や自宅隔離をしていたらあっという間に11月が終わりそうです. その間にフロンターレが優勝したり,キングダムを全巻読んだり,そして論文を読…

論文紹介: [SIGGRAPH 2020] Face and Full Body Motion

Face and Full Body Motion [ Link ] The Eyes Have It: An Integrated Eye and Face Model for Photorealistic Facial Animation [ Project Page ] [ Paper ] youtu.be Fast and Deep Facial Deformations [ Project Page ] [ Paper ] [ Video ] [ Sample C…

論文紹介: [SIGGRAPH 2020] Capturing and Editing Faces

Capturing and Editing Faces [ Link ] DeepFaceDrawing: Deep Generation of Face Images From Sketches [ Project Page ] [ Paper ] [ Code ] [ Online System ] www.youtube.com Condition情報を使用して、スケッチからの顔画像生成をより制御可能なもの…

論文紹介: [SIGGRAPH 2020] Motion Matching and Retargeting

こんにちは、iwanao731です。 皆さんどうお過ごしでしょうか。感染者数としては第二波の流れがきていて、3, 4月のStay Home期間よりも多い状況ですが、5月以降からはオフィスでの勤務を続けております。GWであったり、夏休みも基本は在宅、行っても近所とい…

論文紹介: paGAN: Real-time Avatars Using Dynamic Textures

こんにちは、iwanao731です。Facial関連論文めちゃめちゃ読んでるので忘れないうちに! 概要 paGAN: Real-time Avatars Using Dynamic Textures Nagano et al., SIGGRAPH ASIA 2018 youtu.be 入力画像一枚の顔から、Identityを保ったままfine-sclaeの新たな…

論文紹介: Learning Formation of Physically-Based Face Attributes

こんにちは。iwanao731です。2日連続の投稿です。表情生成のあたりを知りたくなったので、最近よく調べています。表情の研究って技術的にはやることたくさんあるし、コロナ禍の中でリモートでのコミュニケーションが大事になってくるというので、今後非常に…

論文紹介: Mesoscopic Facial Geometry Inference Using Deep Neural Networks

こんにちわ、iwanao731です。最近緊急事態宣言が解除され、少しずつですが日常が戻りつつあります。世間では、「ニューノーマル」や「ウィズコロナ」と言ったワードが示すように、これからの生活は今までと異なるような見解が多いですが、案外今まで通りの日…

論文紹介: Fusion4D: Real-time Performance Capture of Challenging Scenes

コロナ、大変ですね。皆さんは家でどのように過ごしていますでしょうか。僕は、家でひたすら論文を読んだり、実装をしたり、それ以外は時々散歩にでかけたり、あとは料理をしたりですね。餃子やタコスパーティ、あとはたこ焼き器を買ったのでタコパなんかも…

論文紹介: Detailed Full-Body Reconstructions of Moving People from Monocular RGB-D Sequences

こんにちは。2日連続の投稿です。最近Blenderをやっているという話をしたと思うのですが、そのときにやっていたチュートリアルの講師のBlender Guruさん(たしかAndrewとかそういった感じ)さんのやつをやっていました。 www.youtube.com www.instagram.com …

論文紹介: Motion2fusion: real-time volumetric performance capture

久しぶりの投稿です。昨年デジハリを卒業した後は、忙しかったこともあり、その反動で気が抜けたような年になってしまいました。何もできなかったなぁと反省してたりします。そういうこと以外には同棲なんかを始めたりして、自分の時間を減った一方で、また…

論文紹介: Neural Kinematic Networks for Unsupervised Motion Retargetting

令和になりましたね!特に何か大きく変わるわけじゃないですが、婚約した友人が何人かいました。そろそろ結婚を考える時期でしょうか。 GW中はというと、どこに行っても混んでいるので近所のカフェで論文を読んだりして過ごしていました。 仕事ではなく趣味…

論文紹介: DoubleFusion: Real-time Capture of Human Performances with Inner Body Shapes from a Single Depth Sensor

ぱったりと更新が止まってから一年が経ってしまいました。ちょうど昨年頃は福岡に出張中で有り余る時間を論文を読む時間に当ててこのブログを更新していたわけですが、その後、なんと2018年4月からCGのツールをもっと学ぼうということで、デジタルハリウッド…

論文紹介: Learning a model of facial shape and expression from 4D scans

最近,Netflixでワンピースが観れるようになって廃人のような生活を繰り返すようになってしまっている@iwanao731です.福岡から帰ってきてだいぶ経ってしまいました.福岡で契約していたコワーキングスペースはなかなかよかったですね~.もう生活が仕事とプ…

論文紹介: Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies

現在、滞在中の福岡では例年にないほどの寒さになっていて、暖房を消すと部屋が激しく寒くなります。暖房をつけっぱなしだと空気が乾燥するし、難しいですね。そして案の定風邪をひいてしまいました。それでも論文調査くらいは横になっててもできますからね…

論文紹介: SMPL: A Skinned Multi-Person Linear Model

研究の進め方って難しいですよね。 アイデアを見つけた時にまずプロトタイプを作ってから考えるか、関連研究をじっくりと調査して作戦を立てるか。トップダウンかボトムアップかって話だと思うんですが。 今までは結構プロトタイプ作ってからが多くて、実際…

論文紹介: End-to-end Recovery of Human Shape and Pose

現在は福岡に出張中でして、大体三週間程度いる予定です。普段は実家に住んでいるので、今はウィークリーマンションを借りているんですが、家に帰ったら本当にやることがなくて、スポーツジムの会員になったり、今日からコワーキングスペースの会員になりま…

Motion In Games 2016に参加した話

はじめに 2016年10月10-13日にSan Franciscoで開催されたMotion In Games 2016に参加してきました. この学会では主にReal-Time系のPhysics-based SimulationやHuman Motionの研究が発表されます.今年は人工知能系のAIIDE 2016と同時開催.僕はその何れの研…

論文紹介: Steklov-Poincaré Skinning

Ming Gao, Nathan Mitchell, Eftychios SifakisSteklov-Poincaré SkinningSCA 2014研究紹介ページ 概要 スケルトンドリヴンな物理ベースキャラクターアニメーション生成のための、効率的なシミュレーション手法の提案。 衝突判定もフルサポートする。メッシ…

ソースが公開されてる論文まとめ

Rigging Skeleton Extraction by Mesh Contraction http://visgraph.cse.ust.hk/projects/skeleton/ Simulation VegaFEM http://run.usc.edu/vega/index.html Implicit Integration for Particle-based Simulation of Elasto-Plastic Solids Pacific Graphic…

論文紹介: Example-based Dynamic Skinning in Real Time

Xiaohan Shi, Kun Zhou, et al.Example-based Dynamic Skinning in Real TimeSIGGRAPH 2008[PDF], [Video] 概要 キャラクターの骨に追従するような二次的動作を計算するには時間がかかるため,事前に計算してある物理ベースによる例示ポーズ,もしくはユーザ…

論文紹介: Adding Physics to Animated Characters with Oriented Particles

Matthias Müller and Nuttapong Chentanez,Adding Physics to Animated Characters with Oriented ParticlesVRIPHYS 2011情報ページ 概要 従来,様々な物体がシミュレーションによって動かせるようになってきているが,人間の動き,特に二次動作については…

論文紹介: Compression and Direct Manipulation of Complex Blendshape Models

Jaewoo Seo, Geoffrey Irving, J. P. Lewis, Junyong Noh.Compression and Direct Manipulation of Complex Blendshape ModelsSIGGRAPH ASIA 2011. http://naml.us/~irving/papers/seo2011_compression.pdf 概要 BlendShapeアニメーションは,大量のBlendSha…