안녕하세요 오랜만에 포스팅을 올립니다. 오늘은 올해 CVPR 2025에서 Highlight를 받은 논문인 "Free-viewpoint Human Animation with Pose-correlated Reference Selection"에 대해 다뤄보려고 합니다. 이 논문의 경우 제가 연구하고 있는 single image dance generation에서 baseline으로 정한 Champ 논문을 기반으로 작성된 논문이고, Champ가 단일 이미지를 사용하기 때문에 정면에 대한 영상만 생성할 수 있다는 단점을 극복하기 위해 여러 장의 reference image를 사용하고, 그로 인한 computation cost의 증가를 다양한 기법으로 해결하여 사실적인 영상을 생성하는 프레임워크를 제안한 논문입니다...

AniGSAbstract Generating animatable human avatars from a single image is essential for various digital human modeling applications. Existing 3D reconstruction methods often struggle to capture fine details in animatable models, while generative approaches for clingtengqiu.github.ioAbstract하나의 이미지로 부터 움직이는 아바타를 생성하는 것은 다양한 디지털 휴먼 모델링 어플리케이션에서 필수적인 과정이다. 하지만 기존의 3D reconstruction 방식들은 움직일 수 있는 모델들..

AbstractDiffusion과 autoregressive model을 활용한 text-to-motion generation model들은 많은 발전이 있어 왔다. 하지만, 이 모델들은 real-time performance, high fidelity, motion editability에 대한 trade-off가 있어 왔다. 이를 해결하기 위해 본 논문에서는 Masked Motion Model [MMM]을 제안했다.Key ComponentsMotion tokenizer : 3D human motion을 latent space 상에서의 discrete한 token sequence로 변환해준다.Conditional Masked Motion Transformer : 무작위로 masking한 motion to..

Champ fudan-generative-vision.github.io이 논문의 경우 엄밀히 따지면 Human Image Animation으로 분류되는 논문이다. Reference Image가 주어지게 되면 YouTube, TikTok 등 다양한 비디오 매체에서 가져온 motion들을 학습한 모델이 reference image 속 사람을 움직이게 하는 task이다. 본 논문을 Music-to-Dance로 분류한 이유는 이 다음 posting에서 다룰 X-Dancer라는 논문이 Human Image Animation에 추가적으로 music을 condition으로 줘서 음악에 맞는 동작을 취하도록 한 논문이기 때문에 서론의 느낌으로 music-to-dance라고 분류하였다.AbstractWe introduc..

GCDance: Genre-Controlled 3D Full Body Dance Generation Driven By MusicGenerating high-quality full-body dance sequences from music is a challenging task as it requires strict adherence to genre-specific choreography. Moreover, the generated sequences must be both physically realistic and precisely synchronized with the beatsarxiv.orgAbstract고퀄리티의 full-body dance sequence를 음악으로부터 생성하는 것은 어려운 tas..

DiffDance: Cascaded Human Motion Diffusion Model for Dance GenerationWhen hearing music, it is natural for people to dance to its rhythm. Automatic dance generation, however, is a challenging task due to the physical constraints of human motion and rhythmic alignment with target music. Conventional autoregressive methods inarxiv.orgAbstract자동으로 dance를 생성하는 것은 human motion과 rhythm의 alignment로 인해 ..