Abstract복잡한 pose를 취하고 있는 사람이나 옷이나 헤어스타일 등을 리얼하게 복구하는 것은 보이지 않는 영역을 예측하는 것 뿐만 아니라 중요한 task들 중 하나로 여겨져 왔다. 하지만 이전의 모델들은 2D image를 3D로 변환하고 texture를 예측하는 것에 있어서 prior guidance가 충분하지 않다는 점이 문제가 되어왔다. 따라서 본 논문에서는 SIFU [Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction]이라는 모델을 제안해서 이를 해결하고자 했다.SIFU는 transformer의 cross-mechanism을 사용하였고, SMPL-X를 이용해서 2D feature들을..

https://shunsukesaito.github.io/PIFuHD/https://www.youtube.com/watch?v=uEDqCxvF5ycAbstractimage-based 3D human shape estimation은 Deep Neural Network의 등장으로 급격히 발전했다. 하지만, real world setting에서는 input image의 detail을 살리는데 어려움을 겪는데, 이 논문의 저자들은 이러한 어려움의 원인을 2가지 conflicting requirements에서 찾았다.Accurate predictions require large context, but precise predictions require high resolutionDue to memory limita..

https://shunsukesaito.github.io/PIFu/AbstractWhat if PIFu?An implicit representation that locally aligns pixels of 2D images with the global context of their corresponding 3D object→ End-to-End deep learning method for digitizing highly detailed clothed humans that can infer both 3D surface and texture매우 복잡한 shape [hairstyles, clothing …] 뿐만 아니라 이것들의 변화나 변형도 unified way로 digitize할 수 있다PIFu는 사람의 ..

이번 포스팅에서는 저번에 논문 리뷰했던 Human Pose Estimation을 구현한 내용을 review할 것이다.https://github.com/hjpark83/CVLab/tree/main/Human%20Pose%20Estimation/Implementation CVLab/Human Pose Estimation/Implementation at main · hjpark83/CVLabHYU Computer Vision Lab. Contribute to hjpark83/CVLab development by creating an account on GitHub.github.com출처는 제 github site를 참고하시면 되고 여기서는 구현 내용과 결과에 대해 다뤄보고자 합니다.Human Pose Esti..

What is Pose Estimation?Pose Estimation이라는 말은 컴퓨터가 이미지나 비디오에서 사람의 pose를 예측하는 task를 의미한다. Pose Estimation의 경우 object의 위치를 알아야 하고, 그 object에 대해 estimate를 해야 하기 때문에 localizing과 estimating 과정으로 진행이 된다. 이 분야의 경우 최근에는 사람 뿐 만아니라 동물이나 자동차, 카메라 등 여러 분야에 적용이 되는데 이 review에서는 Human Pose Estimation [HPE]만 다루도록 하겠다.HPE의 종류를 보면 위의 그림과 같다.2D Pose Estimation2D Pose Estimation은 흔히 접할 수 있는 2차원 이미지, 비디오에서 pose esti..