3D Human Pose and Shape Estimation for Autonomous Telerehabilitation Systems

Abstract

Nas últimas duas décadas, assistiu-se a um aumento considerável de pacientes crónicos, incapacitados ou com mobilidade reduzida, devido principalmente ao aumento da esperança média de vida e da população mundial. Entre estes inúmeros casos, a dor lombar destaca-se por ser o sintoma que mais preocupação gera entre os profissionais de saúde, não só por ser capaz de afetar todas as faixas etárias, mas por ser bastante dispendiosa em termos de pagamento de planos de saúde, invalidez e absentismo no trabalho. A área da fisioterapia desempenha um papel fundamental na redução e prevenção da perda funcional desses pacientes por meio de exercícios e manutenção da atividade física. Contudo, certos fatores como a crescente demanda por este tipo de serviços, a consequente falta de recursos humanos e a pandemia do COVID-19 obrigaram a adoção de novas soluções como, por exemplo, a telereabilitação.O projeto Intelligent Platform For Autonomous Collaborative Telereabilitation (INPACT) surge da ligação destas ideias, e visa o desenvolvimento de uma plataforma de telereabilitação de baixo custo, com uma interface de utilizador capaz de sugerir exercícios remotamente pré-configurados por um terapeuta. O sistema é capaz de monitorar o desempenho e movimento do corpo do utente por meio de uma câmara e fornecer feedback por meio de mecanismos de Deep Learning. O principal foco desta dissertação será assim a implementação do algoritmo responsável pelo processamento de um conjunto de imagens de vídeo, a estimação do esqueleto, da forma e da pose do indivíduo, e a criação de um modelo tridimensional virtual do corpo de cada paciente. A partir deste, será possível extrair os vértices da malha corporal obtida e segmentar a curvatura da coluna, que será posteriormente avaliada e comparada com a execução correta do exercício para que o utilizador possa ajustar a sua postura e evitar o risco de lesões.O método utilizado, designado por HybrIK, consiste então numa solução inovadora de cinemática inversa neuro-analítica híbrida, responsável por encontrar as rotações relativas que permitem produzir as localizações desejadas das articulações do corpo. Por meio de uma decomposição \textit{twist-and-swing}, cada parte do esqueleto é decomposta numa rotação longitudinal e uma rotação no plano, compostas ao longo da árvore cinemática, calculando a rotação de \textit{swing} e prevendo a rotação de \textit{twist}. Além disso, o seu alto desempenho advém também da adoção de mapas de calor volumétricos na representação final da aprendizagem das localizações das articulações 3D, estimados pela rede neuronal de alta resolução HRNet-W48, que permite associar as articulações 3D com o modelo paramétrico SMPL do corpo humano. Com a malha tridimensional do paciente resultante, recorreu-se a um conjunto de bibliotecas do Python para que, mediante um processo de interpolação, seja possível segmentar a curvatura da coluna. Por fim, de modo a avaliar o HybrIK, foram também conduzidos alguns testes com os datasets Human3.6M, MPI-INF-3DHP, COCO e 3DPW, relativamente à sua robustez e capacidade de correção de erros, e uma pequena análise ao ângulo de twist estimado.

Over the past two decades, a significant rise in chronic patients with disabilities or reduced mobility has been observed, primarily attributed to the increased global life expectancy and population growth. Among these cases, lower back pain stands out as a symptom of paramount concern to healthcare professionals. Its impact spans across all age groups and imposes substantial financial burdens in terms of healthcare payments, disability benefits, and work absenteeism. The field of physiotherapy assumes a pivotal role in mitigating and preventing functional decline in these patients through exercise and physical activity maintenance. However, factors like the escalating demand for such services, concurrent shortages in human resources, and the COVID-19 pandemic necessitated the adoption of innovative solutions, such as tele-rehabilitation.The Intelligent Platform For Autonomous Collaborative Telereabilitation (INPACT) project emerges from these notions, aiming to create a cost-effective telerehabilitation platform. The platform integrates a user interface capable of remotely suggesting pre-configured exercises by a therapist. Through the utilization of deep learning mechanisms, the system monitors user performance and body movements via a camera, providing feedback. This dissertation primarily focuses on implementing an algorithm responsible for processing video images, estimating user skeletal structure, shape, and pose, and constructing a virtual 3D model of each patient's body. This model facilitates the extraction of vertices from the obtained body mesh, enabling curvature segmentation of the spine. This curvature assessment is then compared to the correct exercise execution, empowering users to adjust their posture and mitigate injury risk.The proposed method, named HybrIK, introduces an innovative solution through a hybrid neuro-analytical inverse kinematics approach. It determines the relative rotations necessary to achieve desired joint positions within the body. Leveraging a twist-and-swing decomposition, each skeleton segment is broken down into a longitudinal and a plane-based rotation, compounded along the kinematic tree. Swing and twist rotations are then calculated and predicted, respectively. The method's efficiency is further enhanced by the integration of volumetric heatmaps in the final representation of 3D joint locations. These are estimated using the high-resolution neural network HRNet-W48, allowing association with the parametric SMPL model of the human body. The resultant 3D patient mesh is processed through Python libraries, employing interpolation to segment spinal curvature.Ultimately, to assess HybrIK's performance, tests were conducted with the Human3.6M, MPI-INF-3DHP, COCO, and 3DPW datasets. These tests evaluated the method's robustness, error correction capabilities, and provided an analysis of the estimated twist angle.