Skeleton Based Motion Analysis and Assessment for Telerehabilitation

Abstract

Atualmente, tem sido cada vez mais importante proporcionar uma reabilitação adequadaem casa e determinar estratégias para prevenir lesões devido ao aumento da expectativa devida, à prevalência de doenças crónicas e ao sedentarismo, para ajudar as pessoas a viver deforma independente e melhorar a sua qualidade de vida. Para possibilitar uma recuperaçãomais rápida, prática e económica, a reabilitação física do paciente em casa precisa de sermonitorizada e avaliada para fornecer feedback ao utilizador.Deste modo, nesta dissertação propõe-se um sistema de avaliação da postura e do de-sempenho do utilizador a executar exercícios físicos. O pipeline proposto pode ser divididoem duas partes principais: contagem e segmentação de repetições e a avaliação de cadarepetição. Inicialmente, a pose humana é estimada com o MediaPipe para um vídeo deCrossFit. Os landmarks estimados são a entrada do algoritmo K-Nearest Neighbors (KNN)para segmentar os exercícios em repetições. Seguidamente, cada repetição é avaliada pelarede attentive Bidirectional Long Short-Term Memory (BiLSTM). Esta dissertação está aser desenvolvida no âmbito do projeto Intelligent Platform for Autonomous CollaborativeTelerehabilitation (INPACT), que pretende produzir um protótipo de sistema de telereabil-itação funcional.O sistema desenvolvido atinge uma accuracy média de 79.21% para a segmentação de ex-ercícios de Push-Ups (valor mais baixo) e 93.97% para segmentação de exercícios de JumpingJacks (valor mais elevado). Para a avaliação de desempenho foi implementada uma soluçãobinária e multiclasse, alcançando uma accuracy de 95.21% e F1-Score de 94.18% para oprimeiro caso e uma accuracy de 89.51% e F1-Score de 61.25% para o segundo caso.Os resultados comprovam que este sistema tem potencial para uma aplicação domésticaautomatizada, sendo prático, simples e flexível, uma vez que requer apenas o uso de umacâmara Red Green Blue (RGB) comum por parte do paciente.

With increased life expectancy, prevalence of chronic diseases, and sedentary lifestyles, it isbecoming increasingly important to provide appropriate home rehabilitation and establishinjury prevention strategies to help people live independently and improve their quality oflife. In order to provide a faster, more practical and affordable recovery, the patient’s physicalrehabilitation at home needs to be monitored and assessed to provide feedback to the userto improve his ability and perform exercises correctly.Thus, in this dissertation, a system for posture and performance evaluation of humanlocomotion is proposed. The proposed pipeline can be divided into two main parts: Repeti-tion Counting and Segmentation and Performance Evaluation. First, given an input video,the human pose in each frame is estimated using MediaPipe BlazePose. The estimated land-marks are the input to the KNN algorithm for exercise segmentation and counting. Then,each repetition is fed into an attentive BiLSTM to evaluate performance. This disserta-tion is being developed as part of the INPACT project, which aims to produce a functionaltelerehabilitation system.The proposed pipeline manages to achieve a mean accuracy of 79.21% for exercise repeti-tion segmentation of Push-Ups (lowest value) and 93.97% for exercise repetition segmentationof Jumping Jacks (higher value). For performance evaluation we implemented a binary anda multi-class solution, achieving an accuracy of 95.21% and F1-Score of 94.18% for the firstcase and an accuracy of 89.51% and F1-Score of 61.25% for the second one.The results show that this system has potential for automated domestic application, beingpractical, simple, and flexible since it only requires the use of an ordinary RGB camera.iv