Towards real-time recognition and prediction of human and humanoid robot locomotion modes

Abstract

Several afflictions can affect a person’s ability to walk from muscular impairments, weakness or neurologic injury. In many of these cases, rehabilitation is essential for a full recovery. With the advances in the field of robotics and its bigger integration in rehabilitation, namely in the form of active orthosis and prosthesis, novel solutions to old challenges are made available. One of these challenges is the ability to use these assistive devices seamlessly without expert intervention in a subject’s daily life. Faced with this hindrance it becomes important to develop strategies that can recognize and predict human locomotion modes to allow a timely and correct response to a user’s needs from assistive devices. As such, this thesis proposes a pipeline of which the output is either a machine learning model that can recognize in real-time the user’s current locomotion mode or one that can predict a user’s walking intention. The locomotion mode recognition model can identify walking direction (forward, backward, anti-clockwise and clockwise) as well as locomotion activities (level walking, stair ascent, stair descent, ramp ascent and ramp descent) in real-time. Similarly, the intention prediction model also predicts both direction and locomotion activity intention in a timeframe that allows an assistive device to preemptively act in a seamless manner to provide the user a fluid walking ability and avoid a fall due to improper terrain traversing manner. An assessment of the required biomechanical features is done to identify the ones that best help predict or recognize the locomotion mode using feature selection methods (Principal Component Analysis, Analysis of variance-based selection, forward and backwards sequential selection). Several classification algorithms (Support Vector Machines, K-nearest neighbors, random forests and discriminant analysis) were explored and implemented to find the best performing one. These models were tested with data from healthy human subjects and a humanoid robot with a human-like gait controller. Results revealed that during the model building procedure using the Support Vector Machines algorithm with a feature selection method that combined the mRMR (minimum redundancy Maximum Relevancy) ranking technique and the forward feature selection procedure yielded the most robust and best-performing model. Direction prediction and recognition models presented an MCC (Matthews Correlation Coefficient) value of 0.98, on average, after validation showing promising results. However, and despite steady-state step type models (models classifying non-transitional steps) having an MCC value of 0.98, models involved in the classification of transitional steps, both for recognition and prediction, revealed poor results. MCC values as low as 0.61 were reported, showing that the used features were inadequate for the prediction of a subject’s gait intention. Future work will be to integrate other kinds of sensors and use different features that can rectify the classification flaws present in the obtained models in order to increase their accuracy.

Vários fatores podem afetar a capacidade de locomoção de uma pessoa desde lesões ou fraqueza musculares a lesões neurológicas. Em muito destes casos, reabilitação é essencial para uma completa recuperação. Com os avanços no campo da robótica e a sua maior integração em reabilitação, nomeadamente na forma de próteses e ortóteses ativas, novas soluções para velhos problemas tornam-se disponíveis. Um destes desafios é a habilidade de usar estes dispositivos assistivos de forma fluida e não-obstrutiva durante o dia-a-dia sem necessidade da intervenção de um especialista. Face a este problema torna-se importante desenvolver estratégias que possibilitem o reconhecimento e previsão de modos de locomoção humanos para permitir uma resposta correta e pontual de dispositivos assistivos face ás necessidades do utilizador. Como tal, esta tese propõe uma pipeline que tem como resultado um modelo de machine learning que consegue reconhecer em tempo-real o modo de locomoção enquanto acontece ou um modelo que consegue identificar a intenção de locomoção do utilizador. A pipeline delineada nesta tese permite obter um modelo que reconhece a direção de locomoção (frente, trás, anti-horário, horário) assim como a atividade locomotora (andar em terreno plano, subir escadas, descer escadas, subir rampas e descer rampas) em tempo real. A previsão de intenção também prevê tanto a direção como a atividade locomotora numa janela de tempo que permite ao dispositivo assistivo atuar sobre essa intenção. Um estudo das características biomecânicas necessárias é feito para identificar aquelas que melhor ajudam na previsão ou reconhecimento do modo de locomoção usando métodos de feature selection (Principal Component Analysis, ANOVA-based selection, forward e backwards sequential selection). Vários algoritmos de classificação (Support Vector Machines, K-nearest neighbors, Random Forests e Discriminant Analysis) foram explorados e implementados de forma a descobrir qual o melhor. Estes modelos foram testados com dados de sujeitos saudáveis e de um robô humanoide com um controlador de marcha humano. Resultados revelaram que para, a construção do modelo, o uso do algoritmo SVM e a seleção de features através da combinação dos métodos mRMR e forward feature selection resultavam no melhor e mais robusto modelo. Os modelos de classificação de direção, tato de reconhecimento como de previsão, obtiveram um valor de MCC de 0.98 em média depois da validação mostrando-se promissores. No entanto, e apesar dos modelos de reconhecimento e previsão de passos steady-state, terem obtido valores de MCC de 0.98, os modelos envolvidos na classificação de passos transicionais, tanto de reconhecimento como de previsão, obtiveram resultados fracos com valores de MCC tão baixos como 0.61, revelando que as features usadas são inadequadas para a previsão da intenção de marcha. Como trabalho futuro deverão ser integrados outros tios de sensores e usadas outras features que possam retificar as falhas de classificação presentes os modelos obtidos de forma a aumentar a sua perfromace.