Neuromorphic cognition: an approach toward robotic systems that learn, adapt and predict sequential tasks with time constraints

Abstract

The ability to acquire sensitivity about ordinal and temporal regularities in many of our sequential activ ities is fundamental to obtain adaptive behaviour in an inherently dynamic environment. In this topic, the group at MARLAB/Uminho has developed a neuro-computational model based on the theoretical frame work of Dynamic Neural Fields, which implements neuro-plausible processing mechanisms supporting the efficient acquisition and flexible reproduction of complex sequences with time constraints. The model can be applied in different real-world robotics experiments. In the field of human-robot inter action, the model implemented on a humanoid robot allows that first, the robot acquires knowledge about ordinal and temporal aspects of sequential tasks. In the field of autonomous driving, the model allows cog nitive vehicles/cars to acquire sequential information about driver/users destinations and corresponding time properties. Endowing the robots and systems with the capacity to efficiently learn complex sequences with time constraints will greatly improve the smoothness and skilfulness of human-robot interactions and future cognitive vehicles/car aware of the routines of their occupants. To this end, the goal of this thesis is to embed the dynamic neural model for sequence learning in FPGAs so that more is optimized. For that purpose, the dynamic neural model was optimized for hardware implementation - i.e. ex plicitizing, simplifying and parallelizing each step of the model - followed by generating the HDL code associated. The results were satisfactory, as the model was implemented in a hardware circuit which used far less resources than its high-level counterpart while still achieving the same aftermath. Although some initial hypotheses were able to be proven, the present work defined a highly customizable workflow that will allow any subsequent studies to be performed with ease.

A capacidade de adquirir regularidades ordinais e temporais é fundamental para obter um comportamento adaptativo em ambientes inerentemente dinâmicos. Neste tópico, o grupo de MARLAB/Uminho desenvolveu um modelo neuro-computacional, baseado no enquadramento teórico de Campos Dinâmicos Neuronais, modelo esse que implementa mecanismos de processamento neuro-plausíveis que suportam uma aquisição eficiente de sequências complexas e a sua reprodução. O modelo pode ser aplicado em experiências de robótica no mundo real. Na área de interação humano-robô, o modelo implementado num robô humanoíde permite que, inicialmente o robô adquira conhecimento sobre os aspetos ordinais e temporais de tarefas sequenciais. Na área de condução autónoma, o modelo permite que os veículos/carros cognitivos adquiram informação sequencial sobre os destinos do utilizador/condutor e propriedades temporais correspondentes. Dotar robôs e sistemas com a capacidade de aprender sequências complexas com restrições temporais de modo eficiente irá melhorar muito a suavidade e aptidão das interações humano-robô e ainda de futuros veículos/carros cognitivos que estarão cientes das rotinas dos seus ocupantes. Com este objetivo em mente, propõe-se incorporar o modelo dinâmico neuronal para aprendizagem sequencial num FPGA para a otimização do desempenho em tempo real. Para esse fim, o modelo dinâmico neuronal foi optimizado para implementação em hardware - i.e. explicitando, simplificando e paralelizando cada fase do modelo - seguido da geração do código HDL correspondente. Os resultados foram satisfatórios, pois o modelo foi implementado num circuito em hardware que utilizava muitos menos recursos que o seu homólogo em alto nível e obtendo os mesmos resultados. Embora algumas hipóteses inicial não foram possíveis de provar correto, a dissertação foi capaz de definir um fluxo de trabalho altamente customizável que irá permitir que quaisquer estudos subsequentes sejam realizados facilmente.