Design and evaluation of a cognitive vehicle system: emphasizing user routine learning and interaction

Abstract

Driving a vehicle is often a routine activity that involves visiting the same places at roughly the same times on specific days of the week. Hence, personal vehicles typically transport the same occupants along with their specific items. Therefore, the development of cognitive/intelligent vehicles capable of learning and adapting to their occupants’ routines can assist drivers autonomously during their daily trips. This dissertation aims to develop an integrated system that allows extraction of stop locations from the user’s mobility information and learning of their respective spatio-temporal routines. The system comprises a User Interface/Authentication module, User Stop Location Extraction module, and a User Routine Learning Cognitive module. The User Stop Location Extraction module consists in a machine learning approach, incorporating clustering and artificial neural networks methods to identify and classify stop locations in a given user mobility dataset. This module interacts and supports an already existent User Routine Learning Cognitive module, based on Dynamic Neural Fields (DNFs), which is responsible for the implicit learning of various destinations and their associated time characteristics. Additionally, the Interface/Authentication module involves the development of a basic interface to aid in visualizing the resulting stop locations, provide basic User-Vehicle interaction with the system, and enable user authentication. Experiments conducted with real data regarding the routines of various vehicles have validated the newly developed modules and respective integration with cognitive module. The results notably highlighted the Stop Location Extraction module's particularly satisfactory performance in accurately identifying and classifying stop locations. This module also allows visualization of stop locations thus enhancing the interpretability of predictions generated by the cognitive module when compared to a prior Stop Location Extraction approach based on DNFs. However, despite the improved performance of the new Stop Location Extraction module, it did not necessarily translate into enhanced prediction accuracy by the cognitive module. The prediction errors occur in cases of exceptional, one-time deviations from routine behavior. In essence, this dissertation has contributed to further advance the research within Project BEN, specifically aiming to equip BEN vehicles with cognitive capabilities.

Conduzir um veículo é geralmente uma atividade rotineira, em que, normalmente, se visitam os mesmos lugares à mesma hora em dias específicos. Devido a esta repetição, é comum que veículos pessoais transportem os mesmos ocupantes e respetivos objetos. Considerando isto, o desenvolvimento de veículos inteligentes capazes de se adaptar às rotinas dos ocupantes pode proporcionar assistência autónoma aos condutores durante as suas deslocações diárias. Esta dissertação visa desenvolver um sistema integrado com módulos de Interface/Autenticação do Utilizador, Extração de Stop Locations, e Aprendizagem Cognitiva de Rotinas do Utilizador. O módulo de Extração de Stop Locations recorre a Machine Learning, incorporando métodos de Clustering e Redes Neurais Artificiais para identificar e classificar stop locations num determinado conjunto de dados de mobilidade do utilizador. O módulo Cognitivo, por sua vez, baseia-se num modelo de Dynamic Neural Fields (DNFs), para aprender os diversos destinos e suas características temporais. Por último, o módulo de Interface/Autenticação, é composto por uma interface básica para visualizar stop locations, permitir interação Utilizador-Veículo e autenticação do utilizador. Os testes realizados com dados reais sobre as rotinas de vários veículos validaram os módulos recém-desenvolvidos e a sua integração com o módulo cognitivo. Os resultados destacaram, de forma notável, o desempenho particularmente satisfatório do módulo de Extração de Stop Locations na identificação e classificação precisa das mesmas. Este módulo ofereceu vantagens relativamente à visualização de stop locations e maior interpretabilidade das previsões geradas pelo módulo Cognitivo em comparação com uma abordagem anteriormente adotada de Extração de Stop Locations baseada em DNFs. No entanto, apesar do desempenho superior do novo módulo de Extração de Stop Locations, isto não se traduziu necessariamente numa maior precisão de previsão pelo módulo cognitivo. Os erros existentes na previsão devem-se a casos de desvios excecionais e pontuais do comportamento rotineiro. Em essência, esta dissertação contribuiu significativamente para o avanço da pesquisa no âmbito do Projeto BEN, com o objetivo específico de dotar os veículos BEN com capacidades cognitivas.