Automotive gesture interfaces based on infrared technology

Abstract

Technology is evolving fast and the automotive area is evolving at a similar rhythm. The vehicles, especially the cars, are getting more complex and smarter but the interfaces between the driver and vehicle ( automotive HMIs), tend to be less intuitive and simple to use with the increasing quantity and variety of the technological solutions. One major problem, directly connected with automotive HMIs, is the driver’s distraction. The driver’s distraction is one of the most common causes of traffic accidents. Globally, each year, around 1.25 million people die in traffic accidents, being driver’s distraction the cause of almost 20% of all traffic accidents. Many technologies and concepts are now emerging, to minimize the time and the distraction of the driver in the utilization of the traditional HMIs, being that gesture recognition is one of those technologies and concepts. Gesture recognition, applied to automotive interfaces, is a very interesting concept, mainly because joins the functionalities of a “traditional” HMI with an easy to use interface, consisting mainly in a simple set of gestures instead of a varied amount of actions involving the more “traditional” buttons, dials, switches and screens. This dissertation is integrated in the project “INNOVCAR: The cockpit of the future” and has as purpose the study and implementation of alternative automotive HMI concepts, that do not require touch or visual focus, using gesture recognition. To achieve these objectives, the gesture recognition system developed and described in this document, will be essentially based on infrared technology, mainly because of the flexibility and the relation cost-benefit of this technology. This dissertation has as main contributions, the lifting of the actual state of the art and the creation of critical knowledge, to be mainly shared with the partners of the project. It was also objective of this dissertation, the development and the implementation of functional gesture recognition system prototypes and the study of automotive HMI concepts using infrared technology. This base of knowledge is important, mainly because it can be used to select new concepts and technologies, for further investigation and to the development of future products. As conclusion, the dissertation hopes to offer a clear vision about the possible uses of gesture recognition applied to automotive interfaces as well as its benefits in terms of driver’s performance, comfort and driving experience. The question of safety is very relevant and is expected that by reducing the loss of the point of focus on the road, the number of crashes should fall as well as the possible number of deaths, wounded and other material costs.

A tecnologia está a evoluir rapidamente e a área automóvel está a evoluir a um ritmo similar. Os veículos, em especial os carros, estão a ficar mais complexos e inteligentes, mas as interfaces entre condutor e veículo (HMIs automóveis), tendem a ser menos intuitivas e simples de utilizar com o aumento, em quantidade e variedade, de soluções tecnológicas. Um problema relevante diretamente ligado às HMIs automóveis, é a distração dos condutores. A distração dos condutores é uma das causas mais comuns de acidentes de viação. Em termos globais, a cada ano, cerca de 1,25 milhões de pessoas morrem em acidentes de viação, sendo a distração dos condutores a causa de aproximadamente 20% de todos os acidentes de viação. Muitas tecnologias e conceitos estão agora a emergir, para minimizar o tempo e a distração do condutor na utilização dos HMIs tradicionais, sendo que o reconhecimento de gestos é uma dessas tecnologias e conceitos. O reconhecimento de gestos, aplicado a interfaces automóveis, é um conceito muito interessante, principalmente porque junta as funcionalidades de um HMI "tradicional" com uma interface fácil de utilizar, consistindo principalmente num simples conjunto de gestos, em vez de um variado conjunto de ações, envolvendo os mais "tradicionais" botões, botões rotativos, interruptores e ecrãs. Esta dissertação está integrada no projeto “INNOVCAR: The cockpit of the future” e tem como propósito o estudo e implementação de conceitos alternativos de HMI automóvel, que não necessitem de toque ou foco visual, usando reconhecimento de gestos. Para alcançar estes objetivos, o sistema de reconhecimento de gestos desenvolvido e descrito neste documento, será baseado essencialmente na tecnologia de infravermelhos, principalmente pela flexibilidade e relação custo-benefício desta tecnologia. Esta dissertação tem como principais contribuições, o levantamento do estado da arte atual e a criação de conhecimento crítico, a ser essencialmente partilhado com os parceiros do projeto. Foi ainda objetivo desta dissertação, o desenvolvimento e a implementação de protótipos funcionais de sistemas de reconhecimento de gestos e o estudo de conceitos HMI, usando a tecnologia de infravermelhos. Esta base de conhecimento é importante, essencialmente porque pode ser usada para selecionar novos conceitos e tecnologias para investigação posterior e para o desenvolvimento de novos produtos. Como conclusão, a dissertação espera oferecer uma visão clara dos possíveis usos de reconhecimento gestual aplicado a interfaces automóveis, bem como os benefícios em termos de performance do condutor, conforto e experiência de condução. A questão da segurança é muito relevante e é esperado que com a redução da perda do foco de atenção na estrada, o número de acidentes baixe, bem como o possível número de mortos e feridos.