Synthetic data approach for traffic sign recognition

Abstract

Currently, Advanced Driver Assistance Systems (ADAS) have been gradually increasing their presence in everyday life, thanks in part to its ability to recognize several distinct types of objects in the road, namely, traffic signs. These systems employ Convolutional Neural Networks (CNNs), a type of classification algorithms that relies on an enormous amount of data in order to be effective. Current traffic sign datasets suffer from a scarcity of samples due to the necessity of compiling and labeling them manually. Such task is highly resource and time consuming. Thus, researches resort to other mechanisms to deal with this problem, such as increasing the architectural complexity of the neural networks or performing data augmentation. This work addresses the data shortage issue by exploring the feasibility of developing a synthetic dataset. Such set would not require gathering and labelling manually thousands of real word traffic sign images, requiring only easily collectable information and no human intervention. The only data required is a set of templates for each sign given that a particular sign may have more than one template. This is required to cope with outdated pictograms that are still present in streets and roads. We apply several colour and geometric processing methods to the templates aiming to achieve a look similar to real signs, from the CNN point of view. One of such methods is the usage of Perlin noise to both simulate shadows and avoid the clean and homogeneous look that templates have. Two use cases for synthetic data usage are presented: considering the synthetic dataset as a standalone training set, and merging synthetic data with real samples when real data is available. The first option provided results that not only clearly surpass any previous attempt on using synthetic data for traffic sign recognition, but are also encouragingly placing the accuracies obtained close to state-of-the-art results, with much simpler networks. The second approach provided results on three distinct test datasets that consistently beat state-of-the-art results, either in accuracy or in simplicity of the network.

Atualmente, Sistemas Avançados de Assistência ao Condutor têm vindo a aumentar gradualmente a sua presença no quotidiano graças, em parte, à sua capacidade de reconhecer vários objetos distintos na estrada, nomeadamente, sinais de trânsito. Estes sistemas empregam Redes Neuronais Convolucionais (CNNs), um tipo de algoritmos de classificação que dependem de unia enorme quantidade de dados de forma a serem eficientes. Os conjuntos de dados de sinais de trânsito atuais sofrem de escassez de amostras devido à necessidade de as compilar e rotular manualmente. Tal tarefa consome imenso tempo e recursos. Por conseguinte, investigadores recorrem a outros mecanismos para serem capazes de lidar com esse problema, tais como, aumentar a complexidade arquitetural das redes neuronais ou efetuar data augmentation. Desta forma, este trabalho aborda a questão da escassez de dados, explorando a viabilidade do desenvolvimento de um conjunto de dados sintéticos. Tal conjunto não exigiria recolher e rotular manualmente milhares de imagens de sinais de trânsito, necessitando apenas de informação facilmente recolhida sem intervenção humana. Os únicos dados necessários são um conjunto de modelos para cada sinal uma vez que um sinal particular pode apresentar mais que um modelo. Tal é necessário para lidar com pictogramas desatualizados que ainda se encontram nas ruas e estradas. Aplicamos vários métodos de processamento de cor e geometria aos templates visando obter uma aparência semelhante a sinais reais, do ponto de vista da CNN. Um desses métodos é a utilização do ruído de Perlin para simular sombras e evitar a aparência limpa e homogênea que os modelos apresentam. Dois casos de uso com dados sintéticos são apresentados: considerar o conjunto de dados sintético como um conjunto de treino independente, e unir dados sintéticos com amostras reais sempre que estas estiverem disponíveis. A primeira opção forneceu resultados que, não apenas superam claramente qualquer tentativa anterior de usar dados sintéticos para reconhecimento de sinais de trânsito, como também colocam as precisões obtidas próximas dos resultados do estado da arte, com redes muito mais simples. A segunda abordagem forneceu resultados em três conjuntos de dados de teste distintos que superam consistentemente os resultados do estado da arte, tanto na precisão quanto na simplicidade da rede.