Self and semi-supervised Learning for vehicle make and model recognition in images

Abstract

Recent advances in computer vision have demonstrated remarkable success in general object recognition tasks. However, fine-grained visual classification remains challenging due to subtle inter-class variations and the requirement for extensive labeled datasets. While self-supervised learning has shown promise in learning rich representations from unlabeled data, its application to specialized domains like fine-grained recognition has been less explored. This study explores various self-supervised learning architectures, such as a contrastive learning method and a teacher-student framework , namely SimCLR and DINO respectively, to evaluate their effectiveness in fine-grained classification tasks. Specifically, it focuses on the application of self and semisupervised learning techniques to vehicle make and model recognition in image datasets with few labels, providing a comprehensive analysis of their performance for this specialized classification challenge. We propose a multi-stage framework that leverages a backbone pretrained on the ImageNet dataset, followed by self-supervised fine-tuning on the Stanford Cars dataset, finalizing with few-shot classification with a linear classifier, also on Stanford Cars, to evaluate representation quality. Our experiments reveal significant challenges in domain transfer from general to specialized visual domains. We observe catastrophic forgetting when adapting models from broad object recognition to fine-grained automotive features, particularly pronounced with limited data availability. This work highlights critical research directions for improving domain adaptation in self-supervised learning, particularly for fine-grained applications with data constraints.

Os recentes avanços na visão por computador têm demonstrado um sucesso notável em tarefas gerais de reconhecimento de objectos. No entanto, a classificação visual de granularidade fina continua a ser um desafio devido a variações subtis entre classes e à necessidade de extensas bases de dados anotadas. Embora a aprendizagem auto-supervisionada se tenha revelado promissora na aprendizagem de representações ricas a partir de dados não anotados, a sua aplicação a domínios especializados, como o reconhecimento de objectos de granularidade fina, tem sido menos explorada. Este trabalho explora várias arquitecturas auto-supervisionadas, como uma abordagem de aprendizagem contrastiva e uma estrutura professor-aluno, SimCLR e DINO respetivamente, analisando a sua eficácia para tarefas de classificação de granularidade fina. Especificamente, foca-se na aplicação de métodos auto-supervisionados e semi-supervisionados em classificação de marcas e modelos de veículos em imagens, assim como numa análise compreensiva da sua performance neste desafio de classificação especializado. Propomos uma estrutura de várias etapas que utiliza um modelo pré-treinado na base de dados ImageNet, seguido de um fine-tuning auto-supervisionado na base de dados Stanford Cars, finalizando com uma classificação com poucos exemplos usando um classificador linear, também no Stanford Cars, para avaliar a qualidade das representações. As nossas experiências revelam desafios significativos na transferência de domínios visuais gerais para domínios visuais especializados. Observamos um esquecimento catastrófico ao adaptar modelos de reconhecimento de objectos gerais a caraterísticas automóveis subtis, particularmente pronunciado pela disponibilidade de dados limitada. Este trabalho destaca direcções claras de investigação para melhorar a adaptação ao domínio na aprendizagem auto-supervisionada, em particular para aplicações de granularidade fina com restrições de dados.