Automated garment recognition and assessment system using computer vision and artificial intelligence for blind people

Abstract

Clothing management is one of the most significant challenges faced by blind and visually impaired people. By leveraging advanced technologies, such as computer vision and artificial intelligence (AI), this PhD work aimed at developing and validating a mechatronic device, the iSight prototype, able to assist in the identification of clothing types, colours, and conditions, primarily designed for blind and visually impaired users. Valuable insights were obtained from a nationwide survey, conducted in collaboration with the Association of the Blind and Amblyopes of Portugal (ACAPO), which revealed a high demand for technological solutions in garment management, with 95.7 % of respondents expressing willingness to adopt new technologies. The iSight prototype integrates a smart wardrobe equipped with an image acquisition system and controlled lighting, ensuring optimal image quality capture for accurate analysis. The device is controlled via a user-friendly mobile application, designed to be highly accessible and intuitive. The system's functionality was rigorously tested with 15 participants from ACAPO, encompassing both blind and low-vision people. The prototype's accuracy in identifying clothing categories and colours was highly acknowledged by users, with 60 % finding it very precise in identifying categories and 80 % in identifying colours. Additionally, 86.7% of participants rated the system's ability to detect stains and identify Near Field Communication (NFC) tags as highly effective. Finally, the obtained results demonstrated high levels of user satisfaction. Extensive statistical analyses confirmed significant positive correlations between the iSight functionalities and in users' confidence, self-esteem, well-being, and independence. These findings highlight the prototype's potential to significantly enhance the daily lives of visually impaired people. Key areas for further improvement were also identified by the users, namely the reduction of menu complexity and addition of detailed fabric information. In conclusion, this PhD work demonstrates the feasibility and effectiveness of integrating computer vision and AI technologies into a mechatronic device (smart wardrobe) to support blind and visually impaired people in garment identification and management. The iSight prototype offers a robust and user-friendly solution that significantly improves users' quality of life, offering room for future refinement and paving the way towards a truly disruptive product for smart and effective clothing management.

A gestão de vestuário é um dos maiores desafios enfrentados por pessoas cegas e com deficiência visual. Aproveitando tecnologias avançadas, como visão por computador e a inteligência artificial (IA), este trabalho de doutoramento teve como objetivo desenvolver e validar um dispositivo mecatrónico, o protótipo iSight, capaz de auxiliar na identificação de tipos de roupa, cores e modificações, criado principalmente para utilizadores cegos e com deficiência visual. Foram obtidos insights valiosos a partir de um inquérito nacional, realizado em colaboração com a Associação dos Cegos e Amblíopes de Portugal (ACAPO), que revelou uma elevada procura por soluções tecnológicas na gestão de vestuário, com 95,7% dos inquiridos a expressar vontade de adotar novas tecnologias. O protótipo iSight integra um guarda-roupa inteligente equipado com um sistema de aquisição de imagem e iluminação controlada, garantindo uma captação de imagem de qualidade para uma análise precisa. O dispositivo é controlado através de uma aplicação móvel de fácil utilização, desenhada para ser acessível e intuitiva. A funcionalidade do sistema foi rigorosamente testada com 15 participantes da ACAPO, abrangendo tanto pessoas cegas como pessoas com baixa visão. A precisão do protótipo na identificação de categorias de roupa e cores foi reconhecida pelos utilizadores, com 60% a considerá-lo muito preciso na identificação de categorias e 80% na identificação de cores. Adicionalmente, 86,7% dos participantes classificaram como eficaz a capacidade do sistema para detetar manchas e identificar etiquetas de Near Field Communication (NFC). Finalmente, os resultados obtidos demonstraram elevados níveis de satisfação dos utilizadores. Análises estatísticas confirmaram correlações positivas significativas entre as funcionalidades do iSight e a confiança, autoestima, bem-estar e independência dos utilizadores. Estes resultados destacam o potencial do protótipo para melhorar a vida diária das pessoas com deficiência visual. Áreas chave para melhoria futura foram identificadas pelos utilizadores, nomeadamente a redução da complexidade dos menus e a adição de informações detalhadas sobre os tecidos. Em conclusão, este trabalho demonstra a viabilidade e a eficácia da integração de tecnologias de visão computacional e IA num dispositivo mecatrónico (guarda-roupa inteligente) para apoiar pessoas cegas e com deficiência visual na identificação e gestão de vestuário. O protótipo iSight oferece uma solução robusta e de fácil utilização que melhora a qualidade de vida dos utilizadores, oferecendo margem para melhorias futuras e abrindo caminho para um produto disruptivo na gestão inteligente e eficaz de vestuário.