Trustable machine learning development for edge devices

Desenvolvimento de sistemas de machine learning robustos para dispositivos no edge da rede
dc.commentsEE/2026/1530
dc.contributor.advisorPinto, Sandro
dc.contributor.advisorTavares, Adriano
dc.contributor.authorCosta, Miguel Ângelo Peixoto
dc.date.accessioned2026-04-16T11:20:36Z
dc.date.issued2026-03-16
dc.date.submitted2025-07
dc.description.abstractA consciencialização da sociedade sobre a privacidade de dados e a adoção de Machine Learning (ML) em cenários críticos têm impulsionado a transição da computação na nuvem para a computação de ML no dispositivo local. Entre os dispositivos conectados à Internet, os microcontroladores (MCUs) têm despertado particular interesse. As mais recentes arquiteturas suportam a aceleração de ML, mantendo o baixo consumo de energia que sempre caracterizou estes dispositivos (TinyML). Perante a atual tendência de edge computing, os criadores de modelos de ML têm demonstrado preocupação com a sua propriedade intelectual. A implementação de modelos em dispositivos não confiáveis pode expor algoritmos proprietários, através de engenharia reversa, ou comprometer dados privados utilizados no treino. Os Trusted Execution Environments (TEEs) têm sido amplamente explorados para garantir a privacidade de modelos de ML em dispositivos com processadores x86 e Arm Cortex-A. Contudo, a viabilidade desta estratégia, baseada em TEEs, em MCUs continua por explorar. Em paralelo, os TEEs não garantem a integridade das decisões dos modelos. Estudos anteriores demonstram que redes neuronais de precisão total são vulneráveis a adversarial examples e à deformação de objetos. No entanto, os sistemas de ML baseados em MCUs tendem a usar redes neuronais quantizadas (QNNs), cuja robustez a adversarial examples é, em parte, desconhecida. Para combater a vulnerabilidade à deformação de objetos foi proposto uma nova arquitetura de ML - Capsule Networks (CapsNets). Contudo, a viabilidade de usar CapsNets em MCUs permanece desconhecida. Esta tese aborda estes desafios em três contribuições/artigos. Na primeira contribuição, propomos uma framework de código aberto que utiliza o TrustZone-M para proteger a privacidade de QNNs em MCUs Arm Cortex-M. Esta framework identifica as layers críticas do ponto de vista da privacidade, reduzindo ao mínimo o uso de memória e a computação dentro do TEE. Na segunda contribuição, realizámos uma avaliação empírica da robustez de QNNs otimizadas para TinyML perante adversarial attacks estado-da-arte. Além disso, avaliamos a eficácia de defesas previamente concebidas para redes neuronais de precisão total quando aplicadas a QNNs e que restrições os MCUs impõem à implementação destas defesas. Por fim, a nossa terceira contribuição apresenta uma framework de quantização para CapsNet e estende as bibliotecas estado-da-arte de ML para MCUs para suportar a execução de CapsNets quantizadas.por
dc.description.abstractThe growing demand for data privacy and the adoption of Machine Learning (ML) in mission-critical applications is accelerating the shift from cloud-based to edge-based computation. Among edge devices, Microcontroller Units (MCUs) have attracted particular attention due to their emerging support for lightweight ML execution and power efficiency, giving rise to the field of TinyML. Facing the current edge computing trend, ML model designers are raising concerns about their intellectual property. Deploying ML models in untrusted edge devices can expose proprietary algorithms by reverse engineering or leak private training data. While Trusted Execution Environments (TEEs) have been widely explored as a countermeasure on platforms such as Arm Cortex-A and x86, their applicability to low-power MCUs remains underexplored. The introduction of TrustZone-M in Arm Cortex-M MCUs makes it worth exploring if TEEs are also a feasible solution for ML model privacy in this class of devices. If TEEs are the foundation for trustworthy ML, they are not enough to guarantee decision integrity. Previous research has shown that adversarial examples and object deformation are well-known vulnerabilities of full-precision Artificial Neural Networks (ANNs). However, TinyML systems powered by MCUs usually rely on Quantized Neural Networks (QNNs), and their vulnerability to adversarial examples remains misunderstood. Furthermore, if QNNs are indeed vulnerable to adversarial examples, it is fundamental to understand how TinyML shapes the defense design. Regarding object deformation, a new ML architecture - Capsule Networks (CapsNets) - has been proposed to tackle this issue. However, the feasibility of integer-precision CapsNets in MCUs is yet to be demonstrated. This thesis addresses these research challenges in three contributions/articles. First, we propose an open-source framework that leverages TrustZone-M to protect the privacy of QNNs in Arm Cortex-M MCUs. Our framework determines the privacy-critical layers, reducing the memory footprint of the TEE to the bare minimum. In our second contribution, we performed a comprehensive empirical evaluation of the adversarial robustness of QNNs optimized for TinyML. We analyzed how they perform in the face of state-of-the-art attacks and how current defenses, for full-precision ANNs in server-like scenarios, perform and adapt to TinyML. Our last contribution proposes a quantization framework for CapsNets and extends MCU-compatible ML Application Programming Interfaces (APIs) to support quantized CapsNet inference.eng
dc.description.sponsorshipThis thesis was supported by a PhD scholarship (grant SFRH/BD/146780/2019) from Fundação para a Ciência e a Tecnologia.
dc.identifier.tid101656823
dc.identifier.urihttps://hdl.handle.net/1822/101003
dc.language.isoeng
dc.relationTrustable Machine Learning Development for Edge Devices [SFRH/BD/146780/2019]
dc.rightsopenAccess
dc.rights.urihttp://creativecommons.org/licenses/by-nc-sa/4.0/
dc.subjectMCUs
dc.subjectTinyML
dc.subjectQuantização
dc.subjectPrivacidade em ML
dc.subjectIntegridade em ML
dc.subjectCapsNets
dc.subjectQuantized Neural Networks
dc.subjectML Privacy
dc.subjectML Integrity
dc.subject.fosEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
dc.titleTrustable machine learning development for edge deviceseng
dc.title.alternativeDesenvolvimento de sistemas de machine learning robustos para dispositivos no edge da redepor
dc.typedoctoralThesiseng
dspace.entity.typePublication
oaire.awardNumberSFRH/BD/146780/2019
oaire.awardTitleTrustable Machine Learning Development for Edge Devices [SFRH/BD/146780/2019]
oaire.awardURIhttps://hdl.handle.net/1822/97676
oaire.funderIdentifierhttp://doi.org/10.13039/501100001871
oaire.funderNameFundação para a Ciência e a Tecnologia, I.P.
relation.isProjectOfPublicationdd07e0d1-5ec3-4c28-8127-fa3c3567cb7c
relation.isProjectOfPublication.latestForDiscoverydd07e0d1-5ec3-4c28-8127-fa3c3567cb7c
sdum.degree.gradeMuito bom
sdum.uoeiEscola de Engenharia
thesis.degree.grantorUniversidade do Minhopor
thesis.degree.nameDoutoramento em Engenharia Eletrónica e de Computadores

Ficheiros

Pacote original

A mostrar 1 - 1 de 1
A carregar...
Nome:
Miguel Angelo Peixoto Costa.pdf
Tamanho:
11.76 MB
Formato:
Adobe Portable Document Format