Cross-Silo federated learning: an empirical study on learning gains

Abstract

Federated Learning (FL) é uma abordagem essencial para o treino colaborativo de modelos de Machine Learning (ML) em dados distribuídos e sensíveis, sendo crucial para a proteção da privacidade em cenários de cross-silo. No entanto, a sua adoção é amplamente limitada pela incerteza quanto ao ganho de aprendizagem (learning gain), ou seja, se o modelo global oferece melhor precisão e generalização do que um modelo exclusivamente treinado localmente, o que é um fator de incentivo frequentemente negligenciado na literatura que se foca em desafios de segurança e heterogeneidade. Para maximizar o desempenho e a motivação dos participantes, este trabalho propõe um novo esquema de aprendizagem em duas fases: FedFil (Filtered Federated Learning). O FedFil opera através de: 1) filtragem local de dados, que emprega Deteção de Anomalias para remover dados influentes antes do treino em FL; e 2) Fine-Tuning pós-FL, para personalizar o modelo global às características específicas do cliente. Este projeto, ”Cross-Silo Federated Learning: An Empirical Study on Learning Gains”, realiza uma investigação empírica aprofundada para quantificar o ganho de aprendizagem alcançado com o FedFil, identificar quais os clientes que mais beneficiam da colaboração e avaliar se a adaptação local melhora o ganho de precisão global. Os nossos resultados indicam que o FedFil, ao filtrar localmente os pontos influentes antes dos ciclos de treino federado e ao personalizar o modelo global posteriormente, alcança um learning gain médio de cerca de 8% nas avaliações locais dos clientes e de 6% nas avaliações de generalização.

Federated Learning (FL) is an essential approach for the collaborative training of Machine Learning (ML) models on distributed and sensitive data, being crucial for privacy protection in cross-silo scenarios. However, its adoption is widely limited by the uncertainty surrounding the learning gain, i.e., whether the global model offers better performance and generalization than a model exclusively trained locally. This uncertainty represents an incentive factor often overlooked in literature focused on security and heterogeneity challenges. To improve participant performance and motivation, this work proposes a novel two-stage learning scheme: FedFil (Filtered Federated Learning). FedFil operates through: 1) local data filtering, which employs Anomaly Detection to remove influential datapoints before FL training; and 2) post-FL Fine-Tuning, to personalize the global model to the specific characteristics of the client. This project, ”Cross-Silo Federated Learning: An Empirical Study on Learning Gains”, conducts a thorough empirical investigation to quantify the learning gain achieved with FedFil, identify which clients benefit most from collaboration, and evaluate whether local adaptation improves global accuracy gain. Our results indicate that FedFil, by filtering influential local datapoints before the learning rounds and personalizing the global model afterwards, achieves an average learning gain of around 8% on local evaluations and 6% on generalization evaluations.