Human and systemic factors affecting operational efficiency and decision consistency in UKRegulated fintech fraud management teams: mixed data analysis

Abstract

Este estudo examina como fatores humanos e sistémicos influenciam a consistência das decisões em equipas de fraude e crime financeiro em empresas fintech reguladas no Reino Unido. Embora os sistemas automatizados de deteção de fraude possam alcançar um forte desempenho técnico, as decisões finais sobre suspeitar, escalar ou atuar sobre alertas continuam a ser tomadas por analistas humanos. Na prática, estas decisões podem variar em função da carga de trabalho, da formação, da clareza dos procedimentos operacionais padrão (SOP), das orientações da gestão, dos precedentes da equipa e do julgamento individual. Esta investigação aborda a lacuna entre forte capacidade de deteção técnica de fraude e a inconsistência na tomada de decisão humana, medindo a consistência com que os analistas avaliam cenários de fraude idênticos e explorando os fatores associados a essa consistência. O estudo utiliza um desenho de métodos mistos, combinando um inquérito anónimo baseado em cenários com entrevistas semiestruturadas. O inquérito foi respondido por 33 profissionais de fraude, AML e crime financeiro que trabalham em ambientes fintech regulados no Reino Unido ou que prestam serviços nesse pais. Foram recolhidos dados sobre carga de trabalho, formação, clareza dos SOP, confiança em sistemas automatizados, vieses cognitivos e respostas a oito cenários de casos de fraude. O acordo entre analistas foi medido coeficiente kappa de Fleiss, enquanto a consistência individual das decisões foi avaliada através de um índice de consistência. A análise de correlação de Spearman foi utilizada para examinar as relações entre a consistência e fatores como formação, carga de trabalho, clareza dos SOP e influência social. Adicionalmente, foram realizadas quatro entrevistas para fornecer contexto qualitativo aos resultados do inquérito. Os resultados demonstram que a consistência das decisões é limitada. A pressão da carga de trabalho, a formação limitada, SOP pouco claros e a dependência de instruções da gestão ou de precedentes da equipa parecem contribuir para a variabilidade das decisões. O estudo também evidencia que os analistas recorrem frequentemente à intuição e às normas locais da equipa quando as orientações formais são ambíguas. De forma geral, a investigação demonstra que a inconsistência na tomada de decisão em fraude não é apenas uma questão técnica ou individual, mas também organizacional e processual. O estudo contribui para a literatura sobre conformidade em crime financeiro e acordo interavaliadores, fornecendo evidência empírica a partir de um contexto fintech.

This study examines how human and systemic factors influence decision consistency in fraud and financial crime teams within UK-regulated fintech firms. Although system generated fraud detection systems can achieve strong technical performance, the final decisions on whether to suspect, escalate, or act on alerts are still made by human analysts. In practice, these decisions may vary depending on workload, training, SOP clarity, managerial guidance, team precedent, and individual judgment. This research addresses the gap between strong technical fraud detection and inconsistent human decisionmaking by measuring how consistently analysts evaluate identical fraud scenarios and by exploring the factors associated with that consistency. The study uses a mixed-methods design combining an anonymous scenario-based survey with semistructured interviews. The survey was completed by 33 fraud, AML, and financial crime professionals working in UK-regulated or UK-serving fintech environments. It collected data on workload, training, SOP clarity, trust in automated systems, cognitive biases, and responses to eight fraud case scenarios. Interanalyst agreement was measured using Fleiss’ kappa, while individual decision consistency was assessed through a consistency index. Spearman correlation analysis was used to examine the relationships between consistency and factors such as training, workload, SOP clarity, and social influence. In addition, four interviews were used to provide qualitative context for the survey findings. The findings show that decision consistency is limited. Workload pressure, limited training, unclear SOPs, and dependence on manager instructions or team precedent all appear to contribute to variability in decisions. The study also shows that analysts often rely on intuition and local team norms when formal guidance is ambiguous. Overall, the research demonstrates that inconsistency in fraud decision-making is not only a technical or individual issue, but also an organizational and procedural one. The study contributes to the literature on financial crime compliance and inter-rater agreement by providing empirical evidence from a fintech context.