The adoption of Big Data by National Statistics Offices - an exploratory research

Abstract

Official Statistics play a relevant role in modern societies. Their indices, rates, values, and time series are used to support decisions at the individual and collective levels. Behind this information are the data generators that provide Official Statistics to society. These organizations are called National Statistical Offices (NSOs). As part of this public function, NSOs work through processes of collecting, storing, and analysing data from society to update Official Statistics. For more than two centuries, NSOs have performed the function of generating official statistics in a linear fashion, reporting results, and informing society. However, in the last two decades, the role of NSOs has been shaken by disruptive innovations related to digital transformation. One impact is the advent of Big Data. Innovative techniques and methodologies have enabled companies to manage large volumes and distinct types of data in a timely and permanent manner. This change has affected NSOs because the risk of obsolescence has impacted not only internal processes but also the response time required by society. In this challenging context, NSOs are faced with a dilemma: either adopting Big Data technologies and methodologies to maintain their social relevance or face fatal obsolescence. The current research therefore intends to study how and why are NSOs adopting or avoiding Big Data technologies and methodologies. To understand the adoption of Big Data (ABD), three NSOs in different realities were investigated. In South America, the selected case was the Brazilian NSO, IBGE. In Europe, Portugal's INE and the UK's ONS were chosen. These NSOs represent different geographical contexts, occupy a different the position in Global Statistical System and present different degrees of autonomy relative to the Central National Government. The Technology-Organization-Environment (TOE) Framework was used as the analytical model. A rigorous and broad review of the literature allowed us to extract and consolidate a set forty-three factors previously used to study the adoption of Big Data. Data collection methods included a documentary collection and application of twenty semi-structured interviews with members of the three NSOs: ONS, INE, and IBGE. Data analysis led us to identify ten additional new factors related to ABD in NSOs, including six technological, three organisational and one environmental. During the cases comparison, findings showed that the adoption of Big Data technologies and methodologies have similarities and common characteristics in the Official Statistics sector, despite each institution following a distinct trajectory. Based on this, we propose a matrix that depicts different positions in the evolution from avoidance to adoption of Big Data by NSOs. Moreover, ABD in NSOs advances on a cumulative trajectory where associations of specific factors define the path of adoption or avoidance. In conclusion, NSOs must not see ABD as a matter of choice, but as inevitable if they are to survive.

As Estatísticas Oficiais desempenham um papel importante nas sociedades modernas. Seus índices, taxas, valores e séries temporais são usados para apoiar decisões em nível individual e coletivo. Por trás dessas informações estão os geradores de dados que fornecem estatísticas oficiais à sociedade. Essas organizações são chamadas de Institutos Oficiais de Estatísticas (INEs). Como parte dessa função pública, os INEs trabalham por meio de processos de coleta, armazenamento e análise de dados da sociedade para atualizar as estatísticas oficiais. Por mais de dois séculos, os INEs desempenharam a função de gerar estatísticas oficiais de forma linear, relatando os resultados e informando a sociedade. Entretanto, nas últimas duas décadas, o papel das INEs foi abalado por inovações disruptivas relacionadas à transformação digital. Um dos impactos é o advento do Big Data. Técnicas e metodologias inovadoras permitiram que as organizações gerenciassem grandes volumes e tipos distintos de dados de maneira oportuna e permanente. Essa mudança afetou os INEs porque o risco de obsolescência atingiu não apenas os processos internos, mas também o tempo de resposta exigido pela sociedade. Nesse contexto desafiador, os INEs se deparam com um dilema: adotar tecnologias e metodologias de Big Data para manter sua relevância social ou enfrentar a obsolescência fatal. Esta investigação pretende então estudar como e porque é que os INEs adotam ou evitam tecnologias e metodologias de Big Data. Para compreender a adoção de Big Data (ABD), foram estudados três INEs em diferentes realidades. Na América do Sul, o caso selecionado foi o IBGE, o INE brasileiro. Na Europa, foram escolhidos o INE de Portugal e o ONS do Reino Unido. Estes INEs representam diferentes contextos geográficos, diferentes posições no Sistema Estatístico Global e apresentam diferentes graus de autonomia em relação ao governo nacional central. O modelo Tecnologia-Organização-Ambiente (TOE) foi definido como modelo analítico. Uma revisão rigorosa e ampla da literatura permitu extrair e consolidar um conjunto de quarenta e três fatores usados anteriormente para estudar a ABD. Os métodos de recolha de dados incluíram uma coleta documental e a aplicação de vinte entrevistas semiestruturadas com membros dos três INEs: ONS, INE e IBGE. A análise dos dados levou-nos a identificar dez novos fatores relacionados com a ABD nos INEs, incluindo seis tecnológicos, três organizacionais e um ambiental. Durante a comparação dos casos, os resultados mostraram que a adoção de tecnologias e metodologias de Big Data possuem semelhanças e características comuns no setor de Estatísticas Oficiais, apesar de cada instituição seguir uma trajetória distinta nesta adoção. Com base nisso, propomos uma matriz que representa diferentes as posições na evolução dos INEs na adopção de Big Data desde o evitamento à adopção. Além disso, a ABD nos INEs progride em uma trajetória cumulativa em que associações de fatores específicos definem o caminho da adoção ou da evitamento. Em conclusão, os INEs não podem encarar a ABD como uma questão de escolha, mas sim como uma inevitabilidade para garantir a sobrevivência.