Uma arquitetura moderna de dados: um caso de teste

Abstract

Atualmente os dados são vistos como tendo tipos e origens distintas. Os tipos de dados podem ser estruturados, semiestruturados e não estruturados. As origens dos dados podem ser diversas como Enterprise Resource Planning (ERP), Customer Relationship Management (CRM), Supply Chain Management (SCM), folhas de cálculo, documentos de texto, redes sociais, imagens, vídeos, sensores entre outros. Esta diversidade de dados exige uma arquitetura moderna que permita a recolha dos dados de várias origens e tipos, viabilizando igualmente a extração, transformação e limpeza dos mesmos através do processo de Extract, Transform and Load (ETL), bem como o armazenamento e integração dos dados para posteriores análises. Esta arquitetura deve ser suportada por um ambiente de Cloud Computing, garantindo assim a sua atualidade, ubiquidade e fácil acesso pelos utilizadores. Este artigo propõe-se desenvolver uma arquitetura e implementar uma solução que será validade através de um caso de teste com dados da área da saúde.

Currently the data are seen as having distinct types and origins. Data types may be structured, semi-structured and unstructured. The data sources can be diverse as Enterprise Resource Planning (ERP), Customer Relationship Management (CRM), Supply Chain Management (SCM), spreadsheets, text documents, social networks, images, videos, and other sensors. This diversity of data requires a modern architecture that enables the collection of data from multiple sources and types, also enabling the extraction, processing and cleaning of data through the Extract and Transform and Load (ETL) process, and the storage and integration of data for further analysis. This architecture must be supported by a Cloud Computing environment, thus ensuring its relevance, ubiquity and easy access by users. This article proposes to develop an architecture and implement a solution that is validated through a test case with health care data.