Data analytics para variedade de dados

Abstract

A Internet permitiu que os gestores das organizações tivessem acesso a grandes quantidades de dados, e esses dados são apresentados em diferentes formatos, em concreto estruturados, semiestruturados e não estruturados. Neste momento, esta variedade de dados é, em parte, oriunda das redes sociais, onde os utilizadores geram conteúdos diversificados como por exemplo websites, blogs, imagens, vídeos entre outros, mas não só, mas também as máquinas são capazes de partilhar informações entre si, ou máquinas com pessoas, através da internet. Os tipos de dados gerados já não são apenas do formato estruturado, mas semiestruturados e não estruturados. Face à variedade de dados disponíveis, é realçada a importância de analisar estes dados para que os gestores possam tirar partido deles para a tomada de decisão. Verifica-se para os dados estruturados que já existem técnicas validadas, estudadas e maduras, mas para os outros tipos de dados semiestruturados e não estruturados tal não se verifica. O objetivo desta dissertação passou por perceber face à variedade de dados existente, nomeadamente dados não estruturados e semiestruturados, que tipo de informações é possível retirar desses dados, através da sua análise. Foi realizada uma experiência, utilizando um dataset com comentários de carros e um conjunto de imagens para ilustrar o modelo do carro. Foram utilizadas quatro técnicas de análise distintas, sendo elas: Processamento da Linguagem Natural; Análise de Sentimento; Análise de Emoção e Reconhecimento de imagens; para retirar informações desses dados. De seguida foi procedido a criação de uma plataforma analítica e a sua visualização através de dashboards. Verifica-se que é assim possível retirar um conjunto de informações, como a análise de sentimento, emoção, quais as componentes que as pessoas gostam mais/menos de um determinado carro, ou sobre uma categoria de carro, entre outras informações relevantes.

The Internet has made it possible for organizations managers to have access to substantial amounts of data, and these data are presented in different formats, namely structured, semi-structured and unstructured. Now, this data variety is party derived from social networks, where users generate diverse content such as websites, blogs, images, videos, among others, but not only, also machines are able to share information between themselves, or machines with people, through the internet. The data formats generated are no longer just the structured, but also semi-structured and unstructured. Given the data variety available, the importance of analyzing this data is emphasized so that organization managers can benefit from it for decision-making. For structured data, there are already studied, validated and mature techniques, but for the other formats this is not the case. The purpose of this dissertation was to perceive due the data variety available, namely semi-structured and unstructured data, which kind of information can be extracted from these data, through its analysis. An experiment was conducted using a dataset containing car reviews and a set of images to illustrate the car model. Four different analysis techniques were used to extract information: Natural Language Processing; Sentiment analysis; Emotion analysis; and Image recognition; from these data. Then the next step was the creation of an analytical platform and is visualization through dashboards. It turns out that it is possible to withdraw a set of information, such as the feeling analysis, emotion, witch components people like the most/ less of a car, or about a car category, among other relevant information.