Online-SoBA: text analysis to study social behaviors

Abstract

This document reports a Master’s Project that fits in the 5th year of the Integrated Master’s in Informatics Engineering from the Universidade do Minho. This Master work, Online-SoBA (Online Social Behavior Analysis), aims at developing a semi-automatic system capable of analyzing short texts that correspond to comments written in reaction to ’posts’ in Portuguese social media (social networks or online newspapers), in order to identify behaviors that characterize social opinions about a given topic along a given period of time. To meet the challenge posed, these short texts are analyzed and the information is extracted according to schemes that describe the phenomena to be studied, that is, sentence structures in natural language that characterize the referred behaviors. In order to achieve this goal, a pipeline was implemented to process the texts contained in the NetLang Corpus, and later a web platform was developed to present the generated results to the end user, as well as to allow a fluid navigation over them. The report introduces the system architecture designed to attain the objectives, discusses the implementation decisions and the development steps, and shows the interface created for a fruitful knowledge extraction. Before closing the document with the conclusions, an experiment conducted is described and the results are analyzed to assess the SoBA from the end user perspective.

A Tese de Mestrado aqui relatada enquadra-se no quinto ano do Mestrado Integrado em Engenharia informática, na Universidade do Minho. Este projecto, Online-SoBA (online Social Behavior Analysis), tem como objectivo desenvolver um sistema semi-automático capaz de analisar textos curtos correspondentes a comentários escritos em português como reacção a ’posts’ em plataformas de comunicação social (nomeadamente redes sociais ou jornais online), de modo a que seja possível identificar comportamentos que caracterizam a opinião da sociedade sobre um determinado tema ao longo de um dado período de tempo. Para enfrentar o desafio proposto, esses textos curtos (os comentários) são analisados e a informação extraída segundo esquemas que descrevem o fenómeno em causa, ou seja, estruturas de frases em linguagem natural que caracterizam os referidos comportamentos. Para que este objetivo pudesse ser atingido, foi implementada uma pipeline para fazer o processamento dos textos contidos no Corpus NetLang e posteriormente foi desenvolvida uma plataforma web para apresentar os resultados gerados ao utilizador final, assim como permitir uma navegação fluida sobre os mesmos. O relatório introduz a arquitetura do sistema concebida para atingir os objetivos, discute as decisões de implementação e as etapas de desenvolvimento, e mostra a interface criada para uma extração proveitosa do conhecimento. Antes de encerrar o documento com as conclusões, é descrita uma experiência conduzida e os resultados são analisados para avaliar o SoBA a partir da perspetiva do utilizador final.