Benchmark-based software product quality evaluation

Abstract

Two main problems have been hindering the adoption of source code metrics for quality evaluation in industry: (i) the difficulty in doing a qualitative interpretation of measurements; and (ii) the inability of summarizing measurements into a single meaningful value that captures quality at the level of overall system. This dissertation proposes an approach based on two methods to solve these problems using thresholds derived from an industrial benchmark. The first method categorizes measurements into different risk areas using risk thresholds. These thresholds are derived by aggregating different metric distributions while preserving their statistical properties. The second method enables the assignment of ratings to systems, for a given scale, using rating thresholds. These thresholds are calibrated such that it is possible to distinguish systems based on their metric distribution. For each rating, these thresholds set the maximum amount of code that is allowed in all risk categories. Empirical and industrial studies provide evidence of the usefulness of the approach. The empirical study shows that ratings for a new test adequacy metric can be used to predict bug solving efficiency. The industrial case details the quality analysis and evaluation of two space-domain simulators.

A adoção na indústria do uso de métricas de código fonte para a avaliação de qualidade tem sido dificultada por dois problemas: (i) pela dificuldade em interpretar métricas de forma qualitativa; e (ii) pela impossibilidade de agregar métricas num valor único que capture de forma fiel a qualidade do sistema como um todo.

Esta dissertação propõe uma solução para estes problemas utilizando dois métodos que usam valores-limite derivados de um benchmark industrial.

O primeiro método caracteriza medições em diferentes áreas de risco através de valores-limite de risco. Estes valores-limite são derivados através da agregação das distribuições de métricas preservando as suas propriedades estatísticas.

O segundo método, dada uma escala, permite atribuir uma classificação a sistemas de software, usando valores-limite de classificação. Estes valores-limite são calibrados para permitir diferenciar sistemas baseada na distribuição de métricas definindo, para cada classificação, a quantidade máxima de código permissível nas categorias de risco.

Dois estudos evidenciam os resultados desta abordagem. No estudo empírico mostra-se que as classificações atribuídas para uma nova métrica de teste podem ser usadas para prever a eficiência na resolução de erros. No estudo industrial detalha-se a avaliação e análise de qualidade de dois simuladores usados para missões no espaço.