7  Métricas de Avaliação

Avaliar o desempenho de um modelo de regressão linear é crucial para garantir sua eficácia em previsões. As métricas de avaliação permitem quantificar a precisão do modelo e identificar áreas de melhoria. Este capítulo detalha as principais métricas utilizadas para avaliar modelos de regressão.

7.1 Coeficiente de Determinação R2

O coeficiente de determinação, \(R^2\), é uma métrica que indica a proporção da variabilidade na variável dependente que é explicada pelas variáveis independentes no modelo.

Cálculo

\(R^2\) é calculado como:

\[R^2 = 1 - \frac{\textit{Soma dos Quadrados dos Resíduos (SSR)}}{\textit{Soma Total dos Quadrados (SST)}}\]

Onde:

  • SSR é a soma dos quadrados das diferenças entre os valores observados e previstos.

  • SST é a soma dos quadrados das diferenças entre os valores observados e a média dos valores observados.

Interpretação

Um \(R^2\) de 1 indica um ajuste perfeito, enquanto um \(R^2\) de 0 indica que o modelo não explica nenhuma variabilidade nos dados. Contudo, um \(R^2\) alto nem sempre indica um bom modelo, especialmente em modelos de regressão múltipla, onde pode haver overfitting.

7.2 Erro Quadrático Médio (MSE)

O erro quadrático médio (MSE) é uma métrica que calcula a média dos quadrados dos erros, ou diferenças, entre os valores observados e previstos.

Cálculo

O MSE é dado por:

\[MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2\]

Onde \(y_i\) são os valores observados e \(\hat{y}_i\) são os valores previstos.

Interpretação

Um MSE menor indica que o modelo tem um ajuste melhor aos dados. No entanto, o MSE é sensível a outliers, pois os erros são elevados ao quadrado.

7.3 Raiz do Erro Quadrático Médio (RMSE)

A raiz do erro quadrático médio (RMSE) é a raiz quadrada do MSE e fornece uma medida da magnitude dos erros de previsão.

Cálculo

O RMSE é calculado como:

\[RMSE = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}\]

Interpretação

O RMSE está na mesma unidade da variável dependente, facilitando a interpretação. Assim como o MSE, o RMSE é sensível a outliers, mas é frequentemente preferido devido à sua interpretabilidade direta.

7.4 Erro Absoluto Médio (MAE)

O erro absoluto médio (MAE) é a média dos valores absolutos das diferenças entre os valores observados e previstos, fornecendo uma medida clara do erro médio do modelo.

Cálculo

O MAE é dado por:

\[MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|\]

Interpretação

O MAE é menos sensível a outliers do que o MSE ou RMSE, pois não eleva os erros ao quadrado. É útil para entender o erro médio em unidades do valor previsto.

7.5 Escolha de Métrica

A escolha da métrica de avaliação depende do contexto e das características do conjunto de dados. Em cenários onde outliers são comuns, o MAE pode ser mais apropriado, enquanto o RMSE pode ser preferido quando grandes erros são particularmente indesejáveis.

7.6 Comparação de Modelos

Usar várias métricas em conjunto pode fornecer uma visão mais completa sobre o desempenho do modelo. Isso ajuda a equilibrar entre ajuste aos dados (bias) e complexidade do modelo (variance).

7.7 Exercícios

Versão on-line destes exercícios

https://forms.gle/VUKgBj4SV4wnMBUv7

  1. O que mede o coeficiente de determinação (\(R^2\)) em um modelo de regressão linear?

    1. A correlação entre as variáveis independentes.

    2. A proporção da variabilidade na variável dependente explicada pelas variáveis independentes.

    3. A diferença média entre os valores observados e previstos.

    4. A soma dos quadrados dos resíduos.

  2. Qual é a principal diferença entre o Erro Quadrático Médio (MSE) e a Raiz do Erro Quadrático Médio (RMSE)?

    1. MSE mede a variância dos resíduos, enquanto RMSE mede a média dos resíduos.

    2. MSE é a soma dos resíduos, enquanto RMSE é a raiz quadrada do MSE, tornando-o mais interpretável na unidade original da variável dependente.

    3. MSE é usado para dados categóricos, enquanto RMSE é usado para dados contínuos.

    4. Não há diferença significativa entre MSE e RMSE.

  3. Qual métrica de avaliação é menos sensível a outliers?

    1. Coeficiente de Determinação R2

    2. Erro Quadrático Médio (MSE)

    3. Erro Absoluto Médio (MAE)

    4. Raiz do Erro Quadrático Médio (RMSE)

  4. O que indica um valor de \(R^2\) próximo a 1?

    1. Que o modelo de regressão não é adequado para os dados.

    2. Que as variáveis independentes não têm relação com a variável dependente.

    3. Que o modelo de regressão fornece um ajuste perfeito aos dados.

    4. Que a variabilidade da variável dependente é amplamente explicada pelas variáveis independentes.

  5. Por que é importante usar várias métricas de avaliação para julgar o desempenho de um modelo de regressão?

    1. Porque cada métrica mede um aspecto diferente do modelo e pode revelar diferentes fraquezas e pontos fortes.

    2. Porque as métricas de avaliação não são necessárias e o desempenho do modelo pode ser julgado apenas visualmente.

    3. Porque as métricas de avaliação fornecem geralmente resultados idênticos, então é melhor confirmar a consistência.

    4. Porque mais métricas sempre garantem um melhor desempenho do modelo.