Régression des moindres carrés

Définition de la méthode de régression des moindres carrés

Une méthode de régression des moindres carrés est une forme d'analyse de régression qui établit la relation entre la variable dépendante et indépendante avec une ligne linéaire. Cette ligne est appelée «ligne de meilleur ajustement».

L'analyse de régression est une méthode statistique à l'aide de laquelle on peut estimer ou prédire les valeurs inconnues d'une variable à partir des valeurs connues d'une autre variable. La variable qui est utilisée pour prédire l'intérêt de la variable est appelée la variable indépendante ou explicative et la variable qui est prédite est appelée la variable dépendante ou expliquée.

Considérons deux variables x & y. Celles-ci sont tracées sur un graphique avec des valeurs de x sur l'axe des x valeurs de y sur l'axe des y. Ces valeurs sont représentées par les points dans le graphique ci-dessous. Une ligne droite est dessinée à travers les points - appelée ligne de meilleur ajustement.

L'objectif de la régression des moindres carrés est de garantir que la ligne tracée à travers l'ensemble de valeurs fourni établit la relation la plus étroite entre les valeurs.

Formule de régression des moindres carrés

La droite de régression selon la méthode des moindres carrés est calculée à l'aide de la formule suivante -

ŷ = a + bx

Où,

  • ŷ = variable dépendante
  • x = variable indépendante
  • a = ordonnée à l'origine
  • b = pente de la ligne

La pente de la ligne b est calculée à l'aide de la formule suivante -

Ou

L'ordonnée à l'origine, 'a' est calculé à l'aide de la formule suivante -

Ligne de meilleur ajustement dans la régression des moindres carrés

La ligne de meilleur ajustement est une ligne droite tracée à travers une dispersion de points de données qui représente le mieux la relation entre eux.

Considérons le graphique suivant dans lequel un ensemble de données est tracé le long des axes x et y. Ces points de données sont représentés à l'aide des points bleus. Trois lignes sont tracées à travers ces points - une ligne verte, une ligne rouge et une ligne bleue. La ligne verte passe par un seul point et la ligne rouge passe par trois points de données. Cependant, la ligne bleue passe par quatre points de données et la distance entre les points résiduels et la ligne bleue est minimale par rapport aux deux autres lignes.

Dans le graphique ci-dessus, la ligne bleue représente la ligne de meilleur ajustement car elle est la plus proche de toutes les valeurs et la distance entre les points en dehors de la ligne à la ligne est minimale (c'est-à-dire la distance entre les résidus à la ligne de meilleur ajustement - également appelées sommes des carrés des résidus). Dans les deux autres lignes, l'orange et la verte, la distance entre les résidus et les lignes est plus grande que la ligne bleue.

La méthode des moindres carrés fournit la relation la plus proche entre les variables dépendantes et indépendantes en minimisant la distance entre les résidus et la ligne de meilleur ajustement, c'est-à-dire que la somme des carrés des résidus est minimale dans cette approche. D'où le terme «moindres carrés».

Exemples de ligne de régression des moindres carrés

Appliquons ces formules dans la question ci-dessous -

Vous pouvez télécharger ce modèle Excel de régression des moindres carrés ici - Modèle Excel de régression des moindres carrés

Exemple 1

Les détails relatifs à l'expérience des techniciens dans une entreprise (en nombre d'années) et leur note de performance sont fournis dans le tableau ci-dessous. À l'aide de ces valeurs, estimez la performance d'un technicien ayant 20 ans d'expérience.

Solution -

Pour calculer les moindres carrés d'abord, nous allons calculer l'ordonnée à l'origine (a) et la pente d'une droite (b) comme suit -

La pente de la ligne (b)

  • b = 6727 - [(80 * 648) / 8] / 1018 - [(80) 2/8]
  • = 247/218
  • = 1,13

Interception Y (a)

  • a = 648 - (1,13) (80) / 8
  • = 69,7

La droite de régression est calculée comme suit -

En substituant 20 à la valeur de x dans la formule,

  • ŷ = a + bx
  • ŷ = 69,7 + (1,13) (20)
  • ŷ = 92,3

La cote de performance d'un technicien ayant 20 ans d'expérience est estimée à 92,3.

Exemple # 2

Équation de régression des moindres carrés à l'aide d'Excel

L'équation de régression des moindres carrés peut être calculée en utilisant Excel par les étapes suivantes -

  • Insérer une table de données dans Excel.

  • Insérez un nuage de points en utilisant les points de données.

  • Insérez une courbe de tendance dans le nuage de points.

  • Sous les options de courbe de tendance - sélectionnez la courbe de tendance linéaire et sélectionnez afficher l'équation sur le graphique

  • L'équation de régression des moindres carrés pour l'ensemble donné de données Excel est affichée sur le graphique.

Ainsi, l'équation de régression des moindres carrés pour l'ensemble donné de données Excel est calculée. En utilisant l'équation, des prédictions et des analyses de tendance peuvent être faites. Les outils Excel fournissent également des calculs de régression détaillés.

Avantages

  • La méthode des moindres carrés d'analyse de régression est la mieux adaptée aux modèles de prédiction et à l'analyse des tendances. Il est mieux utilisé dans les domaines de l'économie, de la finance et des marchés boursiers où la valeur de toute variable future est prédite à l'aide de variables existantes et de la relation entre elles.
  • La méthode des moindres carrés fournit la relation la plus proche entre les variables. La différence entre les sommes des carrés des résidus et la ligne de meilleur ajustement est minime avec cette méthode.
  • Le mécanisme de calcul est simple et facile à appliquer.

Désavantages

  • La méthode des moindres carrés repose sur l'établissement de la relation la plus proche entre un ensemble donné de variables. Le mécanisme de calcul est sensible aux données et en cas de valeurs aberrantes (données exceptionnelles), les résultats peuvent avoir tendance à avoir un impact majeur.
  • Ce type de calcul est le mieux adapté aux modèles linéaires. Pour les équations non linéaires, des mécanismes de calcul plus exhaustifs sont appliqués.

Conclusion

La méthode des moindres carrés est l'une des méthodes les plus couramment utilisées pour les modèles de prédiction et l'analyse des tendances. Lorsqu'il est calculé correctement, il fournit les meilleurs résultats.