La multicolinéarité est la forte relation de dépendance linéaire entre plus de deux variables explicatives dans une régression multiple qui viole l'hypothèse de Gauss-Markov lorsqu'elle est exacte.
En d'autres termes, la multicolinéarité est la forte corrélation entre plus de deux variables explicatives.
Nous soulignons que la relation linéaire (corrélation) entre les variables explicatives doit être forte. Il est très fréquent que les variables explicatives de la régression soient corrélées. Il faut donc préciser que cette relation doit être forte, mais jamais parfaite, pour qu'elle soit considérée comme un cas de multicolinéarité. La relation linéaire serait parfaite si le coefficient de corrélation était de 1.
Lorsque cette relation linéaire forte (mais pas parfaite) n'intervient qu'entre deux variables explicatives, on dit qu'il s'agit d'un cas de colinéarité. Il s'agirait de multicolinéarité lorsque la relation linéaire forte se produit entre plus de deux variables indépendantes.
L'hypothèse de Gauss-Markov sur la non-multicolinéarité exacte définit que les variables explicatives dans un échantillon ne peuvent pas être constantes. De plus, il ne devrait pas y avoir de relations linéaires exactes entre les variables explicatives (pas de multicolinéarité exacte). Gauss-Markov ne nous permet pas une multicolinéarité exacte, mais se rapproche de la multicolinéarité.
Analyse de régressionApplications
Il existe des cas très particuliers, généralement irréalistes, dans lesquels les variables de régression sont totalement indépendantes les unes des autres. Dans ces cas, on parle d'exogénéité des variables explicatives. Les sciences sociales sont généralement réputées pour intégrer la multicolinéarité approximative dans leurs régressions.
Multicolinéarité exacte
La multicolinéarité exacte se produit lorsque plus de deux variables indépendantes sont une combinaison linéaire d'autres variables indépendantes dans la régression.
Problèmes
Lorsque Gauss Markov interdit la multicolinéarité exacte, c'est parce qu'on ne peut pas obtenir l'estimateur des moindres carrés ordinaires (MCO).
Exprimant mathématiquement le bêta sous-i estimé sous forme matricielle :
Donc, s'il y a multicolinéarité exacte, la matrice (X'X) a un déterminant 0 et, par conséquent, n'est pas inversible. Ne pas être inversible implique de ne pas pouvoir calculer (X'X)-1 et par conséquent ni Beta sub-i estimé.
Multicolinéarité approximative
La multicolinéarité approximative se produit lorsque plus de deux variables indépendantes ne sont pas exactement (approximation) une combinaison linéaire d'autres variables indépendantes dans la régression.
La variable k représente une variable aléatoire (indépendante et identiquement distribuée (i.i.d)). La fréquence de vos observations peut être rapprochée de manière satisfaisante d'une distribution normale standard avec une moyenne 0 et une variance 1. Puisqu'il s'agit d'une variable aléatoire, cela implique que dans chaque observation i, la valeur de k sera différente et indépendante de toute valeur précédente.
Problèmes
Exprimant mathématiquement sous forme matricielle :
Donc s'il y a multicolinéarité approximative, cela fait que la matrice (X'X) est approximativement de 0 et le coefficient de détermination très proche de 1.
Solution
La multicolinéarité peut être réduite en éliminant les régresseurs des variables avec une relation linéaire élevée entre elles.
Coefficient de corrélation linéaire