Les niveaux de signification sont le complément de l'intervalle de confiance d'une distribution et sont utilisés pour tester l'hypothèse nulle (H0) dans un test d'inférence statistique.
En d'autres termes, les niveaux de signification sont les probabilités que nous laissons en dehors de l'intervalle de confiance d'une distribution et nous aident à déterminer si la statistique de test est dans la zone de rejet ou non.
Relation entre le niveau de signification et le niveau de confiance
Nous avons sûrement tous entendu quelqu'un demander quelle valeur nous devrions attribuer à l'alpha de la distribution ou avec quel niveau de confiance nous calculons l'intervalle, mathématiquement, (1-alpha). La réponse est généralement toujours 1%, 5% ou 10% pour l'alpha ou 99%, 95% et 90% pour le niveau de confiance.
Il est important d'être clair sur les points suivants :
- 1%, 5%, 10% = alpha => Niveaux de signification.
- 99%, 95%, 90% = (1-alpha) => Intervalle de confiance.
Les intervalles de confiance et les niveaux de signification sont complémentaires puisque la somme des deux est l'aire de la fonction de densité. Ensuite,
On sait déjà que l'aire de la fonction de densité est 1. Mathématiquement, on est capable de résoudre cette intégrale :
Représentation du niveau de significativité
Dans ce cas, la distribution t de Student avec 16 degrés de liberté a été utilisée pour montrer quelles zones de la fonction appartiennent aux niveaux de signification. Les pourcentages (2,5%, 2,5% et 95%) correspondent à l'aire sous la fonction de densité. Comme cette distribution a deux queues, le niveau de signification est divisé en deux, donc 2,5 % + 2,5 % = 5 %. La valeur critique de cette distribution avec 16 degrés de liberté et 5% comme niveau de signification est de 2.11991 dans chaque queue.
2,5% + 2,5% + 95% = 1%
Universel
Nous qualifions les niveaux de signification d'universels car ces niveaux sont connus et utilisés dans tous les tests statistiques. Il est très inhabituel de trouver un niveau de signification de 20 % ou 35 % à moins qu'il ne s'agisse d'une condition de test explicite.
Il est vrai que les niveaux 1% et 5% sont plus populaires que le niveau 10%, mais c'est pour des raisons de précision. Il vaut mieux donner un résultat 1 fois sur 100 (1/100 = 0,01 = 1%) ou 5 fois sur 100 (5/100 = 0,05 = 5%) que 10 fois sur 100 (10/100 = 0,1 = 10 %), non ?
De plus, les niveaux de signification sont appelés centile, par exemple, centile de 1 % ou centile de 5 %. Cette nomenclature est largement utilisée pour calculer la métrique de la valeur à risque (VaR).
Arbitraire et non arbitraire
Les niveaux de signification peuvent être arbitraires et non arbitraires. Les arbitraires sont les valeurs que nous choisissons a priori (avant) connaître les caractéristiques de l'expérience. Dans ce cas, ce serait avant le calcul de la statistique de test. Les non-arbitraires sont ceux qui sont obtenus à partir d'un résultat de l'expérience. Dans ce cas, la p-value, car elle dépend de la valeur prise par la statistique de test. Les deux dépendent de la distribution que suivent les données.