Statistiques – Wikipédia

Etude de la collecte, de l’analyse, de l’interprétation et de la présentation des données

Statistiques est la discipline qui concerne la collecte, l’organisation, l’analyse, l’interprétation et la présentation des données.^[1][2][3] En appliquant les statistiques à un problème scientifique, industriel ou social, il est classique de commencer par une population statistique ou un modèle statistique à étudier. Les populations peuvent être divers groupes de personnes ou d’objets tels que «toutes les personnes vivant dans un pays» ou «chaque atome composant un cristal». Les statistiques traitent de tous les aspects des données, y compris la planification de la collecte de données en termes de conception d’enquêtes et d’expériences.^[4]

Lorsque les données de recensement ne peuvent être collectées, les statisticiens collectent des données en développant des plans d’expérimentation et des échantillons d’enquête spécifiques. L’échantillonnage représentatif garantit que les inférences et les conclusions peuvent raisonnablement s’étendre de l’échantillon à la population dans son ensemble. Une étude expérimentale consiste à prendre des mesures du système à l’étude, à manipuler le système, puis à prendre des mesures supplémentaires en utilisant la même procédure pour déterminer si la manipulation a modifié les valeurs des mesures. En revanche, une étude observationnelle n’implique pas de manipulation expérimentale.

Deux méthodes statistiques principales sont utilisées dans l’analyse des données: les statistiques descriptives, qui résument les données d’un échantillon à l’aide d’indices tels que la moyenne ou l’écart type, et les statistiques inférentielles, qui tirent des conclusions à partir de données sujettes à des variations aléatoires (par exemple, des erreurs d’observation, variation d’échantillonnage).^[5] Les statistiques descriptives concernent le plus souvent deux ensembles de propriétés d’un Distribution (échantillon ou population): tendance centrale (ou lieu) cherche à caractériser la valeur centrale ou typique de la distribution, tandis que dispersion (ou variabilité) caractérise la mesure dans laquelle les membres de la distribution s’écartent de son centre et les uns des autres. Les inférences sur les statistiques mathématiques sont faites dans le cadre de la théorie des probabilités, qui traite de l’analyse des phénomènes aléatoires.

Une procédure statistique standard implique la collecte de données conduisant à tester la relation entre deux ensembles de données statistiques, ou un ensemble de données et des données synthétiques tirées d’un modèle idéalisé. Une hypothèse est proposée pour la relation statistique entre les deux ensembles de données, et elle est comparée comme une alternative à une hypothèse nulle idéalisée d’absence de relation entre deux ensembles de données. Le rejet ou la réfutation de l’hypothèse nulle se fait à l’aide de tests statistiques qui quantifient le sens dans lequel le nul peut être prouvé faux, compte tenu des données utilisées dans le test. En travaillant à partir d’une hypothèse nulle, deux formes d’erreur de base sont reconnues: les erreurs de type I (l’hypothèse nulle est faussement rejetée donnant un « faux positif ») et les erreurs de type II (l’hypothèse nulle ne peut pas être rejetée et une relation réelle entre les populations est manquée, donnant un « faux négatif »).^[6] De multiples problèmes sont venus à être associés à ce cadre, allant de l’obtention d’une taille d’échantillon suffisante à la spécification d’une hypothèse nulle adéquate.^{[[[[citation requise]}

Les processus de mesure qui génèrent des données statistiques sont également sujets à des erreurs. Bon nombre de ces erreurs sont classées comme aléatoires (bruit) ou systématiques (biais), mais d’autres types d’erreurs (par exemple, une erreur, comme lorsqu’un analyste signale des unités incorrectes) peuvent également se produire. La présence de données manquantes ou la censure peuvent entraîner des estimations biaisées et des techniques spécifiques ont été développées pour résoudre ces problèmes.

Les premiers écrits sur les probabilités et les statistiques, méthodes statistiques tirées de la théorie des probabilités, remontent aux mathématiciens et cryptographes arabes, notamment Al-Khalil (717–786)^[7] et Al-Kindi (801–873).^[8][9] Au 18e siècle, les statistiques ont également commencé à s’inspirer fortement du calcul. Ces dernières années, les statistiques se sont davantage appuyées sur des logiciels statistiques.^[10]

introduction[[[[Éditer]

Les statistiques sont un corpus mathématique de la science qui concerne la collecte, l’analyse, l’interprétation ou l’explication et la présentation des données,^[11] ou en tant que branche des mathématiques.^[12] Certains considèrent que les statistiques sont une science mathématique distincte plutôt qu’une branche des mathématiques. Alors que de nombreuses enquêtes scientifiques utilisent des données, les statistiques concernent l’utilisation des données dans un contexte d’incertitude et la prise de décision face à l’incertitude.^[13][14]

En appliquant des statistiques à un problème, il est courant de commencer par une population ou un processus à étudier. Les populations peuvent être des sujets divers tels que «toutes les personnes vivant dans un pays» ou «chaque atome composant un cristal». Idéalement, les statisticiens compilent des données sur l’ensemble de la population (opération appelée recensement). Cela peut être organisé par des instituts statistiques gouvernementaux. Statistiques descriptives peut être utilisé pour résumer les données démographiques. Les descripteurs numériques incluent la moyenne et l’écart type des données continues (comme le revenu), tandis que la fréquence et le pourcentage sont plus utiles pour décrire les données catégorielles (comme l’éducation).

Lorsqu’un recensement n’est pas réalisable, un sous-ensemble choisi de la population appelé échantillon est étudié. Une fois qu’un échantillon représentatif de la population est déterminé, les données sont collectées pour les membres de l’échantillon dans un cadre d’observation ou expérimental. Là encore, des statistiques descriptives peuvent être utilisées pour résumer les exemples de données. Cependant, le dessin de l’échantillon contient un élément de caractère aléatoire; par conséquent, les descripteurs numériques de l’échantillon sont également sujets à l’incertitude. Pour tirer des conclusions significatives sur l’ensemble de la population, statistiques déductives est nécessaire. Il utilise des modèles dans les données de l’échantillon pour tirer des inférences sur la population représentée tout en tenant compte du caractère aléatoire. Ces inférences peuvent prendre la forme de réponses à des questions oui / non sur les données (test d’hypothèse), d’estimation des caractéristiques numériques des données (estimation), de description des associations au sein des données (corrélation) et de modélisation des relations au sein des données (par exemple, en utilisant analyse de régression). L’inférence peut s’étendre à la prévision, à la prédiction et à l’estimation des valeurs non observées dans ou associées à la population étudiée. Il peut inclure l’extrapolation et l’interpolation de séries chronologiques ou de données spatiales, et l’exploration de données.

Statistiques mathématiques[[[[Éditer]

La statistique mathématique est l’application des mathématiques aux statistiques. Les techniques mathématiques utilisées à cet effet comprennent l’analyse mathématique, l’algèbre linéaire, l’analyse stochastique, les équations différentielles et la théorie des probabilités théorique des mesures.^[15][16]

Histoire[[[[Éditer]

Les premiers écrits sur les probabilités et les statistiques remontent aux mathématiciens et cryptographes arabes, pendant l’âge d’or islamique entre le 8ème et le 13ème siècle. Al-Khalil (717–786) a écrit le Livre des messages cryptographiques, qui contient la première utilisation des permutations et des combinaisons, pour lister tous les mots arabes possibles avec et sans voyelles.^[7] Le premier livre sur les statistiques est le traité du IXe siècle Manuscrit sur le déchiffrement des messages cryptographiques, écrit par le savant arabe Al-Kindi (801–873). Dans son livre, Al-Kindi a donné une description détaillée de la façon d’utiliser les statistiques et l’analyse de fréquence pour déchiffrer les messages cryptés. Ce texte a jeté les bases des statistiques et de la cryptanalyse.^[8][9] Al-Kindi a également fait la première utilisation connue de l’inférence statistique, tandis que lui et plus tard des cryptographes arabes ont développé les premières méthodes statistiques pour décoder les messages cryptés. Ibn Adlan (1187–1268) a par la suite apporté une contribution importante sur l’utilisation de la taille de l’échantillon dans l’analyse des fréquences.^[7]

Les premiers écrits européens sur les statistiques remontent à 1663, avec la publication de Observations naturelles et politiques sur les factures de mortalité par John Graunt.^[17] Les premières applications de la pensée statistique tournaient autour des besoins des États de fonder leurs politiques sur des données démographiques et économiques, d’où sa stat- étymologie. La portée de la discipline des statistiques s’est élargie au début du XIXe siècle pour inclure la collecte et l’analyse de données en général. Aujourd’hui, les statistiques sont largement utilisées dans le gouvernement, les entreprises et les sciences naturelles et sociales.

Les fondements mathématiques de la statistique moderne ont été posés au XVIIe siècle avec le développement de la théorie des probabilités par Gerolamo Cardano, Blaise Pascal et Pierre de Fermat. La théorie mathématique des probabilités est née de l’étude des jeux de hasard, bien que le concept de probabilité ait déjà été examiné dans le droit médiéval et par des philosophes tels que Juan Caramuel.^[18] La méthode des moindres carrés a été décrite pour la première fois par Adrien-Marie Legendre en 1805.

Le domaine moderne de la statistique est apparu à la fin du 19e et au début du 20e siècle en trois étapes.^[19] La première vague, au tournant du siècle, a été menée par les travaux de Francis Galton et de Karl Pearson, qui ont transformé la statistique en une discipline mathématique rigoureuse utilisée pour l’analyse, non seulement dans la science, mais aussi dans l’industrie et la politique. Les contributions de Galton comprenaient l’introduction des concepts d’écart type, de corrélation, d’analyse de régression et l’application de ces méthodes à l’étude de la variété des caractéristiques humaines – taille, poids, longueur des cils, entre autres.^[20] Pearson a développé le coefficient de corrélation produit-moment de Pearson, défini comme un produit-moment,^[21] la méthode des moments pour l’ajustement des distributions aux échantillons et la distribution de Pearson, entre autres.^[22] Fondation de Galton et Pearson Biometrika en tant que première revue de statistique mathématique et de biostatistique (alors appelée biométrie), et cette dernière a fondé le premier département de statistique universitaire du monde à l’University College London.^[23]

Ronald Fisher a inventé le terme hypothèse nulle lors de l’expérience de dégustation de thé Lady, qui « n’est jamais prouvée ou établie, mais peut-être réfutée, au cours de l’expérimentation ».^[24][25]

La deuxième vague des années 1910 et 20 a été initiée par William Sealy Gosset et a atteint son point culminant dans les idées de Ronald Fisher, qui a écrit les manuels qui devaient définir la discipline universitaire dans les universités du monde entier. Les publications les plus importantes de Fisher étaient son article fondateur de 1918 La corrélation entre parents sur la supposition de l’héritage mendélien (qui a été le premier à utiliser le terme statistique, la variance), son travail classique de 1925 Méthodes statistiques pour les chercheurs et son 1935 La conception des expériences,^[26][27][28] où il a développé une conception rigoureuse de modèles d’expériences. Il est à l’origine des concepts de suffisance, de statistiques auxiliaires, de discriminateur linéaire de Fisher et d’information de Fisher.^[29] Dans son livre de 1930 La théorie génétique de la sélection naturelle, il a appliqué des statistiques à divers concepts biologiques tels que le principe de Fisher^[30] (que A. W. F. Edwards a appelé « probablement l’argument le plus célèbre de la biologie évolutionniste ») et Fisherian runaway,^{[31][32][33][34][35][36]} un concept dans la sélection sexuelle sur un effet fugitif de rétroaction positive trouvé dans l’évolution.

La dernière vague, qui a principalement vu le raffinement et l’expansion des développements antérieurs, a émergé du travail collaboratif entre Egon Pearson et Jerzy Neyman dans les années 1930. Ils ont introduit les concepts d’erreur de «type II», de puissance d’un test et d’intervalles de confiance. Jerzy Neyman en 1934 a montré que l’échantillonnage aléatoire stratifié était en général une meilleure méthode d’estimation que l’échantillonnage raisonné (quota).^[37]

Aujourd’hui, les méthodes statistiques sont appliquées dans tous les domaines qui impliquent la prise de décision, pour faire des inférences précises à partir d’un ensemble de données rassemblées et pour prendre des décisions face à l’incertitude basée sur une méthodologie statistique. L’utilisation d’ordinateurs modernes a accéléré les calculs statistiques à grande échelle et a également rendu possible de nouvelles méthodes qu’il est impossible d’exécuter manuellement. Les statistiques continuent d’être un domaine de recherche active, par exemple sur le problème de l’analyse des mégadonnées.^[38]

Donnée statistique[[[[Éditer]

Collecte de données[[[[Éditer]

Échantillonnage[[[[Éditer]

Lorsque les données complètes du recensement ne peuvent pas être collectées, les statisticiens collectent des échantillons de données en développant des plans d’expérimentation et des échantillons d’enquête spécifiques. Les statistiques elles-mêmes fournissent également des outils de prédiction et de prévision au moyen de modèles statistiques.

Pour utiliser un échantillon comme guide pour une population entière, il est important qu’il représente vraiment la population globale. L’échantillonnage représentatif garantit que les inférences et les conclusions peuvent s’étendre en toute sécurité de l’échantillon à la population dans son ensemble. Un problème majeur consiste à déterminer dans quelle mesure l’échantillon choisi est réellement représentatif. Statistics propose des méthodes pour estimer et corriger tout biais dans les procédures d’échantillonnage et de collecte de données. Il existe également des méthodes de conception expérimentale pour des expériences qui peuvent atténuer ces problèmes au début d’une étude, renforçant sa capacité à discerner des vérités sur la population.

La théorie de l’échantillonnage fait partie de la discipline mathématique de la théorie des probabilités. La probabilité est utilisée dans les statistiques mathématiques pour étudier les distributions d’échantillonnage des statistiques d’échantillons et, plus généralement, les propriétés des procédures statistiques. L’utilisation de toute méthode statistique est valable lorsque le système ou la population considéré satisfait aux hypothèses de la méthode. La différence de point de vue entre la théorie des probabilités classique et la théorie de l’échantillonnage est, en gros, que la théorie des probabilités part des paramètres donnés d’une population totale pour en déduire les probabilités relatives aux échantillons. L’inférence statistique, cependant, se déplace dans la direction opposée – inférence inductive à partir d’échantillons aux paramètres d’une population plus grande ou totale.

Etudes expérimentales et observationnelles[[[[Éditer]

Un objectif commun d’un projet de recherche statistique est d’étudier la causalité, et en particulier de tirer une conclusion sur l’effet des changements dans les valeurs des prédicteurs ou des variables indépendantes sur les variables dépendantes. Il existe deux grands types d’études statistiques causales: les études expérimentales et les études observationnelles. Dans les deux types d’études, on observe l’effet des différences d’une ou plusieurs variables indépendantes sur le comportement de la variable dépendante. La différence entre les deux types réside dans la manière dont l’étude est réellement menée. Chacun peut être très efficace.
Une étude expérimentale consiste à prendre des mesures du système à l’étude, à manipuler le système, puis à prendre des mesures supplémentaires en utilisant la même procédure pour déterminer si la manipulation a modifié les valeurs des mesures. En revanche, une étude observationnelle n’implique pas de manipulation expérimentale. Au lieu de cela, les données sont recueillies et les corrélations entre les prédicteurs et la réponse sont étudiées. Bien que les outils d’analyse des données fonctionnent le mieux sur les données d’études randomisées, ils sont également appliqués à d’autres types de données, comme les expériences naturelles et les études d’observation.^[39]—Pour laquelle un statisticien utiliserait une méthode d’estimation modifiée et plus structurée (par exemple, l’estimation de la différence dans l’estimation des différences et les variables instrumentales, entre autres) qui produisent des estimateurs cohérents.

Expériences[[[[Éditer]

Les étapes de base d’une expérience statistique sont:

1. Planifier la recherche, y compris trouver le nombre de répétitions de l’étude, en utilisant les informations suivantes: estimations préliminaires concernant la taille des effets du traitement, hypothèses alternatives et la variabilité expérimentale estimée. La prise en compte de la sélection des sujets expérimentaux et de l’éthique de la recherche est nécessaire. Les statisticiens recommandent que les expériences comparent (au moins) un nouveau traitement avec un traitement standard ou un contrôle, pour permettre une estimation non biaisée de la différence des effets du traitement.
2. Conception d’expériences, utilisant le blocage pour réduire l’influence des variables de confusion et attribution aléatoire des traitements aux sujets pour permettre des estimations non biaisées des effets du traitement et de l’erreur expérimentale. A ce stade, les expérimentateurs et les statisticiens rédigent le protocole experimental qui guidera la performance de l’expérience et qui spécifie les analyse primaire des données expérimentales.
3. Réalisation de l’expérience suivant le protocole expérimental et analyse des données suivant le protocole expérimental.
4. Examen plus approfondi de l’ensemble de données dans des analyses secondaires, pour suggérer de nouvelles hypothèses pour une étude future.
5. Documenter et présenter les résultats de l’étude.

Les expériences sur le comportement humain ont des préoccupations particulières. La célèbre étude Hawthorne a examiné les changements dans l’environnement de travail à l’usine Hawthorne de la Western Electric Company. Les chercheurs souhaitaient déterminer si un éclairage accru augmenterait la productivité des travailleurs de la chaîne de montage. Les chercheurs ont d’abord mesuré la productivité de l’usine, puis modifié l’éclairage dans une zone de l’usine et vérifié si les changements d’éclairage affectaient la productivité. Il s’est avéré que la productivité s’est effectivement améliorée (dans les conditions expérimentales). Cependant, l’étude est aujourd’hui fortement critiquée pour des erreurs dans les procédures expérimentales, en particulier pour l’absence de groupe témoin et la cécité. L’effet Hawthorne fait référence à la constatation qu’un résultat (dans ce cas, la productivité des travailleurs) a changé en raison de l’observation elle-même. Ceux de l’étude Hawthorne sont devenus plus productifs non pas parce que l’éclairage a été changé, mais parce qu’ils étaient observés.^[40]

Étude observationnelle[[[[Éditer]

Un exemple d’étude observationnelle est celui qui explore l’association entre le tabagisme et le cancer du poumon. Ce type d’étude utilise généralement une enquête pour recueillir des observations sur la zone d’intérêt, puis effectue une analyse statistique. Dans ce cas, les chercheurs recueilleraient des observations de fumeurs et de non-fumeurs, peut-être dans le cadre d’une étude de cohorte, puis chercheraient le nombre de cas de cancer du poumon dans chaque groupe.^[41] Une étude cas-témoins est un autre type d’étude observationnelle dans laquelle des personnes avec et sans résultat d’intérêt (par exemple le cancer du poumon) sont invitées à participer et leurs historiques d’exposition sont recueillis.

Types de données[[[[Éditer]

Diverses tentatives ont été faites pour produire une taxonomie des niveaux de mesure. Le psychophysicien Stanley Smith Stevens a défini des échelles nominales, ordinales, d’intervalle et de rapport. Les mesures nominales n’ont pas d’ordre de classement significatif parmi les valeurs et permettent toute transformation un-à-un (injective). Les mesures ordinales ont des différences imprécises entre les valeurs consécutives, mais ont un ordre significatif pour ces valeurs et permettent toute transformation préservant l’ordre. Les mesures d’intervalle ont des distances significatives entre les mesures définies, mais la valeur zéro est arbitraire (comme dans le cas des mesures de longitude et de température en Celsius ou Fahrenheit), et autorise toute transformation linéaire. Les mesures de rapport ont à la fois une valeur zéro significative et les distances entre les différentes mesures définies, et permettent toute transformation de remise à l’échelle.

Étant donné que les variables conformes uniquement aux mesures nominales ou ordinales ne peuvent pas être raisonnablement mesurées numériquement, elles sont parfois regroupées en tant que variables catégorielles, tandis que les mesures de rapport et d’intervalle sont regroupées sous forme de variables quantitatives, qui peuvent être discrètes ou continues, en raison de leur nature numérique. De telles distinctions peuvent souvent être vaguement corrélées avec le type de données en informatique, en ce que les variables catégorielles dichotomiques peuvent être représentées avec le type de données booléen, les variables catégorielles polytomiques avec des entiers attribués arbitrairement dans le type de données intégral, et les variables continues avec le type de données réel impliquant calcul en virgule flottante. Mais le mappage des types de données informatiques aux types de données statistiques dépend de la catégorisation de ces derniers qui est mise en œuvre.

D’autres catégorisations ont été proposées. Par exemple, Mosteller et Tukey (1977)^[42] grades distingués, rangs, fractions comptées, dénombrements, montants et soldes. Nelder (1990)^[43] décrit les dénombrements continus, les ratios continus, les ratios de dénombrement et les modes catégoriels de données. (Voir aussi: Chrisman (1998),^[44] van den Berg (1991).^[45])

La question de savoir s’il convient ou non d’appliquer différents types de méthodes statistiques aux données obtenues à partir de différents types de procédures de mesure est compliquée par des problèmes concernant la transformation des variables et l’interprétation précise des questions de recherche. << La relation entre les données et ce qu'elles décrivent reflète simplement le fait que certains types d'énoncés statistiques peuvent avoir des valeurs de vérité qui ne sont pas invariantes dans certaines transformations. La question de savoir si une transformation est sensée ou non envisagée dépend de la question à laquelle on essaie de répondre. . "^[46]:82

Méthodes[[[[Éditer]

Statistiques descriptives[[[[Éditer]

UNE statistique descriptive (au sens du nom de dénombrement) est une statistique récapitulative qui décrit ou résume quantitativement les caractéristiques d’une collection d’informations,^[47] tandis que statistiques descriptives dans le sens du nom de masse est le processus d’utilisation et d’analyse de ces statistiques. Les statistiques descriptives se distinguent des statistiques inférentielles (ou statistiques inductives), en ce que les statistiques descriptives visent à résumer un échantillon, plutôt que d’utiliser les données pour en savoir plus sur la population que l’échantillon de données est censé représenter.

Statistiques déductives[[[[Éditer]

Inférence statistique est le processus d’utilisation de l’analyse des données pour déduire les propriétés d’une distribution de probabilité sous-jacente.^[48] L’analyse statistique inférentielle déduit les propriétés d’une population, par exemple en testant des hypothèses et en dérivant des estimations. On suppose que l’ensemble de données observé est échantillonné à partir d’une population plus large. Les statistiques inférentielles peuvent être comparées aux statistiques descriptives. Les statistiques descriptives concernent uniquement les propriétés des données observées et ne reposent pas sur l’hypothèse que les données proviennent d’une population plus large.

Terminologie et théorie des statistiques inférentielles[[[[Éditer]

Statistiques, estimateurs et grandeurs pivots[[[[Éditer]

Considérons des variables aléatoires indépendantes à distribution identique (IID) avec une distribution de probabilité donnée: l’inférence statistique standard et la théorie d’estimation définissent un échantillon aléatoire comme le vecteur aléatoire donné par le vecteur colonne de ces variables IID.^[49] La population examinée est décrite par une distribution de probabilité qui peut avoir des paramètres inconnus.

Une statistique est une variable aléatoire qui est fonction de l’échantillon aléatoire, mais not a est une statistique utilisée pour estimer une telle fonction. Les estimateurs couramment utilisés comprennent la moyenne de l’échantillon, la variance sans biais de l’échantillon et la covariance de l’échantillon.

Une variable aléatoire qui est fonction de l’échantillon aléatoire et du paramètre inconnu, mais dont la distribution de probabilité ne dépend pas du paramètre inconnu s’appelle une quantité ou pivot. Les pivots largement utilisés incluent le score z, la statistique du chi carré et la valeur t de Student.

Entre deux estimateurs d’un paramètre donné, celui dont l’erreur quadratique moyenne est la plus faible est dit plus efficace. De plus, un estimateur est dit sans biais si sa valeur attendue est égale à la valeur vraie du paramètre inconnu estimé, et asymptotiquement sans biais si sa valeur attendue converge à la limite vers la valeur vraie de ce paramètre.

Les autres propriétés souhaitables pour les estimateurs comprennent: les estimateurs UMVUE qui ont la variance la plus faible pour toutes les valeurs possibles du paramètre à estimer (il s’agit généralement d’une propriété plus facile à vérifier que l’efficacité) et des estimateurs cohérents qui convergent en probabilité vers la valeur réelle de ce paramètre .

Cela laisse encore la question de savoir comment obtenir des estimateurs dans une situation donnée et effectuer le calcul, plusieurs méthodes ont été proposées: la méthode des moments, la méthode du maximum de vraisemblance, la méthode des moindres carrés et la méthode plus récente d’estimation des équations.

Hypothèse nulle et hypothèse alternative[[[[Éditer]

L’interprétation des informations statistiques peut souvent impliquer le développement d’une hypothèse nulle qui est généralement (mais pas nécessairement) qu’aucune relation n’existe entre les variables ou qu’aucun changement ne s’est produit au fil du temps.^[50][51]

La meilleure illustration pour un novice est la situation difficile rencontrée par un procès pénal. L’hypothèse nulle, H₀, affirme que le défendeur est innocent, alors que l’hypothèse alternative, H₁, affirme que le défendeur est coupable. L’acte d’accusation vient en raison de soupçons de culpabilité. Le H₀ (statu quo) s’oppose à H₁ et est maintenu à moins que H₁ est étayée par des éléments de preuve «hors de tout doute raisonnable». Cependant, « l’échec de rejeter H₀« dans ce cas n’implique pas l’innocence, mais simplement le fait que la preuve était insuffisante pour condamner. Le jury n’implique donc pas nécessairement J’accepte H₀ mais échoue à rejeter H₀. Bien que l’on ne puisse pas « prouver » une hypothèse nulle, on peut tester à quel point elle est proche d’être vraie avec un test de puissance, qui teste les erreurs de type II.

Ce que les statisticiens appellent une hypothèse alternative est simplement une hypothèse qui contredit l’hypothèse nulle.

Erreur[[[[Éditer]

En partant d’une hypothèse nulle, deux grandes catégories d’erreur sont reconnues:

• Erreurs de type I où l’hypothèse nulle est faussement rejetée, donnant un « faux positif ».
• Erreurs de type II dans lesquelles l’hypothèse nulle ne peut être rejetée et une différence réelle entre les populations est omise, ce qui donne un «faux négatif».

L’écart type fait référence à la mesure dans laquelle les observations individuelles d’un échantillon diffèrent d’une valeur centrale, telle que l’échantillon ou la moyenne de la population, tandis que l’erreur standard fait référence à une estimation de la différence entre la moyenne de l’échantillon et la moyenne de la population.

Une erreur statistique est la quantité par laquelle une observation diffère de sa valeur attendue, un résidu est la quantité qu’une observation diffère de la valeur que l’estimateur de la valeur attendue assume sur un échantillon donné (également appelée prédiction).

L’erreur quadratique moyenne est utilisée pour obtenir des estimateurs efficaces, une classe d’estimateurs largement utilisée. L’erreur quadratique moyenne est simplement la racine carrée de l’erreur quadratique moyenne.

Ajustement des moindres carrés: en rouge les points à ajuster, en bleu la ligne ajustée.

De nombreuses méthodes statistiques cherchent à minimiser la somme résiduelle des carrés, et elles sont appelées «méthodes des moindres carrés» par opposition aux écarts les moins absolus. Le second donne un poids égal aux petites et aux grandes erreurs, tandis que le premier donne plus de poids aux grandes erreurs. La somme résiduelle des carrés est également différentiable, ce qui fournit une propriété pratique pour effectuer une régression. La méthode des moindres carrés appliquée à la régression linéaire est appelée méthode des moindres carrés ordinaires et la méthode des moindres carrés appliquée à la régression non linéaire est appelée méthode des moindres carrés non linéaires. Dans un modèle de régression linéaire également, la partie non déterministe du modèle est appelée terme d’erreur, perturbation ou plus simplement bruit. La régression linéaire et la régression non linéaire sont traitées en moindres carrés polynomiaux, qui décrit également la variance dans une prédiction de la variable dépendante (axe y) en fonction de la variable indépendante (axe x) et des écarts (erreurs, bruit, perturbations) à partir de la courbe estimée (ajustée).

Les processus de mesure qui génèrent des données statistiques sont également sujets à des erreurs. Bon nombre de ces erreurs sont classées comme aléatoires (bruit) ou systématiques (biais), mais d’autres types d’erreurs (par exemple, une erreur, comme lorsqu’un analyste signale des unités incorrectes) peuvent également être importants. La présence de données manquantes ou la censure peuvent entraîner des estimations biaisées et des techniques spécifiques ont été développées pour résoudre ces problèmes.^[52]

Estimation d’intervalle[[[[Éditer]

Intervalles de confiance: la ligne rouge est la valeur vraie de la moyenne dans cet exemple, les lignes bleues sont des intervalles de confiance aléatoires pour 100 réalisations.

La plupart des études n’échantillonnent qu’une partie d’une population, de sorte que les résultats ne représentent pas entièrement la population entière. Toutes les estimations obtenues à partir de l’échantillon ne font qu’une approximation de la valeur de la population. Les intervalles de confiance permettent aux statisticiens d’exprimer dans quelle mesure l’estimation de l’échantillon correspond à la valeur réelle dans l’ensemble de la population. Ils sont souvent exprimés sous forme d’intervalles de confiance à 95%. Formellement, un intervalle de confiance à 95% pour une valeur est une plage où, si l’échantillonnage et l’analyse étaient répétés dans les mêmes conditions (donnant un ensemble de données différent), l’intervalle inclurait la vraie valeur (population) dans 95% de tous les cas possibles . Cela fait ne pas impliquent que la probabilité que la valeur vraie se trouve dans l’intervalle de confiance est de 95%. Du point de vue fréquentiste, une telle affirmation n’a même pas de sens, car la vraie valeur n’est pas une variable aléatoire. Soit la valeur vraie est ou n’est pas dans l’intervalle donné. Cependant, il est vrai qu’avant que des données ne soient échantillonnées et qu’un plan ne soit donné sur la façon de construire l’intervalle de confiance, la probabilité est de 95% que l’intervalle encore à calculer couvrira la vraie valeur: à ce stade, le les limites de l’intervalle sont des variables aléatoires encore à observer. Une approche qui donne un intervalle qui peut être interprété comme ayant une probabilité donnée de contenir la valeur vraie est d’utiliser un intervalle crédible à partir des statistiques bayésiennes: cette approche dépend d’une manière différente d’interpréter ce que l’on entend par «probabilité», c’est-à-dire comme une probabilité bayésienne.

En principe, les intervalles de confiance peuvent être symétriques ou asymétriques. Un intervalle peut être asymétrique car il fonctionne comme une limite inférieure ou supérieure pour un paramètre (intervalle gauche ou intervalle droit), mais il peut également être asymétrique car l’intervalle bilatéral est construit en violant la symétrie autour de l’estimation. Parfois, les limites d’un intervalle de confiance sont atteintes de manière asymptotique et elles sont utilisées pour approximer les vraies limites.

Importance[[[[Éditer]

Les statistiques donnent rarement une réponse simple de type Oui / Non à la question analysée. L’interprétation se résume souvent au niveau de signification statistique appliqué aux nombres et se réfère souvent à la probabilité qu’une valeur rejette avec précision l’hypothèse nulle (parfois appelée valeur p).

Dans ce graphique, la ligne noire est la distribution de probabilité pour la statistique de test, la région critique est l’ensemble des valeurs à droite du point de données observé (valeur observée de la statistique de test) et la valeur p est représentée par la zone verte.

L’approche standard^[49] consiste à tester une hypothèse nulle par rapport à une hypothèse alternative. Une région critique est l’ensemble des valeurs de l’estimateur qui conduit à réfuter l’hypothèse nulle. La probabilité d’erreur de type I est donc la probabilité que l’estimateur appartienne à la région critique étant donné que l’hypothèse nulle est vraie (signification statistique) et la probabilité d’erreur de type II est la probabilité que l’estimateur n’appartienne pas à la région critique donnée que l’hypothèse alternative est vraie. La puissance statistique d’un test est la probabilité qu’il rejette correctement l’hypothèse nulle lorsque l’hypothèse nulle est fausse.

Se référer à la signification statistique ne signifie pas nécessairement que le résultat global est significatif en termes réels. Par exemple, dans une vaste étude sur un médicament, il peut être démontré que le médicament a un effet bénéfique statistiquement significatif mais très faible, de sorte qu’il est peu probable que le médicament aide sensiblement le patient.

Bien qu’en principe le niveau acceptable de signification statistique puisse être sujet à débat, le niveau de signification est la plus grande valeur p qui permet au test de rejeter l’hypothèse nulle. Ce test équivaut logiquement à dire que la valeur p est la probabilité, en supposant que l’hypothèse nulle est vraie, d’observer un résultat au moins aussi extrême que la statistique du test. Therefore, the smaller the significance level, the lower the probability of committing type I error.

Some problems are usually associated with this framework (See criticism of hypothesis testing):

• A difference that is highly statistically significant can still be of no practical significance, but it is possible to properly formulate tests to account for this. One response involves going beyond reporting only the significance level to include the p-value when reporting whether a hypothesis is rejected or accepted. The p-value, however, does not indicate the size or importance of the observed effect and can also seem to exaggerate the importance of minor differences in large studies. A better and increasingly common approach is to report confidence intervals. Although these are produced from the same calculations as those of hypothesis tests or p-values, they describe both the size of the effect and the uncertainty surrounding it.
• Fallacy of the transposed conditional, aka prosecutor’s fallacy: criticisms arise because the hypothesis testing approach forces one hypothesis (the null hypothesis) to be favored, since what is being evaluated is the probability of the observed result given the null hypothesis and not probability of the null hypothesis given the observed result. An alternative to this approach is offered by Bayesian inference, although it requires establishing a prior probability.^[53]
• Rejecting the null hypothesis does not automatically prove the alternative hypothesis.
• As everything in inferential statistics it relies on sample size, and therefore under fat tails p-values may be seriously mis-computed.^{[[[[clarification needed]}

Exemples[[[[Éditer]

Some well-known statistical tests and procedures are:

Exploratory data analysis[[[[Éditer]

Exploratory data analysis (EDA) is an approach to analyzing data sets to summarize their main characteristics, often with visual methods. A statistical model can be used or not, but primarily EDA is for seeing what the data can tell us beyond the formal modeling or hypothesis testing task.

Misuse of statistics can produce subtle but serious errors in description and interpretation—subtle in the sense that even experienced professionals make such errors, and serious in the sense that they can lead to devastating decision errors. For instance, social policy, medical practice, and the reliability of structures like bridges all rely on the proper use of statistics.

Even when statistical techniques are correctly applied, the results can be difficult to interpret for those lacking expertise. The statistical significance of a trend in the data—which measures the extent to which a trend could be caused by random variation in the sample—may or may not agree with an intuitive sense of its significance. The set of basic statistical skills (and skepticism) that people need to deal with information in their everyday lives properly is referred to as statistical literacy.

There is a general perception that statistical knowledge is all-too-frequently intentionally misused by finding ways to interpret only the data that are favorable to the presenter.^[54] A mistrust and misunderstanding of statistics is associated with the quotation, « There are three kinds of lies: lies, damned lies, and statistics ». Misuse of statistics can be both inadvertent and intentional, and the book How to Lie with Statistics^[54] outlines a range of considerations. In an attempt to shed light on the use and misuse of statistics, reviews of statistical techniques used in particular fields are conducted (e.g. Warne, Lazo, Ramos, and Ritter (2012)).^[55]

Ways to avoid misuse of statistics include using proper diagrams and avoiding bias.^[56] Misuse can occur when conclusions are overgeneralized and claimed to be representative of more than they really are, often by either deliberately or unconsciously overlooking sampling bias.^[57] Bar graphs are arguably the easiest diagrams to use and understand, and they can be made either by hand or with simple computer programs.^[56] Unfortunately, most people do not look for bias or errors, so they are not noticed. Thus, people may often believe that something is true even if it is not well represented.^[57] To make data gathered from statistics believable and accurate, the sample taken must be representative of the whole.^[58] According to Huff, « The dependability of a sample can be destroyed by [bias]… allow yourself some degree of skepticism. »^[59]

To assist in the understanding of statistics Huff proposed a series of questions to be asked in each case:^[54]

• Who says so? (Does he/she have an axe to grind?)
• How does he/she know? (Does he/she have the resources to know the facts?)
• What’s missing? (Does he/she give us a complete picture?)
• Did someone change the subject? (Does he/she offer us the right answer to the wrong problem?)
• Does it make sense? (Is his/her conclusion logical and consistent with what we already know?)

The confounding variable problem: X et Oui may be correlated, not because there is causal relationship between them, but because both depend on a third variable Z. Z is called a confounding factor.

Misinterpretation: correlation[[[[Éditer]

The concept of correlation is particularly noteworthy for the potential confusion it can cause. Statistical analysis of a data set often reveals that two variables (properties) of the population under consideration tend to vary together, as if they were connected. For example, a study of annual income that also looks at age of death might find that poor people tend to have shorter lives than affluent people. The two variables are said to be correlated; however, they may or may not be the cause of one another. The correlation phenomena could be caused by a third, previously unconsidered phenomenon, called a lurking variable or confounding variable. For this reason, there is no way to immediately infer the existence of a causal relationship between the two variables.

Applications[[[[Éditer]

Applied statistics, theoretical statistics and mathematical statistics[[[[Éditer]

Applied statistics comprises descriptive statistics and the application of inferential statistics.^[60][61]Theoretical statistics concerns the logical arguments underlying justification of approaches to statistical inference, as well as encompassing mathematical statistics. Mathematical statistics includes not only the manipulation of probability distributions necessary for deriving results related to methods of estimation and inference, but also various aspects of computational statistics and the design of experiments.

Statistical consultants can help organizations and companies that don’t have in-house expertise relevant to their particular questions.

Machine learning and data mining[[[[Éditer]

Machine learning models are statistical and probabilistic models that capture patterns in the data through use of computational algorithms.

Statistics in academia[[[[Éditer]

Statistics is applicable to a wide variety of academic disciplines, including natural and social sciences, government, and business. Business statistics applies statistical methods in econometrics, auditing and production and operations, including services improvement and marketing research.^[62] A study of two journals in tropical biology found that the 12 most frequent statistical tests are: Analysis of Variance (ANOVA), Chi-Square Test, Student’s T Test, Linear Regression, Pearson’s Correlation Coefficient, Mann-Whitney U Test, Kruskal-Wallis Test, Shannon’s Diversity Index, Tukey’s Test, Cluster Analysis, Spearman’s Rank Correlation Test and Principal Component Analysis.^[63]

A typical statistics course covers descriptive statistics, probability, binomial and normal distributions, test of hypotheses and confidence intervals, linear regression, and correlation.^[64] Modern fundamental statistical courses for undergraduate students focus on correct test selection, results interpretation, and use of free statistics software.^[63]

Statistical computing[[[[Éditer]

The rapid and sustained increases in computing power starting from the second half of the 20th century have had a substantial impact on the practice of statistical science. Early statistical models were almost always from the class of linear models, but powerful computers, coupled with suitable numerical algorithms, caused an increased interest in nonlinear models (such as neural networks) as well as the creation of new types, such as generalized linear models and multilevel models.

Increased computing power has also led to the growing popularity of computationally intensive methods based on resampling, such as permutation tests and the bootstrap, while techniques such as Gibbs sampling have made use of Bayesian models more feasible. The computer revolution has implications for the future of statistics with a new emphasis on « experimental » and « empirical » statistics. A large number of both general and special purpose statistical software are now available. Examples of available software capable of complex statistical computation include programs such as Mathematica, SAS, SPSS, and R.

Business statistics[[[[Éditer]

In business, « statistics » is a widely used management- and decision support tool.
It is particularly applied in financial management, marketing management, and production, services and operations management .
^[65][66]

Statistics is also heavily used in management accounting and auditing.
The discipline of Management Science formalizes the use of statistics, and other mathematics, in business.
(Econometrics is the application of statistical methods to economic data in order to give empirical content to economic relationships.)

A typical « Business Statistics » course is intended for business majors,
and covers
^[67]descriptive statistics (collection, description, analysis, and summary of data),
probability (typically the binomial and normal distributions),
test of hypotheses and confidence intervals, linear regression, and correlation;
(follow-on) courses may include forecasting, time series, decision trees, multiple linear regression, and other topics from business analytics more generally.
See also Business mathematics § University level.
Professional certification programs, such as the CFA, often include topics in statistics.

Statistics applied to mathematics or the arts[[[[Éditer]

Traditionally, statistics was concerned with drawing inferences using a semi-standardized methodology that was « required learning » in most sciences.^{[[[[citation requise]} This tradition has changed with the use of statistics in non-inferential contexts. What was once considered a dry subject, taken in many fields as a degree-requirement, is now viewed enthusiastically.^{[[[[according to whom?]} Initially derided by some mathematical purists, it is now considered essential methodology in certain areas.

• In number theory, scatter plots of data generated by a distribution function may be transformed with familiar tools used in statistics to reveal underlying patterns, which may then lead to hypotheses.
• Methods of statistics including predictive methods in forecasting are combined with chaos theory and fractal geometry to create video works that are considered to have great beauty.^{[[[[citation requise]}
• The process art of Jackson Pollock relied on artistic experiments whereby underlying distributions in nature were artistically revealed.^{[[[[citation requise]} With the advent of computers, statistical methods were applied to formalize such distribution-driven natural processes to make and analyze moving video art.^{[[[[citation requise]}
• Methods of statistics may be used predicatively in performance art, as in a card trick based on a Markov process that only works some of the time, the occasion of which can be predicted using statistical methodology.
• Statistics can be used to predicatively create art, as in the statistical or stochastic music invented by Iannis Xenakis, where the music is performance-specific. Though this type of artistry does not always come out as expected, it does behave in ways that are predictable and tunable using statistics.

Specialized disciplines[[[[Éditer]

Statistical techniques are used in a wide range of types of scientific and social research, including: biostatistics, computational biology, computational sociology, network biology, social science, sociology and social research. Some fields of inquiry use applied statistics so extensively that they have specialized terminology. These disciplines include:

In addition, there are particular types of statistical analysis that have also developed their own specialised terminology and methodology:

Statistics form a key basis tool in business and manufacturing as well. It is used to understand measurement systems variability, control processes (as in statistical process control or SPC), for summarizing data, and to make data-driven decisions. In these roles, it is a key tool, and perhaps the only reliable tool.

Voir également[[[[Éditer]

Foundations and major areas of statistics

Les références[[[[Éditer]

Lectures complémentaires[[[[Éditer]

• Lydia Denworth, « A Significant Problem: Standard scientific methods are under fire. Will anything change? », Scientific American, vol. 321, no. 4 (October 2019), pp. 62–67. « The use of p values for nearly a century [since 1925] to determine statistical significance of experimental results has contributed to an illusion of certainty and [to] reproducibility crises in many scientific fields. There is growing determination to reform statistical analysis… Some [researchers] suggest changing statistical methods, whereas others would do away with a threshold for defining « significant » results. » (p. 63.)
• Barbara Illowsky; Susan Dean (2014). Introductory Statistics. OpenStax CNX. ISBN 9781938168208.
• Stockburger, David W. « Introductory Statistics: Concepts, Models, and Applications ». Missouri State University (3rd Web ed.). Archivé de l’original on 28 May 2020.
• OpenIntro Statistics Archivé 2019-06-16 at the Wayback Machine, 3rd edition by Diez, Barr, and Cetinkaya-Rundel
• Stephen Jones, 2010. Statistics in Psychology: Explanations without Equations. Palgrave Macmillan. ISBN 9781137282392.
• Cohen, J (1990). « Things I have learned (so far) » (PDF). Psychologue américain. 45: 1304–1312. doi:10.1037/0003-066x.45.12.1304. Archivé de l’original (PDF) on 2017-10-18.
• Gigerenzer, G (2004). « Mindless statistics ». Journal of Socio-Economics. 33: 587–606. doi:10.1016/j.socec.2004.09.033.
• Ioannidis, J.P.A. (2005). « Why most published research findings are false ». PLoS Medicine. 2: 696–701. doi:10.1371/journal.pmed.0040168. PMC 1855693. PMID 17456002.

Liens externes[[[[Éditer]