Comment Nate Silver a pu prédire à 92% l’élection de Barak Obama

Six jours avant les élections présidentielles américaines du 6 novembre 2012, les sondages donnaient les deux candidats à égalité. Le jour même de l’élection, ils enregistraient un écart de 0,7% en faveur de Barak Obama sur Mitt Romney. Dans le monde entier, le suspense est alors à son comble. On craint une élection  très serrée, comme en 2004 entre Georges W Bush et John Kerry ou sujr le fil du rasoir, comme en 2000 entre Georges W. Bush et Al Gore.  Pourtant, ce même jour, un “vulgaire” blogueur américain, Nate Silver, 34 ans, donne Barak Obama vainqueur à 92%…

Sur son blog, FiveThirtyEight, il se paye même le luxe d’enregistrer 100% de bonnes prédictions concernant les résultats Etat par Etat, Floride comprise alors que le décompte final n’a été connu qu’aujourd’hui, 10 novembre. Nate Silver, lui, donnait 50,3% de chance de victoire à Barak Obama. Ce dernier l’a finalement emporté avec 50% des voix contre 49,1% à Mitt Romney. Dans tous les Etats, le blogueur a vu juste. Quant au nombre de votes électoraux obtenus par chaque candidat, il avait prédit 313 pour Barak Obama et 225 pour Mitt Romney pour un résultat réel de 332 contre 206. Comment Nate Silver peut-il renvoyer ainsi les analystes politiques et les spécialistes des sondages à la préhistoire ?

Le révérend Thomas Bayes

La solution ne doit rien à la magie. Comme le révèle Christian Robert, professeur au Centre de recherche en mathématiques de la décision de l’université Paris-Dauphine, dans l’émission Science Publique du 9 novembre 2012 que j’ai animée sur France Culture, Nate Silver utilise la démarche logique dénommée “inférence bayésienne“… La dernière technique issue des mathématiques de pointe en matière de probabilités ? Pas vraiment… Cette démarche est fondée sur le théorème de Bayes, que l’on doit du révérend Thomas Bayes et qui date de… 1763.

Nate Silver- Election Obama – Théorème de Bayes – Science Publique 9 novembre 2012 by Michel Alberganti

Il y a 249 ans…

L’histoire de Thomas Bayes (prononcer Beillesse) n’est guère banale. Né aux environ de 1702 à Londres, il devient pasteur de l’Eglise presbytérienne. Considéré comme un mathématicien britannique, il n’a pourtant publié que deux articles de son vivant. Et encore… Le premier concerne la bienveillance divine… Son fameux théorème est publié en 1763, soit deux ans après sa mort, par la vénérable Académie royale de Londres sous le titre: Essai sur la manière de résoudre un problème dans la doctrine des risques. C’est un ami de Thomas Bayes, Richard Price, qui adresse le texte de 20 pages à l’Académie royale le 10 novembre 1763, il y a exactement 249 ans. Un texte bourré de formules mathématiques qui ne peuvent qu’étonner sous la plume d’un pasteur. Certes, les bases des probabilités modernes ont été établies un siècle auparavant par Fermat et Pascal (1654). Mais c’est bien à Thomas Bayes que l’on attribue l’origine du développement des statistiques. De peu, car dès 1774, un Français, le célèbre Pierre-Simon Laplace réinvente le théorème de Bayes. Avait-il eu connaissance de la publication de ce dernier ? Il semble que personne, aujourd’hui, ne puisse trancher la question. Un temps, le théorème a été baptisé Bayes-Laplace mais il semble que les anglophones aient définitivement imposé Bayes tout court.

Il est remarquable qu’une formule aussi simple soit capable de donner des résultats aussi impressionnants, depuis aussi longtemps. Elle reste pourtant largement méconnue du grand public. Dans le cercle des mathématiciens, elle a donné lieu à des débats violents au point de marginaliser, pendant une bonne partie du 20ème siècle, les bayésiens. Cette approche serait pourtant à l’origine du craquage du code de la machine Enigma pendant la seconde guerre mondiale. Aujourd’hui, ses applications sont extrêmement diverses, comme le mentionne le dernier numéro de la revue Science et vie. Au point de se demander pourquoi elle n’est pas ouvertement exploitée par les instituts de sondage. La réponse est peut-être purement économique. Le maintien d’un suspense intense stimule la demande de nouveaux sondages. Avec Bayes, les jeux seraient sans doute fait plus vite. D’où un considérable manque à gagner. Gageons que la célébrité croissante de Nate Silver doit sérieusement inquiéter ces instituts…

Michel Alberganti

(Ré) écoutez l’émission Science Publique du 9 novembre que j’ai animée sur France Culture :

Mathématiques

09.11.2012 – Science publique
Une formule mathématique universelle existe-t-elle ? 57 minutes Écouter l'émissionAjouter à ma liste de lectureRecevoir l'émission sur mon mobilevideo

Une formule, publiée en 1763, peu après la mort de son auteur, le pasteur Thomas Bayes, est utilisée de plus en plus aujourd’hui dans pratiquement tous les domaines de la science. Pourquoi un tel succès ? Invités: Pierre Bessière, Christian Robert et Dirk Zerwas,avec notre partenaire, Science et Vie.

9 commentaires pour “Comment Nate Silver a pu prédire à 92% l’élection de Barak Obama”

  1. Une des applications les plus fascinantes des théories bayésiennes est illustrée par Stanislas Dehaene dans son cycle de conférence au collège de France sur l’application des théories bayésienne au fonctionnement du cerveau; Je cite :
    Toutes ces données comportementales et électrophysiologiques suggèrent que le cerveau des primates, et sans doute de nombreuses autres espèces, abrite des mécanismes qui approximent la statistique Bayésienne.
    extrait de “L’implémentation neuronale des mécanismes Bayésiens” cours donné au collège de France par Stanislas Dehaene le 14 février 2012.
    Il suivait le cours du 7 février intitulé la prise de décision bayésienne et précédait le dernier cours de cette année sur le sujet intitulé : “le cerveau vu comme un système prédictif“.
    A voir absolument sur le site du collège de France par ceux qui se passionnent pour les travaux remarquables de Stanilas Dehaene et de Lionel Naccache sur le cerveau.
    Lionel Naccache a beaucoup influencé Nancy Houston notamment dans son livre intitulé “L’espèce fabulatrice”.
    http://www.college-de-france.fr/site/audio-video/index.htm#|q=_audiovideos.jsp?index=25&prompt=&fulltextdefault=mots-cles…&fulltext=dehaene&fields=TYPE2_ACTIVITY&fieldsdefault=0_0&TYPE2=video|p=http://www.college-de-france.fr/site/stanislas-dehaene/course-2012-02-14-09h30.htm|

  2. Suite … :)
    Les résultats que vous évoquez de prédictibilité remarquable de Nate Silver pose une question que je suis incapable de trancher (n’étant pas mathématicien et encore moins statisticien):
    Des cerveaux dont le fonctionnement dans la prise de décision (notamment électorale) serait bayésien font-ils globalement un ensemble qui se comporte de manière bayésienne?
    C’est en tout cas plus convaincant que les théories économiques de la décision (concept de rationalité maximisatrice) dont on voit tous les jours qu’elles ne fonctionnent pas.

  3. Voir Issac Asimov ‘Le cycle de Fondation’ (du moins les trois premiers tomes).

  4. euh je ne comprends pas très bien
    s’il a réussi à prédire 100% des résultats par état, comment se fait-il qu’il n’ait pas réussi à prédire le bon nombre de grands électeurs, et vu la règle du “vainqueur d’état rafle tous les grands électeurs”

    de +, je ne trouve pas forcément honnête votre constat de l’avant-élection : tous les sites de paris en ligne donnaient obama vainqueur dans 75% des cas donc le monde n’était pas en train de trembler sur le résultat…

  5. “Le maintien d’un suspense intense stimule la demande de nouveaux sondages. Avec Bayes, les jeux seraient sans doute fait plus vite.”

    quant au suspense des sondages, il ne vient pas des techniques statistiques de sondage (très robustes et qui ne pourront pas être améliorées significativement par le bayésien) mais plutôt du fait que les réponses des sondés varient selon des facteurs très sensibles (façon de poser la question, contexte dans lequel la question est posée, etc.)

    c’est de ces aléas que proviennent certaines erreurs de sondage (comme en 2002, mais le bayésien n’aurait surement pas fait mieux) mais sur des données “propres” (sortie des urnes), les instituts ne se sont jamais plantés pour des élections majeures en France…

  6. Pour répondre à jojo, Silver a inventé une énorme machine à gaz (non divulguée) faite de simulations prenant en compte des moyennes pondérées de sondages, moyennes à leur tour modifiées par ses soins (il prenait notamment en compte, à sa sauce, la relation entre sondages par Etats et sondages nationaux).
    Tous les soirs, il lançait son simulateur avec les données mises à jour (environ une quinzaine de sondages sortait tous les jours sur la fin de la campagne). Ses résultats étaient à mon avis les moyennes Monte-Carlo de ses simulations: dans 92% des scenarii, Obama l’emportait. Et en moyenne, avec 313 grands électeurs.

  7. On peut effectivement dire que c’est fait par la théorie baysienne car quand on fait un second sondage en connaissant le résultat d’un premier sondage on est plus précis qu’avec le seul second sondage mais il est bien plus facile de revenir à la base de ce qu’est un sondage:
    -> Plus l’échantillon d’étude est grand plus on est précis, il suffit donc d’agréger (“sommer”) les sondages (15 par jour aux états unis) en un seul de plus grand échantillon pour avoir une précision bien meilleure.

  8. […] http://blog.slate.fr/globule-et-telescope/2012/11/10/comment-nate-silver-a-pu-predire-a-92-lelection… Partagez cet articleFacebookLinkedInTwitterGoogle +1J'aime ceci:J'aimeSoyez le premier à aimer ceci. Cette entrée a été publiée dans Travaux étudiants et taguée 2012, élections, Bayes, Nate, présidentielles, Silver, statistiques, Twitter. Ajouter aux favoris ce permalien. ← La goutte qui fait déborder le réservoir d’essence. […]

  9. […] Comment Nate Silver a pu prédire à 92% l’élection de Barak Obama […]

« »