statistiques grippées

Alors, elle fait beaucoup de morts ou pas, cette grippe porcine? Au Mexique, on a assisté à une jolie vague de résurrections: le 28 avril on apprenait que sur les 150 décès suspects, 20 seulement étaient finalement imputables au virus H1N1. Et le 29 avril ce chiffre tombait à sept. Comment expliquer ce reflux (pardon pour le jeu de mot) des statistiques: incompétence des autorités sanitaires? Effet de la panique? Tentative de manipulation?
Au risque de décevoir les amateurs de conspiration, je crains qu’il n’y ait rien d’autre, derrière cette valse des chiffres, que les caprices habituels des statistiques lorsqu’on les applique à la santé publique.

Sensibilité n’est pas pertinence
Avant d’attaquer le cochon, prenons l’exemple d’une maladie comme le cancer du sein. Supposons que 1% des femmes de plus de 40 ans en soit la atteinte (c’est ce qu’on appelle la prévalence) et que le test de détection du cancer du sein soit sensible à 99% (c’est-à-dire qu’une personne malade est détectée dans 99% des cas et une personne non-atteinte donne un test négatif dans 99% des cas).
Si une personne est testée positivement, quelle est sa probabilité d’être réellement malade? Plus ou moins que beaucoup à votre avis?

En fait, une personne testée positivement n’a qu’une chance sur deux d’être malade. Pas convaincus? Un petit tableau vaut mieux qu’un long discours:


Malades
Sains
1000 personnes 10
990
Test positif
10
10
Test négatif
0
980


Sur 1000 personnes testées, 20 seront testées positivement dont seulement 10 vrais malades (et 10 « faux-positifs »). Au total une test positif n’aura un résultat pertinent que dans 50% des cas, alors que ce test est sensible à 99%!

Pour les malades de la grippe porcine, il se passe un peu la même chose. Certes on ne teste que les personnes présentant des symptômes suspects (toux, fièvre etc) mais les suspects sont nombreux dans une ville où grippe et pneumonies font rage. En plus, dans le doute, on préfère tester trop de monde que pas assez alors que les vrais cas sont rares au début. Une prévalence de 1% sur la population testée n’est donc pas déraisonnable.

Un zest d’insensibilité fait toute l’impertinence
OK, me direz-vous, mais dans le cas présent la pertinence des tests positifs n’était pas 50% mais 35% (7 personnes sur 20). Pas terrible comme précision!
Regardons le graphique qui montre la pertinence des résultats en fonction de la sensibilité du test (à prévalence donnée de 1%, 3% ou 10%).

On voit que la pertinence des résultats chute drastiquement dès que la sensibilité du test n’est pas parfaite. Avec un test sensible à 90%, la pertinence du résultat n’est que de 8%! Il faut donc des tests diablement sensibles pour que leurs résultats soient utiles.
Pour notre cas pratique, 35% de pertinence des tests correspond théoriquement à une fiabilité de 98% (pour 1% de malades): pas si mal pour un test rapidement mis sur pied au début de l’épidémie!

Quand les sensibilités s’emmêlent…

Mais alors si les résultats des tests sont si peu fiables, faut-il croire les nouvelles statistiques? Pourquoi seraient-elles subitement plus fiables?
Supposons que l’on trouve non pas un, mais deux tests indépendants l’un de l’autre pour savoir si une personne est malade. Tous deux sensibles à 98%, donc pas très pertinents si on les prend chacun isolément.
Si on les combine on obtient en revanche une super fiabilité:
Les personnes positives sur un seul test ont 35% de chance d’être malade. Si on teste ces personnes avec le deuxième test, refaites le calcul et vous verrez qu’un deuxième test positif est pertinent dans 96% des cas! C’est déjà beaucoup mieux!

On comprend qu’avec toutes ces bizarreries statistiques,
1) au début d’une épidémie on tende à exagérer le nombre de malades (car les tests sont « peu » sensibles et la prévalence faible),
2) on mette du temps à avoir des certitudes (car il faut multiplier les tests pour obtenir une bonne précision)
3) les chiffres finalement obtenus sont spectaculairement plus faibles que ceux du début.

Bref, voilà pourquoi on crie toujours « au loup » dès que le moindre cochon débarque.

Billets connexes:
Calculs de stats, stats de calculs sur le paradoxe de Simpson toujours dans le domaine médical
Un peu de gymnastique mentale, sur le paradoxe de Monty Hall et les probabilités conditionnelles

A lire aussi l’article du « Cerveau et Psycho » de ce mois-ci, sur les pièges des statistiques médicales dont je me suis inspiré.

8 comments for “statistiques grippées

  1. Goulu
    21/05/2009 at 08:24

    >Apparemment cette incertitude fait vendre dans les media, alos que la certitude d’une épidémie dévastatrice n’a aucun intérêt. C’est ce que montre Hans Rosling dans sa diatribe au sujet du « News/Ratio » ici : http://www.gapminder.org/videos/swine-flu-alert-news-death-ratio-tuberculosis/

  2. Xochipilli
    21/05/2009 at 13:50

    >La vidéo est intéressante. En même temps dans « news » il y a « new »: c’est pas complètement anormal de parler des choses nouvelles comme la grippe porcine plutôt que de la tuberculose qui fait certes considérablement plus de dégât mais sans évolution notable. Par ailleurs ce qui est spectaculaire dans cette grippe c’est surtout la vitesse à laquelle elle se propage dans le monde, plutôt que le nombre de morts qu’elle cause…

  3. Miss C
    21/05/2009 at 15:35

    >Génial ! Démystifier les statistiques est un des plaisirs raffinés de la vie. Me encantó, comme on dit par ici…

  4. Ethaniel
    24/01/2012 at 14:59

    > le test de détection du cancer du sein soit sensible à 99% (c’est-à-dire qu’une personne malade est détectée dans 99% des cas […]
    Oui.
    > […] et une personne non-atteinte donne un test négatif dans 99% des cas).
    Non !
    La probabilité d’obtenir un test négatif chez les non-malades s’appelle la *spécificité*, dont la valeur est potentiellement différente de la *sensibilité* (qui est bien la probabilité d’obtenir un test positif chez les malades) : rien n’empêche un test d’avoir une sensibilité de 99% et une spécificité de 95%, ou l’inverse, ou n’importe quelles autres valeurs.
    À noter que, seules, la sensibilité ou la spécificité ne signifient rien, seule la paire de valeurs est pertinente : il ne sert à rien d’avoir une sensibilité de 99% si la spécificité est de 1%, puisque cela signifie simplement que le test répond positivement à 99%, que la personne soit malade ou non, donc que le test n’a aucun pouvoir de détection de la maladie considérée.
    La sensibilité et la spécificité, bien que non égales (sauf coup de chance), ne sont pas indépendantes pour autant : plus on abaisse le seuil de déclenchement de la réponse positive pour rendre le test plus sensible, moins on le rend spécifique, et inversement.

  5. Ethaniel
    24/01/2012 at 15:00

    Je renvoie bien évidemment à http://fr.wikipedia.org/wiki/Sensibilit%C3%A9_%28statistique%29 dont vient d’ailleurs un bout de phrase de mon commentaire ;).

  6. 24/01/2012 at 23:50

    @Ethaniel: certes… mais le raisonnement ne change pas si dans l’exemple proposé, la spécificité est égale à la sensibilité.

  7. Ethaniel
    26/01/2012 at 13:48

    Oui bien sûr, le raisonnement est parfaitement bon, même quand spécificité et sensibilité sont différentes : je voulais juste mettre en avant la différence entre sensibilité et spécificité, qui n’apparaissait pas dans la phrase citée ;).

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *