Intervalle de confiance, biais, gages de qualité: ce qu’on doit savoir à propos des sondages

---

Michel Lejeune est Docteur en statistiques, et a entre autres travaillé au LabSAD (laboratoire de statistique et analyse des données), à l’université Pierre Mendès France de Grenoble dont il est Professeur Émérite, ainsi qu’au CESP (Centre d’études des supports de publicité). Au vu de sa grande expertise en matière de sondage, nous l’avons interrogé afin de collaborer pour cet article.

En cette période électorale, il ne se passe pas un jour sans qu’un sondage ne soit publié. On les accuse d’être manipulés, d’influencer l’opinion, ou même de se tromper. Les sondages sont aujourd’hui la seule méthode expérimentale pour estimer l’opinion d’une population grâce à un échantillon réduit. Peu de gens savent pourtant comment sont réalisés les sondages, et comment les interpréter. Pour vraiment les comprendre, il est essentiel de connaître les concepts de base : incertitudes, erreurs, biais, méthodes…

Mercredi par exemple, Libération titrait Sondage Harris : « Sarkozy toujours en tête devant Hollande au premier tour ». La première phrase annonçait ensuite que Nicolas Sarkozy recevait 28% d’intention de vote alors que Hollande faisait un score de 27%. Le candidat-président devance donc son rival de 1%. Or, l’erreur possible sur ce genre de sondage est habituellement évaluée à 3%. L’erreur de ce résultat pouvant être supérieure à la différence des deux scores, on ne devrait donc pas pouvoir en tirer de conclusion. Nous vous proposons dans cet article de jeter un œil dans les coulisses des instituts de sondage pour un tour d’horizon des méthodes, des biais et des sources d’erreur derrière ces chiffres.

Méthode de constitution d’un échantillon représentatif

Les sondeurs définissent des sous-ensembles de la population que l’on appelle des échantillons. Ces échantillons doivent être représentatifs de la population globale. Traditionnellement, on distingue deux « méthodes » : celle des quotas et celle de la sélection aléatoire.

La « méthode » de la sélection aléatoire consiste à tirer au hasard un nombre d’individus parmi la population. Cette « méthode » est purement statistique. Elle n’introduit aucun biais dans le choix de l’échantillon mais nécessite que l’on ait accès à tous les individus de la population étudiée (liste de l’INSEE ou des abonnés EDF).

La « méthode » des quotas consiste à contrôler l’échantillon sur un certain nombre de critères (structure d’âge, de genre, de profession, répartition géographique). Le principe de mise en œuvre est assez simple. Par exemple, si dans la population étudiée il y a 51% de femmes et qu’on souhaite un échantillon de 1000 personnes, on arrêtera d’interroger des femmes au bout de 510. Mises à part ces contraintes imposées à l’échantillon, la dite « méthode » n’indique pas pour autant comment aller trouver les individus, alors que c’est cela qui fait toute la différence entre les bons et les mauvais sondages (ou presque, en laissant de côté ici les problèmes de conception des questionnaires). En effet, les différentes modalités de l’enquête (questionnaire à domicile, horaire à laquelle est faite l’enquête, etc.) peuvent entraîner des biais dans la sélection de l’échantillon, par exemple une surreprésentation des retraités ou des femmes au foyer.

En réalité, il n’y a pas lieu d’opposer ces deux modes de sélection, bien au contraire. Pour effectuer un bon sondage avec quotas, il faut se rapprocher le plus possible d’un tirage aléatoire des individus. Les sondages par téléphone peuvent s’en rapprocher mais en prenant beaucoup de précautions. Pour les sondages en face à face, il faut tirer au hasard des lieux d’enquête sur tout le territoire et imposer aux enquêteurs de sélectionner en ces points. Plus les lieux sont finement définis, mieux ce sera, mais il existe des limites de faisabilité et de coûts.

Même les bons sondeurs, ceux qui développent des moyens coûteux et un savoir faire précieux pour obtenir le meilleur brassage aléatoire possible persistent à opposer « méthode des quotas » et « méthode aléatoire ». Ils auraient pourtant tout intérêt à communiquer les éléments qui permettent de démontrer la qualité de leur travail, et donc de se distinguer des nombreux instituts plus ou moins amateurs qui disent utiliser la méthode des quotas, mais qui produisent à peu de frais des échantillons de mauvaise qualité, ce qui introduit de forts « biais de sélection » dans le sondage.

Ainsi, on voit des instituts laisser une grande liberté aux enquêteurs dans le choix de leur lieu d’enquête, et donc des personnes interrogées. L’enquêteur peut être enclin par exemple à rester dans sa commune, voire dans son quartier, et à interroger des connaissances, ce qui n’est pas incompatible avec le respect de quotas d’âge, de sexe, et de profession. Cette solution est en effet beaucoup plus économique que de déplacer des enquêteurs en des lieux tirés au hasard. Pour une enquête par téléphone, la qualité du sondage dépend tout d’abord de l’origine des listes de numéro utilisées (incluent-elles notamment des 09, des numéros de portables pour les individus, souvent jeunes, ne possédant pas de téléphone fixe?). La méthodologie d’appel doit également permettre d’éviter des biais de sélection. Fait-on des rappels répétés lorsqu’un numéro ne répond pas ou est occupé ? Appelle-t-on en soirée, en week-end pour avoir tous types de personnes ? Pour une enquête par internet, la difficulté est de constituer une base d’adresses e-mail s’accordant à toute la variété des internautes. La tendance est de remplir de bric et de broc la liste en pensant à tort que la quantité y pourvoira.

Il est vrai que même au sein des quelques instituts de sondage très professionnels on peut produire du bon et du moins bon selon le budget disponible. Le label laconique de « méthode des quotas » sert ainsi parfois à masquer les faiblesses tant il est vrai que cette mention est abusivement présentée dans les médias comme un gage suffisant de qualité.

Le fait d’imposer des quotas ne peut présenter que des avantages sur une sélection aléatoire simple, mais seulement avec les mêmes moyens mis en œuvre que pour le brassage aléatoire. Ceci peut être montré par la théorie dans le cadre de tirages aléatoires parfaits, par exemple si toutes les personnes de la population ont la même chance d’être sélectionnées. La précision théorique sera d’autant meilleure que les catégories de personnes introduites par les critères de quotas auront des comportements différents pour les thématiques abordées dans l’enquête. Toutefois, les quotas usuels n’apportent généralement qu’un gain assez marginal. Affirmer comme on le fait systématiquement que l’on peut considérer que la « méthode des quotas » donne une précision du même ordre que la « sélection aléatoire » n’a évidement aucun sens. On l’aura compris, il existe de mauvais échantillons par quotas et de mauvais échantillons soi-disant aléatoires.

Par ailleurs, comme en pratique il est impossible de réaliser un brassage aléatoire parfait, le recours à des quotas sera souvent avantageux dans des situations difficiles, dans la mesure où il force à diversifier les recrutements des enquêtés. Il pourra ainsi limiter les biais de sélection.

L’inconvénient de la méthode des quotas est qu’elle n’offre aucune garantie quant à la qualité de l’échantillon. Bien des sondeurs pensent en toute bonne foi qu’il suffit d’avoir une répartition correcte en structure socio-démographique pour avoir un échantillon correct. C’est le leurre de « l’échantillon représentatif ». Clairement, si on se limite au simple respect des quotas, sans plus, cette « méthode » peut évidement présenter de gros avantages en termes de coûts de réalisation.

Le traitement des résultats, les intervalles de confiances

Quelle que soit la «méthode» utilisée, un sondage ne peut se résumer à un seul chiffre. En effet, un pourcentage se doit d’être en toute circonstance accompagné d’un intervalle de confiance. Ces intervalles de confiance sont issus de la théorie pour une sélection parfaitement aléatoire. En théorie, il est possible de les calculer en prenant en compte les contraintes de quotas mais cela devient très compliqué, pour un gain somme toute faible.

Pourtant les professionnels ont coutume de dire que l’inconvénient de la «méthode des quotas» est qu’elle ne permet pas de calculer des intervalles de confiance, ajoutant de façon rassurante «qu’on considère généralement que sa précision est du même ordre que celle d’un échantillon aléatoire», ce qui est bien sûr une erreur et met ainsi dans le même sac les échantillons de bonne ou de mauvaise qualité. Ces intervalles de confiance sont de toute façon optimistes étant donné les difficultés pratiques pour se rapprocher de l’aléatoire avec ou sans quotas.

Cela dit la notion d’intervalle de confiance ne recouvre qu’une partie de l’incertitude quant aux résultats d’un sondage, à savoir sa précision. La précision caractérise la variabilité qu’on obtiendrait dans tel ou tel pourcentage observé si l’on répétait l’opération de sondage au même moment dans exactement les mêmes conditions. Cette variabilité est inhérente au caractère aléatoire de la sélection.

Une source additionnelle d’incertitude (on parle aussi d’erreur) concerne les biais de l’échantillonnage (biais de sélection mentionnés précédemment mais aussi de non-réponse, de défaut de qualité de la réponse recueillie, etc.). Là encore la qualité du sondage peut énormément varier selon les moyens mis en œuvre pour réduire au maximum ces biais. Bref, au total l’incertitude est plus grande que ce qu’indiquent les intervalles de confiance utilisés.

Pourtant on constate que les grands instituts, quand ils fonctionnent en parallèle comme durant les périodes pré-électorales, donnent des résultats assez proches. Une des raisons à cela est qu’ils travaillent de la même façon et ont donc en gros les mêmes biais.

Dans les médias, les intervalles de confiance sont rarement donnés car pas très vendeurs. Si l’on vous dit que dans le meilleur des cas l’intention de vote pour le candidat X est de 28% plus ou moins 3% cela rend vains la plupart des commentaires des analystes politiques des médias. Que ne glose-t-on pas sur le candidat Y qui vient de devancer le candidat Z alors qu’il le précède d’un point (soit 8 personnes de plus si 800 se sont effectivement prononcées dans un échantillon de mille)?

L’incertitude – intervalle de confiance plus biais – est évidemment une source première de mauvaise interprétation.

Alors finalement, quelle est la part des choses entre l’échec et la mauvaise interprétation d’un sondage? On ne peut parler d’échec que lorsque l’on met en cause la qualité du sondage, ce qu’aucun sondeur ne fera, bien évidemment. Pour le reste, si l’on a en tête à la fois la précision du sondage et ses biais, modulés éventuellement par la connaissance de la qualité de sa mise en œuvre, on se doit d’être prudent dans l’interprétation et d’émettre les réserves nécessaires.

En effet chacun peut comprendre qu’en interrogeant un millier de personnes on ne peut avoir une photo exacte de la réalité dans l’ensemble de la population. L’écart possible à la réalité n’est pas un échec mais un prix à payer pour n’observer qu’un échantillon. Ce n’est qu’en ignorant cet aspect que l’on en vient à parler d’échec.

Les sondages n’ont pas la vocation de prédire l’avenir. Ils reflètent des tendances globales. Lorsque les résultats sont serrés, il est d’autant plus important de préciser les incertitudes et l’estimation de l’erreur, pour que le public ait en mains toutes les clefs pour comprendre les résultats et relativiser leur importance.

Michel Lejeune

Flavien.

Merci à Laurence Bianchini pour son aide précieuse et ses relectures attentives.