En novembre 2015, 22 500 volontaires ont eu la possibilité de remplir leur questionnaire annuel de santé en ligne. 23 % l’ont fait : plutôt des jeunes, des hommes. Un effet de « mode de recueil » est apparu sur certaines questions. 3 questions à Gaëlle Santin, l’une des statisticienne de Constances, pour y voir plus clair.
Un important effet de « mode de recueil » a été trouvé sur l’état de santé perçu : 61 % des volontaires ayant répondu sur Internet l’ont jugé »bon » contre seulement 45 % sur papier. Vous y attendiez-vous ?
Gaëlle Santin : Cet effet de mode est lié pour moitié à un effet de choix qui est assez logique : plus de jeunes adultes — en meilleur santé que les plus âgés — ont répondu aux questionnaires sur Internet. Par contre, je ne m’attendais pas un effet de mesure si important, c’est-à-dire à des réponses différentes selon le support utilisé alors que les répondants avaient des profils semblables. Cet effet de mesure est sans doute lié à la présentation des réponses sous la forme d’une échelle de A à H, et au rendu visuel différent de cette échelle sur papier et sur Internet. Ces hypothèses sont développées dans un article récent (Dillman, 2017). De plus, nous n’avons pas retrouvé un tel effet de mesure sur les 3 autres variables que nous avons considérées : vie en couple, situation face à l’emploi, grosse consommation d’alcool. Les questions en lien avaient des réponses de type oui/non, sauf pour la consommation d’alcool qui est un indicateur calculé à partir de plusieurs questions sur l’alcool posées dans le questionnaire.
Comment gérer cet effet dans le temps ? Si la proportion de personnes répondant sur Internet augmente, les chercheurs pourraient conclure que l’état de santé des volontaires de Constances s’améliore alors que ce n’est pas forcément le cas !
Atténuer les effets liés au choix du mode de remplissage est assez facile par l’utilisation de méthodes statistiques de redressement (voir ici). Atténuer les effets liés à la mesure est plus complexe. On peut essayer de les minimiser en amont de l’enquête, en travaillant sur une présentation des questions équivalentes sur les questionnaires web et papier ; l’équivalence complète n’est néanmoins pas réaliste, car la présentation des questions peut varier d’un navigateur à l’autre, et surtout d’un support informatique à l’autre (ordinateur, tablette, téléphone). Par ailleurs, le degré d’attention d’une personne n’est pas nécessairement le même sur un support papier et sur un support informatique, avec une grande variabilité également au sein de ces supports.
Pour le traitement en aval, donc une fois les données recueillies, on a peu d’expérience pour l’instant dans l’équipe, c’est un sujet sur lequel nous allons travailler. Redresser l’échantillon des variables associées à l’effet de mesure pourrait toutefois être compliqué si on suppose que les effets de mesure sont dus à des différences de perception entre des questionnaires internet et papier.
Pourquoi ne pas être parti dès le départ sur des questionnaires web uniquement ?
Si nous étions partis sur des questionnaires web, certaines catégories de volontaires — notamment les plus âgés — auraient moins participé. Il faut aussi avoir en tête que lorsque nous avons commencé Constances, en 2012, Internet était moins développé qu’aujourd’hui, que les personnes les plus âgées utilisaient moins ce support… Autrement dit ce mode recueil aurait entrainé des biais dans la composition de la cohorte très difficiles à prendre en compte ensuite.
>> Plus de détails dans le diaporama de Gaëlle Santin présenté lors de la journée scientifique du 11 mai 2017.