Derniers Articles

Nouvelles fonctionnalités, salons, publications, clients, ...
toute l'actualité d'ExperQuiz

Evaluer la fiabilité d'un test
identifier les mauvaises questions ?

S’assurer de sa fiabilité des évaluations est impératif.   Et ce n'est pas très difficile, une démarche très simple permet d’améliorer la qualité de vos tests.

Si l’on se propose d’évaluer la connaissance de collaborateurs ou d’étudiants au moyen d’un test, il est essentiel de savoir s’assurer de la fiabilité de ce test. C’est autant une nécessité pratique (si le test n’est pas fiable, chacun perd son temps), qu’une obligation morale envers les intéressés. Et pourtant, de très nombreux tests sont déployés, parfois à grande échelle, sans que leur fiabilité ne soit évaluée. Et ce qui est presque choquant, c’est de voir à quel point cette vérification peut être facile, et comment une démarche très simple permet d’améliorer ces tests.

Lorsque l’on  soumet un test d’évaluation objective afin de mesurer le niveau de connaissance d’une personne, chaque réponse apporte un peu d’information sur ses connaissances. Et la somme de ces réponses permet d’évaluer, par échantillonage, son niveau de manière fiable, pour autant qu’il y ait suffisamment de questions.

Mais il faut ajouter :  “à condition que les questions posées soient de bonne qualité”.

Qu’est-ce qu’une question de qualité ?

Nous allons voir que la chose peut s’analyser sous deux angles : l’un est difficile, l’autre est très simple.

La manière difficile

La manière difficile d’aborder le sujet, consiste à étudier chacune des questions, incluant les réponses proposées, tant dans sa formulation que dans sa sémantique. Est-elle clairement posée, facile à comprendre, sans ambiguïté ni complexité inutile ? Et surtout,  est-elle correcte sur le fond, la réponse annoncée exacte l’est-elle vraiment ? Pour s’en assurer, il faut une excellente connaissance du domaine, de la langue, des usages et bonnes pratiques propres aux évaluations objectives. Et il faut du temps, bien sûr.

La manière simple

Il y a une seconde manière de valider la qualité d’un test, qui ne demande ni expertise, ni ressources. Oui, c’est quasiment magique. Voyons cela.

Si chaque réponse apportée par un utilisateur nous apprend quelque chose sur son niveau de connaissance, de manière égale chaque réponse nous apprend quelque chose sur la qualité de la question posée. En fait, une réponse nous apprend autant sur la personne que sur la question. Mais comme l’objectif premier était d’évaluer la personne et non la question, on oublie en général de se pencher sur les questions.

L’étude des questions repose sur des outils statistiques qui ne sont pas d’une complexité exceptionnelle, mais malgré tout ne sont pas à la portée de tous. Nous ne citerons aucune formule mathématique ici, ce n’est pas l’objet. Si vous voulez en savoir plus, vous pouvez consulter le livre blanc publié par ExperQuiz.

Le programme fait les calculs de fiabilité pour vous

Ce qu’il est essentiel de retenir, c’est ceci:  peu importe que des calculs sous-jacents soient complexes puisqu’un programme va faire ces calculs pour vous, et vous donner un résultat prêt à l’emploi, très facile à interpréter et à utiliser.

Le calcul de la corrélation

L’indicateur le plus important est certainement le calcul de la corrélation entre chacune des questions et le test dans son ensemble. C’est un coefficient, propre à chaque question, qui prend une valeur comprise entre -1 et +1. S’il est proche de 1, cela signifie que, en moyenne, les personnes qui répondent correctement à cette question ont aussi un bon score au test dans son ensemble.

Une autre manière de le formuler est de dire que les personnes les plus expertes tendent à répondre correctement à cette question. Si la corrélation est proche de 0, cela signifie qu’il n’y a pas de lien entre une bonne réponse à cette question et le niveau d’expertise général. Par exemple une question sur Picasso insérée dans un test portant sur le droit du travail aura probablement une corrélation faible : elle n’apporte pas grand chose, mais ne nuit pas non plus. Enfin, si la corrélation est négative, la chose est plus préoccupante. Cela traduit le fait que “plus on est expert du sujet, plus on répond faux à cette question”. C’est clairement un problème, et il est bien possible que la question soit tout simplement fausse.

L'écart des quartiles

On peut calculer un autre coefficient, semblable à la corrélation, l’écart des quartiles. Il est un peu moins mathématique, et donc un peu plus facile à bien comprendre. Rangez tous les utilisateurs qui ont passé votre test du meilleur score global, jusqu’au moins bon. Prenez les 25% meilleurs, qu’on appellera ‘premier quartile’ et les 25% moins bons, le ‘dernier quartile’. Maintenant, pour chacune des questions, calculez la note moyenne des personnes du premier quartile, et la note moyenne des personnes du dernier quartile, et considérez la différence de ces deux moyennes. Le plus souvent, cette différence est supérieure à 20% (ou disons à 4 points si l’on note sur 20). Si cette différence est négative, alors comme pour une corrélation négative, la question mérite probablement d’être ré-examinée. L’identification claire et précise des problèmes est l’une des forces de la solution ExperQuiz.

Comment retravailler les questions à problème ?

La manière rapide et brutale consiste à les retirer de votre test. Si vous aviez suffisamment de questions au départ, et qu’un petit nombre seulement sont à problème, alors c’est une démarche raisonnable. La manière subtile consiste à demander à quelques-unes des personnes les plus expertes de bien vouloir expliquer pourquoi elles n’ont pas choisi la réponse attendue, et de vous dire si, à la réflexion, elles estiment que la réponse réputée bonne l’est véritablement.

Ce qu’il faut bien comprendre c’est que, dans la pratique, presque tous les tests comportent quelques questions de ce genre, qui méritent d’être revues. D’où le titre de cet article :  il est probable que cela s’applique à vos tests aussi. En petit nombre, ces questions médiocres n’invalident pas totalement le test, mais du moins elles diminuent sa fiabilité. Or si l’on évalue des collaborateurs ou des étudiants sur la base de tests, la fiabilité doit être une préoccupation prioritaire.

Qu'est-ce que le KR20 ?

Il existe un indicateur global de qualité d’un test, que l’on appelle le KR20, et qui mesure en quelques sortes l’alignement d’ensemble des questions du test. C’est un nombre en général compris entre 0 et 1 (on l’exprime parfois entre 0% et 100%). Pour qu’un test soit fiable, on considère qu’il doit avoir un KR20 meilleur que 70%. Si ce n’est pas le cas pour l’un de vos tests, faites la chasse aux questions faibles selon la démarche donnée plus haut.

Des calculs basés sur un large échantillon de réponses

Une chose essentielle à souligner, est que tous ces calculs statistiques ne sont pertinents que si l’on dispose d’un échantillon suffisamment important de réponses fournies. A moins d’une vingtaine, il est à peu près inutile de s’y pencher. A partir d’une quarantaine, ils commencent à avoir du sens. C’est pourquoi il est recommandé de gérer et faire vivre ses bases de questions sur la durée, si possible sur plusieurs années, de manière à disposer de statistiques très fiables, et ainsi d’améliorer en continu la qualité de ses questions, donc de ses tests.

En conclusion, gérer ses évaluations au moyen d’outils numériques ne doit pas seulement viser une meilleure productivité et un meilleur suivi. L’un des bénéfices les plus essentiels est de parvenir à des évaluations plus fiables, des évaluations dont le niveau de qualité est prouvé.

Suivi chronologique des événements d'une formation, graphique de répartition des réponses données, progression sur une sélection d'évaluation, attestation de suivi d'un module, nouvelles options de passage, ... les nouvelles fonctionnalités du 28 mars 2018.

ExperQuiz sera présent au salon Solutions RH & eLearning Expo, qui se tient les 20, 21 et 22 mars 2018, à la Porte de Versaille

Le Big Data Club de ESCP Europe nous a invité à parler des nouveaux outils au service de l'éducation, que ce soit en entreprise ou dans les établissements d'enseignement.

Période de présentiel dans les formations, calendrier et planning des activités, paramétrage du calendrier, nouveaux tutoriels vidéos... les nouvelles fonctionnalités du 26 février 2018

Parcours d'apprentissage, étiquettes des bases, exports des résultats d'évaluations en docx...   les nouvelles fonctionnalités du 1er février 2018

S’assurer de sa fiabilité des évaluations est impératif.   Et ce n'est pas très difficile, une démarche très simple permet d’améliorer la qualité de vos tests.

Gestion des téléphones mobiles, notifications par SMS, statistiques et analyses qualité des questions...  les nouvelles fonctionnalités du 8 janvier 2018

Statistiques et analyses qualité des questions, résultats des formations et mesure de la progression...  les nouvelles fonctionnalités du 20 décembre 2017

C’est une évidence, tous les métiers s’appuient sur des connaissances, et de manière croissante. Plus les connaissances seront diffusées et maîtrisées, mieux chacun réussira ses missions. Et pourtant, il me semble que beaucoup d’entreprises n’en prennent pas totalement conscience, ou du moins ne font pas de la maîtrise des connaissances un axe stratégique de progrès.

Copie entre bases, modules e-learning, visibilité, export de résultats vers Excel... les nouvelles fonctionnalités du 6 décembre 2018 

Intégration d'images dans les textes formatés, paramétrage des menus pour chaque profil, exports de résultats dans des fichiers Excel...  les nouvelles fonctionnalités du 20 novembre 2017

Comment créer et déployer des modules e-learning, en assemblant des étapes de média et des étapes de tests

Modules de formation en e-learning...  nouvelles fonctionnalités du 8 novembre 2017

Ajout et retrait d'utilisateur pour une évaluation ouverte, orthographe approximative, options de passage des questionnaires... les nouveautés du 26 octobre 2017

Mode de passage des tests en page unique, import des questions depuis un fichier Word (docx), notifications par SMS, export d'une liste d'évaluations, génération des diplômes...  les nouveautés du 14 septembre 2017

Nouveaux médias: vidéos YouTube ou Vimeo, fiches formattées, délivrance d'un diplôme Pdf, nouvelle page d'évaluations...  les nouveautés du 18 juillet 2017

médias audio et vidéo, discussion chat temps-réel dans les formations... les nouveautés du 5 juillet 2017

Visibilité des documents et médias, liens publics vers des questionnaires, exports de résultats vers Excel enrichis, paramétrage du compte utilisateur... les nouveautés du 12 juin 2017

Nouveau type de question, résultats des évaluations, résultats par utilisateur...  les nouvelles fonctionnalités du 28 novembre 2016.