Définir le nombre de questions dans un questionnaire
Comment déterminer le nombre de questions à avoir lorsqu'on paramètre un questionnaire ? Plus un test comporte de questions, plus il est fiable !
Le nombre de questions augmente la fiabilité d’un test
La formule suivante permet d'évaluer l'amélioration de fiabilité d'un test lorsque l'on double le nombre de questions :
F2 = (2F1) / (1+F1)
où F1 est la fiabilité du test pour Q questions, et F2 la fiabilité du test pour 2Q questions.
Ce qui se traduit simplement par : "plus il y a de questions, plus le test est fiable", c’est à dire plus la marge d’erreur est réduite. Mais cela traduit une amélioration qui décroit exponentiellement : si le passage de 20 à 40 questions a permis d’améliorer la viabilité de 20%, il faut passer à 80 questions pour obtenir une nouvelle amélioration de 20%, et ainsi de suite.
Différentes règles sont à prendre en compte pour définir le nombre de questions
Réduire l’impact des questions de moins bonnes qualités
Un test procède presque toujours par échantillonnage, il n'est donc pas nécessaire que l'utilisateur ait répondu sur chaque sujet pour pouvoir évaluer de manière fiable son niveau. En effet, d'une part la probabilité de tomber par chance sur les points de connaissance connus s’affaiblit, d’autre part l’impact de questions de médiocre qualité devient moindre.
On peut considérer qu’il faut au minimum 30 questions pour faire un test fiable, et si possible viser 40 questions ou plus.
Utiliser l’analyse statistique des réponses
L'analyse statistique des réponses permet de mesurer précisément la fiabilité d’un test et de connaître sa marge d’erreur. Mais avant d'obtenir les premiers résultats, on ne peut que :
- Travailler à la qualité propre de chaque item,
- Cibler au-delà de 30 questions.
On visera si possible plutôt 40 questions, ce qui représente 20 à 30 minutes de test. Il faut ensuite évaluer la fiabilité d'un test à partir des résultats d'une population d'utilisateurs réelle.
Selon les cas d’usage, on peut se situer dans une logique d’échantillonnage, ou dans une logique de couverture exhaustive. Si sur la sécurisation d'un chantier, il y a 3 points importants à connaître (balisage, équipements individuels de protection, autorisations à obtenir par exemple), autant s’assurer que les 3 sont connus.
Mais bien sûr, sur certaines thématique (par exemple, l'identification des plantes), l’exhaustivité n’est pas possible, et l’on est dans une logique d’échantillonnage, qui correspond à dire: “il y a 400 points de connaissance à posséder, si j’en teste 40 choisis au hasard, le score obtenu sur ces 40 est représentatif du score que j’aurais obtenu sur les 400”. Dans cette logique, il faut savoir que ce n’est pas tant le ratio (40/400 ou 40/4000) qui compte, mais bien le nombre absolu de points testés.
Imaginons que l’utilisateur connaisse seulement la moitié des points de connaissance. À chaque question posée, il a une chance sur deux de connaître la réponse. Sur 40 questions, la probabilité qu’il ne soit tombé que sur des points qu’il connaît est de 0.5^40, ce qui est pratiquement zéro. Et même s’il avait appris 90% des points, la probabilité que son ignorance des 10% restant passe n’impacte pas ses résultats est encore extrêmement faible. Autrement dit, le résultat du test reflètera de manière très fiable la part de la connaissance qui était effectivement maîtrisée.
Quand on utilise l'évaluation pour certifier des compétences inscrites dans un référentiel, il faut couvrir toutes les capacités du référentiel. Pour une capacité difficile à évaluer, un minimum de 2 ou 3 questions est nécessaire. Pour une capacité où l'on dispose de beaucoup de questions, il n'y a pas de limite mais les questions essentielles (c'est à dire obligatoires au sens de la plateforme LMS / LAS ExperQuiz) devront être intégrées. On constituera le questionnaire en répartissant les questions au prorata de leur nombre dans la base et on écrira les conséquences en fonction des capacités mesurées.
Exemple - Imaginons que la compétence 2-1: Mise en place des végétaux soit composée de 5 capacités à valider par questionnaire et que la répartition des questions soit la suivante :
Mise en place des végétaux :
- Vérifier l'implantation ( 5 questions)
- Disposer les végétaux ( 10 questions)
- Préparer la plantation (25 questions)
- Implanter les végétaux (20 questions)
- Assurer le suivi post-plantation (20 questions)
Si l'on choisit de construire une évaluation qui valide les capacités de la compétence 2-1 , on choisira un questionnaire de 40 questions avec :
- Vérifier l'implantation ( 2 questions)
- Disposer les végétaux ( 5 questions)
- Préparer la plantation (13 questions)
- Implanter les végétaux (10 questions)
- Assurer le suivi post-plantation (10 questions)
Regarder la durée du test pour définir le nombre de questions
Bien sûr, le temps consacré par le collaborateur à l’évaluation est un critère limitant. D’une part son temps coûte à la société, d’autre part son attention baissera avec le temps et son adhésion également.
Pour cela, il faut privilégier les questions simples (ce qui ne signifie pas faciles), permettant une réponse rapide. Ainsi, on peut viser une moyenne de 20 à 30 secondes par question, ce qui permettra de répondre à 40 questions en 15 à 20 minutes. Pour des certifications majeures, on peut tout à fait aller jusqu’à 100 questions et 35 à 45 minutes.
Créer plus de questions
Enfin, il est toujours préférable de disposer de plus de questions qu’il n’y en aura dans une évaluation. Ceci pour plusieurs raisons :
- D’une part on pourra repasser une évaluation sans que la mémorisation de quelques points spécifiques ne nuisent au résultat,
- D’autre part on évitera la transmission de réponses entre collaborateur,
- Enfin on pourra utiliser une partie du stock de questions pour des tests en accès libre.
Découvrez nos bonnes pratiques pour créer des questionnaires et quiz dans notre article dédié !
Augmentez le nombre de questions facilement grâce à l'IA intégrée dans ExperQuiz
Trouver de nouvelles questions pour accroître la fiabilité des évaluations peut être une tâche fastidieuse voire complexe qui peut être un frein important dans la mise en place de questionnaires véritablement performants.
C'est pour aider les formateurs, évaluateurs et concepteurs pédagogiques qu'ExperQuiz a intégré plusieurs fonctionnalités innovantes qui utilisent l'intelligence artificielle pour créer des questionnaires et des questions :
- Le générateur de questions à partir d’un énoncé pour créer automatiquement, à partir d’un prompt, un ensemble de questions !
- Le générateur de questions à partir d’un corpus documentaire pour générer automatiquement une série de questions à partir de vos documents.
- La génération de réponses dans les questions pour que l’IA trouve, pour vous, les distracteurs à vos questions.
Toutes ces fonctionnalités peuvent être testés gratuitement simplement en créant un compte administrateur sur la plateforme !
Dans la même catégorie
Comment l'évaluation soutient le développement des compétences des employés
Souvent utilisé comme un outil pour vérifier les connaissances et délivrer des certifications, l'évaluation est perçue comme un test par les apprenants. Cependant, c'est un outil d'apprentissage riche et efficace qui aide à soutenir le développement des compétences des employés.
Utiliser l'évaluation pour améliorer la formation et l'apprentissage
L'évaluation de la formation est essentielle pour les organisations de formation et les entreprises. Elle représente une opportunité d'améliorer et d'augmenter la qualité et l'efficacité des formations qu'elles dispensent.
Fonction de correction automatisée de questions libres
Experquiz propose un type de question qui est corrigée par un formateur de façon asynchrone : c’est la question libre. Le correcteur peut rédiger une appréciation et affecter une note qui est réintégrée dans la note globale de l’évaluation.
Qu’est qu’une plateforme LXP ?
Les Learning Experience Platforms (LXP) sont de plus en plus populaires dans le domaine de la formation professionnelle. Elles offrent une approche centrée sur l'apprenant grâce à des fonctionnalités innovantes qui améliorent considérablement l'expérience d'apprentissage pour les employés et les organisations.
.png)
.png)
.png)
.png)
.avif)
.avif)
.png)
.avif)
.png)
.png)
.png)
.avif)
.png)
.avif)
.png)
.jpg)
Le L&D au service de la rétention client
Dans un marché toujours plus concurrentiel, les entreprises recherchent constamment des solutions innovantes pour améliorer la satisfaction de leurs clients et les fidéliser.
Le Learning & Development (L&D), traditionnellement réservé à la formation interne, se révèle être un levier stratégique pour atteindre cet objectif. En associant plateformes digitales comme ExperQuiz aux activités des équipes commerciales et marketing, les entreprises peuvent transformer leur approche de la relation client.
.jpg)
Comment choisir un outil de quiz en ligne performant ?
Les quiz en ligne sont particulièrement efficaces pour tester les connaissances, engager des apprenants, recueillir des données pour améliorer une formation ou encore de simplement créer des activités ludiques.
Encore faut-il s’appuyer sur un outil digitalisé qui permettent de répondre avec précisions aux objectifs des questionnaires.
Différents types d’outils existent, plus ou moins complets et plus ou moins spécialisés : par exemple, certains ne font que des quiz ludiques, d’autres intègrent des fonctionnalités d’évaluation à une solution plus globale de formation en ligne.
Améliorer l'apprentissage avec des évaluations alimentées par l'IA
L’intelligence artificielle générative a été intégrée dans presque toutes les plateformes d'apprentissage numérique pour offrir de nouveaux services, tels que la création de cours en ligne, de vidéos, ou encore la synthèse vocale. Mais qu'en est-il de l'évaluation ?
Fonction de génération de questions grâce à l'IA
Cette fonctionnalité permet de créer un ensemble de questions à partir d’un énoncé ou d'un corpus documentaire, grâce au moteur d’OpenAI.
La quantité et le type de questions générées peuvent être amenés à varier dans le temps.
Cette fonctionnalité est disponible dans le menu Base, puis, dans une base, sélectionner la rubrique « Intelligence artificielle ».
La certification professionnelle pour les laboratoires pharmaceutiques
La certification professionnelle atteste officiellement des compétences d'une personne dans un domaine précis. Dans les industries de santé, elle garantit la conformité aux normes strictes de sécurité et de qualité des produits. La formation continue du personnel, souvent digitalisée, joue un rôle clé pour assurer cette conformité face aux exigences réglementaires.
Boostez votre stratégie marketing avec la formation
L’évaluation et plus largement la formation peuvent être utilisées pour enrichir efficacement la stratégie commerciale et marketing d’une entreprise. L’objectif est d’engager les prospects et clients en créant du contenu à haute valeur ajoutée valorisant l’expertise et l’image de marque. La formation devient un levier stratégique pour la croissance des entreprises !
Comment faire de la formation un outil marketing et commercial ?
Sublimez vos webinaires grâce à l’évaluation
Le webinaire est un outil aujourd'hui incontournable pour la majorité des entreprises qui souhaitent faire la promotion de leur activité et animer leur communauté de clients. Mais il est possible d’aller beaucoup plus loin que le webinaire en lui-même grâce à l’évaluation !
Les différentes formes d'évaluation
Dans le monde de la formation professionnelle, l’évaluation est un outil puissant pour encourager l’acquisition des connaissances et des compétences.
Malheureusement cet outil est souvent trop peu utilisé voire mal exploité et ne se limite qu’à des évaluations de fin de parcours pour confirmer ou non l’acquisition des notions vues pendant la formation.
L'évaluation, notamment dans les domaines de l'éducation, des ressources humaines, et du management, peut prendre plusieurs formes selon les objectifs, les contextes, et les méthodes utilisées.
Optimiser la gestion des compétences
Dans un contexte professionnel en constante évolution, la maîtrise des compétences est un enjeu majeur pour les entreprises cherchant à renforcer leur compétitivité et à sécuriser leur avenir. Explorons la gestion des compétences sous différentes coutures : de la nécessité de définir un référentiel commun, en passant par les défis liés à l’évaluation des compétences, jusqu'à l’apport crucial des technologies dans la mise en œuvre de stratégies d'évaluation efficaces.
.jpg){kind=spacer}
Les compétences transférables : un atout pour les entreprises
Dans un paysage professionnel en perpétuelle évolution, les entreprises sont constamment à la recherche de moyens pour rester compétitives et adaptées aux changements. Une ressource souvent sous-estimée mais cruciale dans cette quête est celle des compétences transférables. Explorerons en profondeur l'importance des compétences transférables pour les entreprises et pourquoi il est essentiel de ne pas les négliger.
.jpg)
Calcul de la fiabilité d’une évaluation
L’évaluation est une science. Cela aussi bien pour ses aspects pédagogiques que pour les analyses statistiques. Poser des questions et ajouter des points pour parvenir à un score est une chose assez facile en général, mais quelle est la valeur du score obtenu ?
L'adaptive learning : un outil puissant pour la formation
L'importance grandissante de l'adaptive learning dans le monde de la formation et de l'éducation est indéniable. Cette approche, qui se base sur les données des apprenants, permet de personnaliser l’apprentissage aux besoins de chaque individu.
.jpg)
L'ancrage des connaissances dans la formation professionnelle
L'ancrage mémoriel est un élément clé pour améliorer l’efficacité de n’importe quelle formation professionnelle et l'acquisition des connaissances par les apprenants.
Il existe différentes techniques d'ancrage mémoriel issues des neurosciences et de l'apprentissage adaptatif pour aider à renforcer la mémoire et optimiser les parcours de formation.
.jpg)
L’IA peut-elle remplacer le formateur ?
Avec l’arrivée de l’outil d’OpenAI, ChatGPT, l’intelligence artificielle est sur le devant de la scène et l’on sait que tous les métiers seront assez rapidement impactés. Le monde de la formation n’est évidemment pas épargné.
Les bonnes pratiques pour concevoir un module elearning performant
Le module e-learning est un excellent outil d’apprentissage qui permet de dispenser une formation sur presque n’importe quel sujet et à grande échelle.
Les entreprises, organismes de formation et formateurs s’appuient donc de plus en plus sur ce format digital à la fois efficace, économique et accessible pour former collaborateurs, clients et partenaires.
Mais quelles sont les bonnes pratiques pour concevoir et déployer des modules elearning de qualité ?
Adapter les enquêtes d'évaluation de formation
Il est clair que si la formation s’est tenue en classe virtuelle, il ne sera pas utile de demander si les participants ont trouvé le lieu facilement et si la salle était agréable. D’autres questions en revanche, portant sur la fluidité de la visioconférence par exemple, seront plus appropriées.
Les enquêtes de satisfaction de formation
En premier lieu, bien sûr, il faut en finir avec les formulaires papier. Épargner les forêts pourrait être une motivation suffisante, mais l’essentiel est ailleurs. Les enquêtes de satisfaction à base de formulaires papier sont très mal et très peu exploitées. En général, elles sont parcourues rapidement par une ou deux personnes, puis définitivement archivées.
Les enjeux de l'évaluation de formation
Évaluer une formation, c’est donc en déterminer la valeur, mais qu’est-ce qui fait la valeur d’une formation ? Il nous semble que la définition la plus claire serait : dans quelle mesure la formation a-t-elle atteint les objectifs énoncés ? Ce qui suppose bien sûr de les avoir énoncés de manière précise et systématique.
Le PAPI et les Soft Skills
Pour évaluer les soft skills, des outils comme le PAPI (Personality and Preference Inventory) se révèlent essentiels.
Dans un monde professionnel en constante évolution, les compétences techniques (hard skills) ne suffisent plus pour garantir le succès d'un individu ou d'une organisation. Les compétences comportementales, souvent appelées "soft skills", prennent de plus en plus d'importance.
.jpg)
L'évaluation des connaissances
L’évaluation des connaissances est une problématique bien différente de celle de l’évaluation de formation à base d’enquêtes. L’évaluation des connaissances est la mesure objective des acquis qui étaient l’objet de la formation, tandis que l’évaluation de satisfaction est, par nature, une mesure subjective.
.jpg)
Et si l'on donnait la parole aux étudiants
Dans cette tribune, publiée dans Le Cercle -Les Echos, Cyrille Chignardet, co-fondateur d'ExperQuiz, défend l'idée d'une écoute permanente, voire institutionnalisée, des étudiants, qui ont à l'évidence des choses à dire sur leur propre éducation. Une forme d'évaluation 360° du système éducatif.
NPS: Net Promoter Score
Dans le cadre d’une véritable démarche d’évaluation de formation, qui va permettre de mesurer à la fois l’acquisition des connaissances mais aussi la satisfaction des apprenants, managers et même des formateurs, il est indispensable de définir des indicateurs clés qui pourront être mesurés et suivis. Le NPS permet de calculer et constater la satisfaction mais également de suivre son évolution (d’une période à l’autre, d’une session de formation à une autre, etc.).
.avif)
L'évaluation de formation : le modèle Kirkpatrick
Difficile de parler d’évaluation de formation sans parler du modèle de Kirkpatrick, du nom de Donald Kirkpatrick, qui a en particulier exposé sa vision dans un ouvrage de 1994 intitulé “Evaluating Training Programs”.
Qu’est-ce que le m-learning dans le monde du digital learning ?
Le monde de l'éducation et de la formation est en constante évolution, avec des méthodes d'apprentissage toujours plus innovantes qui changent la façon dont chacun apprend et assimile des connaissances.
L'une de ces nouvelles méthodes est le m-learning, ou apprentissage mobile, qui a transformé l'accès à la formation. Mais qu’est-ce que concrètement le m-learning ?
Qu'est-ce que l'upskilling le reskilling et le cross-skilling ?
Il est devenu essentiel pour les entreprises de se doter des connaissances et compétences nécessaires pour rester compétitives, soit en recrutant de nouveaux talents, soit en formant les collaborateurs en interne.
3 termes ressortent régulièrement dans le monde de la formation professionnelle : l’upskilling, le reskilling et le cross-skilling. Ces différentes notions permettent de mieux définir les objectifs d’une formation et peuvent donc aider une entreprise à s'adapter aux changements, à approfondir ses connaissances et à améliorer la flexibilité de son personnel.
L'outil auteur : définition
Différents outils interviennent pour digitaliser complètement un processus de formation : de la partie administrative, à la distribution des formations, en passant par la conception des modules e-learning. C’est sur cette dernière étape que l’outil auteur joue son rôle.
La digitalisation de la feuille d’émargement
La digitalisation et la dématérialisation du processus d'émargement est maintenant un sujet incontournable pour de nombreux acteurs de la formation à la fois pour répondre aux obligations légales tout en en proposant des expériences optimales pour les stagiaires et formateurs.
Les tests pour améliorer les formations
Les tests, évaluations, quiz et QCM permettent d'améliorer les formations de manière ludique et efficace grâce aux outils digitaux comme les LMS et LAS.
L'apprentissage synchrone et asynchrone : avantages et inconvénients
On entend régulièrement parler d'apprentissage synchrone et asynchrone. Ces deux notions font référence à deux méthodes d'enseignement qui ont chacune des avantages. Ces 2 approches peuvent être combinées en fonction des objectifs pédagogiques.
L’évaluation des soft-skills avec Experquiz
Ces dernières années, les softs skills ont pris de plus en plus d’importance au sein des entreprises.
À la fois dans la phase de recrutement pour mieux connaître les candidats, mais aussi pendant le parcours des salariés dans l’entreprise, pour déterminer des axes d’amélioration, l’évaluation des soft skills est devenu un enjeu tout aussi important que l’évaluation des hard skills.
Comment définir le niveau des questions d’un questionnaire ?
Définir le niveau des questions pour garantir la fiabilité et la pertinence d'un test ou d'une évaluation peut être une opération compliquée. Heureusement des outils statistiques sont disponibles pour faciliter l'attribution des niveaux aux questions.
L’évaluation adaptative pour accompagner la montée en compétences et la mobilité
La gestion des compétences est la clé de voûte de la mobilité professionnelle et de l’épanouissement. Pour s’adapter aux évolutions économiques et technologiques, aux réglementations mouvantes et résister aux différentes secousses, chaque organisation doit entretenir et consolider les compétences.
Comment banaliser l’évaluation en entreprise ?
L’évaluation c’est tout simplement quantifier quelque chose et lui donner une valeur. L’action de mesurer est normalement et généralement quelque chose d’objectif et précis. Cependant, l’évaluation est quelque chose de moins cartésien, souvent influencé par de la subjectivité.
Pour une réelle culture de la connaissance en entreprise
C’est une évidence, tous les métiers s’appuient sur des connaissances, et de manière croissante. Plus les connaissances seront diffusées et maîtrisées, mieux chacun réussira ses missions. Et pourtant, beaucoup d’entreprises n’en ont pas entièrement conscience, et ne font pas de la maîtrise des connaissances un axe stratégique de progrès.
L’évaluation comme outil d’apprentissage
L’évaluation est souvent perçue comme une épreuve, voire une menace, par les apprenants alors qu’elle peut être un véritable outil de travail. En plus de ses usages à des fins de mesure de la connaissance, l’évaluation peut être un outil d’apprentissage extrêmement efficace.
Évaluation et démarche d’assurance qualité
La démarche d'assurance qualité est essentielle pour chaque organisation. Elle permet d'apporter une garantie de succès des différents projets en s'assurant objectivement que les collaborateurs possèdent bien les compétences nécessaires à la réalisation de leurs différentes missions.
Évaluation multi-dimensionnelle et adaptive learning
L'adaptive learning se base sur les évaluations pour définir des parcours de formation personnalisés aux progrès de chaque apprenant. Les évaluations multidimensionnelles permettent de créer des parcours encore plus précis.
Mesurer et améliorer la qualité des évaluations avec Experquiz
Évaluer les connaissances et compétences, rien de plus facile: on pose des questions, et on additionne les points ? Beaucoup le penseraient, mais il n’en est rien, alors comment mesurer et améliorer la qualité des évaluations ?
Outil de sélection des candidats : le test de recrutement
Lorsqu’on entend le terme “évaluation de connaissances”, on pense souvent en priorité aux tests de recrutement. Ce sont les tests qui permettent aux ressources humaines de sélectionner les candidats, ou du moins d’appliquer un premier filtre sur un ensemble de candidats.
De l’évaluation de formation à la formation augmentée
La mise en place d’un dispositif complet et efficace pour l’évaluation de formation fait appel à un ensemble important de fonctionnalités. ExperQuiz implémente chacune d’elles de manière particulièrement aboutie, ergonomique et simple d’usage.
Qu’est-ce que le blended learning ?
Le digital seul ne permet pas de bien répondre à tous les besoins notamment pour les connaissances ou savoir-faire qui nécessitent de la pratique de terrain, des échanges nourris, une forte interactivité. C’est là qu’intervient le “blended learning”.
L’évaluation est au cœur de la gestion des compétences
« Pas de progrès sans mesure », cette maxime universelle a tout son sens en matière de gestion des compétences. L’athlète a besoin d’un chronomètre, l’explorateur d’une carte et d’un GPS, et de même pour développer les compétences dans l’organisation, il faut pouvoir les visualiser et les mesurer.
LAS vs LMS : quelle solution pour la digitalisation des formations ?
Comme le LMS, un LAS est une solution SaaS d'évaluation et de e-learning qui permet aux entreprises, centres de formation et établissements d’enseignement de dispenser des parcours de formation complets allant jusqu'à l'évaluation de formation.
Exportez vos questionnaires Experquiz au format SCORM
Exportez au format SCORM vos questionnaires Experquiz ! Vous pourrez ensuite les intégrer dans un autre LMS et faire ainsi cohabiter un LMS traditionnel, limité peut-être dans sa gestion des évaluations, avec l’intégration de modules issus de Experquiz.