
Quand l’IA révolutionne les quiz et évaluations en formation
L’IA est un outil formidable. Elle ouvre la porte à de nombreuses opportunités en termes de formation professionnelle mais aussi en ce qui concerne l’évaluation des connaissances et la certification des compétences.
L’évaluation, un outil incontournable
L’évaluation peut prendre plusieurs formes, de l’évaluation diagnostique à l’évaluation formative et sommative. C’est un outil puissant pour enrichir n’importe quel parcours de formation professionnelle, l’évaluation permet d’enrichir et de dynamiser l’apprentissage tout en apportant des indicateurs précis sur la performance des apprenants.
Mais l’évaluation peut souvent être perçue comme une étape fastidieuse ou pénible, pour les formateurs et concepteurs pédagogiques, comme pour les apprenants :
Les formateurs doivent concevoir leur formation avec les évaluations faisant partie intégrante du parcours d’apprentissage. Ils doivent créer des questions et questionnaires, les explications et rappels de cours, analyser et restituer les résultats. Tout cela peut représenter une charge de travail supplémentaire qui peut décourager certains formateurs, surtout s'ils n’ont pas la possibilité de s’appuyer sur des outils adaptés et performants.
Les apprenants, eux, peuvent percevoir les étapes d'évaluation comme une épreuve stressante qui peut avoir des conséquences sur la suite de leur parcours de formation, ou même, sur leur carrière professionnelle. D’où l’importance de banaliser les évaluations, grâce à des explications claires et des quiz d'entraînement.
La digitalisation des évaluations et plus largement de la formation professionnelle a ouvert la voie vers de nouvelles pratiques et de nouveaux outils ont grandement facilité le travail des formateurs et l’expérience des apprenants.
L’intelligence artificielle générative s’est généralisée et est devenue accessible. Elle a rapidement été intégrée aux outils digitaux classiques comme les LMS, LAS, LXP et outils auteurs. Les résultats et les bénéfices sont parfois discutables du fait à la fois des limites de l’IA mais aussi de la conception même des fonctionnalités se basant sur une telle technologie, parfois plus tape à l'œil que véritablement utiles et pertinentes.
Mais l’intelligence artificielle présente de réelles opportunités et a une véritable valeur ajoutée.
L’IA pour créer des questionnaires, quiz et évaluations
L’intelligence artificielle permet aujourd’hui de créer rapidement un grand nombre de questions sur n’importe quel sujet. Elle peut également générer des typologies de questions différentes, dans des langues différentes. La création de questionnaires est donc bien plus rapide et ne représente plus une charge de travail supplémentaire pour les formateurs.
L’évaluation avec tous ses bienfaits devient plus exploitable et peut être intégrée aux parcours de formation avec plus de simplicité, que ce soit sous forme de quiz d'entraînement, d’évaluation sommative ou même de microlearning.
Disposer d’une grande quantité de questions permet d'interroger un apprenant sur une même notion de différentes manières afin de l’aider à véritablement assimiler une connaissance ou de vérifier s'il a vraiment compris et que sa première réponse n’était pas simplement un coup de chance.
L’IA vient aussi aider à la correction des questions libres qui sont souvent trop peu utilisées car trop fastidieuses à corriger : l’intelligence artificielle peut effectuer une pré-analyse des réponses pour transformer le texte en “score” ou “note” ce qui permettra au formateur de se concentrer sur les notes les plus basses par exemple, lui évitant ainsi d’aller corriger manuellement toutes les réponses.
Les limites de l’intelligence artificielle
L’intelligence artificielle générative peut apporter énormément à l’évaluation et plus largement à la formation professionnelle mais elle a également ses limites et elle ne peut pas remplacer le formateur ou le concepteur pédagogique.
Des limites fondamentales
L’intelligence artificielle, de par sa nature, peut avoir des hallucinations, proposer des contenus incohérents, hors sujet, voire parfois faux. Même si cette tendance était plus visible dans les débuts de ChatGPT, ces défauts persistent. À chaque nouveau modèle, toujours plus puissant et performant que le précédent, les améliorations sont palpables, mais les failles n’ont pas disparu.
Ainsi, dans le contexte de la génération de références bibliographiques pour des revues systématiques, une étude a observé que GPT-4 présente un taux d’hallucination de 28,6 % (c’est-à-dire de références fabriquées ou incorrectes), contre 39,6 % pour GPT-3.5 et 91,4 % pour Bard.
Dans le domaine médical, GPT-4 répond correctement à 86,7 % des questions de type USMLE dans certains benchmarks, ce qui signifie qu’il reste environ 13-14 % d’erreurs ou de réponses inexactes (voir l'étude ici).
Ces chiffres rappellent que, malgré les progrès rapides, il est toujours nécessaire de garder un œil critique sur les résultats fournis par l’IA, et de vérifier la qualité comme la véracité du contenu proposé.
Des limites dans l’intégration
Il est très facile d’utiliser l’IA via des prompts personnels directement sur les interfaces de chat d’OpenAI, Gemini ou Mistral AI et de copier coller à la main les éléments dans un outil de formation professionnel. Mais cette approche reste fastidieuse et ne permet pas d’exploiter tout le potentiel de l’IA.
L’intelligence artificielle doit être intégrée directement dans les fonctionnalités du LMS qui doit utiliser les API des IA pour générer et récupérer du contenu et alimenter automatiquement les supports : par exemple la plateforme doit en fonction de la thématique indiquée par l’utilisateur, demander à l’IA, via son API, de créer un certain nombre de questions. Les questions créées alimenteront automatiquement la base de questions afin que chaque question générée soit directement utilisable dans le LMS, sans manipulation supplémentaire.
Des limites liées à la déresponsabilisation
La facilité d’utilisation de l’intelligence artificielle générative et son accessibilité peuvent avoir des conséquences sur l’implication et la responsabilisation de certaines personnes qui vont y voir une opportunité de produire plus, plus vite, sans avoir le souci de la qualité du contenu généré. Cette pratique va inévitablement avoir des conséquences sur la qualité globale de la formation, puisque le formateur n’y aura pas apporté son expertise, ses connaissances et son regard critique.
Tous les contenus créés doivent être relus, corrigés, enrichis par le formateur pour qu’ils soient utiles pour les apprenants et qu’ils viennent enrichir la formation. L’IA, à elle seule, ne peut pas se substituer au formateur.