Evaluer avec les IAG

Il existe de nombreuses études (dont la plus exhaustive publiée par Black et Williams fait toujours référence sur le sujet bien qu’elle soit datée de 1998) qui démontrent que les évaluations formatives sont des dispositifs d’apprentissage efficaces, peu importe la discipline.

Les évaluations formatives sont des évaluations sans « sanction », c’est-à-dire qu’elles servent juste à mesurer en cours d’année le niveau atteint par les étudiants en regard des objectifs du cours. Associées à un feedback pertinent, elles permettent aux étudiants de se situer par rapport aux objectifs finaux et à identifier leurs forces et leurs faiblesses dans leur apprentissage. Pour l’enseignant, elles permettent en plus d’obtenir régulièrement une « image » du niveau de ses étudiants, qui peut amener à une modification du plan de cours (passer plus vite sur une notion déjà bien comprise, ou au contraire passer plus de temps sur un point encore mal intégré).

Ces évaluations formatives, si elles sont donc efficaces, peuvent être chronophages à mettre en place. En règle générale, on choisit des modes d’évaluation automatisés pour laisser à l’étudiant le choix du moment où il veut les réaliser, et qui permettent un résultat et un feedback immédiat.

Créer des quiz peut prendre du temps : choix du type de question (QCM classique, texte à trous, appareillement, réponse courte, vrai/faux, etc.), nombre assez important pour balayer tout le programme, discriminants plausibles : il y a tout une série de paramètres à prendre en compte, sans oublier que chaque question doit comporter un feedback précis en fonction des réponses choisies. De plus, saisir ensuite toutes vos questions sur le Portail des études peut être long également, puisqu’il faut créer chaque question une par une.

Vous pouvez vous aider des IAG pour :

• Créer des questions pour vos évaluations
• Générer des fichiers d’importation de questions pour vos espaces de cours ce qui créé automatiquement les questions en une seule fois.

En utilisant le cours créé précédemment sur la Révolution industrielle, et toujours en se basant sur les contenus et le plan généré par les IAG, nous allons maintenant demander à l’outil de nous générer des QCM :

Comme à chaque fois, il faut donner à l’IAG un rôle en relation avec la demande, et un contexte d’application « Tu es un enseignant en Histoire et expert en pédagogie universitaire. Pour des étudiants de troisième année de licence 3 »

Il faut être précis dans la demande que vous formulez afin d’obtenir rapidement un résultat conforme à vos attentes : nombre de questions, type de question voulu (QCM, Texte à trous, etc.), ainsi que le champ d’application des questions (ici le premier cours du programme). Précisez bien que, pour chaque item de réponse, il faut que l’IAG génère également un feedback afin que l’étudiant sache pourquoi la réponse était bonne ou fausse, ce qui permet de renforcer l’apprentissage : « Je veux 5 questions de type QCM, 5 items de réponse à chaque fois, donnes la ou les bonnes réponses, et rédiges des feedbacks à donner aux étudiants en fonction de leur réussite ou de leur échec à chaque item de réponse »

Ici dans l’exemple, les précisions données portent sur la plateforme d’accueil des questions (Moodle), ainsi que sur la portée des questions (couvrir l’ensemble des objectifs). Vous pouvez apporter d’autres précisions (nombre de bonnes réponses maximum, longueur des questions et des réponses, etc.).

Le Portail des études de l’ENS de Lyon est une plateforme Moodle, et il est possible d’importer des quizz en une seule fois dans son espace de cours. Pour cela, il faut générer un fichier .xml. Vous pouvez demander à une IAG de le faire pour vous en utilisant soit les questions de quizz générées par une IAG, soit vos propres questions, soit un mélange des deux.

Note : en testant sur plusieurs plateformes, il apparaît que NotebookLM génère un code xml qui n’est pas totalement utilisable en l’état. ChatGPT par contre y arrive « du premier coup », notamment pour des quizz simples comme des QCM. Plus le type de question est « compliqué » (particulièrement pour les questions « Cloze »), plus il existe des risques d’erreurs dans le code généré, qui empêche l’import. Néanmoins, en donnant à l’IAG le message d’erreur au moment de l’import, elle peut générer à nouveau un code xml corrigé.

 

Ici vous pouvez visualiser le test généré après l’import du code XML correspondant (le cours vous demandera de vous inscrire pour pouvoir le visualiser). La partie du prompt « explique-moi comment importer le quizz » vous permet d’avoir un tutoriel complet pour effectuer l’opération sur votre cours.

Pour obtenir ce résultat, le prompt est plus simple : il suffit de transposer un texte ou un document en langage XML, il n'est donc pas besoin de donner un rôle ou un contexte. Il est juste précisé de supprimer les lettres "A, B, C, ..." présentes dans le fichier source pour ne pas qu'elles apparaissent ensuite dans le test Moodle (double usage avec les numérotations de questions déjà présentes sur Moodle).