Evaluez la performance de vos formations grâce aux traces d’apprentissage
Sommaire
L’évaluation de la performance des formations est un point clé de l’activité d’un organisme de formation. Elle permet d’ajuster la stratégie pédagogique, de repenser parfois sa manière de communiquer auprès de potentiels apprenants, etc.
Grâce aux traces d’apprentissages des utilisateurs, il est possible d’évaluer finement la pertinence et la performance d’une formation.
On vous explique tout ici.👇
Qu’est-ce qu’une trace d’apprentissage ?
Une trace d’apprentissage représente toutes les données et informations liées aux activités et interactions sur la plateforme d’apprentissages. Elles incluent donc :
- Les actions (inscription, réponse à un quiz, une évaluation, visionnage d’une vidéo, dépôt d’un document, téléchargements, etc.) ;
- Actions visant à l’interaction avec l’enseignant et les autres étudiants (ex. inscription sur un forum, envoi d’un message, etc.) tout en respectant la confidentialité des échanges.
- Les résultats aux tests, quiz, évaluation, etc.
- Les données globales telles que le temps de connexion à la plateforme et d’activité sur les cours.
Ces traces peuvent être collectées directement sur la plateforme LMS, ou mieux dans un LRS (Learning Records Store). Cela permet de centraliser les traces depuis plusieurs sources (LMS, serious game, formulaire, etc) et ainsi collecter un certain nombre d’indicateurs de performances. Afin de respecter la vie privée des utilisateurs et la réglementation en vigueur, ces données sont recueillies avec le consentement des utilisateurs et pseudonymisées.
Différences entre informations indispensables et informations obligatoires pour les organismes de formation
Depuis le 1er janvier 2017 et la mise en œuvre de la loi du 5 mars 2014 relative à la formation professionnelle, les OF ont obligation de justifier auprès des financeurs que la formation a bien été suivie, a atteint ses objectifs et que l’apprenant a bien assisté à cette dernière. Parmi les documents à fournir : liste d’émargement, évaluation, rapport sur l’atteinte des objectifs, etc.
Mais si ces documents permettent en effet de justifier le financement de la formation, ils ne renseignent pas toujours sur l’efficacité de la formation pour l’OF.
Les indicateurs à suivre grâce aux traces d’apprentissage
Nous vous présentons ici quelques indicateurs de performance que vous pourrez nourrir grâce aux traces d’apprentissage de vos étudiants. Pour chaque formation, il est important d’examiner l’ensemble de ces indicateurs afin de confirmer vos observations et prendre des mesures correctives.
Nombre d’utilisateurs et répartition dans les différentes formations
Pourquoi ? C’est un premier indicateur très simple pour évaluer la performance de vos formations.
Objectif : évaluer la répartition des utilisateurs entre vos différentes formations en répondant aux questions suivantes :
- Quelles sont les formations qui attirent le plus d’utilisateurs/acheteurs ?
- Quelles sont celles qui en attirent le moins ?
- Quelles sont celles que je vends le plus en direct ? Le moins ?
- Quels sont les publics concernés ? Sont-ils les mêmes pour chaque formation ? Y a-t-il des différences ? Si oui, pourquoi ?
Ces réponses vous permettront de réaliser une première évaluation globale et de comparer les performances entre les formations et les publics visés.
Données utilisées : Nombre d’apprenants par formation / nombre total d’apprenants.
Corrections possibles :
- Revoir sa stratégie marketing et mieux cibler les publics.
- Réévaluer les intitulés et les descriptifs des formations.
Taux de complétion & taux d’abandon
Pourquoi ? Ces deux indicateurs sont fondamentaux pour évaluer la pertinence d’une formation (à l’exception d’une formation obligatoire pour laquelle il faudra s’appuyer sur d’autres données). Une formation terminée signifie qu’elle a capté l’intérêt de l’apprenant. A contrario, une formation qui n’a pas été terminée dans le temps imparti ou estimé par l’organisme de formation peut signifier un problème sur cette dernière.
Objectifs : identifier les éventuels problèmes, techniques ou pédagogiques, sur les formations.
- Le taux de complétion est-il élevé ? En combien de temps, en moyenne, les apprenants terminent-ils la formation ? Est-ce que cela correspond au temps évalué par le formateur ? Si non, pourquoi ?
Dans l’idéal, le formateur doit évaluer le temps à consacrer sur chaque module. Grâce aux traces d’apprentissage, vous pouvez consulter le temps moyen passé par les utilisateurs sur les derniers et identifier le ou les parties de la formation qui demandent plus ou moins de temps que celui évalué par le formateur.
- Combien d’étudiants ont arrêté leur formation avant la fin de cette dernière ? Au bout de combien de temps ? Y a t-il un moment au cours de la formation qui favorise l’abandon des apprenants ? Cet indicateur peut vous permettre d’évaluer un problème structurel (ex. bug) ou pédagogique (ex. manque de clarté, difficulté trop élevée, etc.) et de le corriger si besoin.
Il est, en effet, possible de s’appuyer sur les feedbacks mais leur collecte n’est pas toujours systématique ou les apprenants peuvent également ne pas oser s’exprimer sur une éventuelle difficulté rencontrée. Autre donnée pouvant être intéressante : le nombre d’utilisateurs qui sont arrivés au bout de la formation mais n’ont pas passé le test final / pas obtenu leur certificat.
Les données à utiliser :
Taux de complétion = Nombre d’utilisateurs ayant terminé la formation / nombre total d’utilisateurs.
Taux d’abandon = Nombre d’utilisateurs n’ayant pas terminé la formation (dans le temps imparti ou estimé) / nombre total d’utilisateurs.
Corrections possibles :
- Corriger le ou les bugs constatés
- Repenser la progression et/ou la structure de la formation
- Mettre en place des actions de renforcement de l’engagement de l’apprenant (relances personnalisées, amélioration de l’ergonomie de la plateforme, gamification, etc.)
- Ajuster le temps de la formation. ex. actualisation de la communication sur la durée de la formation ou ajout/suppression de contenus pédagogiques pour atteindre l’objectif initial.
Pourcentage de succès et d’échec & temps moyen de formation
Pourquoi ? En complément des indicateurs précédents, le pourcentage de succès et d’échec sont des données essentielles pour l’évaluation de la performance. Combiné au temps de formation, elle donne des indices sur la difficulté d’une formation.
Objectif : si vous constatez un trop grand nombre d’échecs ou de succès corrélé à un temps trop court ou trop long passé sur la formation, cela peut être le signe d’une mauvaise appréciation de la difficulté par le formateur.
Ex. Un taux de réussite élevé (plus de 90%) corrélé avec un temps de formation plus court en moyenne que celui estimé par le formateur peut indiquer que la formation est peut-être trop simple.
A contrario, un pourcentage d’échec élevé et une durée moyenne d’obtention du certificat bien supérieure à la durée estimée peut signifier que la formation n’est sans doute pas adaptée car trop difficile.
Au niveau des traces d’apprentissage, vous pouvez soit choisir de prendre en compte le résultat du quiz final ou de l’obtention du certificat s’il y en a un. Pensez également à observer les statistiques question par question sur votre quiz final. Les questions sur lesquelles les réponses sont majoritairement fausses peuvent indiquer que le point abordé n’est peut-être pas assez développé dans la formation.
Données utilisées :
Pourcentage de réussite = nombre de certificats obtenus ou de quiz final réussi / nombre total d’étudiants ayant terminé le cours.
Pourcentage de réussite par question = nombre de réponses justes sur le nombre total de réponses données.
Corrections possibles :
- Enrichir la formation
- Repenser le parcours pédagogique
- Repenser la structure des évaluations ou la formulation de certaines questions
Engagement de l’apprenant
L’engagement de l’apprenant est un indicateur qui n’est pas toujours facile à évaluer. Nous vous proposons ici une méthode qui consiste à corréler 3 types de données :
- Le temps passé sur la formation
- Le taux de satisfaction des apprenants
- Le taux de réussite
En croisant ces trois données dans un tableau Excel, ou si vous utilisez un Learning Record Store (LRS) qui le fait pour vous (nous y reviendrons dans la suite de cet article), vous pouvez obtenir un graphique à 3 entrées qui vous permettra en quelques secondes d’identifier les formations où l’engagement est le plus important et celles où l’engagement est plus faible.
Pour le taux de satisfaction des apprenants, les données collectées doivent être assez représentative du panel d’apprenants afin de ne pas fausser cette analyse.
❗Le temps passé sur la formation peut-être interprété de différentes manières : un temps long passé sur la formation peut indiquer un intérêt des apprenants tout comme il peut être révélateur d’une formation trop difficile. C’est pourquoi l’analyse des indicateurs présentés ci-dessus peut être précieuse.
Ex.
On voit ici que la formation 3 est celle qui possède le niveau d’engagement des apprenants le plus fort tandis que la formation 4 est celle qui présente le plus de faiblesses.
Il existe, bien sûr, d’autres méthodes pour mesurer l’engagement de vos apprenants. Cette technique a pour avantage, d’être simple à mettre en œuvre.
Corrections possibles :
- Améliorer l’interface de la plateforme (personnalisation, relances, etc.)
- Repenser le parcours pédagogique
Comment récupérer et exploiter facilement les traces d’apprentissage ?
Toutes ces traces peuvent être facilement récupérées grâce au LRS ou Learning Record Store. C’est une composante clé de l’architecture d’un système de gestion de l’apprentissage moderne qui permet d’étendre les capacités limités des LMS en termes de collecte et d’exploitation des données.
Il s’agit d’une base de données centralisée qui stocke les données détaillées sur l’activité d’apprentissage des apprenants. Le LMS permet la gestion des cours et des contenus, mais contrairement aux LRS, il n’est pas spécifiquement conçu pour enregistrer et suivre les données d’apprentissage depuis plusieurs sources et pour des traitements de données avancés.
Ces données peuvent inclure des informations telles que les interactions avec le contenu (quels modules ont été consultés, combien de temps a été passé sur chaque module), les performances aux évaluations, les réponses à des exercices, les compétences acquises, les certifications obtenues, etc.
L’intérêt principal d’un LRS réside dans sa capacité à recueillir et à stocker des données d’apprentissage détaillées, souvent appelées “expériences d’apprentissage” (learning experiences).
Autre avantage non négligeable : le LRS peut être un outil externe et donc indépendant de votre LMS. Il peut donc récolter les données issues de plusieurs sources et vous permet de garder les traces d’apprentissage en cas de changement de LMS.
Cela vous permet donc de mieux comprendre le parcours d’apprentissage de chaque apprenant, d’identifier les points forts et les faiblesses, de personnaliser les parcours d’apprentissage en fonction des besoins individuels, et d’évaluer l’efficacité globale des programmes de formation.
De plus, le LRS facilite le suivi et la documentation des progrès des apprenants, ce qui est crucial pour la certification, la conformité et la génération de rapports détaillés pour les parties prenantes internes et externes. En résumé, le LRS joue un rôle essentiel dans la collecte et l’analyse des données d’apprentissage pour améliorer la qualité et la pertinence des programmes de formation
Inokufu peut vous accompagner pour mettre en place un LRS et tirer le meilleur de vos données. Vous pourrez suivre en temps réel la progression de vos apprenants et alimenter vos indicateurs de performance et de qualité (Qualiopi, contrôles Caisse des Dépôts, DREETS, OPCO).
Notre site utilise des cookies pour une meilleure expérience.