Évaluation par les pairs : paramétrage

Cet article vous explique comment paramétrer votre activité par les pairs pour un déroulement optimal de cette expérience.


L'évaluation par les pairs est un outil permettant d'évaluer un travail individuel. Vous ne pourrez donc pas l'utiliser pour corriger des travaux de groupe ou des projets à plusieurs.


Créer l'activité dans le plan du cours

Le paramétrage de l'évaluation se fait au niveau des sous-sections, et non des unités directement, c'est pourquoi nous vous conseillons de créer une sous-section dédiée à l'évaluation par les pairs.

Dans l'exemple qui suit, nous avons créé une section "Evaluation finale", contenant une sous-section "Quiz final" et une sous-section "Evaluation par les pairs", dans laquelle nous avons créé une unité "Rédaction Evaluation par les pairs".



Créer une introduction à l'exercice

Cliquez sur l'unité, puis ajoutez :

  • Un ou plusieurs composants texte, dans lequel vous indiquerez les informations complémentaires au sujet, le principe de l’évaluation par les pairs, les informations pratiques comme les dates de rendu, les modalités de rendu, et pourquoi pas, le sujet lui-même. Nous vous proposons un exemple ci-dessous.

Il est important de procéder ainsi, afin de pouvoir corriger des erreurs dans les consignes sans avoir à modifier le composant d'évaluation par les pairs. En effet, une fois une évaluation par les pairs débutée, il ne faut plus en modifier les paramètres, c'est pourquoi il faut bien la paramétrer et la tester en amont.




Insérer le composant "Évaluation par les pairs"

Insérez le composant Évaluation par les pairs qui se trouve dans la rubrique Exercices avancés.

 


Paramétrer le composant d'évaluation par les pairs

Le composant d'évaluation par les pairs contient du contenu par défaut que vous pouvez modifier. Nous allons voir ensemble le paramétrage. Cliquez sur le bouton éditer.


Premier onglet de paramétrage : "Invite"

invite.JPG

invite.JPG


Deuxième onglet : "Rubrique"

Dans cet onglet vous allez renseigner en détail la grille d'évaluation.

Pour chaque critère, vous allez renseigner son nom et sa description (maximum 100 caractères espaces compris) :

Si votre critère est trop long, vous ne pourrez pas sauvegarder vos modifications. Le message d'erreur "Erreur de la sauvegarde d'OpenAssessment / Erreur de validation : L'identifiant de la rubrique est invalide." s'affichera.

rubrique.JPG

rubrique.JPG


Ensuite, vous allez renseigner les options possibles. Pour chaque option, indiquer le nom, l'explication et le nombre de point associés. Dans notre exemple, nous avons choisi de créer un critère compréhension pour lequel nous avons défini 3 niveaux d'évaluation (insuffisant, satisfaisant, très bien) à 0, 1, 2 points.


Vous pouvez être plus précis selon l'importance du critère, et laisser affecter 0, 1, 2, 3, 4 ou 5 points en ajoutant des options à votre critère.


Enfin, indiquez si le critère est requis ou optionnel.


Procédez ainsi pour chaque critère d'évaluation. Par exemple, un critère créativité, un critère pertinence du contenu, etc. Ajoutez autant de critères que vous souhaitez, mais veillez à ce que ce soit suffisamment clair et simple à corriger pour les apprenants.


Une fois tous vos critères définis, terminez en laissant pour consigne aux apprenants d'ajouter des commentaires sur la copie qu'ils ont évaluée, afin d'expliquer les raisons de leurs choix de notation pour que l'apprenant qui reçoit sa copie puisse tirer partie des conseils de ses pairs. Les explications sont renseignées par défaut en anglais, elles sont à formuler avec vos mots.


Troisième onglet : "Paramètres"

Commencez par indiquer un nom court, c'est celui qui s'affichera au survol du bandeau de navigation horizontal si vous avez plusieurs unités dans la même sous section.


Ensuite, c'est ici qu'il va falloir être précis, avec les dates : la période d'évaluation des pairs ne doit commencer qu'une fois la période de soumission du devoir terminée. Nous vous proposons donc de donner une semaine pour faire le devoir, puis une semaine pour faire l'évaluation.

Nous renseignons tout d'abord le début et la fin de la période de soumission du devoir :


Paramétrez ensuite les éléments suivants :

  • Autoriser les réponses sous la forme d'images (jpg ou png), PDF ou autres formats (doc, docx...) ne dépassant pas 10 Mo.

    • Si vous souhaitez utiliser l'option "Custom File Types", contactez C&P avant diffusion pour vous assurez que le composant accepte bien les fichiers avec les types d'extensions que vous avez indiqués.

Pour activer cette fonctionnalité, choisissez l'option que vous souhaitez (image file, fichier PDF ou image, custom file types). 
* Notez qu'un seule fichier peut être fournie par réponse.
* Notez qu'en complément du fichier, les apprenants devront forcément également fournir une réponse sous forme de texte.
* Notez également que ce paramètre permet aux apprenants de soumettre un fichier mais ne les y oblige pas.
* Notez enfin que l'image ou le fichier est comme une "pièce jointe à la soumission", il ne peut pas être inséré dans le texte.


  • Autoriser la réponse en Latex pour les exercices nécessitant des réponses en formules mathématiques par exemple. Nous n'avons pas de retours d'utilisation de cette fonctionnalité à ce jour. Testez-la en Production au préalable.

  • Meilleures réponses : pour que les apprenants puissent voir s'afficher les meilleures réponses produites. Ce classement s'affiche lorsque l'apprenant a corrigé toutes les copies qui lui sont assignées et que sa copie a également été corrigée. Grâce à ce paramètre, vous pouvez choisir le nombre de copies que vous souhaitez voir apparaître dans ce classement.



Structurer l'évaluation

L'évaluation par les pairs peut ensuite se dérouler en 3 étapes, au choix : entraînement, évaluation entre pairs, auto-évaluation.

  1. Étape : Learner training ou entrainement (facultatif)

    Cette étape permet de tester la capacité de l'apprenant à corriger efficacement et objectivement une copie, en lui proposant une copie test et une grille d'évaluation test. Si la correction de l'apprenant correspond à la correction type, l'étudiant est autorisé à continuer.

    Vous renseignez un extrait de réponse, et indiquez pour chaque critère que vous avez préalablement défini, la note que cette réponse vaut. Vous pouvez ajouter plusieurs extraits de réponses, par exemple une réponse de bonne qualité, et une réponse de moins bonne qualité.


  2. Étape : évaluation entre pairs

    C'est dans cette étape que l'on paramètre l'évaluation par les pairs. Deux grands principes à respecter pour un bon fonctionnement du système d'attribution des corrections à effectuer :

    • Faire commencer l'évaluation une fois la période de soumission terminée : la date limite de rendu du devoir est la date au plus tôt de début des évaluations.

    • Conserver un différentiel entre le nombre de copies qu'un apprenant doit corriger, et le nombre de fois que sa propre copie doit être corrigée par les autres. Dans notre exemple, nous demandons aux apprenants de corriger 4 copies, mais leur copie ne doit être corrigée que par 3 pairs. Cela permet de fluidifier le traitement du pool de copies et ainsi de limiter le nombre de personnes pouvant être bloquées (en attente de leur note car ils n'ont pas reçu suffisamment d'évaluations)


  3. Étape: Auto-évaluation (facultatif)

    Si vous souhaitez, vous pouvez remplacer l'évaluation par les pairs par une auto-évaluation, ou bien ajouter cette auto-évaluation en plus de l'évaluation par les pairs. L'apprenant va lui-même s'évaluer selon les mêmes critères que vous avez précédemment paramétrés.

    Dans notre exemple, nous avons ajouté 2 jours de plus pour s'auto-évaluer.


Voici à quoi ressemble notre évaluation par les pairs une fois paramétrée :


Plus de précisions sur la notation selon les étapes que vous avez choisies :

  • Si vous proposez à la fois une auto-évaluation et une évaluation par les pairs, seule la note des pairs sera prise en compte pour la note finale. L'auto-évaluation ne sera pas prise en compte.

  • Si vous proposez seulement l'étape d'auto-évaluation, la note finale du devoir sera équivalente à cette note.

  • Dans les cas où vous ajoutez une étape d'évaluation par l'équipe pédagogique, cette dernière primera sur toutes les autres notes.

Source (en anglais) : https://edx.readthedocs.io/projects/edx-partner-course-staff/en/latest/exercises_tools/open_response_assessments/OpenResponseAssessments.html#pa-scoring


Paramétrer l'évaluation dans votre cours

Pour finaliser, il reste ensuite à paramétrer l'évaluation de votre MOOC.

  1. Dans le menu "Paramètres / évaluation", définissez les types de devoirs entrant en compte dans l'évaluation pour l'obtention de l'attestation de suivi avec succès.

    Nous vous conseillons de créer un type de devoir "Évaluation par les pairs", abréviation "Pairs". Indiquez ensuite :

    • son poids dans l'évaluation (Weight of Total Grade), en pourcentage

    • le nombre total d'activités de ce type pris en compte dans l'évaluation

    • le nombre qui ne seront pas pris en compte (par exemple, si vous avez 5 activités par les pairs, vous pouvez choisir que les 2 plus mauvaises notes ne soient pas prises en compte, indiquez alors 2)


  2. Dans le plan du cours, paramétrez les dates.
    (Cliquez sur la roue crantée pour afficher le paramètre des sections et sous-sections)

    Nota : les dates renseignées dans le paramétrage de l'évaluation par les pairs prévalent sur les dates renseignées dans le plan du cours. Il faut donc ici indiquer la date de début et de fin de la période de soumission, afin que les apprenants sachent quand ils doivent rendre leur devoir.

    Cela vous permet par exemple de laisser la soumission du devoir de la semaine 1 sur toute la durée de la semaine 1, et de faire courir la période d'évaluation du devoir 1, pendant que se déroule la semaine 2.
    Et ainsi de suite en cascade, si vous avez plusieurs évaluations par les pairs, chaque semaine, les apprenants auront un devoir à soumettre, et celui de la semaine précédente à évaluer.

  3. Dans le plan du cours toujours, affectez à la sous-section le type de devoir.
    (Cliquez sur la roue crantée pour afficher le paramètre de la sous-section contenant l'évaluation par les pairs)

    Sélectionnez dans la liste déroulante le type de devoir "Evaluation par les pairs" (ou autre nom tel que vous l'avez défini au point 1. ci-dessus.




Articles connexes :