Perception, effets secondaires et biais d’évaluation.

mercredi 22 juin 2016
par  M. CRESPIN

Cet article est le compte-rendu d’une intervention d’André Tricot (ESPE & Université de Toulouse) lors de la soirée pédagogique du 26 mai 2016 à Libourne sur le thème de "L’évaluation positive".





1. La menace du stéréotype, l’influence de la présentation et du contexte

Expérience 1A [1]
Une étude avait conclu que les personnes de couleur noire étaient moins intelligentes que les personnes de couleur blanche.
Dans ce contexte, des exercices ont alors été proposés à des étudiants d’Harvard.
Selon qu’ils soient présentés comme un exercice neutre ou comme un test d’intelligence, la différence des résultats obtenus interpelle :

Expérience 1B [2]
Une idée reçue est que les garçons réussissent mieux en mathématiques que les filles.
Partant de là, on donne des exercices de mathématiques à des élèves.
Selon qu’ils soient présentés on non en ayant cassé en amont cette idée reçue, les résultats obtenus sont très différents :

Expérience 2A [3]
On demande à des élèves de reproduire la figure ci-dessous. [4]

Si l’exercice est présenté comme un travail d’arts-plastiques, la réussite des bons élèves et des élèves faibles est identique.
En revanche, si l’exercice est présenté comme un travail de géométrie, des écarts significatifs de réussite apparaissent :

Expérience 2B [5]
Toujours pour cette figure à reproduire, selon que l’on parle "d’un dessin" ou "de géométrie", les réussites entre garçons et filles s’inversent :

Expérience 2C [6]
En revanche, si l’on sépare les garçons et les filles pour effectuer cet exercice, les différences s’effacent !

Conclusion :

On ne mobilise jamais toutes nos ressources cognitives sur l’évaluation.
On est fortement influencé par des stéréotypes, des croyances sur soi, son environnement, le contexte de passation.

Il existe de nombreux autres biais d’évaluation liés à la notation (place de la copie dans le paquet, le niveau scolaire connu de l’élève, l’âge ou le sexe ou l’origine sociale de l’élève, l’âge ou l’expérience du correcteur, le type d’établissement, la réputation de l’établissement d’origine, le niveau moyen de la classe, la précision des critère, etc.).
Ils sont développés dans cet autre article spécifique dédié à cette science : la docimologie.


2. La difficulté d’évaluer une compétence

Exemple 1

J'ai acheté une boule de pétanque et un cochonnet.
J'ai payé le tout 1,10 €.
La boule coûte 1€ de plus que le cochonnet.
Combien coûte le cochonnet ?

La majorité des personnes donne la réponse 10 centimes, qui est fausse.
Pour autant, ces personnes ne sont majoritairement pas ’mauvaises’ en mathématiques.

Exemple 2 [7]
En début de CE1, la question « Combien y a-t-il de gâteaux dans 3 paquets de 10 gâteaux ? » obtient 48% de réussite.
Alors que la question en apparence équivalente « Combien y a-t-il de gâteaux dans 10 paquets de 3 gâteaux ? » obtient 17% de réussite !
Le simple fait de modifier la question, alors que la situation semble comparable, influe profondément sur le taux de réussite...
Remarque : en fin de CE1, les taux passent à 73% et 53%.

Réflexion :
Un élève qui ne réussit pas une tâche requérant une compétence ne signifie pas qu’il ne maîtrise pas une compétence.
Et un élève peut aussi réussir une tâche sans maîtriser une compétence.
Or on n’évalue les compétence qu’à travers les tâches, qui sont donc non fiables !
En toute rigueur on devrait arrêter d’évaluer... ou multiplier les évaluations pour se faire une idée relativement juste.


3. Effet de l’évaluation, effets sur l’évaluation

L’évaluation n’est donc pas complètement fiable, loin de là.
Toutefois, mieux vaut essayer d’effectuer une évaluation positive, par forcément fiable, en en ayant conscience, que de ne rien essayer.
Car l’évaluation a aussi des vertus.

Expérience 1 [8]
On donne à des élève un texte à recopier.
L’exercice est présenté soit comme simple graphie (photocopieuse en panne), ou une dictée notée ou non.
On constate que moins il y a un enjeu d’orthographe dans la tâche et plus il y a d’erreurs, et qu’en particulier les bons élèves sont plus performants s’ils sont évalués :

Expérience 2
Deux groupes d’élèves comparables reçoivent le même enseignement.
Mais l’un des groupes est évalué par un test intermédiaire en cours d’apprentissage.
Ce groupe se trouve toujours être celui qui obtient de meilleurs résultats à la fin...

Constats : [9]
L’évaluation
- permet d’identifier les lacunes en termes de connaissances,
- conduit les élèves à apprendre plus la fois suivante,
- améliore l’organisation des connaissances,
- améliore le transfert des connaissances,
- permet de mobiliser des connaissances qui n’ont pas été préalablement évaluées,
- améliore le contrôle méta-cognitif,
- prévient l’interférence avec les contenus préalables quand on aborde un nouveau contenu,
- fournit un retour aux enseignants,
- encourage les élèves à apprendre si elle est fréquente.

Cependant, enclencher le cercle vertueux de la réussite résulte d’une imbrication multiple.
Observons et commentons ce schéma : [10]

(A) La performance résulte de comportements motivés : choix, effort, persévérance.
Ainsi, par exemple, un enfant qui va réussir à terminer un jeu vidéo, ne l’aura terminé qu’après de nombreuses tentatives et de nombreux échecs, avec motivation, pas sans efforts ni persévérance.
Pour ressentir cette motivation, il faut :
- (B) avoir des espoirs de réussite (si on se sent complètement largué on ne fera pas d’effort)
- (C) en percevoir l’utilité ("le collège c’est nul" vs récompense / satisfaction)

Ceci implique :
- (D) de croire en ses possibilités (ne pas se penser nul dans un domaine + sentiment d’auto-efficacité : on attribue les réussites à soi - j’ai eu mon permis parce que je conduis bien - et les échecs aux autres - je n’ai pas eu mon permis parce que je suis tombé sur un examinateur sadique)
- (E) des croyances sur les tâches (si on pense "les maths ça ne sert à rien" cela ne fonctionnera pas)

(F) Le tout étant influencé par son histoire, son milieu social, familial, culturel, etc.


4 Qu’est-ce qu’une évaluation utile ?

Evaluer c’est situer un acte par rapport à une référence.
Encore faut-il être clair sur le point de référence !
Or on peut évaluer
- par rapport à l’élève lui-même (ses progrès, son niveau...),
- par rapport au groupe,
- par rapport aux attendus (de son âge, de son cycle, du programme)
- par rapport à la réalisation d’une tâche (compétence attendue)

Il faut aussi se poser la question de "pour qui on évalue" :
- pour l’enseignant ?
- pour le système ?
- pour l’élève ?

Et de quand on évalue :
- en fin d’apprentissage ? (évaluation sommative)
- en cours d’apprentissage ? (évaluation formative, régulation)

Et de comment on évalue :
- de façon non intrusive / intrusive / standardisée ?
- à l’oral, à l’écrit, par autoévaluation ?
- sur quels critères, avec quelles exigences ?
- selon quel contrat clair avec les élèves ?

Et de pourquoi on évalue, les fonctions pouvant être multiples :
- pour sélectionner
- pour valider
- pour sanctionner
- pour aider à apprendre
- pour motiver
- pour prendre conscience, réguler son propre apprentissage
- pour dépister
- pour évaluer le système, l’établissement, le dispositif, etc.

Les diagnostics en cas d’erreurs sont aussi pluriels :
- l’élève ne travaille pas
- l’élève est persuadé qu’il ne peut pas y arriver
- l’élève n’a pas la connaissance nécessaire à la réalisation de la tâche
- l’élève a la connaissance mais ne parvient pas à la mobiliser
- l’élève mobilise la bonne connaissance mais fait une erreur de mise en œuvre
- l’élève évalue mal l’atteinte du but

D’où quelques démarches pour aider les élèves :


- Centration sur le progrès et la maîtrise personnels
- Faire des évaluations privées, non publiques
- Valoriser l’effort personnel
- Encourager la conception de l’erreur comme inhérente à l’apprentissage

5 Conclusion

Pouvons-nous relever le pari de la rationalité ?

Osons quelques pistes :


- Être prudent avec les évaluations en général et les notes en particulier
- Bien connaître les biais
- Ménager une place aux évaluations non-intrusives, par observation
- Contractualiser clairement les objectifs et les modalités des évaluations, notamment sommatives
- Multiplier les formes d’évaluation pour véritablement diagnostiquer
- Etre clair sur les formats de connaissance visés par l’évaluation
- Utiliser l’évaluation comme moteur de progrès et de motivation

[1Steele & Aronson,1995

[2Spencer et al. (1999)

[3Monteil et Huguet (1991)

[4Adaptée de la Figure Complexe de -Rey-Osterrieth

[5Huguet & Régner (2007)

[6Huguet & Régner (2007)

[7Exemple dû à R. Brissiaud

[8Toczek, Fayol & Dutrevis (2012)

[9Le testing effect -Roediger, Putnam & Smith (2011)

[10Ch. Escribe