Biais et dysfontionnements dans le processus d'évaluation
Savoir et pouvoir, Les compétences en questions
Jacques Aubret, Patrick Gilbert, Frédérique Pigeyre
Diane Ries - Fiche 20

"L'un des problèmes posés par l'utilisation de technique et d'outils d'observation, de contrôle , de mesure ou 'd'évaluations réside dans la capacité à détecter les biais ou erreurs systématique d'observation ou à expliquer les effets pervers ou paradoxaux associés, le cas échéant à leur utilisation. On peut distinguer quatre types de biais (...):
a) Les biais attachés aux sujets évalués Ces biais concernent essentiellement certaines ' tendances à répondre' manifestées par des sujets lors de questionnements (entretiens ou questionnaires) qui traduisent davantage l'attitude du sujet par rapport au questionnement que son souci d'apporter des réponses pertinentes aux questions posées. (...)
b) Les biais imputables aux techniques utilisées. Ces biais peuvent concerner l'utilisation de procédures d'évaluation standardisée. Ils sont créés par la procédure elle-même ou par son utilisateur. Un questionnaire ou un test dont les consignes d'application ou de correction comportent des ambiguïtés ou des obscurités, ou dont le contenu est inadapté aux sujets questionnés (contenu étranger, trop facile ou trop difficile) entraîne des comportements de réponse non interprétables en termes de caractéristiques individuelles ou de différenciation entre individus. (...)
c) Les biais résultant de la mise en situation d'observation ou d'évaluation. Une mise en situation d'observation peut modifier, voire dénaturer totalement, les caractéristiques de ce que l'on cherche à observer. Ainsi l'individu qui se sent observé en situation d'entretien ou en groupe est susceptible de modifier sensiblement son comportement habituel ('effet de cobaye'). la conscience de participer à une recherche et d'être l'objet d'une attention particulière peut changer (positivement ou négativement) la nature des résultats que l'on obtiendrait dans les mêmes conditions hormis le fait de savoir qu'il s'agit d'une situation expérimentale. ce dernier effet connu sous le nom d''effet Hawthorne' évoque le nom d'une localité dans laquelle fut effectuée en 1924 une recherche sur les effets de l'éclairage sur la productivité des travailleurs. (...)
En réalité, les effets de 'mise en situation' résultent d'une interaction complexe entre observateur et observé. L'évaluation des compétences constitue de ce point de vue un ensemble d'activités favorables au développement de l''effet Pygmalion'.
Lorsqu'ils émettent une hypothèse, justifiée ou non, concernant la personnalité d'un individu, et qu'ils ont la possibilité de vérifier son exactitude, les gens recherchent principalement les informations qui confirmeront leur hypothèse de départ. Cet effet a été baptisé 'effet Pygmalion' (...).
d) Les biais attribuable à l'évaluateur lui-même. (...)
On appelle 'effet de halo' la contamination de l'évaluation par influence de données présentées dans le même contexte. On aura par exemple tendance à juger plus favorablement sur le plan de l'intelligence un jeune homme poli, respectueux des convenances sociales qu'un jeune homme désinvolte. (...)Certains éléments du contexte, parce qu'ils attirent l'attention, peuvent servir de référence pour l'observation et l'évaluation d'éléments de même nature ('effet d'ancrage'). Ainsi l'évaluation d'une performance de très bonne qualité, dans une série, entraîne souvent une sous-estimation du travail suivant immédiatement; (...) Des différence peur importantes mais qui ont été mises en évidence seront exagérées ('effet de contraste') alors que d'autres stimuli dont les différences sont de même grandeur mais qui n'ont pas fait l'objet d'une attention particulière ne seront pas distingués.
On doit à L. Ross(...) l'expression d''erreur fondamentale' pour désigner le biais, présent chez tous, qui consiste à surestimer les caractéristiques de personnalité au détriment des pressions situationnelles, de la causalité externe.