Qu’est-ce qu’une « bonne » recherche en éducation ? (Rey, 2006)

 avril 2010
par  Jean Heutte
popularité : 3%

Quels sont les critères d’une « bonne » recherche dans le domaine éducatif ?
Comment rendre les recherches en éducation plus « scientifiques » et plus utiles à la société ?
Quelles démarches et quels types de méthodes privilégier pour ce faire ?
Ces questions délicates sont au cœur de nombreuses discussions dans le monde de la recherche anglo-saxonne depuis plusieurs années, autour des promoteurs du concept d’« Evidence Based Education », qui entendent à la fois identifier les recherches les plus efficaces et améliorer le niveau d’ensemble de la recherche en éducation.

Moins traitées ou abordées sous des angles différents, ces questions sous-tendent pourtant également certains débats en France. À l’occasion des récents échanges concernant les méthodes d’apprentissage de la lecture, on a vu ainsi plusieurs recherches sollicitées à l’appui de telle ou telle thèse. Plus généralement, des polémiques récurrentes concernant les IUFM ou la recherche pédagogique accusent souvent les travaux de recherche en éducation d’être peu « efficaces » et faiblement « scientifiques ».

[...]

L’Evidence Based Education, alternative à la recherche traditionnelle

L’ « Evidence Based Education » (EBE) a cristallisé dans plusieurs pays d’influence anglophone le débat quant aux objectifs et aux méthodes de la recherche en éducation. Un récent colloque, organisé à Lyon par l’UMR Éducation & Politique, a abordé la question lors d’une séance consacrée au « travail de la preuve face aux conceptions du juste », avec notamment une communication centrée sur la question de l’EBE (Normand, 2006).

Au-delà des discussions entre chercheurs, l’EBE inspire ou influence directement des réseaux et des politiques publiques au niveau national ou international, comme en témoignent l’initiative du ministère américain de l’éducation What Works Clearinghouse, le réseau international Campbell Collaboration, l’EPPI-centre à Londres, les travaux du CERi-OCDE sur la question ou même les réflexions induites au Canada – voir par exemple la publication Towards Evidence-Based Policy for Canadian Education par le John Deutsh Institute (Broucker & Sweetman, 2002).

L’EBE est utilisée comme telle ou dans le contexte plus large de l’ « evidence movement » : « Evidence Based Policy », « Evidence Based Practice », « Evidence Based Research »… Le concept est difficilement traduisible terme à terme en français. Selon les publications et les traducteurs, on retrouve les expressions suivantes : « pratique éducative basée sur les preuves », « politique d’éducation fondée sur la recherche », « éducation basée sur les résultats de la recherche », etc.
Dans la plupart des cas, le concept recouvre trois objectifs distincts bien qu’étroitement liés par les promoteurs de l’EBE :

- baser les politiques et les pratiques éducatives sur les résultats (« preuves ») de la recherche ;
- améliorer pour ce faire la qualité scientifique de la recherche en éducation et en particulier sa capacité à fournir des résultats probants de nature causale sur les activités éducatives (telle intervention produit tel effet) ;
- privilégier des méthodologies répondant à cet objectif, notamment les démarches expérimentales (ou quasi-expérimentales) ainsi que les « revues systématiques de recherches » (ou méta-analyses).

Selon les situations, tel ou tel aspect de l’EBE est privilégié mais, dans l’ensemble, ces trois dimensions sont largement associées, tant par les promoteurs de l’EBE que par leurs détracteurs (pour une vue plurielle, voir notamment Gary & Pring, 2004).
Derrière un objectif général qui semble relativement consensuel – toute recherche n’ambitionne-t-elle pas d’aider à comprendre et à améliorer les activités sociales de son champ ? –, l’évocation des origines de l’EBE permet de mieux saisir à la fois son originalité et une part des critiques qui lui sont adressées.
L’EBE est en effet le double produit d’une critique, souvent virulente, de la recherche en éducation traditionnelle et de l’ambition de reproduire dans le champ de l’éducation des méthodes utilisées dans le champ des sciences naturelles, et particulièrement de la médecine. Une réponse critique aux insuffisances de la recherche en éducation

Les critiques adressées à la recherche en éducation sont nombreuses et finalement assez ressemblantes d’un pays à l’autre, même si beaucoup plus systématiques aux États-Unis et en Grande-Bretagne :

- des travaux qui concernent le même sujet mais s’ignorent entre eux et ne prennent pas en compte les résultats existants (manque de caractère cumulatif) ;
- des recherches qui ressemblent trop souvent à des professions de foi politiques (biais idéologique) ;
- des démarches confuses et peu explicites, aussi bien quant aux questions posées qu’aux protocoles de recherche utilisés ;
- des méthodologies qui font la part belle aux aspects qualitatifs et à la théorie au détriment de bases empiriques rigoureuses ;
- des études peu diffusées, peu connues des praticiens et peu productives.

C’est toujours sous l’angle double de son manque d’utilité sociale et de rigueur scientifique que les réquisitoires contre la recherche éducative existante sont dressés (Whitty, 2006).

Aux États-Unis, le rapport A Nation at Risk en 1983 avait déjà dressé un sombre bilan de l’état du système éducatif américain, et ensuite servi de référence pour divers ajustements politiques. Mais c’est surtout le No Child Left Behind Act (NCLBA, signé par G.W. Bush début 2002) qui entérine massivement l’idée de politiques éducatives basées sur les résultats scientifiques. Cette loi exprime clairement la volonté d’orienter le financement public vers les recherches permettant des « evidence-based strategies » et encourageant les acteurs et responsables de l’éducation à tous les niveaux à baser leurs initiatives sur les preuves fournies par la recherche la plus scientifique possible (le NCLBA contient 111 références à la « scientifically-based research » !). Cette insistance traduit la défiance profonde des acteurs politiques américains quant à la qualité de la recherche en éducation, suite à quoi diverses actions et institutions vont être mises en place, dont l’agence ministérielle pour la recherche en éducation, The Institute of Education Sciences, à laquelle on attribue un objectif clair : la transformation de l’éducation en un domaine régi par les résultats scientifiques.

Au Royaume-Uni, sous les mandats de Margaret Tatcher, un certain nombre de critiques variées s’étaient déjà exprimées à l’encontre des courants jusque-là dominants des conceptions éducatives britanniques. Ces critiques sont devenues plus précises et moins politiquement marquées du sceau libéral par la suite, dans le contexte de l’accession aux responsabilités du New Labour et de la promotion de la « troisième voie ». Une série de communications à la fin des années 1990 ont en effet donné un caractère quasi officiel à la remise en cause d’une certaine recherche éducative, tout en jetant les bases d’une orientation en faveur de l’Evidence Based Education : lecture annuelle de D.H. Hargreaves devant l’Agence nationale de formation des enseignants (Hargreaves, 1996), rapport Tooley pour le bureau des standards pour l’éducation (Tooley, 1998) et enfin rapport Hillage pour le ministère de l’éducation anglais (Hillage et al., 1998).

Importer dans le champ de l’éducation les méthodes de la recherche médicale

L’ « Evidence movement » s’est d’abord développé dans le domaine de la recherche médicale avant de s’étendre à d’autres domaines de l’action publique. Le réseau international de référence est en l’occurrence The Cochrane Collaboration, organisation créée en 1993 qui a pris le nom de l’épidémiologiste britannique Archie Cochrane (fondateur de l’ « evidence based medecine » dans les années 1970), dont la base de revues systématiques des recherches dans le domaine de la santé est très connue.

Selon une présentation de l’université de Liège, l’Evidence Based Medecine consiste à baser les décisions cliniques, non seulement sur les connaissances théoriques, le jugement et l’expérience qui sont les principales composantes de la médecine traditionnelle, mais également sur des « preuves » scientifiques. Par « preuves » on entend les connaissances qui sont déduites de recherches cliniques systématiques, réalisées principalement dans le domaine du pronostic, du diagnostic et du traitement des maladies, et qui se basent sur des résultats valides et applicables dans la pratique médicale courante. Les études cliniques considérées sont des essais contrôlés randomisés (aléatoires), des méta-analyses, mais aussi des études transversales ou de suivi bien construites, lorsqu’il s’agit d’évaluer un test diagnostique ou de pronostiquer l’évolution d’une maladie.

Dans le courant des années 1990, un certain nombre de chercheurs et de responsables des politiques publiques ont souhaité élargir la démarche aux politiques publiques et aux recherches du champ social, avec une attention évidente portée aux champs d’intersection, comme les politiques de prévention dans le domaine sanitaire et social. La question du SIDA et de l’éducation sexuelle a constitué par exemple un terrain de dialogue naturel entre chercheurs des différents champs disciplinaires, dans un contexte de forte attente de la part des pouvoirs publics.

La Campbell Collaboration, mise en place en 1999-2000, est ainsi le prolongement dans le domaine des sciences sociales de la Cochrane Collaboration ; elle a pour objectif d’identifier ce qui marche (« what works »), sur la base des revues systématiques de recherche (Davies, 2004). Elle s’intéresse à trois domaines principaux : les politiques sociales, les politiques pénales et judiciaires et l’éducation. L’EPPI-centre de l’Institut de l’éducation de l’université de Londres, lancé en 1993, s’inscrit dans cette continuité (Oakley, Gough, Oliver & Thomas, 2005).

Le pont entre le médical et l’éducation est souvent posé comme évident, le praticien médical étant considéré comme proche du praticien éducatif : relations à un corps de savoirs constitués, relations et services aux personnes, place dans les politiques publiques, professionnalité basée sur une certaine autonomie, etc. Dès lors, il n’y aurait pas de nature profondément différente entre les situations cliniques et les situations sociales dans lesquelles évoluent les éducateurs, les unes comme les autres se caractérisant par la complexité des facteurs sociaux et le poids important de l’environnement social.

Inversement, on peut tout à fait trouver incongrue l’idée que l’on attende de la science qu’elle apporte des solutions à des maladies graves mais qu’on renonce à ce qu’elle puisse améliorer les problèmes éducatifs. « La révolution scientifique qui a profondément transformé la médecine, l’agriculture, les transports, la technologie et d’autres champs au cours du XXe siècle a laissé complètement intact le champ de l’éducation », dénonce ainsi un célèbre chercheur aux rencontres annuelles de l’American Educational Research Association (Slavin, 2002).

Quelles sont donc ces méthodes issues du monde médical qu’il s’agit d’importer dans le domaine éducatif ?

Des méthodes plus « scientifiques » ?

L’un des principaux reproches formulés contre la recherche en éducation traditionnelle étant son manque de cumulativité, il n’est pas étonnant que la démarche de l’Evidence Based Medecine ait d’abord séduit par le recours privilégié à l’accumulation et la comparaison systématique des recherches empiriques sur un thème donné, afin d’identifier les « bonnes pratiques ». Méta-analyses et « revues systématiques »

Ainsi que l’explique un de ses promoteurs (Davies, 1999), le premier niveau de l’Evidence Based Education consiste à savoir utiliser, comparer et synthétiser les résultats existants de la recherche et de la littérature scientifique en éducation, afin de faire une sorte de « méta-analyse » des connaissances acquises sur un problème donné.

Il s’agit donc pour les chercheurs de :

- poser une question pertinente (c’est-à-dire à laquelle il est possible de répondre de façon scientifique) concernant l’éducation ;
- savoir où et comment collecter des données de façon systématique (dans les écrits classiques comme à l’aide des outils électroniques de type moteurs de recherche, bases de données…) ;
- comparer les données et expériences de façon critique, en se référant aux standards scientifiques et professionnels ;
- déterminer la pertinence des recherches quant à la demande sociale en éducation.

Le second niveau de l’EBE consiste à entreprendre une recherche répondant aux mêmes exigences lorsqu’il se trouve que, sur une question donnée, les expériences et la littérature scientifique sont lacunaires voire de faible qualité.

Dans ce contexte, la sélection et la collecte des recherches existantes, leur évaluation, leur synthèse puis leur mise à disposition du public, sont des opérations cruciales qu’on inclut sous le terme de « systematic reviews ». La fondatrice de l’EPPI-centre, Ann Oakley soulignait ainsi que les revues systématiques sont la principale méthode de gestion de la connaissance dans l’approche par la preuve, car elles synthétisent les découvertes des recherches d’une façon explicite, transparente, réplicable, évaluable, avec des données qui peuvent être régulièrement mises à jour si nécessaire (Oakley, 2000).

Quelle différence avec les « revues de questions » qu’on trouve depuis toujours dans la littérature traditionnelle en éducation ?

Pour les promoteurs des « systematic reviews », les revues de questions se concentrent généralement sur les convergences et les divergences entre recherches primaires, en utilisant une approche sélective, discursive (ou « narrative ») et opportuniste sans qu’il y ait de chemin clair ou explicite qui mène de la recherche primaire à la conclusion de synthèse (Oakley, Gough, Oliver & Thomas, 2005). La revue de question traditionnelle donne la priorité à la logique du raisonnement théorique surplombant (pour laquelle certaines recherches sont choisies à titre d’illustration), alors que la revue systématique donne le primat aux résultats des recherches primaires, en faisant du choix et de la présentation des critères d’inclusion ou d’exclusion des recherches concernées un point essentiel du travail (voir aussi Evans & Benefield, 2001 ; Bennett et al., 2005).

Gough, directeur de l’EPPI-Centre, considère même que, pendant longtemps, la revue de question ou de littérature, part centrale et commune de tout travail universitaire, n’a été ni explicitée ni organisée, restant du domaine de la tâche implicite que tout étudiant ou chercheur était censé maîtriser sans l’avoir jamais pourtant vraiment apprise. L’absence de procédures et de contrôles conduisait ainsi, selon lui, à des biais ou des lacunes qui ne pouvaient être repérés que par le chercheur maîtrisant une connaissance approfondie du domaine. Autrement dit, plus le chemin était non balisé ou la question encore inexplorée, plus les probabilités d’erreurs non détectées augmentaient, sans que les choix originels de porter le focus sur tel aspect plutôt que tel autre ne soient jamais clairement explicités (Gough in Gary & Richard, 2004).

Pour mieux comprendre la particularité des revues systématiques, il suffit d’en consulter quelques spécimens en libre accès (par exemple, dans la bibliothèque en ligne de l’EPPI), dont l’architecture, très détaillée, ménage fréquemment plus de place à la présentation des statistiques et à l’explicitation des critères de prise en compte ou d’exclusion qu’à celle des conclusions rédigées proprement dites.

Exemples :

- The impact of neworks on pupils, practitioners, organisations and the communities they serve (décembre 2005) ;
- The contribution of art education to cultural learning in learners aged 5–16 (avril 2006).

A contrario, on constate rapidement la différence, ne serait-ce que formelle, avec d’autres revues de littérature scientifique telles que What are the benefits for pupils participating in arts activities ? (Boyes & Reid, 2005).

Au-delà, néanmoins, des formes particulièrement distinctives de revues sytématiques de l’EPPI, il faut ici noter que l’on peut trouver d’autres travaux se réclamant ou très proches de la démarche, à l’image de la recherche Interventions pédagogiques efficaces et réussite scolaire des élèves provenant de milieux défavorisés. Une revue de littérature (Gauthier et al., 2004).

Qualitatives ou quantitatives, des méthodes qui comptent

Si les revues systématiques sont la marque distinctive de l’EBE, cette dernière est en fait imbriquée dans un souci plus large de « qualité scientifique » de la recherche en éducation, où l’on en appelle à la fois à un surcroît d’attention pour certaines méthodes et une amélioration générale de la culture scientifique dans la communauté des chercheurs en éducation.

Certains des partisans les plus convaincus de la transposition des méthodes issues de la médecine prônent un recours, « autant que possible », aux dimensions expérimentales des recherches. Robert E. Slavin (2004, op.cit.), notamment, salue l’efficacité des « randomized controlled trial » en médecine (essais contrôlés aléatoires) et considère que la recherche éducative devrait pouvoir se rapprocher de ce genre d’expérimentation afin de juger correctement du bien-fondé de telle ou telle activité éducative.

Plus mesurées quant à la proportion envisageable de méthodes réellement expérimentales dans le domaine éducatif, les orientations retenues dans le rapport Scientific Research in Education, commandé par le National Research Council américain, sont néanmoins également assez claires sur le nécessaire caractère « scientifique » de la recherche éducative :

« At its core, scientific inquiry is the same in all fields. [...] We conclude that six guiding principles underlie all scientific inquiry, including education research :
1- Pose significant questions that can be investigated empirically
2- Link research to relevant theory
3- Use method that permit direct investigation of the question
4- Provide a coherent and explicit chain of reasoning
 ».

Pour les auteurs de ce rapport (Feueur, Towne & Chavelson, 2002), cela signifie que si le choix d’une méthode appropriée dépend avant tout de sa pertinence pour répondre à tel ou tel type de question, pour vérifier des hypothèses de nature causale (quels sont les effets et l’efficacité de tel dispositif éducatif précis ?), les expérimentations aléatoires contrôlées (RCT) sont sans doute à privilégier. En revanche, des méthodes plus qualitatives seront pertinentes pour prendre en compte les facteurs contextuels et mieux comprendre les questions de valeurs qui ont une si grande importance dans l’analyse de l’action éducative.

En fait, le problème n’est pas tant celui du choix des méthodes proprement dit, que celui de l’insuffisance de débat sur les méthodes elles-mêmes (« methods matters »), de l’insuffisance d’une culture scientifique partagée et du manque d’auto-régulation de la communauté des chercheurs en éducation : « it has been difficult to cultivate and build on existing consensus to develop a public character of self-regulation and communal progress » (Feuer et al., op. cit.). Dès lors, les chercheurs ne doivent pas s’indigner que des décideurs politiques soient tentés de leur imposer des normes « de l’extérieur » : ce n’est que la sanction de l’échec de la communauté à prendre elle-même en charge sa régulation sur des sujets tels que la qualité et la rigueur méthodologique des recherches en éducation.

Même si la plupart des auteurs plutôt favorables à l’EBE nient privilégier a priori des méthodes quantitatives et empiriques, il est indéniable que la plupart des critiques déplorant le manque de pertinence des recherches en éducation visent des travaux perçus comme « qualitatifs ». On peut même relever dans un rapport canadien sur les interventions pédagogiques efficaces (inspiré de méthodes de l’EBE) la remarque suivante : « alors que les Américains ont développé une longue tradition d’études expérimentales, les écrits francophones, pour leur part, présentent surtout des recherches théoriques souffrant malheureusement souvent d’une insuffisance de bases empiriques » (Gauthier et al., 2004, p. 17).

Spécialiste anglais des questions méthodologiques, et notamment des questions quantitatives, Stephen Gorard n’est pas le dernier à dénoncer l’ignorance complète par certains chercheurs de toute méthode comportant l’utilisation plus ou moins sophistiquée de mesures, d’indicateurs, de variables, d’échantillons raisonnés et de statistiques. Si les chercheurs ne comprennent pas les méthodes quantitatives impliquant la manipulation de nombres qui ont conduit aux résultats de recherches existants, soit ils acceptent, alors sans inventaire, ces résultats de recherche, faute de pouvoir les discuter, soit ils les ignorent, soit ils prennent uniquement ceux qui correspondent à leurs préférences théoriques ou idéologiques, dénonce-t-il (Gorard, 2001). Et il s’inquiète même parfois du recours à certaines méthodes qualitatives qui ne seraient utilisées que pour se prémunir des critiques qui ne manqueraient pas d’être adressées à des travaux plus formalisés.

Il refuse néanmoins de fétichiser les méthodes quantitatives, d’une part en soulignant l’imbrication nécessaire des données (« words can be counted, and numbers can be descriptive »), et d’autre part en remarquant que les lacunes constatées dans les recherches concernent moins le pourcentage respectif de travaux quantitatifs et qualitatifs dans la recherche que l’insuffisance générale de rigueur et de compétence méthodologique des chercheurs, y compris ceux qui mènent des enquêtes formellement quantitatives (Gorard, Rushford & Taylor, 2004).

[...]


Source :
Rey Olivier (2006). « Qu’est-ce qu’une « bonne » recherche en éducation ? ». Lettre d’information de la VST, n° 18, mai.
En ligne : http://www.inrp.fr/vst/LettreVST/18....