Aspects didactiques
La conception de la séquence, cœur du matériel expérimental du projet, a été le fruit du travail de l’ingénierie coopérative (voir rubrique dédiée aux principes des ingénieries coopératives). Il a principalement reposé sur la mise en œuvre d’une séquence prototype au sein des classes, par le recueil vidéo systématique des séances constitutives de cette séquence, par l’analyse de ces vidéos et la conception de systèmes hypermédias de documentation de la pratique (voir la rubrique dédiée aux SHTIS).
Protocole expérimental
ProtoDEEC
une étude préliminaire a été réalisée au sein du groupe G1 composé de professeurs-chercheurs appartenant à l’ingénierie coopérative. Celle-ci a permis d’élaborer et tester le matériel expérimental (séquence, cotations) tout en collectant des données pour la mise en place de l’accompagnement et des SHTIS. Les participant-e-s étant à l’origine de la séquence DEEC, les données issues de ProtoDEEC n’ont pas fait l’objet d’analyses statistiques.
DEEC1 : Détermination d’efficacité de l’accompagnement à la séquence DEEC
Plan expérimental: expérimentation par essais contrôlés randomisés à groupes parallèles indépendants (G2 / G3). Le groupe G2 a mis en place la séquence DEEC à l’aide d’une plateforme numérique, ainsi qu’un accompagnement à la séquence de 6×3 heures de séance de travail collectif en présentiel. Le groupe G3 disposait uniquement du document-texte. Un pré-test (niveau élève) ainsi qu’un questionnaire pré-expérimental (niveau enseignant-e) ont été réalisés en amont de la séquence, puis un post-test et un questionnaire post-expérimental ont été réalisés après la séquence. L’hypothèse est donc que les élèves du groupe G2 disposant de l’accompagnement progresseront davantage entre pré-test et post-test que les élèves du groupe G3 disposant uniquement de la séquence-texte.
Recrutement : L’effectif nécessaire a été déterminé à l’aide d’une analyse de puissance (outil J-LAB). Pour un effet minimum détectable de 25% de l’écart-type et un coefficient intra-classe de 0,15, l’analyse a révélé que 100 clusters de 20 individus sont nécessaires. Les conditions d’inclusion étaient d’avoir une classe de CE1 ou de CE2, et les conditions d’exclusion étaient i) une trop grande familiarité avec ACE et ii) avoir moins de trois années d’ancienneté. Le recrutement a été réalisé au sein et par les académies dans le cadre des formations du personnel. Les conditions d’inclusion et d’exclusion ont été vérifiées à l’aide d’un questionnaire pré-expérimental. En accord avec le RGPD, les données récoltées ont été systématiquement anonymisées à l’aide d’un code de participant.
Échantillonnage : Un échantillonnage stratifié randomisé a été utilisé pour constituer les deux groupes indépendants afin de les rendre les plus homogènes possibles. Pour cela, une méthode des juges collective a été réalisée dans le cadre de l’équipe de recherche. Chaque membre de l’équipe a ainsi hiérarchisé les variables considérées comme les plus importantes à contrôler dans le cadre de l’échantillonnage, et l’ordre moyen de hiérarchie des variables a ensuite été appliqué dans le cadre de la stratification randomisée. En plus d’équilibrer selon la géographie (académies) et les niveaux (CE1 / CE2), la hiérarchie de stratification pour homogénéiser les deux groupes était la suivante :
1) IPS, 2) Nombre d’élèves avec AESH dans la classe, 3) Familiarité avec ACE, 4) REP / REP+ / Non REP, 5) Nombre d’élèves à besoins éducatifs particuliers, 6) Nombre d’élèves dans la classe, 7) Simple ou double niveau, 8) Ancienneté de l’enseignant-e, 9) Participation de l’enseignant-e à des recherches et formations, 10) Expérience de l’enseignant-e dans le niveau CE1/CE2.
Pré-analyses : La cotation des pré-tests et post-tests a été réalisée sur la base d’une grille de cotation élaborée de manière coopérative entre plusieurs codeuses. Les élèves avec plus de 2 absences ou pré-test ou 3 absences au post-test ont été exclus des analyses. Les conditions d’application ont été vérifiées. Concernant l’attrition, un test d’équivalence a été réalisé (package TOSTER) avec une borne d’équivalence à 25% de l’écart-type. Celui-ci a montré une relative homogénéité des deux groupes avant et après l’attrition ainsi qu’un effet homogène de celle-ci sur les deux groupes expérimentaux. Un possible effet de la variable Codeuse a été testé mais n’a pas significativement impacté le modèle null, et la variable « codeuse » a donc été écartée.
Analyses : Un modèle hiérarchique (ou modèle mixte) a été utilisé à l’aide du package R lme4 afin de déterminer une possible différence de progression entre pré-test et post-test selon le groupe d’appartenance, et donc évaluer l’effet de l’accompagnement numérique et des SHTIS. Les deux VI (fixed effect) étaient Groupe (G2 ; G3) et Occurrence (Pré-test ; Post-test). Les trois variables de groupement (random effects) étaient : Professeur (~20 élèves), Niveau (CE1 / CE2), Élève (2 occurrences). Ce modèle « test » est comparé au modèle « null » (sans la VI Groupe) afin de déterminer si les deux diffèrent statistiquement.
DEEC2 : Détermination d’efficacité de la séquence DEEC
Cette étude est en cours de traitement
Plan expérimental : expérimentation par essais contrôlés non-randomisés à groupes parallèles indépendants (Groupe expérimental / groupe contrôle). Le groupe « expérimental » bénéficiait d’une plateforme d’accompagnement à la séquence (SHTIS) ainsi que de réunions d’accompagnement à la séquence DEEC. Le groupe « contrôle » avait pour consigne de réaliser leur pratique d’enseignement « comme d’habitude ». Dans les deux groupes, un pré-test (niveau élève) ainsi qu’un questionnaire pré-expérimental (niveau enseignant-e) ont été réalisés en amont de la séquence, puis un post-test et un questionnaire post-expérimental ont été réalisés après la séquence. L’hypothèse est donc que les élèves du groupe « expérimental » mettant en place la séquence DEEC progresseront davantage entre pré-test et post-test que les élèves du groupe « contrôle ».
Recrutement : L’effectif nécessaire a été déterminé à l’aide d’une analyse de puissance (outil J-LAB). Pour un effet minimum détectable de 25% de l’écart-type et un coefficient intra-classe de 0,15, l’analyse a révélé que 100 clusters de 20 individus sont nécessaires. Les conditions d’inclusion étaient d’avoir une classe de CE1 ou de CE2, et les conditions d’exclusion étaient avoir moins de trois années d’ancienneté. Pour le groupe « contrôle », une autre condition d’exclusion était une trop grande connaissance d’ACE ou de la séquence DEEC. Le recrutement a été réalisé au sein et par les académies dans le cadre des formations du personnel. Les conditions d’inclusion et d’exclusion ont été vérifiées à l’aide d’un questionnaire pré-expérimental. En accord avec le RGPD, les données récoltées ont été systématiquement anonymisées à l’aide d’un code de participant.
Échantillonnage : Les groupes G2 et G3 de DEEC1 ont été fusionnés en un groupe « expérimental » sur la base du volontariat pour poursuivre l’étude en mettant en place la séquence DEEC à l’aide des différents accompagnements. Il s’agit donc d’un groupe non-randomisé. Le groupe « contrôle » a été recruté parmi des volontaires qui n’ont jamais mis en place la séquence DEEC ou ACE. Il ne leur a été demandé que de passer les pré-tests et post-tests, et pas de modifier leur pratique, il s’agit donc d’un groupe « business as usual ».
Pré-analyses : La cotation des pré-tests et post-tests a été réalisée sur la base d’une grille de cotation élaborée de manière coopérative entre plusieurs codeuses. Les élèves avec plus de 2 absences ou pré-test ou 2 absences au post-test seront exclus des analyses. Les conditions d’application ont été vérifiées. Concernant l’attrition, un test d’équivalence sera réalisé (package TOSTER) avec une borne d’équivalence à 25% de l’écart-type. Ceci permettra également d’évaluer de potentielles différences a priori entre le groupe Contrôle et le groupe Expérimental. L’effet de la variable « Codeuse » sera également évaluée.
Analyses : Un modèle hiérarchique (ou modèle mixte) sera utilisé à l’aide du package R lme4 afin de déterminer une possible différence de progression entre pré-test et post-test selon le groupe d’appartenance, et donc évaluer l’effet de la séquence DEEC. Les deux VI (fixed effect) seront Groupe (expérimental ; contrôle) et Occurrence (Pré-test ; Post-test). Les trois variables de groupement (random effects) seront : Professeur (~20 élèves), Niveau (CE1 / CE2), Élève (2 occurrences). Ce modèle sera comparé au modèle null (sans la VI Groupe) afin de déterminer si les deux diffèrent statistiquement, et donc s’il existe un effet de la variable « groupe » (expérimental / contrôle).