Les analyses statistiques de la première mise en œuvre de la séquence sont en cours, tandis que celles de la seconde mise en oeuvre seront initiées d’ici quelques semaines. Une fois ces analyses produites, une comparaison des deux mises en œuvre sera faite.
Dans le même temps, l’analyse collective d’appréciation de la pratique par le biais d’extraits vidéos des mises en œuvre a également débuté.
Un troisième temps de l’analyse consistant à croiser ces approches sera initié d’ici peu.
Résultats statistiques DEEC1
Deux modèles différents ont été réalisés ; le premier sur les 9 items communs entre pré-test vs. post-test, le second sur l’ensemble du pré-test vs. post-test.
Tests d’équivalence : avec une borne d’équivalence à 7%, soit 25% MDE de l’analyse de puissance, les tests d’équivalence montrent qu’avant attrition les groupes G2 (61% +/- 27,5) et G3 (57,8% +/- 27.7) sont à peu près équivalents au pré-test. De plus, les individus qui abandonnent (56,62% +/- 27,5) sont à peu près équivalents à ceux qui continuent (59,9% +/- 27,7). Après attrition, les groupes G2 (61,4% +/- 27,6) et G3 (58,3% +/- 27,7) sont à peu près équivalents au pré-test.
Conditions d’application : les résidus suivent une distribution normale (inspection visuelle des Q-Q plots), les résidus sont indépendants au sein de chaque groupe, les variances sont similaires entre les groupes (Levene). Les conditions d’application sont donc respectées.
Modèle null : le modèle null (sans les variables indépendantes) explique 66,3% de la variance et ses indicateurs de fit sont plutôt bons (AIC -27, BIC 1,9). La grande majorité de la variance est expliquée au niveau Élève (50,14%), puis au niveau Professeur (10,86%) puis au niveau Niveau (5,35%). Le modèle null avec la variable Codeuse n’est pas significativement différent, la variable est donc rejetée.
Modèle test items communs : le modèle explique 72% de la variance dont 69% par les effets aléatoires (notamment le niveau Élève qui passe de 50,14% à 54%). La variable Occurrence seule explique 2% de la variance (il s’agit de la progression globale sur l’année) et l’interaction entre Groupe (CE1 ; CE2) et Occurrence est significative (t = -3,48, p < 0,001) et explique entre 0,01% et 0,6% de la variance dans le sens d’une meilleure progression durant l’année pour G2 que pour G3.
Modèle test global : Le modèle sur l’ensemble du pré-test comparé à l’ensemble du post-test montre des résultats similaires mais un peu plus faibles, notamment au niveau de la p-value (0,04) mais surtout de la taille d’effet très faible. Les comparaisons au modèle null montrent un apport des effets fixes (variables indépendantes) car ces premiers sont significativement différents (p < 0,001) et leurs indicateurs de fit sont meilleurs (BIC, AIC).
Conclusion : les conditions d’application étant respectées, les tests d’équivalence montrant une homogénéité entre G2 et G3 avant et après attrition, et les modèles de tests présentant de meilleures caractéristiques explicatives que les modèles nulls, nous pouvons conclure à un (faible) effet dans le sens où les élèves de G2 semblent légèrement plus performants dans leur progression que les élèves de G3. Concrètement, sur une note de 0 à 20, G2 passe d’une moyenne de 11.6 au pré-test à 13.8 au post-test alors que G3 passe d’une moyenne de 11.6 au pré-test à 13 au post-test. En pourcentage, G2 gagne en moyenne 6.5% de plus que G3. L’accompagnement du groupe G2 présente donc un intérêt concernant la performance des élèves lors de la mise en place de la séquence DEEC.