Conference PaperPDF Available

L’informatisation du processus de l’évaluation hiérarchique des apprentissages (évaluation agrégée) à l’ère des technologies mobiles (WIFI) : une innovation dans le domaine de l’évaluation des équipes

Authors:

Abstract and Figures

informatisation du processus de l'évaluation hiérarchique des apprentissages (évaluation agrégée) à l'ère des technologies mobiles (WIFI) : une innovation dans le domaine de l'évaluation des équipes MOTS CLÉS : Apprentissage en ligne, Évaluation en ligne, Évaluation des équipes, Évaluation hiérarchique des apprentissages, Évaluation agrégée L'application « Cluster » implante sur l'Internet le processus de l'évaluation hiérarchique des apprentissages. En éducation, cette application constitue moteur de présentation de tâches d'évaluation complexes en mode collaboratif selon un contexte authentique. Ce processus est un sous-domaine de l'évaluation des équipes où les équipes peuvent avoir plusieurs niveaux de hiérarchisation ainsi que de supervision qui sont membre d'équipe, chef d'équipe ainsi qu'administrateur qui supervise les chefs d'équipe. Ce processus est appliqué partout depuis de tout début de l'humanité et fait partie des domaines de la gestion, de l'éducation, de l'évaluation ainsi que de l'informatique. Le processus de l'évaluation hiérarchique des apprentissages est implanté par l'application « Cluster » qui enregistre dans sa base de données les informations sur les étudiants, le matériel de cours, les équipes ainsi que les relations hiérarchiques entre les étudiants. L'application a été utilisée par des étudiants du secondaire ainsi que des cadets de l'armée. KEY WORDS : E-Learning, E-Assessment, Teamwork assessment, Hierarchical aggregate assessment This paper describes the hierarchical aggregate assessment process Internet implementation. The « Cluster » application is a complex assessment tasks presentation engine in collaborative mode based on the Internet. The hierarchical process extends the work of Nance that uses a similar process to group students in a multi-levels layered organization in order to realize engineering projects. In the actual research, the hierarchical aggregation process enables teams to have multiple levels of hierarchy and supervision. This process can appoint students as team members, team leaders and team managers that supervise team leaders. This project situates itself in the domain of teamwork assessments and its applications could be found in management, education, assessment and computer science fields. The « Cluster » application records in its database the students, the course material, the teams and the hierarchical relationships between the students. The application has been tested with high school students and army cadets.
Content may be subject to copyright.
L’informatisation du processus de l’évaluation hiérarchique des
apprentissages (évaluation agrégée) à l’ère des technologies
mobiles (WIFI) : une innovation dans le domaine de l’évaluation
des équipes
Martin Lesage, Gilles Raîche, Martin Riopel, Frédérick Fortin et Dalila Sebkhi
Université du Québec à Montréal (UQÀM)
MOTS CLÉS : Apprentissage en ligne, Évaluation en ligne, Évaluation des équipes,
Évaluation hiérarchique des apprentissages, Évaluation agrégée
L’application « Cluster » implante sur l’Internet le processus de l’évaluation
hiérarchique des apprentissages. En éducation, cette application constitue moteur
de présentation de tâches d’évaluation complexes en mode collaboratif selon un
contexte authentique. Ce processus est un sous-domaine de l’évaluation des équipes
où les équipes peuvent avoir plusieurs niveaux de hiérarchisation ainsi que de
supervision qui sont membre d’équipe, chef d’équipe ainsi qu’administrateur qui
supervise les chefs d’équipe. Ce processus est appliqué partout depuis de tout début
de l’humanité et fait partie des domaines de la gestion, de l’éducation, de
l’évaluation ainsi que de l’informatique. Le processus de l’évaluation hiérarchique
des apprentissages est implanté par l’application « Cluster » qui enregistre dans sa
base de données les informations sur les étudiants, le matériel de cours, les équipes
ainsi que les relations hiérarchiques entre les étudiants. L’application a été utilisée
par des étudiants du secondaire ainsi que des cadets de l’armée.
KEY WORDS : E-Learning, E-Assessment, Teamwork assessment, Hierarchical
aggregate assessment
This paper describes the hierarchical aggregate assessment process Internet
implementation. The « Cluster » application is a complex assessment tasks
presentation engine in collaborative mode based on the Internet. The hierarchical
process extends the work of Nance that uses a similar process to group students in a
multi-levels layered organization in order to realize engineering projects. In the
actual research, the hierarchical aggregation process enables teams to have
multiple levels of hierarchy and supervision. This process can appoint students as
team members, team leaders and team managers that supervise team leaders. This
project situates itself in the domain of teamwork assessments and its applications
could be found in management, education, assessment and computer science fields.
The « Cluster » application records in its database the students, the course
material, the teams and the hierarchical relationships between the students. The
application has been tested with high school students and army cadets.
Introduction
Généralités
L’évaluation hiérarchique des apprentissages ou l’évaluation agrégée n’est pas
une théorie, un théorème, une conjecture ou un modèle éducationnel, c’est un processus
d’évaluation des équipes qui forme les étudiants en équipes à plusieurs niveaux de
hiérarchisation pour ensuite présenter à cette équipe une tâche d’évaluation complexe en
mode collaboratif selon un contexte authentique. Une fois la tâche effectuée, les équipes
actuelles sont dissoutes et les étudiants sont reformés en d’autres équipes pour accomplir
une nouvelle tâche d’évaluation. Ce processus est illustré à la figure 1.
Figure 1. Le processus de l’évaluation hiérarchique des apprentissages.
Le processus de l’évaluation hiérarchique des apprentissages est appliqué partout
où les équipes ont plusieurs niveaux de hiérarchisation. Ce processus peut s’exécuter
manuellement ou automatiquement par ordinateur au moyen des serveurs Internet ainsi
que de la technologie sans fil (WIFI). Ce processus trouve ses origines dans le domaine
de la gestion où il est exécuté depuis que l’humanité travaille en équipes dans des grandes
organisations. Ce processus a certainement été utilisé par les généraux de Jules César afin
d’évaluer les aptitudes au combat de leurs armées ainsi que les capacités de leur officiers
à diriger des troupes au combat.
Objet de la recherche
L’objet de la présente recherche qui est également le sujet d’un projet doctoral est
l’automatisation ainsi que l’informatisation du processus de l’évaluation agrégée au
moyen de serveurs Internet ainsi que des technologies mobiles (WIFI). À l’aide de
l’Internet et des technologies mobiles, le travail d’équipe peut être effectué au moyen de
l’Internet et le travail collaboratif implanté entre les membres de l’équipe. Une
application Internet dénommée « Cluster » a été développée par les chercheurs du
CDAME (2014) dans le cadre d’un projet doctoral pour automatiser et informatiser le
processus de l’évaluation agrégée au moyen de la méthodologie de recherche
développement (R et D) de produits éducationnels énoncée par Harvey et Loiselle (2009, p.
110-114). L’application réside à l’adresse Internet : http://eval.uqam.ca/cluster/.
Domaines et champs d’application
Le processus de l’évaluation agrégée a toujours été exécuté partout par l’humanité
à travers les époques. Même si le processus de l’évaluation agrégée a été exécuté depuis
des temps immémoriaux, personne ne s’est soucié de définir un cas particulier de
l’évaluation des équipes où les membres des équipes ont plusieurs niveaux de hiérarchie.
Le domaine du processus de l’évaluation agrégée se situe premièrement dans le domaine
de la gestion et son informatisation situe également ce processus dans le domaine de
l’informatique. Cependant la présente recherche veut également situer ce processus dans
le domaine de l’éducation par l’entremise des tâches d’évaluation complexes en mode
collaboratif dans un contexte authentique, tel qu’illustré à la figure 2.
Figure 2. Le domaine de l’évaluation hiérarchique des apprentissages.
En effet, dans le domaine de l’éducation, il se peut que des cours ou des tâches
d’évaluation complexes puissent être exécutées en équipes peuvent avoir plusieurs
niveaux de hiérarchisation. Le contexte authentique dans le cadre de l’évaluation
hiérarchique des apprentissages se produit lorsque les étudiants effectuent la tâche dans
un milieu similaire au milieu de travail. Ce contexte s’applique également à l’utilisation
des technologies mobiles (WIFI) dans le milieu de travail par lequel les étudiants peuvent
effectuer la tâche d’évaluation complexe en mode collaboratif par l’entremise de leur
téléphone cellulaire, iPAD, iPOD ou Laptop. L’utilisation des TIC dans le processus de
l’évaluation hiérarchique des apprentissages fait en sorte que ce processus peut s’inscrire
dans le domaine de l’apprentissage mobile et en particulier de l’évaluation mobile.
L’application Internet « Cluster » est un moteur de présentation de tâches
d’évaluation complexes en mode collaboratif dans un contexte authentique. Cet article
veut définir formellement le domaine de l’évaluation agrégée et désire également que ce
domaine soit accepté et reconnu par la communauté scientifique.
Structure, organisation et divisions de l’article
Cet article va tout d’abord définir la problématique et le cadre théorique de
l’évaluation agrégée. Cet article va ensuite décrire l’implantation informatisée dans le
domaine de l’éducation du processus de l’évaluation agrégée. Ce processus est en effet
implanté selon la méthodologie de recherche développement (R et D) de produits
éducationnels énoncée par Harvey et Loiselle (2009, p. 110-114) à l’aide de l’application
Internet « Cluster ». Cet article va finalement présenter et discuter des résultats de
l’expérimentation de l’application « Cluster » par des étudiants du secondaire de la
commission scolaire de Montréal lors de l’étude de la géologie ainsi que par des cadets
de l’armée lors de l’apprentissage de patrouilles de navigation en équipes.
Problématique
Généralités
Jusqu’à maintenant, aucun scientifique ainsi qu’aucun spécialiste dans les
domaines de la gestion, de l’informatique, de l’éducation ainsi que de l’évaluation ne se
sont penchés sur la définition du processus de l’évaluation agrégée. Personne n’a encore
trouvé de nom pour définir un processus d’évaluation des équipes à plusieurs niveaux de
hiérarchisation qui est appliqué partout et qui existe depuis toujours. Ce processus
s’exécute lorsque des individus sont formés en équipes à plusieurs niveaux de
hiérarchisation de supervision dans le but d’accomplir une tâche. La présente recherche
décrite dans cet article va occasionner des changements et fournir une finition de ce
processus complexe qui sera « évaluation agrégée » ou évaluation hiérarchique des
apprentissages ». Ces définitions seront éventuellement reconnues par la communauté
scientifique.
Évaluation des équipes
La problématique qui est à la base des fondements de l’automatisation du
processus d’évaluation des équipes à plusieurs niveaux de hiérarchisation réside dans le
développement d’une procédure ou d’une application informatique. Selon Loiselle (2001,
p. 77-97) la méthodologie de recherche développement de produits éducationnels est à
l’origine de la création de produits éducationnels ainsi que de l’induction de théories
produites par les chercheurs tout au long des cycles de développement du produit
éducationnel. Dans le cas de la présente recherche, une application Internet d’évaluation
hiérarchique des apprentissages a été développée par les chercheurs du CDAME selon
une méthodologie de recherche développement de produits éducationnels. Le processus
de l’évaluation agrégée ou évaluation hiérarchique des apprentissages est la théorie
induite par le processus de recherche développement au niveau de l’implantation d’une
application Internet d’évaluation des équipes à plusieurs niveaux de hiérarchie, tel
qu’illustré à la figure 3.
Figure 3. L’évaluation hiérarchique des apprentissages dans le domaine
de l’évaluation des apprentissages.
Le domaine de l’évaluation agrégée se définit comme étant un sous-domaine de
l’évaluation des équipes qui fait partie de la discipline de l’évaluation, tel qu’illustré à la
figure 4.
Figure 4. Le domaine de l’évaluation hiérarchique des apprentissages.
Beaucoup de travaux et de recherches ont été faits dans le domaine de l’évaluation
en ce qui concerne l’évaluation des équipes. Dans toute la recherche, les travaux, les
publications ainsi que la littérature produite, des auteurs tels que Sugrue, Seager,
Kerridge, Sloane et Deane (1995), Volkov et Volkov (2007), Baker et Salas (1992),
Zaccaro, Mumford, Connelly, Marks et Gilbert (2000), MacMillan, Paley, Entin et Entin
(2004), Furnahm, Steele et Pendelton (1993), Freeman & McKenzie (2000, 2002),
Ricthie et Cameron (1999) et Lurie, Schultz et Lamana (2011) ont fait des recherches,
énoncé des théories et élaboré des grilles d’évaluation en ce qui concerne la dynamique
du travail d’équipe avec un seul niveau de hiérarchie qui comprend un seul chef qui
dirige un ou plusieurs membres d’équipe. Jusqu’à maintenant, très peu d’auteurs, de
scientifiques ou de chercheurs du domaine de l’évaluation des équipes ont produit des
recherches ou des théories en ce qui concerne l’évaluation des équipes à plusieurs
niveaux de hiérarchisation (Lesage, Raîche, Riopel, et Sebkhi, 2013; Lesage, Raîche,
Riopel, Fortin et Sebkhi, 2014; Sebkhi, Raîche, Riopel et Lesage, 2013). Ce nœud de
problématique est décrit à la figure 5.
Figure 5. Nœud de problématique de l’évaluation hiérarchique des
apprentissages.
Le processus de l’évaluation hiérarchique des apprentissages regroupe des
membres d’équipes en équipes qui comprennent plusieurs niveaux de hiérarchisation
ces personnes peuvent occuper des fonctions de président, gestionnaire, chef d’équipe
ainsi que de membre d’équipe, tel qu’illustré à la figure 6. La structure des équipes est
sous la forme d’une pyramide ou d’un arbre inversé qui représente un organigramme
organisationnel dans lequel chaque branche est une équipe qui est un agrégat de membres
d’équipe. Le processus de l’évaluation hiérarchique des apprentissages ou de l’évaluation
agrégée est constitué de l’action de regrouper les membres d’équipe dans une structure
organisationnelle à plusieurs niveaux de hiérarchisation pour ensuite effectuer un
processus d’évaluation pour chaque membre d’équipe qui constitue une feuille de l’arbre
ou un nœud de la structure organisationnelle. L’application Internet « Cluster » a cette
structure de données implantée dans sa base de données MySQL (2013) et son moteur de
présentation de tâches d’évaluation complexes en mode collaboratif peut effectuer des
procédures d’évaluation pour chaque membre d’équipe ou chaque nœud de l’arbre. Donc
dans une même tâche d’évaluation, l’application peut évaluer différents objectifs
compétences, habiletés et connaissances. Cette fonctionnalité n’a pas encore été
implantée dans d’autres applications d’apprentissage à distance telles que Moodle (2013),
Blackboard (2013) et WebCT (Blackboard, 2013) et cette affirmation définit les
fondements de la problématique de la présente recherche.
Figure 6. Les capacités de l’évaluation hiérarchique des apprentissages
pour l’évaluation simultanée de différentes compétences.
Logiciels d’évaluation des équipes basés sur l’Internet disponibles
Les logiciels d’apprentissage en ligne (E-Learning) ainsi que les logiciels d’évaluation en
ligne (E-Assessment) disponibles commercialement sont Moodle (2013), Blackboard
(2013) et WebCT (Blackboard, 2013). Ces applications peuvent implanter l’apprentissage
collaboratif au moyen de l’Internet par la formation de classes virtuelles un étudiant
peut être membre d’un ou plusieurs groupes de travail et peut assister à une ou plusieurs
classes. Tout comme l’application « Cluster », ces applications ont des fonctionnalités
d’évaluation de base telle que la remise de travaux ou de devoirs sous format électronique
par téléversement de fichiers à être remis à l’enseignant ainsi que des banques de
questions à choix multiples qui font partie d’examens HTML auto-correctifs. Cependant,
aucune de ces applications ne possède les structure de données ainsi que l’architecture
logicielle pour grouper ou agréger des groupes d’individus ou d’étudiants en équipes à
plusieurs niveaux de hiérarchisation dans le but de réaliser des tâches d’évaluation
complexes en mode collaboratif.
Aucune application dans la littérature n’est capable de faire l’évaluation
simultanée dans la même tâche d’évaluation de différentes habiletés, connaissances et
compétences en fonction du statut hiérarchique de l’apprenant. Les auteurs suivants
traitent de l’évaluation par les pairs mais uniquement dans le cas de mêmes compétences
et connaissances pour des apprenants ayant les mêmes fonctions (Sugrue, Seger,
Kerridge, Sloane et Deane, 1995; Volkov et Volkov, 2007; Baker et Salas, 1992;
Zaccaro, Mumford, Connelly, Marks et Gilbert, 2000; MacMillan, Paley, Entin et Entin,
2004; Furnahm, Steele et Pendelton, 1993; Freeman et McKenzie, 2000, 2002; Ritchie et
Cameron, 1999; Lurie, Schultz et Lamanna, 2011).
La structure de données de l’application « Cluster » est conçue pour enregistrer la
structure arborescente qui contient les divers niveaux de hiérarchisation reliant les
membres d’équipe ensemble tandis que la structure de données des applications Moodle
(2013), Blackboard (2013) et WebCT (Blackboard, 2013) leur permet uniquement
d’implanter uniquement des classes virtuelles sans pouvoir supporter la création
d’équipes à plusieurs niveaux de hiérarchisation.
Cadre Théorique
Généralités
La présente recherche est basée sur le développement de l’application Internet
« Cluster » qui implante le processus de l’évaluation agrégée. Cette application est un
moteur de présentation de tâches d’évaluation complexes en mode collaboratif selon un
contexte authentique. Cette application a comme fondements théoriques (1) les tâches
d’évaluation complexes (Louis et Bernard, 2004, p. 79; Tardif, 2006, p. 125), (2)
l’évaluation en contexte authentique (Palm, 2008, p. 6; Louis et Bernard, 2004; Wiggins,
1990, p. 1; Wiggins, 1993; Hart, 1993; Allal, 2002, p. 90; Rennert-Ariev, 2005, p. 1), (3)
l’évaluation des équipes (Baker et Salas, 1992, p. 472-473; Marin-Garcia et Lloret, 2008,
p. 3), (4) l’évaluation du travail collaboratif (Swan, Shen et Hiltz, 2006, p. 46-47; Volkov
et Volkov, 2007, p. 62; Boud, Cohen et Sampson, 1999, p. 416, MacDonald, 2003, p.
377-379; Swan, Shen et Hiltz, 2006, p. 46-47; Worcester Polytechnic Institute, 2011), (5)
les grilles d’évaluation (Durham, Knight et Locke, 1997; Marin-Gracia et Lloret, 2008, p.
2) ainsi que l’auto-évaluation et l’évaluation par les pairs (Lingard, 2010, p. 35;
Goldfinch, 1994, p. 34-35; Goldfinch et Raeside, 1990, p. 211-231; Northrup et
Northrup, 2006, p. 36).
Définition du processus de l’évaluation hiérarchique des apprentissages
au sens général
Le processus de l’évaluation hiérarchique des apprentissages ou évaluation
agrégée au sens général se définit comme étant un processus de formation des équipes
ainsi qu’un sous-domaine de l’évaluation des équipes dans lequel les équipes ont
plusieurs niveaux de hiérarchie et de supervision (Lesage, Raîche, Riopel, et Sebkhi,
2013; Lesage, Raîche, Riopel, Fortin et Sebkhi, 2014; Sebkhi, Raîche, Riopel et Lesage,
2013), tel qu’illustré à la figure 7.
Figure 7. Le processus de l’évaluation hiérarchique des apprentissages.
Définition du processus de l’évaluation hiérarchique des apprentissages
en éducation
Dans le domaine de l’éducation, le processus de l’évaluation agrégée des
apprentissages se définit comme étant comme étant un processus de formation des
équipes ainsi qu’un un sous-domaine de l’évaluation des équipes dans lequel les équipes
ont plusieurs niveaux de hiérarchisation et de supervision les chefs d’équipe (qui
peuvent être des étudiants) sont évalués par un ou plusieurs gestionnaires d’équipe (qui
peuvent être d’autres étudiants ou des professeurs) (Lesage, Raîche, Riopel, et Sebkhi,
2013; Lesage, Raîche, Riopel, Fortin et Sebkhi, 2014; Sebkhi, Raîche, Riopel et Lesage,
2013).
Recherches antérieures et applications Internet existantes
L’actuel projet de recherche trouve ses origines et son cadre théorique dans
d’autres recherche antérieures et par l’entremise d’autres applications informatique
d’évaluation à distance qui ont été développées selon une méthodologie de recherche
développement (R et D). Ces applications sont SPARK développée par Freeman et
McKenzie (2000, 2002) et Willey et Freeman (2006), MLE développée par Marshall-
Mies, Fleischman, Martin, Zaccaro, Baughman et McGee (2000), MEGA CODE
développée par Kaye et Mancini (1986) ainsi que la recherche la plus similaire à l’actuel
projet de recherche qui est une application Internet de gestion du travail collaboratif
développé par Nance (2000, p. 298).
SPARK (Freeman et McKenzie, 2000, 2002; Willey et Freeman, 2006) est un
système d’évaluation à distance qui calcule le résultat de grilles d’auto-évaluation et
d’évaluation par les pairs afin de déterminer la note finale d’étudiants en génie sur des
cours de projets de travaux pratiques en ingénierie. Ceci surtout pour détecter les
membres d’équipe qui n’ont pas effectué leur juste part de travail par de mauvaises
performances dans leur équipe en laissant d’autres personnes faire leur travail à leur
place.
MLE (Marshall-Mies, Fleischman, Martin, Zaccaro, Baughman et McGee, 2000)
est une application qui prédit et évalue le potentiel de leadership de gestionnaires de haut
niveau de personnel militaire tels que des colonels et des généraux à l’aide de tâches
d’évaluation complexes qui sont des études de cas et de la résolution de scénarios de
guerre.
MEGA CODE (Kaye et Mancini, 1986) est une application logicielle utilisée dans
le domaine de la médecine et qui est un simulateur d’arrêt cardiaque. Cette application est
utilisée pour évaluer les performances des médecins internes et des infirmières lorsqu’ils
tenaient le rôle de chef d’une équipe de réanimation qui traitait le cas de patients ayant
subi un arrêt cardiaque selon les cinq rôles principaux qui sont (1) le médecin qui est en
charge de l’équipe, (2) le contrôleur de la respiration, (3) le responsable du défibrillateur,
(4) le responsable des compressions thoracique; et le responsable des injections et des
perfusions intraveineuses. L’évaluation du chef d'équipe est faite au moyen d’une grille
d’évaluation qui vérifie les deux principaux aspects d’une réanimation cardiaque, soit
l’effort d’équipe ainsi que le processus et les directives données aux membres d’équipe
par le chef d’équipe pour réanimer le patient.
L’application Internet de gestion du travail collaboratif développé par Nance
(2000, p. 298) est utilisée par les étudiants des facultés de génie et d’informatique. Cette
application utilise un processus d’agrégation à plusieurs niveaux de hiérarchisation pour
la formation de ses équipes qui est similaire à celui implanté dans la présente recherche
ainsi que dans l’application « Cluster ». Les recherches de Nance (2000, p. 298)
consistent à l’implantation d’une application de travail collaboratif basée sur l’Internet
qui sert à la gestion ainsi qu’à l’évaluation des projets et du travail des étudiants des
domaines du génie et de l’informatique. Cette application possède les fonctionnalités
nécessaires pour former les étudiants en équipes qui ont plusieurs niveaux de
hiérarchisation et de supervision qui comprennent des chefs d’équipe ou des chefs de
projet (Bosses) ainsi que des administrateurs de projets (Bosses of Bosses [BOB]) qui
supervisent plusieurs chefs de projets dans le domaine de l’ingénierie et de
l’informatique.
Méthodologie
Choix méthodologique et processus de conception de l’application
L’actuel projet de recherche consiste en l’implantation du processus de
l’évaluation agrégée à l’aide d’une application Internet appelée « Cluster ». Richey et
Nelson (1996, p. 1237) considèrent que le développement d’une application logicielle qui
sera utilisé comme un outil pédagogique fait partie de la méthodologie de recherche
développement de produits éducationnels (R & D). Alors le développement de
l’application Internet « Cluster » ainsi que son utilisation par des étudiants et des
professeurs va situer cette de recherche dans le paradigme de la méthodologie de
recherche développement.
En ce qui concerne le choix du modèle, plusieurs auteurs ont proposé des modèles
ou des démarches de recherche développement tels que Borg et Gall (1983, p. 626),
Nonnon (1993), Cervera (1997), Van der Maren (2003), ainsi qu’Harvey et Loiselle
(2009, p. 110-114). Dans tous les cas, ces modèles comprennent des phases (1) d’analyse,
(2) de planification, (3) de production ou de développement, (4) de mise à l’essai, (5)
d’évaluation; et (6) de révision (Loiselle, 2001, p. 84). Le modèle choisi sera celui de
Harvey et Loiselle (2009, p. 110-114) parce qu’il est plus récent que celui de Nonnon
(1993, 2002) et qu’il synthétise toutes les étapes des démarches de recherche
développement des auteurs précédemment cités. Le modèle de recherche développement
utilisé dans l’actuel projet doctoral est le modèle de Harvey et Loiselle (2009, p. 110) qui
comporte cinq phases, soit (1) la détermination de l’origine de la recherche, (2) la
détermination du référentiel ou du cadre théorique, (3) la détermination de la
méthodologie, (4) l’opérationnalisation ou la conception du produit pédagogique; et (5)
l’analyse des résultats, tel qu’illustré à la figure 8.
Figure 8. Le modèle de recherche développement (R et D) de Harvey et
Loiselle (Tiré de Harvey et Loiselle, 2009, p. 110).
La méthodologie de recherche développement est similaire aux techniques de
développement des produits durables et consommables utilisée en ingénierie. Loiselle
(2001, p. 77-97) définie la méthodologie de recherche développement comme étant un
processus itératif qui comprend sept étapes qui sont (1) l’analyse préliminaire, (2) la
conception et la réalisation du prototype, (3) la phase d’essais ou de tests, (4) la phase
d’évaluation, de révision et de correction, (5) la publication de résultats; (6) la
distribution ainsi que (7) la phase de marketing. Si le produit développé présente
quelques lacunes ou défaits dans les dernières phases du processus de développement
telles que l’évaluation, la révision et la correction, la publication des résultats, la
distribution ou le marketing, le processus retourne à la phase d’analyse afin de trouver
une solution pour corriger les défauts du produit, tel qu’illustré à la figure 9. Les
premiers essais fonctionnels ou Alpha tests ont été faits par les auteurs de cet article afin
de s’assurer que l’application « Cluster » était prête à être utilisée par les enseignants et
les étudiants. Une fois les essais fonctionnels réalisés, des Beta tests furent effectués par
Mme. Dalila Sebkhi (Lesage, Raîche, Riopel, et Sebkhi, 2013; Lesage, Raîche, Riopel,
Fortin et Sebkhi, 2014; Sebkhi, Raîche, Riopel et Lesage, 2013) durant son stage III en
enseignement pour l’enseignement de la géologie à des étudiants de secondaire IV de la
Commission Scolaire de Montréal (CSDM). Ensuite d’autres Beta tests furent faits par
les auteurs au moyen de l’implantation de l’enseignement à distance de la cartographie
pour des cadets de l’armée canadienne au moyen de patrouilles de navigation en équipes
(Lesage, Raîche, Riopel, et Sebkhi, 2013; Lesage, Raîche, Riopel, Fortin et Sebkhi, 2014;
Sebkhi, Raîche, Riopel et Lesage, 2013).
Figure 9. Le processus de recherche développement (R et D) (Loiselle,
2001, p. 77-97).
Expérimentation de l’application « Cluster » avec des étudiants des écoles
secondaires
L’application « Cluster » a tout d’abord été expérimentée avec des étudiants du
secondaire durant les stages III et IV en enseignement de Mme. Dalila Sebkhi (Lesage,
Raîche, Riopel, et Sebkhi, 2013; Lesage, Raîche, Riopel, Fortin et Sebkhi, 2014; Sebkhi,
Raîche, Riopel et Lesage, 2013). Ces stages en enseignement font partie du curriculum du
baccalauréat en éducation de l’université du Québec à Montréal (UQÀM). Cette
application a été utilisée lors du stage III de Mme. Sebkhi comme un outil pédagogique
servant d’aide à l’enseignement pour supporter l’apprentissage des étudiants de
secondaire II dans les cours de sciences et technologies à l’école secondaire « La Voie »
de la Commission Scolaire de Montréal (CSDM).
Les sujets d’expérimentation ont été 113 (N = 113) étudiants de secondaire II
divisés en quatre (4) classes. Le cours étudié était un cours de géologie qui comprenait
des sections sur le système solaire, le relief ainsi que les roches et les minéraux. Le
contenu du cours a été converti sous format électronique et placé dans l’application
Internet « Cluster » afin que les étudiants pussent accéder à la matière à la maison en
dehors des heures de cours. Cette expérimentation uniquement utilisé des méthodes
qualitatives et a été basée sur l’analyse des témoignages des étudiants qui ont utilisé
l’application. Mme. Sebkhi aurait également voulu utiliser l’application « Cluster » au
cours de son stage IV en enseignement qui comportait 118 étudiants de secondaire IV
divisés en quatre classes à l’école secondaire « St-Luc » qui appartient également à la
Commission Scolaire de Montréal (CSDM). Le cours étudié aurait été la
thermodynamique. Cependant cette expérimentation n’a pas eu lieu en raison de la
résistance au changement parce que les responsables du stage ont estimé que trop de
temps serait nécessaire aux étudiants pour savoir utiliser l’application « Cluster »
efficacement.
Expérimentation de l’application « Cluster » avec des cadets de l’armée
canadienne
L’application « Cluster » a été également expérimentée par des cadets des l’armée
canadienne avec un groupe d’expérimentation de 27 personnes (N = 27) ainsi qu’avec un
groupe de contrôle de 12 personnes (N = 12) (Lesage, Raîche, Riopel, et Sebkhi, 2013;
Lesage, Raîche, Riopel, Fortin et Sebkhi, 2014; Sebkhi, Raîche, Riopel et Lesage, 2013).
Tous les sujets d’expérimentation provenaient de deux corps de cadets de l’armée de la
province de Québec du Canada et avaient une moyenne de 14 ans d’âge. Le cours étudié
était un cours de cartographie militaire intitulé « OREN 122 - Identifier un emplacement
à l'aide d'une carte ». Le contenu théorique de ce cours se retrouve dans le livre « A-CR-
CCP-704/PF-002 Guides pédagogiques de l'étoile verte » publié par l’état-major des
Cadets royaux de l’armée canadienne (Ministère de la défense nationale, 2007).
Les deux groupes utilisés dans l’expérimentation devaient étudier la cartographie
pour effectuer des patrouilles de navigation en équipes. Le groupe d’expérimentation
devait utiliser l’application « Cluster » tandis que le groupe de contrôle étudiait la
cartographie de façon traditionnelle en classe. Les sujets du groupe d’expérimentation
provenaient du corps de cadets « 2567 Dunkerque » de la ville de Laval tandis que les
sujets du groupe de contrôle faisaient partie du corps de cadets « 2595 de St-Jean
d’Iberville » situé sur la rivière Richelieu et qui réside dans les locaux du Collège
militaire royal de St-Jean.
Le cours donné était un cours de cartographie sur la navigation à l’aide d’une
carte topographique qui comportait cinq chapitres qui sont (1) les types de cartes, (2) les
informations en marge d’une carte, (3) les signes conventionnels, (4) les courbes de
niveau ainsi que (5) les coordonnées à quatre, six et huit chiffres. Le matériel de cours a
été converti en format électronique et placé dans l’application Internet « Cluster ». Le
cours de navigation a été divisé en deux parties : une première partie théorique les
sujets d’expérimentations étudiaient le matériel de cours ainsi qu’une deuxième partie
pratique où les sujets devaient faire des patrouilles dans des secteurs d’entrainement entre
deux coordonnées à huit chiffres données par l’expérimentateur. Les sujets ou les
étudiants du groupe de contrôle avaient à étudier la partie théorique du cours de façon
traditionnelle en classe avec un enseignant, qui dans le domaine militaire s’appelle un
instructeur. Les sujets du groupe d’expérimentation, pour leur part, devaient étudier la
partie théorique du groupe à la maison à l’aide de l’application Internet « Cluster ».
Cependant, les deux groupes avaient à effectuer la partie pratique du cours en présence
dans des secteurs d’entrainement afin de prouver la validité des cours en présence ainsi
qu’à distance.
La validité de l’expérimentation a été effectuée à l’aide d’une méthodologie mixte
regroupant des outils ne nature quantitative et qualitative. L’expérimentation a utilisé des
méthodes de recherche qualitatives telles que l’observation, l’entrevue et le rapport post
exercice. Ceci pour déterminer si l’application était conviviale, l’entrainement pertinent
ainsi que si les sujets d’expérimentation avaient aimé utiliser l’application « Cluster ».
Les facteurs de convivialité sont déterminants pour atténuer l’effet de résistance au
changement lors de l’implantation d’un logiciel qui servira au passage d’un enseignement
traditionnel à un enseignement assisté par ordinateur.
Les méthodes de recherche quantitatives utilisées dans l’expérimentation ont servi
à déterminer le niveau de convivialité de l’interface ainsi que l’influence de l’application
« Cluster » sur le taux d’apprentissage des étudiants. Les instruments quantitatifs utilisés
dans l’expérimentation ont étés (1) l’examen de connaissances initiales, (2) les
questionnaires HTML, (3) les travaux à remettre, (4) l’examen de connaissances finales,
(5) le formulaire électronique d’auto-évaluation, (6) le formulaire électronique
d’évaluation par les pairs, (7) les examens de fin de module ainsi que (8) le questionnaire
QUIS (Questionnaire for User Interaction Satisfaction) (Chin, Diehl et Norman, 1988;
Sitting, Kupermen et Fiskio, 1999).L’évaluation formative est donnée par les étudiants du
cours à l’aide des formulaires électroniques d’auto-évaluation et d’évaluation par les
pairs tandis que l’évaluation sommative est fournie par les questionnaires HTML, les
travaux à remettre et les examens de fin de module ainsi que la note donnée par
l’enseignant ou l’évaluateur pour la partie pratique du cours constituée des tâches en
équipes. Ces tâches d’évaluation complexes en mode collaboratif consistent en des
patrouilles de navigation à l’aide d’une carte topographique. Les résultats des examens de
connaissances initiales et finales ne sont pas inclus dans le résultat final de cours et
navigation et sont uniquement utilisée dans le but d’établir des résultats et des
conclusions de recherche en ce qui concerne l’augmentation de la connaissance des
groupes d’expérimentation et de contrôle. Le questionnaire QUIS sert à évaluer de façon
quantitative la convivialité de l’application informatique ainsi que le taux de satisfaction
de des utilisateurs, tel qu’illustré à la figure 10.
Figure 10. Une partie du questionnaire QUIS (Chin, Diehl et Norman,
1988, p. 215; Sitting, Kuperman et Fisiko, 1999, p. 403).
Le curriculum ou le déroulement du cours pour un étudiant est (1) de faire
l’examen de connaissances initiales (2) de réaliser les cinq modules de cours qui
comportent un test de fin de module et comptent pour 50% de la note finale faits en
classe pour le groupe de contrôle et à distance avec l’application « Cluster » pour le
groupe d’expérimentation (3) faire au moins trois patrouilles de navigation qui vont
compter pour l’autre 50% de la note finale dans lequel l’étudiant occupera
successivement les rôles de membre d’équipe, de chef d’équipe ainsi que
d’administrateur de groupe (4) remplir les formulaire d’auto-évaluation et d’évaluation
par les pairs après chaque patrouille (5) l’enseignent ou l’évaluateur est responsable de
l’évaluation des patrouille en équipe et va attribuer à chaque étudiant une note pour
l’ensemble du travail qu’il a fait durant les patrouilles et qui va compter pour l’autre 50%
de la note finale; et (6) l’étudiant va rédiger l’examen de connaissances finales.
Résultats
Généralités
L’actuel projet doctoral veut informatiser l’évaluation des équipes à plusieurs
niveaux de hiérarchisation au moyen d’une méthodologie de recherche développement de
produits éducationnels. Étant donné que le processus de recherche développement en
éducation ne donne pas uniquement que des produits pédagogiques mais également des
théories, la présente recherche donne les résultats suivants : (1) le processus de
l’évaluation hiérarchique des apprentissages ou évaluation agrégée, (2) l’application
Internet « Cluster », (3) des considérations et des modifications occasionnées par une
expérimentation sur des étudiants du secondaire; et (4) des considérations occasionnées
par une expérimentation sur des cadets de l’armée.
Processus de l’évaluation agrégée
Le processus de groupement des élèves en équipes à plusieurs niveaux de
hiérarchisation implanté dans l’application « Cluster » a fait l’objet de considérations
théoriques lors du processus de recherche développement qui ont abouti à l’élaboration
de sa définition. Les chercheurs de l’actuel projet doctoral voudraient que les termes
« évaluation hiérarchique des apprentissages » et « évaluation agrégée » soient acceptée
et reconnus par la communauté scientifique tout entière car ce processus existe depuis
toujours et se produit dans les grandes organisations.
L’application « Cluster » d’évaluation à distance
L’application Internet « Cluster » d’évaluation à distance (E-Assessment) est un
moteur de présentation de tâches d’évaluation complexes en mode collaboratif selon un
contexte authentique. Cette application informatique est développée en langage PHP et
supportée par une base de données MySQL. Les phases d’analyse préliminaire et
d’analyse fonctionnelle du processus de développement logiciel de l’application Internet
« Cluster » a été effectué par les chercheurs du CDAME. Le développement de
l’application en langage « PHP » ainsi que la modélisation et la conception de la Base de
données avec le système de gestion de base de données (SGBD) MySQL ont été effectués
par Frédérick Fortin, analyste de systèmes d’information ainsi que programmeur pour le
groupe de recherche du LabMECAS (Laboratoire mobile pour l'étude des cheminements
d'apprentissage en sciences [FCI]) (LabMECAS, 2014). L’architecture logicielle de
l’application « Cluster » est illustrée à la figure 11.
Figure 11. Architecture logicielle de l’application « Cluster ».
Le système de gestion de base de données sur le serveur Internet de l’application
« Cluster » est capable d’effectuer la gestion (1) des étudiants, (2) des cours, (3) des
équipes, (4) du matériel de cours, (5) des évaluations formatives et sommatives ainsi que
(6) des relations hiérarchiques entre les membres d’équipe qui peuvent avoir plusieurs
niveaux. Dans la structure de données, un cours est décomposé en modules et les modules
comprennent des tâches qui peuvent avoir une évaluation ou pas. Cette évaluation peut
être une évaluation individuelle ou une évaluation d’équipe. L’évaluation individuelle est
constituée soit d’examens HTML ou de travaux à remettre. Une tâche d’équipe, quant à
elle, comporte des évaluations formatives qui sont des auto-évaluations et des évaluations
par les pairs ainsi que des évaluations sommatives qui sont la note d’équipe attribuée par
l’évaluateur. L’architecture de la base de données de l’application « Cluster » est illustrée
à la figure 12.
Figure 12. Architecture de la base de données de l’application « Cluster ».
L’application a deux modes mutuellement exclusifs : le mode étudiant ainsi que le
mode administrateur ou évaluateur. En effet, le système ne permet pas à un individu
ayant le statut d’administrateur de pouvoir étudier du matériel de cours ainsi que de
participer à une tâche d’évaluation comme membre d’une équipe. Par ailleurs, le système
ne permet pas à un individu ayant le statut d’étudiant de modifier les bases de données
des cours et des étudiants. Un étudiant ne peut également pas donner des évaluations
sommatives et évaluer des devoirs ainsi que des tâches d’équipe. Le mode de
l’application est déterminé lors de la connexion au système (login) où le système
reconnaît si le nom de l’usager appartient à un étudiant ou à un administrateur. La page
d’accueil qui comporte les champs de saisie des paramètres de connexion du nom
d’usager et du mot de passe est illustrée à la figure 13.
Figure 13. Page d’introduction ou page d’accueil de l’application
« Cluster ».
Le mode étudiant est uniquement utilisé par des étudiants ou des candidats sur des
cours à distance donnés au moyen de l’application « Cluster ». Le mode étudiant permet
aux candidats sur les cours (1) d’étudier le matériel de cours, (2) de consulter la feuille de
route d’un cours donné pour savoir sa progression dans les modules de cours, (3) de
pouvoir faire des examens HTML, (4) de soumette des devoirs, (5) de faire partie d’une
équipe pour effectuer une tâche d’évaluation complexe en équipe, (6) d’occuper une
position hiérarchique dans l’équipe telle que membre d’équipe, chef d’équipe ainsi
qu’administrateur de groupe ainsi que (7) de remplir des formulaires d’auto-évaluation et
d’évaluation par les pairs. Une fois que l’étudiant a débuté une session dans l’application,
celui-ci peut choisit le cours qu’il veut étudier s’il est inscrit à plusieurs cours avec le
formulaire illustré à la figure 14.
Figure 14. Panorama de sélection des cours.
Une fois que l’étudiant a choisi le cours qu’il veut étudier, le menu déroulant de
l’interface usager lui permet d’accéder aux modules du cours. Ce menu est illustré à la
figure 15.
Figure 15. Menu d’accès au matériel de cours.
Le menu guide l’étudiant dans l’étude du matériel de cours à partir du premier
module et ceci séquentiellement jusqu’au dernier. Une fonctionnalité de l’application
empêche l’étudiant de butiner ou de naviguer aléatoirement dans les modules de cours.
L’étudiant est donc capable d’étudier le matériel de cours contenu dans les modules de
cours. L’application affiche le matériel de cours pour que l’étudiant soit capable de le lire
à l’écran. Lors de l’affichage un menu contextuel permet à l’étudiant soit de l’enregistrer
ou de l’imprimer pour des révisions futures. Le matériel de cours est affiché à l’aide du
panorama d’écran illustré à la figure 16.
Figure 16. Panorama d’affichage du matériel de cours.
L’étudiant peut consulter à n’importe quel moment la feuille de route qui indique
la progression des étudiants dans les modules et les tâches du cours. Le panorama d’écran
représentant la feuille de route est illustré à la figure 17.
Figure 17. Panorama d’affichage de la progression des étudiants dans un
cours ou feuille de route.
L’application cluster peut soumettre les étudiants à deux modes d’évaluation, soit
de l’évaluation individuelle ainsi que de l’évaluation d’équipe (teamwork assessment).
L’évaluation individuelle va être effectuée à l’aide de formulaires HTML d’examens
objectifs autocorrectifs ainsi que des travaux à remettre sous format électronique. Les
questionnaires HTML son illustrés à la figure 18.
Figure 18. Panorama d’examen HTML.
Les travaux des étudiants seront soumis à l’aide d’un panorama standard de
téléversement de fichiers illustré à la figure 19
Figure 19. Panorama de téléversement des travaux.
L’application « Cluster » est capable d’évaluer différentes compétences, habiletés
et connaissances simultanément dans la même tâche d’évaluation en équipe. En effet, un
étudiant qui participe à une tâche d’évaluation peut occuper des fonctions de membre
d’équipe, de chef d’équipe ainsi que d’administrateur de groupe. Lorsque l’étudiant
effectue une tâche d’évaluation, celui-ci doit remplir des formulaires d’auto-évaluation
ainsi que d’évaluation par les pairs. Il est donc nécessaire que les formulaires d’auto-
évaluation et d’évaluation par les pairs aient différent critères d’évaluation en fonction de
la position hiérarchique de l’étudiant évalué qu’il soit membre d’équipe, chef d’équipe ou
administrateur de groupe. Le formulaire d’évaluation des membres d’équipe est illustré à
la figure 20.
Figure 20. Formulaire d’évaluation des membres d’équipe.
Le formulaire d’évaluation des chefs d’équipe est illustré à la figure 21.
Figure 21. Formulaire d’évaluation des chefs d’équipe.
Le formulaire d’évaluation des administrateurs de groupe est illustré à la figure
22.
Figure 22. Formulaire d’évaluation des administrateurs de groupe.
Le mode administrateur est le mode d’opération utilisé par les administrateurs de
système, les enseignants, les évaluateurs ainsi que les développeurs de cours à distance
sur l’Internet (E-Learning) pour (1) gérer et modifier la base de données des étudiants,
(2) gérer et modifier la base de données du matériel de cours, (3) évaluer les devoirs des
étudiants remis sous format électronique, (4) évaluer la performance des étudiants en
équipe; (5) de grouper les étudiants en équipes ainsi que (6) assigner des fonctions de
membre d’équipe, de chef d’équipe ainsi que de gestionnaire de groupe afin d’implanter
la structure arborescente de l’agrégation hiérarchique des membres d’équipe.
Le panorama de la gestion de la base de données des étudiants est illustré à la
figure 23 et permet à l’enseignant ou à l’évaluateur de créer un nouvel étudiant ainsi que
de modifier ou de détruire un étudiant déjà existant.
Figure 23. Panorama de gestion de la base de données des étudiants.
Le panorama de la gestion de la base de données des modules de cours et du
matériel de cours est illustré à la figure 24 et permet à l’enseignant ou à l’évaluateur de
créer un nouveau module de cours ainsi que de modifier ou de détruire un cours déjà
existant.
Figure 24. Panorama de gestion des modules de cours et du matériel de
cours.
L’enseignant ou l’évaluateur peut évaluer des devoirs ou travaux remis sous
format électronique et écrire des remarques concernant la performance de l’étudiant à
l’aide du formulaire d’évaluation des travaux illustrés à la figure 25. Ce formulaire est
uniquement utilisé par l’enseignant ou l’évaluateur pour des fins d’évaluation sommative
afin de donner des notes à des travaux téléversés par les étudiants.
Figure 25. Formulaire d’évaluation des travaux des étudiants.
La figure 26 est un panorama d’écran qui permet à l’enseignant ou à l’évaluateur
de faire des évaluations d’équipe. En effet, lors d’une tâche d’évaluation d’équipe,
chaque étudiant est évalué deux fois : l’étudiant reçoit tout d’abord une note qui est une
évaluation formative concernant sa performance individuelle soit comme membre
d’équipe, chef d’équipe ou administrateur de groupe et reçoit ensuite une note d’équipe
qui est une évaluation sommative pour l’ensemble du travail qu’a accompli l’équipe lors
de le réalisation de la tâche d’évaluation.
L’enseignant ou l’évaluateur peut évaluer la performance individuelle de
l’étudiant au sein de l’équipe à l’aide du panorama d’évaluation d’un membre déquipe
illustré à la figure 26 qui est le même formulaire utilisé par les étudiants pour donner les
auto-évaluation ainsi que les évaluations par les pairs illustré précédemment à la figure
22. Ce panorama d’écran a donc deux fonctions. Il est utilisé premièrement pour fins
d’évaluation formative par les étudiants qui s’en servent pour faire leur auto-évaluation
ainsi que pour l’évaluation par les pairs. Il sert deuxièmement à faire de l’évaluation
sommative par les enseignants ou les évaluateurs afin d’évaluer la performance
individuelle de l’étudiant au sein de son équipe.
Figure 26. Formulaire d’évaluation d’un membre d’équipe.
Le panorama de consultation des évaluations d’équipe est pour sa part illustré à la
figure 27.
Figure 27. Panorama de consultation des évaluations d’équipe.
Une fois que toutes les évaluations formatives données par les membres d’équipes
qui sont les auto-évaluations ainsi que les évaluations par les pairs sont effectuées, un
champ apparaît pour que l’évaluateur attribue la note d’équipe qui est l’évaluation
sommative du travail d’équipe, tel qu’illustré à la figure 28.
Figure 28. Panorama d’évaluation du travail d’équipe.
L’enseignant ou l’évaluateur évaluent l’étudiant par l’observation de sa
performance en équipe en fonction de sa position hiérarchique qui peut être soit membre
d’équipe, chef d’équipe ou administrateur de groupe. Les critères d’évaluation sont
différents selon la position hiérarchique occupée par l’étudiant, tel qu’illustré par les
panoramas d’écran 20, 21 et 22. Cette fonctionnalité est une implantation directe de la
problématique de l’évaluation d’équipes à plusieurs niveaux de hiérarchisation. Cette
fonctionnalité n’est présentement qu’uniquement implantée dans l’application « Cluster »
et ne se retrouve pas dans les autres applications Internet d’enseignement et d’évaluation
à distance telles que Moodle, WebCT et Blackboard.
Lors des évaluations d’équipe, l’enseignant ou l’évaluateur doit produire des
évaluations individuelles ainsi que des évaluations d’équipe. Ces évaluations serviront
ensuite à déterminer la note finale de l’étudiant pour un cours donné. Pour évaluer un
étudiant et lui attribuer des notes, l’enseignant ou l’évaluateur peut aller consulter la base
de données de l’application « Cluster » et consulter les auto-évaluations de l’étudiant
ainsi que toutes les évaluations par les pairs effectuées à son sujet au moyen des
formulaires illustrés aux figures 20, 21 et 22. Le panorama d’affichage des résultats des
auto-évaluations ainsi que des évaluations par les pairs pour un étudiant donné est illustré
à la figure 29.
Figure 29. Panorama d’affichage des évaluations formatives d’auto-
évaluation et d’évaluation par les pairs.
La note finale du cours est calculée par (1) la somme de toutes les notes obtenues
par les examens HTML autocorrectifs et les travaux à remettre dans les modules réalisés
individuellement plus (2) la somme de toutes les notes attribués par l’enseignant ou
l’évaluateur à l’étudiant pour les tâches qu’il a réalisées en équipe.
Finalement, l’innovation principale de l’application « Cluster » sur laquelle se
base l’actuel projet doctoral est la fonction d’agrégation dont la structure de données
arborescente est implantée dans la base de données de l’application et qui permet de
former les étudiants en équipes à plusieurs niveaux de hiérarchisation. Cette fonction
permet au système d’attribuer à l’étudiant des fonctions hiérarchiques telles que membre
d’équipe, chef d’équipe ainsi qu’administrateur de groupe. La fonction d’agrégation est
accessible à partir du menu principal de l’application qui est illustré à la figure 30.
Figure 30. Menu des fonctionnalités de l’agrégation.
La fonctionnalité d’agrégation implantée dans l’application « Cluster » propose
une solution à la problématique de l’actuel projet de recherche qui concerne
l’implantation d’un processus d’évaluation des équipes à plusieurs niveaux de
hiérarchisation qui n’est pas implanté dans Moodle, WebCT et Blackboard. Le panorama
de l’interface usager de l’application « Cluster » qui implante l’agrégation des étudiants
en équipes à plusieurs niveaux de hiérarchisation et leur attribue des fonctions de membre
d’équipe, de chef d’équipe ainsi que d’administrateur de groupe. Ce panorama d’écran
illustré à la figure 31 débute le processus d’agrégation et construit la structure
arborescente à plusieurs niveaux qui est entreposée dans la base de données MySQL de
l’application.
Figure 31. Panorama de formation des équipes ou d’agrégation.
Expérimentation avec des étudiants du secondaire
L’expérimentation de l’application « Cluster » effectuée sur des étudiants du
secondaire par Mme. Dalila Sebkhi ont été les premiers bêta tests de l’expérimentation de
l’application sur une grande population de plus de 100 étudiants (N > 100) (Lesage,
Raîche, Riopel, et Sebkhi, 2013; Lesage, Raîche, Riopel, Fortin et Sebkhi, 2014; Sebkhi,
Raîche, Riopel et Lesage, 2013). Dans cette expérimentation, l’application « Cluster » a
été utilisée par des étudiants du programme du secondaire de la province de Québec
comme support à l’enseignement pour des cours de géologie. Les résultats de
l’expérimentation ont été purement qualitatifs et ont été basés sur les observations de
Mme. Sebkhi durant l’expérimentation lorsque les étudiants utilisaient l’application
« Cluster ». Plusieurs étudiants qui utilisaient l’application « Cluster » et quelques
administrateurs de la commission scolaire de Montréal ont affirmé que l’interface de
l’application était trop rigide et pas assez conviviale pour des étudiants qui sont des
adolescents de 12 à 16 ans.
Les jeunes usagers voudraient que l’interface usager fasse appel à plus d’éléments
multimédia tels que des vidéos ainsi que des animations graphiques afin que le cours
ressemble plus à un jeu vidéo avec des avatars comme dans l’application Mécanika de
François Boucher-Genesse (Boucher-Genesse, Riopel et Potvin, 2011) plutôt qu’une
simple interfaces munie de menus déroulants. Pour certains étudiants, l’apprentissage de
l’utilisation de l’application s’est bien déroulé et ceux-ci n’ont éprouvé aucun problème à
étudier la matière du cours et de parcourir tous les modules de cours et examens du cours
de géologie placés dans l’application « Cluster ».
D’autres étudiants ont connu différents problèmes lors de l’utilisation de
l’application « Cluster » tels que (1) résistance au changement, (2) pertes des noms
d’utilisateurs (username) et des mots de passe (password), (3) remplissage des examens
HTML à correction automatique (5) être perdu dans la navigation lors de l’étude du
matériel de cours; (6) impossibilité de revenir en arrière dans la navigation si le matériel
de cours n’est pas compris ou enregistré et que l’étudiant veut accéder de nouveau à ce
matériel de cours ou à des sections précédentes; et (7) difficulté pour les enseignants ou
les évaluateurs de cours à garder la trace de la progression dans les modules et les
examens d’un grand nombre d’étudiants.
Les étudiants de Mme. Sebkhi ayant été confrontés aux précédents problèmes,
Celle-ci a donc demandé que quatre modifications soient effectuées à l’application
« Cluster ». Ces modifications ont été implantées quelques mois après la fin de son stage
enseignement III afin que Mme. Sebkhi puisse utiliser les nouvelles fonctionnalités de
l’application pour le début de son stage IV en enseignement. La première modification
illustrée à la figure 32 a été l’addition d’un champ dans la base de données pour identifier
le groupe ou la classe de l’étudiant afin que toute la base de données des étudiants soit
divisée en classes ou en groupes.
Figure 32. Ajout d’un champ pour identifier le groupe ou la classe.
La seconde modification consiste à l’implantation d’un bouton de retour
permettant à l’étudiant de pouvoir revenir au module ou au chapitre précédent, tel
qu’illustré à la figure 33.
Figure 33. Implantation d’un bouton de retour au chapitre précédent.
La troisième modification illustrée à figure 34 est l’implantation d’un panorama
d’écran servant pour l’accès à toutes les feuilles de routes des étudiants faisant partie de
la base de données de l’application « Cluster ». Ce panorama d’écran va permettre à
l’enseignant ou à l’évaluateur de consulter la feuille de route d’un étudiant donné qui
indique la progression dans la matière du cours sans être obligé d’ouvrir une session dans
le compte de l’étudiant.
Figure 34. Panorama d’accès aux feuilles de route des étudiants.
La quatrième modification illustrée à la figure 35 consiste à l’implantation d’un
panorama d’écran représentant une matrice qui indique la progression dans la matière du
cours de tous les étudiants d’une classe ou d’un groupe donné.
Figure 35. Matrice de progression des étudiants d’un cours.
Expérimentation avec des cadets de l’armée canadienne
Les résultats de l’expérimentation de l’application Internet d’apprentissage et
d’évaluation à distance « Cluster » sont affichés au tableau 1 (Lesage, Raîche, Riopel, et
Sebkhi, 2013; Lesage, Raîche, Riopel, Fortin et Sebkhi, 2014; Sebkhi, Raîche, Riopel et
Lesage, 2013).
Tableau 1
Expérimentation de l’application « Cluster » sur des cadets de l’armée pour des cours de
navigation en équipes
Groupe
d’expérimentation
Groupe de
contrôle
Population (N)
27
12
Pré-test du cours de cartographie
12,81%
7%
Post-test du cours de cartographie
63,40%
55%
Note du cours de cartographie
83,45%
66,15%
Augmentation de la connaissance
50,59%
48%
Nombre de candidats ayant réussi le
cours
6
10
Abandons
21
2
Taux de réussite
22%
83%
Appréciation de l’interface
(Questionnaire QUIS)
- Apprécié : convivialité
- Moins apprécié :
Rétroaction, terminologie et résistance au
changement
Non applicable
Discussion
L’actuel projet de recherche produit trois principaux résultats : (1) la théorie
décrivant le processus de l’évaluation hiérarchique des apprentissages ou évaluation
agrégée, (2) l’application Internet d’apprentissage et d’évaluation à distance « Cluster »;
et (3) les données, résultats et conclusions en ce qui concerne l’expérimentation de
l’application « Cluster » avec des cadets de l’armée dans le cadre de cours de navigation
en équipe. Les théories décrivant le processus de l’évaluation hiérarchique des
apprentissages est maintenant soumise à la communauté scientifique par l’entremise de
nombreuses publications (Lesage, Raîche, Riopel, et Sebkhi, 2013; Lesage, Raîche,
Riopel, Fortin et Sebkhi, 2014; Sebkhi, Raîche, Riopel et Lesage, 2013) afin que les
termes « évaluation agrégée », « évaluation hiérarchique des apprentissages » et
« hierarchical aggregate assessment » soient internationalement reconnus par la
communauté scientifique. Suite à une première itération dans le processus de recherche
développement, l’application « Cluster » a subi une première série de modifications qui
ont été proposées par Mme. Dalila Sebkhi lors de son stage III en enseignement de
l’UQÀM. Ces résultats ont été présentés et décrits dans la section « Résultats » du présent
article et cette application est maintenant parfaitement opérationnelle. Bien que
l’expérimentation soit finie, l’organisation des cadets de l’armée a trouvé l’application
utile au mouvement des cadets. Cette application est maintenant utilisée par eux pour des
cours à distance de cartographie, de techniques d’instruction ainsi que de connaissances
militaires générales. Les résultats concernant l’expérimentation de l’application
« Cluster » par les cadets de l’armée démontrent que l’augmentation de la connaissance
produite par l’application « Cluster » est de 50,59%, augmentation qui est presque
identique à celle produite par l’enseignement traditionnel en classe qui est de 48%. Cette
similitude des pourcentages de l’augmentation de l’apprentissage dans les deux cas
pourrait être expliquée par le débat « Clark (Clark, 1983) Kozma (Kozma, 1994) » où
Clark (Clark, 1983, p. 445) affirme que « les médias sont uniquement un véhicule qui
transporte la connaissance » et n’influencent pas la connaissance.
Cependant, le taux de succès pour l’apprentissage de la cartographie à l’aide de
l’application « Cluster » n’est que de 22% en comparaison avec l’apprentissage de la
cartographie en classe qui est de 83%. Le taux de succès de 22% produit par
l’apprentissage à distance peut être explique par quelques uns des inconvénients majeurs
tel que de laisser l’étudiant seul dans son processus d’apprentissage sans être en classe
avec la présence d’un enseignant ou de collègues pour l’aider. Très souvent, l’étudiant
suivant des cours à distance est déboussolé par l’absence de dynamique de la classe qui
anéantit sa motivation et son désir d’apprendre.
Conclusion
La présente recherche veut que les termes « évaluation agrégée », « évaluation
hiérarchique des apprentissages » et « herarchical aggregate assessment » soient
acceptés et reconnus par la communauté scientifique entière. Le processus de l’évaluation
hiérarchique des apprentissages est utilisé partout de depuis toujours sans qu’aucun
chercheur ou scientifique n’ait l’idée de le définir par un nom ou un terme. L’actuel
projet de recherche remédie à cette lacune en proposant les termes « évaluation agrégée »
ou « évaluation hiérarchique des apprentissages ». Le travail effectué dans la présente
recherche avait pour but d’implanter ce processus dans les domaines de l’éducation, de
l’évaluation ainsi que de l’informatique. Des travaux et des recherches futures effectuer
per les chercheurs du CDAME (CDAME, 2014) vont se concentrer sur (1) l’amélioration
de l’interface usager dans les domaines cités par le questionnaire QUIS qui sont la
rétroaction, la terminologie et la résistance au changement, (2) l’implantation du
processus de l’évaluation hiérarchique des apprentissages dans le domaine de la gestion;
et (3) la détermination de l’influence de l’application « Cluster » sur l’augmentation de la
connaissance, la satisfaction de l’usager ainsi que la rétention des élèves.
Bibliographie et Références
Allal, L. (2002). Acquisition et évaluation des compétences en milieu scolaire. Dans J., Dolz, et
E., Ollagnier (Dirs.). L’énigme de la compétence en éducation (p. 77-94). Bruxelles : de
Boeck.
Baker, D. P. et Salas, E. (1992). Principles for measuring teamwork skills. Human Factors, 34,
469-475.
Blackboard. (2013). Site Internet de Blackboard [En Ligne]. Accès : http://www.blackboard.com.
Borg, W. R., et Gall, M. D. (1983). Educational Research : An introduction (4th Edition). New
York : Longman.
Boucher-Genesse, F., Riopel, M. & Potvin, P. (2011). Research results for Mecanika, a game to
learn Newtonian concepts. Dans (dir.), Games, learning and society Conference
proceedings. Madison, Wisconsin
Boud, D., Cohen, R. et Sampson, J. (1999). Peer Learning and Assessment. Assessment &
Evaluation in Higher Education, 24 (4), 413-426.
CDAME. (2013). Site Internet du Centre CDAME (Collectif pour le veloppement et les
Applications en Mesure et Évaluation) [En ligne]: Accès: http://www.cdame.uqam.ca.
Cervera, D. (1997). Élaboration d’un environnement d’expérimentation en simulation incluant un
cadre théorique pour l’apprentissage de l’énergie des fluides. Thèse de doctorat inédite,
Université de Montréal.
Chin, J. P., Diehl, V. A. et Norman, K. L. (1988). Development of an instrument measuring user
satisfaction of the human-computer interface. Dans Proceedings of SIGCHI ‘88, 213218,
New York. ACM/SIGCHI.
Clark, R.E. (1983). Reconsidering research on learning from media. Review of Educational
Research. 17 (2), 445-459.
Durham, C. C., Knight, D., et Locke, E. A. (1997). Effects of Leader Role, Team-Set Goal
Difficulty, Efficacy, and Tactics on Team Effectiveness. Organizational Behavior and
Human Decision Process, 72 (2), 203-231.
Freeman, M. et McKenzie, J. (2000). Self and peer assessment of student teamwork: Designing,
implementing and evaluating SPARK, a confidential, web based system [En ligne]. Dans
Flexible Learning for a Flexible Society, Proceedings of ASET-HERDSA 2000 Conference.
Toowoomba, Qld, 2-5 July. ASET and HERDSA. Accès: http://www.aset.org.au/confs/aset-
herdsa2000/procs/freeman.html.
Freeman, M.. et McKenzie, J. (2002). SPARK, a confidential web-based template for self and
peer assessment of student teamwork: benefits of evaluating across different subjects. British
Journal of Educational Technology, 33 (5), 551-569.
Furnham, A., Steele, H., et Pendelton, D. (1993). A psychometric assessment of the Belbin Team-
Role Self-Perception Inventory. Journal of Occupational and Organizational Psychology,
66, 245-257.
Goldfinch, J. (1994). Further Developments in Peer Assessment of Group Projects. Assessment &
Evaluation in Higher Education, 19 (1), 29-35.
Goldfinch, J., et Raeside, R. (1990). Development of a Peer Assessment Technique for Obtaining
Individual Marks on a Group Project. Assessment & Evaluation in Higher Education, 15 (3),
210-231.
Hart, D. (1994). Authentic assessment: A handbook for educators. New York: Addison Wesley.
Harvey, S. et Loiselle, J. (2009). Proposition d’un modèle de recherche développement.
Recherches qualitatives, 28 (2), 95-117.
Kaye, W. et Mancini, M. E. (1986). Use of the Mega Code to evaluate team leader performance
during advanced cardiac life support. Critical Care Medecine, 14 (2), 99-104.
Kozma, R. B. (1994). Will media influence learning: Reframing the debate. Educational
Technology Research and Development (ETR&D), 42 (2), 7-19.
LabMÉCAS. (2013). Laboratoire mobile pour l'étude des cheminements d'apprentissage
en science (LabMÉCAS) [En ligne]: Accès: www.labmecas.uqam.ca/.
Lesage, M., Raîche, G., Riopel, M., & D. Sebkhi. (2013). Le développement d’une application
Internet d’évaluation hiérarchique des apprentissages (évaluation agrégée) selon une
méthodologie de recherche développement (R & D). Association Francophone
Internationale de Recherche Scientifique en éducation (AFIRSE).
Lesage, M., Raîche, G., Riopel, M., F. Fortin & D. Sebkhi. (2014). An E-Assessment Website To
Implement Hierarchical Aggregate Assessment. ICCSSE 2014: International Conference on
Computer Science and Software Engineering.
Lesage, M., Raîche, G., Riopel, M., Fortin, F. et Sebkhi, D. (2014). An E-Assessment Website to
Implement Hierarchical Aggregate Assessment. World Academy of Science, Engineering and
Technology, International Science Index 86, 8 (2), 925 - 933.
Lingard, R. W. (2010). Teaching and assessing teamwork skills in engineering and computer
science. Journal of Systemics, Cybernetics and Informatics, 18 (1), 34-37.
Loiselle, J. (2001). La recherche développement en éducation: sa nature et ses caractéristiques.
Dans M. Anadón et M. L'Hostie (Dirs), Nouvelles dynamiques de recherche en éducation (p.
77-97). Québec: Les Presses de l'Université Laval.
Louis, R. et Bernard, H. (2004). L’évaluation des apprentissages en classe :théorie et pratique.
Montréal : Groupe Beauchemin, éditeur ltée.
Lurie, S. J., Schultz, S. H. & Lamanna, G. (2011). Assessing Teamwork: A reliable Five-
Question survey. Family Medecine, 43 (10), 731-734.
MacDonald, J. (2003). Assessing online collaborative learning: process and product. Computer &
Education, 40, 377-391.
MacMillan, J., Paley, M. J., Entin, E. B. et Entin, E. E. (2004). Questionnaires for distributed
assessment of team mutual awareness. Dans N. A. Stanton, A. Hedge, K. Brookhuis, E.
Salas, et H. W. Hendrick (Dirs.), Handbook of human factors and ergonomic methods.
Taylor and Francis.
Marin-Garcia, J. A. et Lloret, J. (2008). Improving teamwork with university engineering
students. The effect of an assessment method to prevent shirking. WSEAS Transactions on
Advances in Engineering Education, 1 (5), 1-11.
Marshall-Mies, J. C., Fleishman, E. A., Martin, J. A., Zaccaro, S. J., Baughman, W. A., et
McGee, M. L. (2000). Development and evaluation of cognitive and metacognitive measures
for predicting leadership potential. Leadership Quaterly, 11 (1), 135-153.
Ministère de la défense nationale, Gouvernement du Canada. (2007). A-CR-CCP-701/PF-002
Guides pédagogiques de l'étoile verte. Ottawa, Ministère de la défense nationale, Cadets
royaux de l'armée canadienne.
MySQL. (2013). Site Internet de MySQL [En ligne]: Accès: http://www.mysql.com.
Moodle. (2013). Site Internet de Moodle [En ligne]: Accès: http://www.moodle.org.
Nance, W. D. (2000). Improving information systems students' teamwork and project
management capabilities: Experiences from an innovative classroom.
InformationTechnology and Management, 1 (4), 293-306.
Nonnon, P. (1993). Proposition d'un modèle de recherche Développement (R&D) technologique
en éducation. Regards sur la robotique pédagogique. Technologies nouvelles et éducation.
Publications du service de technologie de l'éducation de l'Université de Liège et de l'Institut
nation de recherche pédagogique, Paris, pp. 147-154.
Nonnon, P. (2002). La R&D en éducation. Contribution aux actes du symposium international
francophone sur les technologies en éducation de l’INRP sous la direction de Georges Louis
Baron et Éric Bruillard, Paris, France (pp. 53-59).
Northrup, S. G. et Northrup, D. A. (2006) Multidisciplinary teamwork assessment: individual
contributions and interdisciplinary interaction. Communication présentée à la 36ième
conférence ASEE/IEEE Frontiers in Education,Octobre 2831, San Diego.
Palm, T. (2008). Performance Assessment and Authentic Assessment: A Conceptual Analysis of
the Literature [En Ligne]. Practical Assessment, Research & Evaluation, 13 (4). Accès:
http://pareonline.net/pdf/v13n4.pdf.
Rennert-Ariev, P. (2005). A theoretical model for the authentic assessment of teaching [En
Ligne]. Practical Assessment, Research & Evaluation, 10 (2). Accès:
http://pareonline.net/pdf/v10n2.pdf.
Richey, R. C. et Nelson, W. A. (1996). Developmental Research. Dans D. H. Jonassen (Dir.),
Handbook of research for educational communications and technology (p. 1213-1245).
New-York :Mac Millan.
Ritchie, P. D., et Cameron, P. A. (1999). An evaluation of trauma team leader performance by
video recording. Australian and New Zealand Journal of Surgery, 69, 183-186.
Sebkhi, D., Raîche, G., Riopel, M., & M. Lesage. (2013). Une première mise à l’essai d’une
application Internet d’évaluation hiérarchique des apprentissages (évaluation agrégée) avec
des élèves du secondaire dans le cadre des stages III et IV de l’UQAM en accord avec
l’approche par compétence du Ministère de l’Éducation des Loisirs et des Sports du Québec
(MELS). Association Francophone Internationale de Recherche Scientifique en éducation
(AFIRSE).
Sittig, D. F., Kuperman, G. J., et Fiskio J. (1999). Evaluating physician satisfaction regarding user
interactions with an electronic medical record system. Proceedings of the American Medical
Informatics Association (AMIA) Annual Symposium, 400 (4).
Swan, K., Shen, J. et Hiltz, R. (2006). Assessment and collaboration in online learning. Journal of
Asynchronous Learning Networks, 10 (1), 45-62.
Sugrue, M., Seger, M., Kerridge, R., Sloane, D., et Deane, S. (1995). A Prospective Study of the
Performance of the Trauma Team Leader. The Journal of Trauma: Injury, Infection and
Critical Care, 38 (1), 79-82.
Tardif, J. (2006). L’évaluation des compétences. Documenter le parcours de développement.
Montréal : Chenelière Éducation.
Van der Maren, J.M. (2003). La recherche appliquée en pédagogie : Des modèles pour
l’enseignement (2ième Édition). Bruxelles : De Boeck.
Volkov, A. et Volkov, M. (2007). Teamwork and assessment: A critique. e-Journal of Business
Education & Scholarship of Teaching, 1, 59-64.
Wiggins, G. (1990). The case for authentic assessment [En Ligne]. Practical Assessment,
Research & Evaluation, 2 (2). Accès: http://PAREonline.net/getvn.asp?v=2&n=2.
Wiggins, G. (1993). Assessment : Authenticity, Context and Validity. The Phi Delta Kappan, 75
(3), 200-214.
Willey, K. et Freeman M. (2006). Completing the learning cycle: The role of formative feedback
when using self and peer assessment to improve teamwork and engagement. Proceedings of
the 17th Annual Conference of the Australasian Association for Engineering Education, 10 -
13 décembre 2006, Auckland, New Zealand.
Willey, K., et Freeman, M. (2006). Improving teamwork and engagement: the case for self and
peer assessment [En Ligne]. Australasian Journal of Engineering Education, 02. Accès:
http://www.aaee.com.au/journal/2006/willey0106.pdf.
Worcester Polytechnic Institute (WPI) (2011). Teamwork and teamwork assessment [En ligne].
Accès: http://www.wpi.edu/Images/CMS/IQP/teamworkandteamworkassessment.doc.
Zaccaro, S. J., Mumford, M. D., Conelly, M. S., Marks, M. A., et Gilbert, J. A. (2000).
Assessment of leader problem-solving capabilities. Leadership Quaterly, 11 (1), 37-64.
Thesis
Full-text available
La problématique de l’évaluation des équipes dans le domaine de l’éducation a été, jusqu’à maintenant, partiellement résolue. Beaucoup de recherches ont été faites dans ce champ d’études en ce qui concerne l’évaluation des équipes à un seul niveau de hiérarchisation dans les cas où un membre d’équipe évalue son chef d’équipe, et, inversement, lorsqu’un chef d’équipe évalue les membres de son équipe. Cependant, l’évaluation des équipes dans ce contexte ne prend pas en considération le cas de l’évaluation des équipes à plusieurs niveaux de hiérarchisation contrairement au domaine de la gestion, où l’on résout ce problème grâce aux systèmes de gestion et aux systèmes d’information qui évaluent des équipes à structure arborescente. Cette thèse veut résoudre cette problématique et proposer des méthodes d’évaluation des équipes à plusieurs niveaux de hiérarchisation en plus de réaliser une application informatique accessible par Internet, application qui implanterait ce processus d’évaluation dans le domaine de l’éducation. L’actuel projet doctoral propose donc une solution pour permettre l’évaluation des équipes à plusieurs niveaux de hiérarchisation dans le domaine de l’éducation. Généralement, lorsqu’un enseignant évalue le travail de plusieurs étudiants, l’évaluation est la même pour tous. Cela permet à l’enseignant de porter un jugement sur l’atteinte des objectifs d’apprentissage par les étudiants ainsi que de classer ceux-ci selon les résultats obtenus. Cependant, dans certains cas, il se peut que des cours, des examens ou des tâches d’évaluation complexes puissent être exécutés en équipe et que ces équipes puissent compter plusieurs niveaux de hiérarchisation. Dans ce cas, l’objet d’évaluation n’est plus forcément le même pour tous les étudiants et peut ainsi varier en fonction de leur position hiérarchique au sein de l’équipe. Certains étudiants seront simplement membres d’une équipe, tandis que d’autres seront chefs d’équipe ou même administrateurs de groupe. De plus, dans un but pédagogique, les équipes peuvent être formées ou reconfigurées durant un même semestre afin que leurs membres puissent occuper différentes positions hiérarchiques au cours d’une même tâche d’évaluation. Ce projet de recherche s’intéresse particulièrement à de telles situations d’évaluation. Cette recherche porte plus spécifiquement sur le développement et la mise en œuvre d’une application Internet pour l’implantation d’un processus d’évaluation hiérarchique des apprentissages. L’application comporte des grilles d'évaluation dont les critères varient en fonction de la position hiérarchique des membres d'une équipe. Pour ce faire, l'application développée doit comprendre des processus d’agrégation qui permettent la formation et la dissolution des équipes à plusieurs niveaux de hiérarchisation, des processus d’évaluation formative et sommative qui varient en fonction de la position hiérarchique des membres de l’équipe ainsi que des fonctionnalités de présentation de tâches d’évaluation complexes à plusieurs niveaux de hiérarchisation. À la suite des considérations en lien avec le cadre théorique, il est apparu nécessaire de proposer deux objectifs spécifiques, soit (1) le développement d’une application informatique répondant à la liste des critères définissant l’évaluation hiérarchique ainsi que (2) la mise à l’essai de l’application afin de vérifier ses fonctionnalités et la satisfaction des utilisateurs en ce qui concerne son utilisation. L’application Cluster a ensuite été développée en langage PHP par le centre Cdame; elle est supportée par une base de données MySQL selon une méthodologie de recherche-développement. La première mise à l’essai fonctionnelle a été effectuée par les chercheurs du Centre Cdame. Durant cette étape, les chercheurs ont testé le bon fonctionnement du logiciel, le processus d’agrégation, les grilles d’évaluation ainsi que la présentation de tâches d’évaluation d’équipes à plusieurs niveaux de hiérarchisation. Le fonctionnement de l’application et les fonctionnalités de l’interface utilisateur ont été testés lors des itérations subséquentes. La deuxième mise à l’essai fonctionnelle a été effectuée par des chercheurs du Cdame ainsi que par d’autres professeurs et étudiants de l’UQÀM. Cette deuxième mise à l’essai fonctionnelle avait pour but de tester l’application en laboratoire informatique par la présentation d’une tâche d’évaluation complexe pour des équipes à plusieurs niveaux de hiérarchisation dans laquelle les chercheurs jouaient le rôle de membres d’une équipe et occupaient différentes positions hiérarchiques. L’application a ensuite fait l’objet de deux mises à l’essai empiriques. La première a été effectuée dans le cadre d’un stage en éducation et a donné lieu à plusieurs modifications de l’application. La seconde s’est déroulée au sein de l’organisation des Cadets de l’armée dans le cadre de l’entraînement sur la cartographie. Les mises à l’essai de l’application auprès d’experts, d’enseignants et d’élèves ont permis d’observer que l’application Cluster permet effectivement de gérer le travail en équipe. Cela dit, le développement lié à l’évaluation en fonction de la position hiérarchique exigera malheureusement une nouvelle mise à l’essai auprès d’autres élèves dans le futur afin de vérifier s’ils réussissent à utiliser le processus d’évaluation hiérarchique des apprentissages et à tirer profit de toutes ses possibilités. Il a aussi été observé que certains utilisateurs ont eu de la difficulté à utiliser l’application et à en comprendre le fonctionnement. L’une des phases de mise à l’essai a permis d’observer que le curriculum des stages en enseignement n’était pas suffisamment adapté pour y inclure l’utilisation de l’application Cluster. De plus, le temps que les utilisateurs ont consacré à se familiariser avec le fonctionnement de l’application a été jugé trop important dans le cas des expérimentations avec les étudiants du secondaire ainsi qu’avec les Cadets de l’armée. Des améliorations seront à apporter pour usage futur, principalement en ce qui concerne les normes XML, SCORM et IMS QTI. Dans le même esprit, il serait pertinent de penser à développer un module compatible avec Moodle de façon à ce que l’application soit facilement utilisable dans l’environnement qui a déjà été adopté par plusieurs institutions de formation. Enfin, des contraintes autant en ce qui concerne les programmes de formation que les pratiques pédagogiques actuelles font en sorte que la mise en œuvre d’un processus d’évaluation des apprentissages hiérarchiques est assez difficile. Éventuellement, il faudrait associer l’expérimentation d’un processus d’évaluation des apprentissages hiérarchiques à une scénarisation pédagogique appropriée. Cette dernière pourrait d’ailleurs faire l’objet d’un projet de recherche en soi. Mots-clefs : apprentissage à distance, évaluation à distance, E-Learning, E-Assessment, évaluation des équipes, évaluation agrégée, Évaluation hiérarchique des apprentissages, intégration des TIC dans l’enseignement, enseignement assisté par ordinateur (EAO)
Article
Full-text available
To be successful in today's workplace, engineering and computer science students must possess high levels of teamwork skills. Unfortunately, most engineering programs provide little or no specific instruction in this area. This paper outlines an assessment-driven approach toward teaching teamwork skills. Working with the Industrial Advisory Board for the College, a set of performance criteria for teamwork was developed. This set of criteria was used to build an assessment instrument to measure the extent to which students are able to achieve the necessary skills. This set of criteria provides a clear basis for the development of an approach toward teaching teamwork skills. Furthermore, the results from the assessment can be used to adjust the teaching techniques to address the particular skills where students show some weaknesses. Although this effort is in the early stages, the approach seems promising and will be improved over time.
Chapter
Full-text available
The field of instructional technology has traditionally involved a unique blend of theory and practice. This blend is most obvious in developmental research, which involves the production of knowledge with the ultimate aim of improving the processes of instructional design, development, and evaluation. It is based on either situation-specific problem solving or generalized inquiry procedures. Developmental research, as opposed to simple instructional development, has been defined as" the systematic study of designing . . .
Article
Full-text available
Australian universities commonly cite "teamwork" as a graduate attribute and an integral part of their set of flexible and transferable skills suitable for different types of employment. This paper raises concerns as to whether teamwork as experienced in the university education system can claim to achieve the imparting of team skills. Pedagogically, learning through team work may be a useful educational tool however when the concept of 'teamwork' is explored a number of inconsistencies arise in the tertiary environment. The outcomes derived from team work do not generally satisfy the criteria for effective and efficient teamwork. However, it is suggested that to utilise teamwork as a learning tool for a graduate attribute the assessment criteria should take into consideration how the team worked together--the team dynamics.<br /
Conference Paper
Full-text available
A large body of research in mechanics indicates that interactive engagement teaching methods usually have higher chances of influencing students' conceptions than direct instruction. A few researchers specifically studied the impact of videogames on Newtonian Physics instruction through empirical means, with some limited success. Mecanika is a free online game that sets itself apart from previous work by simply offering puzzling physics situations, without attempting to explain the theory in the game. Students who used the game as homework, facilitated with classroom debriefings and guidebooks, wielded significantly higher gain than a control group on the standard Force Concept Inventory test. Students who only played as homework registered a similar gain, even though Mecanika was never mentioned the classroom. This gain was unexpected, since the game does not make any physics concept explicit, and was designed to be integrated in a classroom setting.
Article
Full-text available
This paper describes a Web server implementation of the hierarchical aggregate assessment process in the field of education. This process describes itself as a field of teamwork assessment where teams can have multiple levels of hierarchy and supervision. This process is applied everywhere and is part of the management, education, assessment and computer science fields. The E-Assessment website named “Cluster” records in its database the students, the course material, the teams and the hierarchical relationships between the students. For the present research, the hierarchical relationships are team member, team leader and group administrator appointments. The group administrators have the responsibility to supervise team leaders. The experimentation of the application has been performed by high school students in geology courses and Canadian army cadets for navigation patrols in teams. This research extends the work of Nance that uses a hierarchical aggregation process similar as the one implemented in the “Cluster” application.
Article
Full-text available
There is a reported competency gap between the teamwork skills required by employers and those developed by engineering students during their undergraduate courses. While project-based learning increases the opportunities for team interaction, it does not necessarily produce the skills required to function effectively in a team. Students also report negative perceptions of project-based learning due to problems with free-riding team members. Appropriately supported assessment and practice activities must be included to motivate students to learn and develop these skills. We report the impact of introducing instruction (lectures), practice (team project) and more importantly assessment (rewarding individual contributions) to develop team skills. Oral team presentations have an individual component and the team mark for written reports is adjusted for individual contributions using self and peer assessment. A confidential online tool is used to collect and collate the student self and peer assessment ratings used both for formative feedback and improvement as well assessment purposes. The online collection of assessment ratings and their automated conversion to two assessment factors significantly reduced the administrative burden of using self and peer assessment with large classes. We found the method reported here improved student teamwork, engagement and satisfaction. In addition, it facilitated students supporting each other to develop their teamwork skills in an engineering context while requiring only a small commitment of academic resources.
Conference Paper
Full-text available
2013). Le développement d'une application Internet d'évaluation hiérarchique des apprentissages (évaluation agrégée) selon une méthodologie de recherche développement (R & D). Association Francophone Internationale de Recherche Scientifique en éducation (AFIRSE). Résumé : Ce projet doctoral veut étudier les impacts de l'informatisation de l'évaluation hiérarchique des apprentissages (évaluation agrégée). L'évaluation hiérarchique des apprentissages est un domaine de l'évaluation des équipes (teamwork assessment) où les équipes ont plusieurs niveaux de supervision dans le sens où les chefs d'équipe (qui peuvent être des étudiants) sont évalués par un ou plusieurs gestionnaires d'équipe (qui peuvent être d'autres étudiants ou des enseignants) selon une hiérarchie arborescente. Bien que ce processus d'évaluation puisse s'exécuter manuellement, ce projet doctoral veut l'informatiser et enregistrer dans une base de données la structure arborescente des membres d'équipes des chefs d'équipe et des gestionnaires d'équipe. Dans le cadre de ce projet doctoral, le Cdame (Collectif pour le développement et les applications en mesure et évaluation) supervisé par le professeur Gilles Raîche a développé une application informatique résidant sur l'Internet dénommée Cluster selon une méthodologie de recherche développement (R & D). Cette application est capable de gérer des participants à une tâche d'évaluation ainsi que de leur assigner des fonctions de membre d'équipe, de chef d'équipe ou de gestionnaire d'équipe (superviseur de chefs d'équipe). L'application permet également la gestion du matériel de cours. Le premier objectif du projet doctoral est de définir l'évaluation par arbre hiérarchique comme étant un sous-domaine de l'évaluation des équipes. Le second objectif est de développer un produit pédagogique qui est une application informatique résidant sur l'Internet capable d'implanter ce mode d'évaluation. Le troisième objectif de la recherche sera de faire une mise à l'essai fonctionnelle de cette application sur des sujets d'expérimentation qui auront à réaliser des tâches d'évaluation complexes. Ces sujets seront formés en équipes qui vont posséder une structure hiérarchique à plusieurs niveaux de supervision. L'idée de développement qui constitue également l'hypothèse de recherche est que l'évaluation des organisations ou des équipes qui ont plusieurs niveau de hiérarchie peut être longue et fastidieuse lorsqu'exécutée manuellement. Le développement d'un logiciel qui pourrait enregistrer toutes les évaluations formatives et sommatives de tous les niveaux de l'organisation devrait permettre aux dirigeants de l'organisation d'avoir une vue plus précise de l'évaluation de leurs subordonnés. Une expérimentation de l'application est présentement en cours et les sujets d'expérimentation sont des adolescents de 12 à 15 ans qui font partie de l'organisation des cadets de l'Armée canadienne de l'unité régionale de soutien aux cadets (Est) [URSC (Est)]. Mots clés : évaluation agrégée – évaluation hiérarchique des apprentissages1-logiciel d'évaluation des apprentissages sur l'Internet.
Article
Performance measurement research has characteristically focused on the performance of individuals and has not addressed the measurement of teamwork skills. Dyer Suggested that this lack of teamwork measures presents serious problems for conducting team-oriented research because research efforts are often judged by the quality of the measurement device employed. In an effort to assess and advance the science of measuring teamwork, the current review examines the measurement of teamwork skills on theoretical, methodological, and psychometric grounds. Furthermore, we present a series of general principles to guide research in the future. Although some progress has been made, there is still much to be learned about the measurement of teamwork.