Métricas para medir la eficacia de la enseñanza orientada a la comprensión: cómo comprobar que los modelos de enseñanza aprendizaje activos y flipped obtienen más aprendizaje que los tradicionales

¿Cómo sabemos que un alumno aprende algo en una asignatura?
 Lo primero que habrá que hacer para responder a esta cuestión con evidencias del aprendizaje que se ha producido es averiguar de donde partía ese alumno antes de empezar la asignatura y después medir hasta donde ha llegado tras la formación para así poder hallar la diferencia entre el valor de partida y el valor de llegada. Esta medida la podemos realizar para conocer los conocimientos que el alumno recuerda ahora y antes ignoraba, ¿Pero cómo podemos medir si un alumno comprende o no comprende algo? Una manera será pedirle que nos explique en sus propias palabras que es lo que ha comprendido (comprensión declarativa).

Sin embargo, John Biggs distingue distintos niveles de comprensión  además de la comprensión declarativa, la comprensión funcional (comprender para que sirve), la comprensión condicional (comprender cuando hay que hacer cada cosa) y la comprensión procedimental (comprender como hay que hacer algo). Estos distintos tipos de comprensión deben evaluarse de manera distinta.
Otros autores como Wiggins y McThigue hablan de la comprensión transferible a nuevos contextos que es similar al nivel de comprensión abstracto-extendido de la taxonomía  de estructura de la comprensión de John Biggs (¿Esta alineado tu sistema de evaluación?).

Otra manera de evaluar si el alumno comprende puede ser pedirle que demuestre su competencia para aplicar su comprensión a la interpretación, predicción y resolución de distintas situaciones. Esto precisamente es lo que hacen las preguntas conceptuales (concept tests) pedir al alumno que aplique su comprensión de un concepto o principio para saber que ocurrirá en una situación. Por ejemplo Eric Mazur en el peer instruction usa concepts tests para saber si los alumnos comprenden las leyes de la física y saben aplicarlas para predecir lo que ocurrirá en situaciones hipotéticas. En este vídeo Eric Mazur nos comenta como llegó a desarrollar este método.

¿Cómo podemos medir el nivel de comprensión de los conceptos importantes en nuestra asignatura? 

Deberemos primero crear un inventario conceptual que es una colección selección  de aquellos conceptos esenciales que deben ser comprendidos en una asignatura. Los primeros inventarios conceptuales se hicieron para cursos introductorios de física a nivel universitario y han tenido un enorme impacto en la literatura sobre la medición estandarizada de mejoras de resultados de aprendizaje  logradas mediante me´todos innovadores como el aprendizaje activo. El Force concept inventory de David Hestenes ha sido citado en 2.932 publicaciones según Google Scholar (eso si que es factor de impacto del de verdad y no el factor medio de la mediocres revistas en las que aceptan nuestros artículos científicos).

 Si tu no enseñas física y enseñas otra materia puedes fabricar tu propio inventario de conceptos esenciales escribiendo una lista  de los 15-25 conceptos esenciales en tu asignatura. Una vez que tienes esa lista puedes hacer una prueba de unas 20-30 preguntas que mida el nivel de partida de tus alumnos en la comprensión de esos conceptos que consideras los más importantes en tu materia.

Si aplicas esa prueba a tus alumnos al inicio de tu asignatura y vuelves aplicarla por sorpresa (la sorpresa es esencial para que la medida sea válida) al final de la misma  tras el periodo de instrucción podrás obtener una medida de la la ganancia de aprendizaje en comprensión de cada alumno y obtener también la ganancia media obtenida por los alumnos de una clase. Por tanto la ganancia de comprensión es el resultado de hallar la diferencia ente el nivel de comprensión inicial y el logrado tras el periodo formativo de la asignatura o intervención educativa.

Para medir esta  la ganancia de comprensión necesitamos un cuestionario compuesto por preguntas que diferencian a los alumnos que comprenden un concepto y son capaces de aplicarlo correctamente a una situación y diferenciarlos de los que no son capaces de hacerlo correctamente.

Podemos empezar haciendo cuestionarios de preguntas abiertas en las que cada alumno escriba su respuesta, pero tras analizar las respuestas más frecuentes podemos transformar las preguntas de nuestro cuestionarios en preguntas de elección entre múltiples  respuestas este formato de recolección de respuestas nos permitirá que los alumnos puedan responderlo en menos tiempo y automatizar la corrección y el proceso de las respuestas de nuestros alumnos.
En esta presentación se explica cómo podemos elaborar preguntas conceptuales (concept tests)
de elección entre múltiples opciones

¿Cómo hacer concept tests, preguntas que evalúan comprensión conceptual, no lo aprendido de memoria? from Alfredo Martín

Los estudios de comparación de ganancias de aprendizaje entre metodologías activas y tradicionales muestran que los métodos de aprendizaje activo doblan las ganancias que se obtienen mediante metodologías explicativas tradicionales.

Cuando Mazur cambió desde un modelo de transmisión tradicional a un modelo de aprendizaje inverso como el peer instruction las ganancias de aprendizaje de su alumnos se duplicaron e incluso llegaron a triplicarse.

La investigación sobre los factores que afectan a las ganancias de aprendizaje ha demostrado que los factores que predicen mejor las ganancias de aprendizaje son :

1. La implicación de los alumnos
2. El contacto entre profesores y alumnos
3. El trabajo en equipos cooperativos colaborativos
4. El feedback rápido y de calidad
5. El tiempo de trabajo de los alumnos tanto en clase como fuera de ella 
6. Las expectaciones de aprendizaje claras y elevadas
7. La inducción en los alumnos de la adopción de un abordaje de aprendizaje en profundidad

Las prácticas pedagógicas eficaces que producen mejores ganancias de aprendizaje que la metodología tradicional logran mejoras significativas en algunos de estos factores.

 El asunto de que cambios tienen los mayores impactos sobre el aprendizaje universitario ha sido estudiado por Astin. Este es el pódium que representa  los cambios que  logran mejorar más los resultados de aprendizaje.

Con la implantación del EEES se han reorganizado currículos y con la crisis se han acometido cambios organizativos destinados a economizar los medios más que a mejorar los resultados de aprendizaje en nuestras universidades. Sin embargo, no se han acometido los cambios que más impacto potencial podrían tener sobre  la mejora del aprendizaje de nuestros alumnos: esto es producir cambios en nuestros alumnos y sus hábitos de estudio y cambiar los hábitos anticuados y desfasados de los que enseñan y modernizar lo que hacen para enseñar.

El modo más eficaz de cambiar los hábitos de estudio de nuestros alumnos es cambiar el modelo de aprendizaje tradicional que consume la mayor parte de tiempo de clase para transmitir la información a aprender y deja al alumno que la asimile por sus medios. Este modelo desfasado debe ser sustituido por otro modelo de aprendizaje inverso en el que aprovechemos las tecnologías disponibles para que la primera transmisión de información se realice vía on line. Este cambio nos proporcionará  a cambio mucho tiempo de clase para que los alumnos asimilen ese contenido en profundidad, siendo protagonistas, trabajando en equipo, implicándose en la aplicación y la práctica de ese conocimiento.

Este cambio en métodos de enseñanza deberá de ser acompañado por un cambio en la evaluación que en lugar de centrarse en el contenido memorizado deberá ampliarse para valorar el nivel de comprensión de los conceptos esenciales y la capacidad para aplicarlos y transferirlos a nuevas situaciones. 

El método más eficaz para cambiar los hábitos de los profesores es proporcionarles formación docente y oportunidades de desarrollo profesional en equipo.   Los profesores necesitan formación en métodos educativos innovadores y en como usar las tecnología para desarrollar una enseñanza blended que combine el uso de tecnologías on line con el mejor aprovechamiento posible del tiempo de clase (enfocado en las dificultades y dudas de sus alumnos) y con la inducción de estudio autónomo preparatorio por parte de nuestros alumnos en el tiempo de fuera de clase.

Si hacemos que nuestros alumnos piensen en clase (en lugar de aburrirse o tomar notas) y usen su tiempo no presencial para prepararse para las clases en las que ejercitarán competencias es seguro que su educación universitaria les ayudará a desarrollarse mucho más y a prepararse mucho mejor para su futuro en el mundo líquido e impredecible del siglo XXI. Lamentablemente parece que quienes dirigen las universidades españolas no son capaces de darse cuenta de estos hechos en los que deberían basar la renovación de la enseñanza universitaria.