Licencia de Creative Commons
blog profesor 3.0 by Alfredo Prieto Martín is licensed under a Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional License.

Sígueme en twitter

martes, 30 de mayo de 2017

Consejos prácticos sobre cómo implementar el flipped classroom


 El proceso de implementación de un nuevo modelo de aprendizaje requiere superar obstáculos y desarrollar habilidades. La preparación para el proceso de implementación debe permitir que el profesor pueda anticipar los obstáculos y ejercitar las habilidades que más necesitará para instaurar una sistema de aprendizaje inverso. Para comprender la  serie de habilidades que el profesor necesitará experimentar y desarrollar para implantar un modelo de enseñanza inversa es conveniente que los profesores candidatos a implementar el flipped exploren los siguientes recursos: 

  1. Consiguiendo el apoyo de los actores (padres, administradores y alumnos)
  2. Superando obstáculos en la implementación del  flipped classroom
  3. Herramientas tecnológicas para la Flipped classroom
El flipped tiene un gran impacto sobre el proceso de enseñanza –aprendizaje y sobre la mejora de los resultados de aprendizaje. En primer lugar la implementación del flipped classroom cambia el status quo de las actividades de enseñanza aprendizaje y evaluación
       Recursos a explorar:
  1. Flipped classroom por Aaron Sams
  2.  Repensando el  uso del tiempo y el espacio en la enseñanza inversa 
  3.  La evaluación formativa en la enseñanza inversa
¿Qué os podemos garantizar si aplicáis las metodologías propuestas para invertir vuestras asignaturas?

Debéis hacer caso a nuestros consejos y motivar a vuestros alumnos para que se tomen en serio el estudio previo de los temas. Ahí van unas cuantas ideas para lograrlo.
Figura 4. Estrategias para motivar a los alumnos a estudiar antes del inicio de los temas.

Gracias al modelo de enseñanza inversa lograréis que vuestros  alumnos estudien antes de las clases y se impliquen y participen más en las actividades de clase. A consecuencia de estos cambios en sus hábitos de estudio e implicación en clase aprenderán mucho más y os lo demostrarán en los exámenes sacando unas notas que mejorarán en una desviación estándar las que ahora obtenéis. 

Os sugerimos que para comprobarlo mantengáis en el primer año de enseñanza flipped la tipología y nivel de dificultad de las pruebas de evaluación (ya habrá tiempo para cambiar y optimizar los métodos de evaluación en años sucesivos) y así podáis obtener evidencias de las diferencias en los resultados de aprendizaje. Nuestra predicción basada en la experiencia de muchos profesores es que notaréis una gran diferencia con los resultados que obteníais mediante metodología tradicional.
Figura 5. Mejoras en el aprendizaje con metodologías flipped y flipped forte 

Por otro lado también es cierto que estas metodologías dan  más trabajo al profesor (especialmente en los primeros años del proceso de cambio) y sobre todo dan más trabajo a los alumnos (por eso producen mucho más aprendizaje). Sin embargo, la mejora en resultados de aprendizaje es tan impresionante que un profesor comprometido con el aprendizaje de sus alumnos  no dudará que el trabajo extra que el mismo ha realizado merece la pena.
Esperamos ganar vuestro compromiso para hacer este cambio pese a ser conscientes de que inicialmente conlleva un aumento de coste de trabajo del profesor en la preparación de materiales instructivos, análisis de las respuestas de los alumnos y alteración de los planes de clase. Una buena noticia es que ese aumento es en buena parte transitorio y tras el primer año de implementación aprovecharemos el trabajo realizado en los cursos anteriores y nuestra carga de trabajo se reducirá. Os aconsejaremos sobre como optimizar los  métodos y os contaremos los trucos  para rentabilizar vuestros esfuerzos al máximo. Trucos que me han funcionado a mí y a otros profesores a los que he asesorado en su proceso de implementación del modelo flipped.

La carga de trabajo para el profesor

El primer año que montas la asignatura da más trabajo. Luego puedes reutilizar lo que hiciste el primer año, recursos educativos curados, vídeos, hipertextos, cuestionarios, ideas de actividades para hacer en clase, etc. Esto te permitirá repetir el enfoque flippped con mucho menos esfuerzo que en el primer año y ahorrarás tanto  tiempo que tendrás tiempo hasta para contestar a las preguntas urgentes de cada uno de tus alumnos o alternativamente a clasificarlas en preguntas que pueden responder otros alumnos compañeros de los que las plantean, preguntas que tu debes responder y preguntas que ponen en evidencia conceptos erróneos (flipped learning forte). Si escoges la herramienta apropiada para comprobar el estudio y trabajo previo de tus alumnos y usas Google Forms de Google Drive, el análisis de respuestas será como coser y cantar.
En el primer año de implementación haces acopio de materiales instructivos (documentos, infografías y vídeos) generas los mensajes hipertextuales y los cuestionarios de comprobación, replanteas las clases a partir de las dudas y dificultades mas frecuentes. Los siguientes años reutilizarás muchos de los materiales preparados y entonces el principal trabajo que te dará la metodología el flipped será el de revisar sus respuestas y esto depende de cuantos alumnos tengas y de cómo abordes el mecanismo de comprobación del trabajo previo y su revisión. Lo mínimo es hacer una revisión de la prevalencia de dudas y de los aspectos más novedosos e interesantes para ellos. Esto lo puedes hacer en una hora (por tema).

Figura  1. Respuestas a preguntas urgentes
El segundo año puedes ponerte como meta el responderles a sus dudas urgentes por escrito Para responder sus preguntas urgentes de manera breve yo respondo (telegráficamente) las preguntas 40 alumnos en una hora (flipped forte).

¿Cómo hacerlo en la práctica?
Para responder a sus dudas urgentes transferimos los datos a Word de la columna de la pregunta ¿Qué pregunta te gustaría que te respondiésemos antes de la primera clase? Respondemos en una lista a todas las dudas urgentes de nuestros alumnos .

Enviamos esta lista con las respuestas a las dudas a la lista de e-mail que incluye todos nuestros alumnos y les decimos que se las estudien pues son preguntas muy buenas para el examen.
Este sencillo proceso de responder a las dudas urgentes nos ha permitido mejorar las calificaciones de los alumnos en los exámenes de evaluación del aprendizaje. También ha mejorado las valoraciones de los alumnos en los cuestionarios de opinión sobre la docencia. También ha facilitado que los profesores analicemos información sobre las dificultades de comprensión de nuestros alumnos

Flip in Colors


Otra opción de trabajo con las preguntas urgentes es clasificarlas en varios tipos. Yo marco en negrita las que debe responder el profesor, en verde las que pueden responder los compañeros con un grado más avanzado de comprensións y en rojo las que ponen en evidencia confusiones y conceptos erróneos que deben ser señalados y esclarecidos. En los últimos tiempos marco en azul las que pueden inspirar buenas preguntas de examen y se lo digo a ellos. También marco en naranja las preguntas que pueden servir para iniciar discusiones en clase o en el foro de la asignatura.  
Figura 2 Cómo se trabaja con las preguntas urgentes de los alumnos en el Flip in colors

Bonificación
Transcribir la lista de los alumnos que realizaron el estudio previo y las tareas de comprobación del mismo para asignarles la bonificación en la calificación de la asignatura te llevará 5 minutos (o menos) por tema. 

 Las actividades que hagas en clase, pueden corregirse en la misma clase por lo que no tienen carga adicional de trabajo para el profesor. Si los temas son bisemanales te sale a 1 h extra de trabajo /semana y asignatura. Si hay nuevo tema cada semana te salen 2h por semana por asignatura.

Yo con mis alumnos universitarios empecé con temas bisemanales y luego los acorté para que la dinámica de estudio pasase a ser semanal (para así hacer trabajar más a mis alumnos). En los primeros años tampoco contesté por escrito a las dudas urgentes de mis alumnos.En los siguientes años ya si disponíamos de la experiencia y el tiempo necesarios para hacerlo:En el momento en el que empezamos a hacerlo notamos una mejora adicional considerable con respecto al flipped learning  original. 

La carga de trabajo para los alumnos

El principal aumento en carga de trabajo que acarrea una metodología flipped bien implementada en enseñanza universitaria es para los alumnos (como debe ser pues el aprendizaje de cada alumno depende de lo que ese alumno trabaje para aprender). Tratandose de alumnos universitarios, este aumento en el tiempo dedicado al estudio no les viene nada mal, pues así es como el trabajo no presencial del alumno de cada crédito ECTS deja de ser una ficción institucional sobredimensionada y se convierte en una realidad que produce más y mejor aprendizaje.
Figura 4. Tiempo de trabajo del alumno en licenciaturas y grados. Impacto de las metodologías inversas e inductivas


En la figura 4 se puede observar que a menos que les demos cosas de hacer a nuestros alumnos los créditos ECTS serán de pega, pues los alumnos no realizarán el trabajo no presencial necesario para que el aprendizaje se produzca y se afiance.

Figura 5. Trabajo medio y total de los alumnos de una clase en la preparación de un tema.
En nuestra experiencia  la carga de trabajo para los alumnos. depende sobre todo de la longitud de los temas, la presencia de materiales complementarios como vídeos y documentos a estudiar así como de la intensidad de los ejercicios de comprobación. 

En la figura 5 el tiempo medio de trabajo para estudiar materiales ver vídeos y realizar las tareas de comprobación del estudio previo. Cada alumno dedicó dos horas y media al estudio de este tema. Los 77 alumnos que realizaron las tareas encomendadas (91% de los matriculados) trabajaron un total de 196 horas sumando el tiempo de trabajo dedicado por cada alumno. Este volumen de trabajo puede inducirse con cada nuevo tema con una cadencia semanal o bisemanal. 
  
 Si los temas son más largos pero menos frecuentes al final nuestros alumnos dedicarán al estudio previo bisemanal unas 14-18/cuatrimestre y asignatura. Si hacemos los temas más cortos de duración la carga de trabajo puede aumentar a 28-36/cuatrimestre y asignatura. Si les hacemos trabajar un poco más en cada tema con temas de frecuencia semanal acompañados de vídeos, transcripciones audio y ejercicios podemos lograr que nuestro alumno medio dedique hasta 35 h/ cuatrimestre y asignatura de seis créditos ECTS (35 h. dedicado al estudio previo de los temas es nuestro propio record olímpico español). 

Esto sin embargo, no supone ninguna sobrecarga pues si los créditos ECTS fuesen "de verdad", nuestros alumnos todavía tendrían que dedicar otras 65 h de trabajo no presencial al estudio de nuestra asignatura. El total de una asignatura de seis créditos son nominalmente 90-100 h de trabajo no presencial (que casi nunca se producen en su totalidad). 
De hecho hasta los mismos alumnos cuando pueden acogerse al anonimato de una encuesta reconocen que esta carga de trabajo debida al estudio previo y las tareas de comprobación es fácilmente sobrellevable. Los estudios de percepción de la carga por los alumnos son claramente favorables al uso de esta metodología.
Figura 6. Estudio de percepciones de los alumnos sobre la metodología flipped (Just in time teaching)
Dos de cada tres de nuestros alumnos consideran que el estudio previo les ayuda a comprender mejor los materiales de la asignatura. Tres de cada cuatro reconocen que seguir este método les ha supuesto aumentar su tiempo de trabajo en la asignatura. Esto será algo negativo desde la perspectiva de aquellos alumnos que sólo quieren aprobar la asignatura con el mínimo esfuerzo. Sin embargo, este aumento de dedicación será valorado muy positivamente por aquellos alumnos que pagan las matrículas de asignaturas para aprender en ellas y no sólo para superarlas. También será valorado muy positivamente por los profesores que son conscientes de que un mayor tiempo de estudio (si esta bien orientado) suele traducirse en mayor y mejor aprendizaje.
 Cinco de cada seis consideran que el que el profesor les resuelva las dudas urgentes les ha ayudado a resolver sus dudas surgidas tras el estudio previo. Mas del 50% por ciento de los alumnos declaran que les gustaría que otras asignaturas incorporasen la metodología flipped y sólo 1 de cada seis se opone a ello. Además la implementación del flipped learning forte mejora  el nivel de satisfacción de los alumnos en las asignaturas que lo implementan
Figura 7. valoraciones de los alumnos de la labor docente en una asignatura bien flippeada. Obsérvese que las puntuaciones obtenidas oscilan entre 8,8 y 9,5 en una escala de valoración sobre un máximo de 10 puntos. 

Profesores vagos y Anecados: Ya no tenéis la excusa de que no podemos implementar el flipped porque los alumnos se quejarán de sus malditos profesores les torturan con estudio y trabajos. La evidencia que hemos recogido en cuestionarios anónimos y encuestas de opinión sobre la docencia demuestran que a más de la mitad de los alumnos les gustaría que el flipped se usara como método de aprendizaje en más asignaturas. 

Es más aunque los más vagos de nuestros alumnos alumnos se quejasen con afirmaciones como: "Este profesor nos obliga a prepararnos para las clases y encima nos hace pensar en clase". ¿Sería ese motivo para dejar de emplear la metodología que les hace aprender más y mejor? Para mí esta claro que no, pienso que para un profesor decente (esa es la cuestión de fondo) ese no debería ser un motivo suficiente para dejar de usar una metodología como es el flipped learning que produce mucho más y mejor aprendizaje . Los profesores debemos aprender a sacar a nuestros alumnos de su cómoda zona de confort y debemos aprender a superar sus resistencias a trabajar más por su aprendizaje. El modelo flipped nos puede ayudar mucho a conseguirlo.

martes, 16 de mayo de 2017

Uso de dispositivos móviles en la evaluación formativa a coste cero en el flipped learning con just in time teaching y evaluación formativa. Socrative para profesores dummies

Hace unos años se desarrrolló en universidades de Estados Unidos lo que allí llamaban el "clickerism". El uso de "clickers" (mandos de respuesta a distancia personales) para realizar evaluación formativa en clase y fomentar las discusiones en clase. Aquí en España, tan retrasados en educación como siempre, este movimiento educativo innovador casi no llego a conocerse. Los clickers eran muy costosos y sólo selectos departamentos podían permitírselos.

Ahora gracias a las posibilidades del BYOD (Bring Your Own Device) la situación ha cambiado radicalmente porque se han desarrollado Apps como Socrative, Kahoot o Quizizz que permiten usar los smartphones de los alumnos como sistemas de respuesta personales con coste cero para la institución (salvo tener Acceso wifi a Internet en las aulas). Ahora incluso disponemos de otra App denominada Plickers con la que los alumnos contestan con cartulinas que se escanean con la cámara del movil de  profesor.

Con el software Socrative, los dispositivos móviles (smartphones, tablets y portátiles) de nuestros alumnos se convierten en SRP (sistemas de repuesta personal)  con los que podemos conectar con nuestros alumnos y plantearles preguntas o pedirles a ellos que nos las hagan. De esta manera podremos visualizar la comprensión de nuestros alumnos en el aula, identificar conceptos erróneos y aclararlos. Socrative es una herramienta muy fácil de usar para construir evaluaciones formativas y ver sus resultados en tiempo real y así fomentar las discusiones en clase y poder ayudar a nuestros alumnos a aprender.

El uso de dispositivos móviles para el fomento de la evaluación formativa y la discusión en el aula maridan muy bien con las tecnologías de flipped classroom o clase invertida en las que los alumnos se preparan antes de clase para  así poder realizar actividades  de profundización de la comprensión y consolidación de la memoria en clase. La investigación sobre el aprendizaje ha demostrado que estas experiencias de evaluación formativas  y discusión aumentan la comprensión y la retención  de la información aprendida.


En 2011 Karpicke y cols. publicaron en la revista Science que el 84% de los alumnos obtuvieron mejores resultados en la evaluación cuando hicieron practicas de recuperación de información (retrieval) previamente estudiada que cuando la práctica había consistido en elaboración conceptual mediante mapas conceptuales. Esta diferencia a favor del estudio por medio de recuperación se produjo incluso cuando los exámenes de evaluación consistían en la elaboración de mapas conceptuales (¡!).


Los resultados en los exámenes son mucho mejores con ejercicios de recuperación de información como los de la evaluación formativa 

















Curiosamente este patrón de obtención de mejores resultados por medio de ejercicios de recuperación de información se produce incluso cuando  en encuestas sobre la percepción  metacognitiva, hasta un 75 % de los alumnos creían que obtendrían mejores resultados si estudiasen mediante práctica elaborativa con mapas conceptuales que si estudiaran mediante la recuperación de información previamente estudiada. La realidad que los datos ofrecían era otra bien distinta: la recuperación de información previamente estudiada tiene un efecto muy positivo en su posterior retención a largo plazo. Por tanto, Karpicke y cols. concluyen que la práctica mediante recuperación optimiza el aprendizaje incluso cuando el propio estudiante no espera que sea eso lo que ocurra.

La práctica mediante recuperación no sólo mejora los resultados cuando la evaluación es con preguntas factuales, sino también cuando son cuestiones en las que los alumnos deben realizar inferencias y eso pese a que la predicción basada en la reflexión metacognitiva de los propios alumnos era que esperaban conseguir mejores resultados con el estudio repetido y con la elaboración de mapas conceptuales que con la práctica de la recuperación.


Es más, la evaluación formativa no solo tiene efectos muy positivos en la retención a largo plazo sino que también estimula el estudio de manera muy eficaz. En nuestra experiencia con alumnos universitarios utilizamos un modelo de flipped learning (aprendizaje inverso por fomento del estudio previo a las clases). El método que empleamos se denomina just in time teaching enseñanza justo a tiempo y ha sido empleado con resultados excelentes desde los años 90 en  Academias militares y Universidades de Estados Unidos. Esta metodología comprueba el estudio previo de los temas antes de que se traten en clase mediante un cuestionario on line de preguntas abiertas.



Las respuestas de los alumnos transmiten al profesor  sus reacciones, intereses, dudas y dificultades tras el estudio de los materiales. El profesor utiliza esta información para replantear las interacciones presenciales en el aula y a enfocar las actividades de clase hacia la resolución de aquellos aspectos más oscuros que los alumnos no logran comprender. El profesor puede contestar algunas de las dudas urgentes de sus alumnos, pedir a unos alumnos que respondan las de otros, o usar estas dudas para plantear discusiones en clase o en el foro de la asignatura. Las dudas urgentes también pueden servir para inspirar preguntas de examen y es bueno que se lo digamos a los alumnos para que se las tomen más en serio y se las estudien.

 Llevamos cinco años utilizando el método flipped classroom con enseñanza a tiempo o just in time teaching con nuestros alumnos universitarios en un total de seis asignaturas de tres facultades de la Universidad de Alcalá con resultados excelentes en todas ellas. En los dos ultimos curso hemos elaborado variantes mejoradas de la técnica que nos ha permitido mejorar todavía más los resultados de aprendizaje. Hemos denominado a una de estas variantes flipped learning forte porque fortalece la combinación del estudio previo y la respuesta a las dudas urgentes por parte del profesor con una serie de momentos en los que los alumnos son sometidos a evaluación formativa en la que deben recuperar la información previamente estudiada para responder a cuestiones  y discutir con sus compañeros la justificación de sus respuestas.

 En estas evaluaciones formativas utilizamos dos herramientas tecnológicas una es Google Drive para la realización de cuestionarios de comprobación del estudio previo y la otra es la aplicación Socrative con la que nuestros alumnos pueden responden a nuestras preguntas en clases.

Los cuestionarios en Google Drive, los Google forms nos permiten trabajar con las respuestas de nuestros alumnos en un entorno de matriz de hoja de datos en la que las respuestas de cada alumno nos aparecen en una fila de una hoja de datos de esta manera podemos copiar o exportar las respuestas de toda la clase a un libro de Excel en el que podemos trabajar con ellas para replantear nuestras clases y enfocarlas en que los aspectos en los que nuestros alumnos tienen más dificultades.




Podemos coger la columna de preguntas urgentes de nuestros alumnos responder a cada una de ellas y enviar la tabla de preguntas y respuestas a todos nuestros alumnos.

En las clases celebramos sesiones en las que los alumnos primero responden individualmente y por  escrito a cuestionarios de 8-10 preguntas de elección múltiple. Después les pedimos que las discutan en equipo lleguen a respuestas de consenso y vuelvan a responder a la misma serie de preguntas pero esta vez cada equipo contesta por medio del smartphone de uno de sus miembros utilizando la App Socrative.  Socrative es sencillo de utilizar y gratuito. Funciona con dispositivos propiedad de los alumnos (Bring Your Own Device).  Por ello, para usarlo sólo requerimos de nuestra voluntad para aprender a usarlo y como ya he dicho su uso es muy sencillo, si has empezado a leer esta entrada ya no tienes excusas para hacer un intento de aplicarlo con tus alumnos pues también va a ser gratuita la instrucción necesaria para que empieces a usarlo.


Hay que ir a la dirección de socrative.com y registrarse como teacher. Cuando queremos usarlo en clase hacemos log in como profesor y pedimos a los alumnos que vayan a la dirección y hagan log in como alumnos y pongan el room number que el profesor vaya a usar. Si no todos disponen de un dispositivo móvil les pedimos que formen grupos en los que al menos uno de los miembros disponga de un dispositivo y pueda actuar de emisor de las respuestas del grupo.


Las distintas modalidades de uso de Socrative permiten generar  distintos tipos de actividades de discusión en clase con preguntas sueltas o utilizando pruebas o quizzs en los que los alumnos deben responder a una serie corta de preguntas de elección entre múltiples opciones. También pueden hacerse Space Races  en las que alumnos o grupos son representados por cohetes de distintos colores que compiten en una carrera espacial en la que van avanzando al acertar las preguntas de un quizz. Finalmente tenemos la opción Exit ticket que son combinaciones de tres preguntas para que los alumnos las respondan al finalizar una clase. Una sobre lo que han comprendido, otra sobre lo que no han entendido (como si fuera el minute paper en versión electrónica) y finalmente otra que elige el profesor y que puede ser del tipo que pregunta te gustaría que discutiéramos en el foro entre esta clase y la siguiente. En este tutorial Mercedes Marques profesora de la Universitat Jaume I lo explica muy bien.



Estrategias para usar los dispositivos móviles para la evaluación formativa en clase

Sesiones de Team Based Learning  En esta metodología pedimos a los alumnos que estudien materiales de para un tema que todavía no hemos empezado a tratar en clase. Las sesiones dedicadas al tema empezarán con un examen. La primera clase se dedicará a la evaluación formativa y a la discusión de la justificación de las distintas respuestas. Primero los alumnos responden individualmente a un quizz que podemos distribuir impreso en papel y después vuelven a responderlo en equipos  y participando en una Space race para finalmente realizar una discusión general de las justificaciones a las distintas repuestas. Actualmente Socrative solo da soporte a un máximo de 50 alumnos por aula. Si tenemos más de 50 alumnos o si no todos ellos disponen de dispositivo móvil para enviar sus contestaciones. el test individual inicial puede responderse en papel y después usar Socrative en la segunda fase para la carrera espacial por equipos.

Del mismo modo  esta combinación de test primero individual y después en grupo puede usarse como método de repaso después  de haber tratado un tema en clase. Estas sesiones de evaluación formativa de repaso nos pueden servir para ayudar a nuestros alumnos a  prepararse para las pruebas de evaluación del aprendizaje para el examen. Para estas sesiones de repaso nosotros solemos usar las preguntas más frecuentemente falladas en exámenes de promociones anteriores.

Hay un tercer lugar para usar esta metodología.  Tras la realización de exámenes parciales sumativos de alta repercusión en la calificación (high stakes) podemos usar selecciones de las preguntas más falladas para volver a generar recuerdo y discusión sobre los aspectos mas problemáticos en los que nuestros alumnos fallaron más.

Incluso hemos llegado a convertir las sesiones voluntarias de revisión de exámenes en oportunidades en las que nuestros alumnos vuelven a intentar responder aquellas preguntas que más fallaron en el examen y donde volverán a recibir feedback de sus compañeros y el profesor sobre las justificaciones de las respuestas correctas. En ella utilizamos la metodología peer instruction.

 Otro método que podemos usar es el Peer instruction o instrucción por compañeros en la que se intercalan preguntas en las clases para poner a prueba la comprensión de los alumnos y generar discusiones acerca de las razones que justifican las distintas respuesta. Las preguntas que se suelen usarse en el peer instruction son especiales y se denominan concept tests. Son preguntas que no se aciertan recordando hechos o buscando información factual en Google sino que exigen que el alumno aplique su comprensión de los conceptos y principios de la asignatura para predecir que es lo que ocurrirá en una situación hipotética. Este tipo de preguntas permiten evaluar si los alumnos han comprendido conceptos y sirven para generar discusiones entre los compañeros enfocadas en la comprensión de los conceptos.

Una combinación ganadora: evaluación formativa + fomento del estudio previo 

Combinando estos  métodos de evaluación formativa en clase con técnicas de fomento del estudio previo a las clases hemos conseguido mejoras en las calificaciones  en los exámenes con respecto a los obtenidas con metodologías de enseñanzas tradicionales. Estas mejoras superan en algunas de las asignaturas la magnitud de la desviación estándar de la distribución de notas antes de la implementación de las metodologías de flipped classroom y evaluación formativa. La combinación de modelo flipped learning con evaluación formativa mejora también los resultados con respecto al uso del flipped learning sin evaluación formativa.

 Para finalizar proporcionamos las receta para implementar el método Flip in colours. En ellas se detallan los sucesivos pasos para lograr que los alumnos aprendan mucho más



domingo, 14 de mayo de 2017

Eric Mazur después de revolucionar la enseñanza pasa a revolucionar la evaluación




Vamos a celebrar las 360.000 visitas a este blog con una nueva entrada de la serie sobre gurús educativos centrada en la evaluación y en dos de mis gurús favoritos Eric Mazur y Cees van der Vleuten. 
Eric Mazur
En los años noventa Eric Mazur se convirtió en uno de los profesores más famosos de la Universidad de Harvard al crear y popularizar maneras alternativas para enseñar y lograr que los alumnos comprendan, que eran mucho más eficaces que la  clase magistral o expositiva (traditional lecture) para que los alumnos comprendiesen las  leyes de la física.
Estas nuevas formas de enseñar y aprender se basaban en el fomento del estudio autónomo de sus alumnos (antes de las clases) y en la realización en el tiempo de clase de actividades para el cuestionamiento y la evaluación formativa. Con estas metodologías (peer instruction) Mazur se adelantó en quince años al modelo de flipped learning (tan de moda en los últimos años). Eric  Mazur ideó el método peer instruction que consistía en plantear concept tests (preguntas conceptuales) a sus alumnos en clase para pedirles que contesten prediciendo lo que debe ocurrir en una situación hipotética al aplicar a ella los principios de la disciplina y que discutan las justificaciones a sus respuestas con aquellos compañeros que han escogido otra  opción de respuesta. Tras la discusión los alumnos vuelven a contestar a la pregunta, se pregunta a los que han cambiado de opción que es lo que les ha hecho cambiar, se cierra la discusión y el profesor plantea otra pregunta para la discusión.

Mazur comprobó que con esta metodología (el estudio previo, la resolución de tests conceptuales en clase y la explicación de sus argumentos a los compañeros que habían escogido otra opción) los alumnos comprendían mejor las leyes de la física y eran más capaces de aplicarlas para resolver nuevas situaciones. Con el Peer Instruction las ganancias de aprendizaje (diferencia entre lo que cada alumno comprende al final de la asignatura y lo que comprendía cuando la empezó) doblaban las ganancias de aprendizaje medias obtenidas en cada clase con respecto a las obtenidas mediante la metodología de enseñanza tradicional en la universidad (traditional lecture).

Años después Mazur también descubrió el valor sinérgico de las combinaciones entre distintos métodos innovadores de flipped learning (peer instruction y just in time teaching) y su potenciación con el uso de las nuevas tecnologías (flipping classroom with peer instruction). Mazur descubrió  que si combinaba el peer instruction con otra metodología de comprobación del estudio previo del alumno denominada just in time teaching (desarrollada unos años antes por Novak) las ganancias de aprendizaje de sus alumnos llegaban a triplicar las obtenidas mediante la metodología tradicional. Mazur además combino su nueva pedagogía basada en el cuestionamiento con una nueva tecnología los mandos a distancia de respuesta personal en tiempo real o clickers. El clickerism había nacido y en los primeros años del milenio se convertía en la tecnología más usada en las aulas de las mejores universidades de Estados Unidos  después del Power point y el ordenador portátil.

Con estas armas pedagógicas y tecnológicas en su poder, Mazur emprendió una cruzada  personal contra el abuso de la traditional lecture (clase magistral) que le ha llevado a la fama y también a las hogueras de los inquisidores universitarios enemigos de toda innovación en docencia que amenace la alteración del cómodo status quo actual del que los profesores gozamos desde el medioevo. Mazur no les gusta a los profesores que quieren seguir recitando sus lecciones como lo hacían sus antecesores desde hace 800 años (aunque ahora les es más fácil pues aunque no se sepan o comprendan la  lección a explicar  pueden leerla directamente del powerpoint). Sin embargo, Mazur se convirtió en el abanderado de la lucha contra el abuso de la traditional lecture y el héroe a seguir para los miles de profesores que como él eran conscientes de lo ineficaces que son las metodologías tradicionales de enseñanza universitaria y de la apremiante necesidad de cambiarlas por un modelo de aprendizaje inverso o flipped learning que combine métodos de fomento del estudio previo y de evaluación formativa.

Mazur empezó a dar la famosa y maravillosa conferencia Confessions of a converted lecturer (versión resumida) de la que  pueden encontrarse varias versiones en Youtube  y  en la que cuenta su historia de conversión personal desde ser un profesor magistral premiado por lo bien que daba clases magistrales hasta que se dio cuenta de lo poco que aprendían sus alumnos con esta metodología tradicional que tanta satisfacción le  proporcionaba como orador monologista y como cambio radicalmente su manera de enseñar para lograr que sus alumnos aprendiesen más. Otra entrada de este blog  (Eric Mazur, historia de un profesor convertido) relata esta fase de la vida de Mazur. Esta conferencia fue aplaudida por los partidarios de la innovación educativa en las universidades de los cinco continentes.  Muchos de los que la oyeron, se arrepintieron de sus pecados metodológicos, se convirtieron a la nueva metodología y se dieron cuenta de la necesidad de cambiar, muchos de los que ya estaban convencidos de la necesidad de cambio vieron en las metodologías de fomento del estudio previo usadas por Mazur un camino para lograr mejorar el aprendizaje de sus alumnos (el libro de Mazur Peer intruction: a user’s manual se vendió como rosquillas)
A Mazur le fue tan bien dando esta conferencia que la dio en los dos lados del Atlántico y del Pacífico, tanto en el hemisferio norte y como en el sur hasta que se cansó de repetirla tanto. Mazur buscó colaboradores que amplificasen su mensaje dando charlas sobre el peer instuction y algunos como Julie Schell hasta llegaron a ser auténticos profesionales de la formación del profesorado. http://blog.peerinstruction.net/author/peerinstruction/. Yo mismo difundí por mi cuenta en las más de veinte universidades de habla española en las que di cursos de formación del profesorado las ideas de Mazur y el peer instruction durante la última década.   
 Mazur ha sido capaz de contar por todo el mundo su descubrimiento de lo ineficaces y obsoletos que eran los métodos de enseñanza universitarios tradicionales, centrados en la transmisión de la información, no en su comprensión y en su transferencia a nuevas situaciones. Mazur ha dejado claro que estos métodos tradicionales tienen efectos muy perjudiciales sobre el aprendizaje de los alumnos y su desarrollo de competencias para el razonamiento crítico y creativo. Lo sorprendente es que Mazur haya salido indemne de este periplo criticando lo mal que enseñan los profesores universitarios y que Errejón e Iglesias no le hayan boicoteado alguna de sus conferencias como hicieron con la de Rosa Díez en la Complutense.
Para comprender en toda su amplitud los planteamientos de Mazur os recomiendo que si os gusta Confessions of a converted professor veáis también las últimas conferencias de Eric Turning Lectures into Learning, Peer instruction for active learning y Catalyzing Learning Using Learning Catalytics. Para así seguir la evolución de las ideas y planteamientos de Mazur.

Mazur empieza a atacar los métodos tradicionales de evaluación del aprendizaje en la universidad
Tras combatir durante más de una década el método tradicional de enseñanza en la universidad (el denominado traditional lecture) Mazur, que en el proceso se había convertido en un defensor radical de la revolución en la  manera de enseñar en las universidades, se dio cuenta de que no sólo los métodos de enseñanza estaban centrados en la transmisión de información sino que también los métodos de evaluación al uso en las universidades estaban también centrados en la regurgitación de la información memorizada y la reproducción mecánica de procedimientos memorizados para la resolución de problemas tipo. Estos métodos tradicionales de evaluación tenían efectos contraproducentes en el aprendizaje y el desarrollo de competencias en los alumnos universitarios.

 Mazur se dio cuenta de que no importa lo innovadora que sea la metodología de enseñanza, lo que determina como estudian los alumnos es el método con el vayan a ser evaluados. Es la evaluación la que dirige lo que los estudiantes hacen para superarla, no los buenos deseos o las buenas intenciones de sus bienintencionados profesores, no los objetivos de la guía de la asignatura sino las pruebas y tareas con las que serán calificados. Si los profesores evaluamos algo distinto de lo que queremos que los alumnos aprendan, los alumnos aprenderán eso que evaluamos y por tanto no aprenderán lo que queremos que aprendan. Esta idea tiene mucho que ver con el alineamiento educativo de John Biggs que es tratado en otra entrada de este blog.
Basándose en este planteamiento provocador, de que las universidades no sólo enseñan mal sino que evalúan peor el aprendizaje de sus alumnos, Mazur empezó a dar tournees de conferencias sobre evaluación con un título muy provocador: Evaluación: el asesino silencioso del aprendizaje: (Assessment the silent killer of learning),  También son muy interesantes los vídeos de las conferencias Assessment the silent killer of innovation Why you can pass tests and still fail in the real world. Estoy seguro de que también disfrutaréis con las conferencias de Mazur en vídeo. Son magistrales en el buen sentido de la palabra .

Las ideas de Mazur sobre la evaluación del aprendizaje son muy interesantes, merecen un análisis detallado y nos pueden proporcionar caminos por los que mejorar nuestros métodos de evaluación del aprendizaje de los alumnos universitarios. Voy a comentar mi opinión y mi punto de  vista personal sobre ellas. La primera idea de Mazur es que la evaluación del aprendizaje tiene propósitos muy variados, él da una lista que establece que la evaluación del aprendizaje sirve entre otras cosas para:
  1. Calificar a los alumnos
  2. Calificar al profesor y a la asignatura
  3. Motivar a los alumnos para trabajar
  4. Proporcionar retroinformación a los alumnos sobre su aprendizaje
  5. Proporcionar retroinformación al profesor sobre su enseñanza y los problemas de aprendizaje de sus alumnos
  6. Rendir cuentas sobre la eficacia de la metodología docente
  7. Mejorar el aprendizaje y la enseñanza

Yo desde 2005 en mis cursos al profesorado universitario sobre evaluación del aprendizaje  también preguntaba a los profesores participantes  ¿para qué sirve la evaluación? y obtenía respuestas similares a estas.
  1.  Para calificar a los alumnos (y cumplir con una obligación burocrática)
  2.  Para acreditar, comprobar y medir el aprendizaje que produce la enseñanza
  3. Para estimular y motivar el esfuerzo de los alumnos
  4. Para detectar lo que debe corregirse, mejorarse y proporcionar al alumno feedback sobre su aprendizaje
  5. Para obtener información con la que mejorar el proceso enseñanza aprendizaje y la labor del profesor
  6. Para proporcionar otra manera de aprender superando retos
  7. Para entrenar al alumno para que rinda mejor en situaciones de evaluación acreditativa similares al procedimiento utilizado para la evaluación formativa.
En ambas listas puede observarse que la evaluación tiene utilidades muy diversas: acreditativas, formativas y de retroinformación al alumno al profesor y a la institución. Aprovechar al máximo todos estos potenciales de la evaluación es clave para mejorar  tanto el aprendizaje de nuestros alumnos como el modo de enseñarles. 
Mazur plantea el problema de que los propósitos de la evaluación son  tan variados  que a veces se pueden producir serios conflictos de intereses entre el logro de unos propósitos y otros. Al pretender lograr un propósito hacemos la evaluación de una manera que evita o dificulta que se logren con ella otros propósitos muy relevantes.  
Cees van der Vleuten
A mí humilde entender, la solución más satisfactoria a este conflicto es la aportada por otro gran pensador sobre la evaluación Cees van der Vleuten, con las nociones de utilidades de la evaluación y de compromiso en evaluación. Según van der Vleuten, cada instrumento de evaluación tiene una serie de características:
Validez
Fiabilidad
Impacto educativo que incluye el estímulo para el estudio y la oportunidad de generar feedback formativo
Aceptabilidad
Coste en medios humanos, materiales y económicos
El compromiso para van der Vleuten es … que no podemos tenerlo todo, tenemos que conformarnos con tener unos puntos fuertes comprometiendo otros menos esenciales en cada situación de evaluación.
Según van der Vleuten, la utilidad de un método de evaluación viene definida por la siguiente función de utilidad:
U= pf F x pvV x pie IE x pa A / pc C
Donde 
U= Utilidad
F = fiabilidad ¿es repetible el resultado?
V= validez ¿vale para medir lo que quiero?
IE = Impacto educativo ¿cómo afecta al aprendizaje?
A = Aceptabilidad ¿es aceptable para alumnos profesores y pacientes?
C = coste ¿podemos permitírnoslo?
p= coeficiente de peso relativo que asignamos a cada factor
El coeficiente de peso relativo (p) de la fiabilidad( F)  y (V) debe ser muy alto en la evaluación de utilidad acreditativa para que podamos tomar decisiones válidas y fiables sobre la calificación y promoción de nuestros alumnos. Sin embargo, el coeficiente de peso relativo (p)  del impacto educativo (IE) debe ser alto en la evaluación de utilidad formativa 

  La noción de compromiso en la evaluación significa que no lo podemos tener todo y que en ciertos tipos de evaluación no podemos sacrificar o comprometer algunas características de la evaluación, pero sin embargo, si podemos comprometer otras menos esenciales para la función o utilidad de ese tipo de evaluación. Estas ideas son desarrolladas en CPM Van der Vleuten (1996) The assessment of professional competence: developments, research and practical implications, Advances in Health Sciences Education 1 (1), 41-67.

La solución de van der Vleuten 
Es utilizar un sistema de evaluación continua que integra una evaluación formativa de baja repercusión/riesgo (low stakes assessment) con una evaluación acreditativa de alta repercusión/riesgo (high stakes assessment)
Para van der Vleuten la solución pasa por diferenciar dos tipos de evaluación del aprendizaje. El primer tipo de evaluación del aprendizaje es la evaluación de baja repercusión (low stakes assessment) cuya utilidad es principalmente formativa (estimuladora de esfuerzo, ejercicio de competencias y ocasión para el feedback formativo), pero que (a diferencia de la evaluación formativa tradicional) también tiene un peso en la calificación (aunque bajo).
 El segundo tipo es la evaluación de alta repercusión (high stakes assessment) en la que se pone el énfasis en su validez y fiabilidad para medir el aprendizaje y calificarlo y acreditarlo de manera precisa y exacta.
Esta división Low stakes/high stakes mejora la división tradicional en evaluación formativa (pero de ninguna repercusión) y la acreditativa (de total repercusión en la calificación). La división de la evaluación en formativa y acreditativa, hacía que ni profesores ni alumnos se tomasen en serio la evaluación formativa tradicional, pues por definición no tenia repercusión en la calificación y por ello orientaban casi todos sus esfuerzos hacia la acreditativa. Sin embargo, en el nuevo enfoque basado en distintos niveles de repercusión, la evaluación de baja repercusión si tiene algo de valor en la calificación aunque sea bajo, y de este modo será tomada más en serio por los profesores, pero sobre todo por los alumnos que son los que deben ser estimulados por la evaluación para trabajar.

¿Qué es lo que no se puede comprometer en la evaluación formativa? El impacto formativo

Por ejemplo, en la evaluación formativa no podemos comprometer el impacto, esa es la razón por la que realizamos evaluación formativa, queremos que estimule a los alumnos a razonar, a trabajar, a arriesgarse, a errar y a aprender de sus errores por medio del aporte de feedback inmediato. Si la evaluación formativa es low stakes, los alumnos  se la tomarán mucho más en serio que si fuese sólo formativa (cero stakes) y por ello tendrá más impacto, les hará trabajar más durante todo el cuatrimestre. Podemos relacionar la idea de low stakes con los sistemas de inducción a la acción mediante pequeñas recompensas que se usan en la gamificación.
Es muy fácil  saber si nuestro sistema de evaluación formativa tiene un impacto deficiente. Si el primer efecto de la evaluación formativa es estimular el trabajo de los alumnos debemos preguntarnos: ¿Logra estimular a nuestros alumnos para que  dediquen a nuestra asignatura el volumen de trabajo nominal establecido en los créditos ECTS de nuestra asignatura. Si es de 6 créditos los alumnos deberán dedicarle ente 90 y 100 horas de trabajo no presencial (dependiendo de la definición de crédito ECTS de cada universidad). Los estudios realizados demuestran que en la mayoría de los asignaturas, la mayoría de los alumnos que aprueban, no dedican el volumen de trabajo nominal establecido en el crédito ECTS sino más bien una cantidad que es la mitad de la que debería ser). F. Gómez y cols. Cálculo del volumen de trabajo del alumno en las nuevas titulaciones de grado de ciencias de la Salud.  Evaluación global de los resultados del aprendizaje en las titulaciones dentro del Espacio Europeo de Educación Superior 2011 Ed Dykinson ISBN:978-84-9982-814-5
Un  sistema de evaluación formativa eficaz es la única manera de estimular a la mayoría de los alumnos de países latinos para que trabajen 40 horas a la semana en su aprendizaje, que en un cuatrimestre sumarán las 750 horas de trabajo que deben suponer 30 créditos ECTS (750/25=30). Si en lugar de eso gracias a nuestro ineficaz sistema de evaluación formativa los estudiantes trabajan un 33% menos, por ejemplo 500 horas por cuatrimestre (en lugar de las 750 nominales) aprenderán posiblemente un menos pues van a clase 250 horas pero estudian la mitad de lo que deberian (250 h. en lugar de 500 h.) y desarrollarán en competencias una proporción menor todavia pues en las clases magistrales no las ejercitan y fuera sólo se ejecitan en asignaturas en las que les exigen proyectos y trabajos (hasta completar su carga no presencial) que son una exigua minoría. A nadie en posición de responsabilidad parece importarle que los alumnos trabajen lo que la definición legal de los créditos ECTS implica. La mirada hacia otro lado es unánime. Es una verdad que sabemos pero no estamos dispuestos a admitir oficialmente pues si la reconocieramos estaríamos obligados a cambiar las cosas y ello requeriría mucho trabajo extra por parte de los profesores universitarios.

¿Qué es lo que no se puede comprometer en la evaluación acreditativa? su fiabilidad, seguridad, validez y fiabilidad

El problema de la fiabilidad 
En la evaluación acreditativa no podemos comprometer la validez y la fiabilidad. No se pueden hacer exámenes acreditativos en una hora pues la investigación demuestra que los resultados no serán lo suficientemente fiables y reproducibles. Si no son fiables, no podrán ser validos y las decisiones acreditativas en base a esas pruebas no fiables dejarán mucho que desear e incurrirán en indeseables errores.  

Van der Vleuten demuele el mito de que algunos métodos de evaluación son "fiables por definición" y demuestra como para alcanzar la fiabilidad no vale con usar ciertos métodos (como el MCQ) sino que es necesario que los exámenes recojan evidencias de una muestra representativa  de los conocimientos y habilidades de cuyo aprendizaje se quieren obtener evidencias. Dicho en pocas palabras: la fiabilidad depende del muestreo, no de la supuesta objetividad del método de calificación.  Por ello usar un método supuestamente objetivo examen tipo test MCQ no hace a nuestro método fiable. Para que sea fiable o reproducible debemos estar seguros de que si realizamos otras prueba los resultados serán muy similares a los de la primera. Si el alumno que sacó un 6 saca un 4 al realizar otra prueba similar el procedimiento de medida no es fiable ¡Ni siquiera para tomar decisiones sobre a quien debemos aprobar !
https://2.bp.blogspot.com/-GsBvJFhbWdw/VVbyhB1ZpBI/AAAAAAAABRc/TH3Ih65PR04/s400/fiabilidad%2Bno%2Bes%2Bobjetividad.png
 La figura muestra como incluso métodos considerados objetivos como el MCQ no son nada fiables sin un muestreo representativo. Un examen de test que sólo muestree durante una hora simplemente no es fiable para dar una calificación precisa del aprendizaje del alumno.

El problema de la seguridad (una prerequisito para la fiabilidad)

El MCQ practicado de esta manra no será fiable incluso si asumimos que los alumnos no van a hacer trampas. A día de hoy esa es una asunción muy peligrosa en España. Cuando los alumnos viven inmersos en una cultura de picaresca en la que alcaldes y hasta presidentes de autonomías y ministros son imputados y encarcelados por incumplir la legalidad. Cuando ante un caso de copia de un examen flagrantemente detectado las autoridades académicas te dicen ¿Pero les habíais dicho a los alumnos que tenían prohibido copiar? Cuando los alumnos han copiado con permisividad en secundaria y entran en una universidad llena de profesores confiados desconocedores de la revolución tecnológica de los métodos 2.0 de copia y chuletaje en la última década, es seguro que algunos aprovecharán los fallos de seguridad en el sistema de evaluación para copiar y los profesores tenemos que tomar medidas para evitarlo.
 Por tanto, hoy en día hay otro factor que influye muy negativamente en la fiabilidad de la evaluación que es la confidencialidad y seguridad de la prueba. Múltiples modelos de examen para evitar la copia,  aulas grandes en las que podamos separar a unos alumnos de otros, múltiples profesores para que uno siga vigilando cuando otro resuelve dudas de los alumnos son necesarios para lograr esa seguridad.

 En los nuevos grados se ha puesto de moda entre profesores que ignoran lo que implica los conceptos de seguridad  y fiabilidad de la prueba (tristemente la mayoría) el realizar exámenes de una hora (baja reproducibilidad) en el aula en la que se dan las clases con los alumnos respondiendo codo con codo (nula seguridad de que las respuestas representen lo que el alumno sabe y no aquello que saben sus compañeros más próximos). Lo que es casi seguro en estas condiciones es que el alumno que necesita copiar porque no tiene ni idea, copia todo el examen de su compañero de al lado. Por todo lo dicho anteriormente, está claro que ese tipo de pruebas de evaluación acreditativa  no pueden ser tomadas por fiables ni seguras, pero esto  no parece ser ningún problema para los profesores o por lo menos para aquellos que ignoran lo que es la fiabilidad de la evaluación, que por sus actos demuestran ser bastantes. 
 Hoy en día los alumnos fotografían exámenes en las revisiones o en el mismo examen con útiles propios de los espías de la CIA o la KGB y no pasa nada y acaban aprobando la evaluación de muchas asignaturas estudiando exámenes de otros años (trivialización de la evaluación).  
En las asignaturas en las que se asigna mucho peso a los trabajos, los alumnos aprenden sobre aquellos temas que escogen para sus trabajos, pero no aprenden sobre buena parte del temario. No aprenden casi temario pero al menos desarrollan las competencias que necesiten ejercitar para completar los trabajos que sus profesores les exigen.

El problema de la validez
  Para complicar el problema de  la validez de nuestras pruebas Mazur nos demuestra que cuando usamos distintos métodos de evaluación para medir el mismo resultado de aprendizaje obtenemos distintos resultados. ¿Cuál será el más válido? De nuevo el genial van der Vleuten tiene una solución para el problema: Es una solución ecléctica, ya que no hay un método superior a los demás, debemos combinar sabiamente lo mejor de distintos métodos para realizar una evaluación low stakes que maximice su impacto sobre el aprendizaje del alumno y una evaluación high stakes que maximice su validez y fiabilidad. Debemos integrar ambas modalidades dentro de una evaluación programática que permita realizar un seguimiento individualizado del progreso de  cada alumno.


¿Qué estamos haciendo mal en la evaluación de nuestros alumnos? El abusivo uso de enfoques acreditativos y el déficit en la evaluación con utilidad formativa 
La tradición en la Universidad es abusar de la evaluación acreditativa y no poner el énfasis necesario en la evaluación formativa. Por ello, los nuevos grados de EEES son en créditos ECTS (que al menos en teoría en deberían implicar una carga de trabajo no presencial del alumno). Por ello, nos obligaron normativamente a usar un sistema de evaluación continua pese a que a muchos profesores no les entra todavía en la cabeza que la evaluación continua debe para tener un impacto sobre el aprendizaje, ser realizada con un enfoque formativo que proporcione feedback a los alumnos. Para cumplir con la evaluación continua se ha puesto de moda hacer "examencitos" que pesan un 25 o un 30% de la nota (está prohibido que pesen más de un 40%) de los que no se extrae ningún feedback correctivo para los alumnos.
Para Mazur, que analiza la situación de las universidades norteamericanas, el problema de fondo es que la evaluación del aprendizaje en la universidad está demasiado enfocada en sus aspectos acreditativos “ranking and clasifying” y demasiado poco en proporcionar retos auténticos y oportunidades para el feedback formativo. Esto es decir de otra manera que estamos usando una evaluación inauténtica (inautentic asessment) con fines acreditativos y sin embargo, no estamos utilizando ni una mínima parte de su potencial como fuerza educativa y estimuladora del esfuerzo continuo de los alumnos. El abuso de evaluación acreditativa e inauténtica reduce mucho las oportunidades para que nuestros alumnos reciban feedback formativo que tan necesario es para que desarrollen competencias complejas. Van der Vleuten coincide en este diagnóstico de males. Para él la cultura de evaluación universitaria es reduccionista y reduce todo a una cifra escalar con la que se califica destruyendo mucha información y despreciando el impacto educativo y la aportación al conocimiento del desarrollo competencial de los alumnos que podría tener una evaluación mejor diseñada. 

El problema de la autenticidad: evaluación auténtica y evaluación sin autenticidad

 Un enfoque inapropiado de la evaluación sería un factor conducente a los aprendizajes inapropiados de muchos de nuestros alumnos pues según Mazur "is the assessment that drives student behaviour " "study habits are driven by assessment". Por esta razón, la inautenticidad de la evaluación que utilizamos en la universidad, hay alumnos con excelentes notas que luego fracasarán en su puesto de trabajo mientras otros que no llegaron a titularse triunfarán en la vida profesional. El empollón y ratón de biblioteca que triunfaba en la universidad puede ser un negado para la colaboración, el trabajo en equipo, la comunicación y  el razonamiento crítico y creativo.  Del mismo modo en que la clase tradicional está enfocada en la transmisión de información  a los alumnos, la evaluación se enfoca en pedir a los alumnos que regurgiten esa información de nuevo a petición de su profesor.  Por tanto, la evaluación de las asignaturas universitarias fracasa en evaluar las competencias que son relevantes en el desempeño de los perfiles profesionales propios de la titulación en el contexto del siglo XXI. 
Lo que en realidad se evalúa ha sido denominado como el currículo oculto y este currículo oculto es lo que dirige los hábitos de estudio de los alumnos. A menos de que repensemos nuestro abordaje ante la evaluación, será muy difícil producir un cambio significativo  en los hábitos de estudio y razonamiento y en el aprendizaje de nuestros alumnos.

Según van der Vleuten venimos de una cultura de evaluar para calificar, sin  producir feedback, ni oportunidades de remediación. Una cultura obsesionada con la objetividad y con el MCQ (multiple choice cuestionnaire) como método paradigmático. También nos parece normal que se produzca una enorme pérdida de información en el proceso de evaluación. Aunque evaluaemos de forma estructurada varias comptendcias en una asignatura luego destruimos esa información al convetirlaen un numero del 0 al 10  (conversión del multivector en un número escalar.) No hay remediación, sino repetición de los exámenes y asignaturas que se basa en un modelo educativo desfasado. Una evaluación inauténtica centrada en aquello que es más fácil de medir con pruebas objetivas y estandarizadas de recuersdo de hechos y aplicación mecánica. Una evaluación casi siempre centrada en aquello mas simple y qué es más fácil aprobar y que por ello casi nunca evalúa los niveles superiores de las pirámides de  Bloom, Biggs  y Miller.
Mazur profundiza en el análisis de las diferencias entre los problemas auténticos de la vida real y los problemas de libro con los que evaluamos a nuestros alumnos y concluye que incluso aquellos que dicen poner a prueba la capacidades para de resolver problemas realmente no lo hacen, pues son muchos los alumnos que aprenden a resolver estos problemas de manera mecánica y memorística.
Los problemas reales que afrontamos en la vida suelen tener un desenlace deseado y conocido y el problema es dar con la manera de llegar allí. Sin embargo, los  problemas de libro, especialmente en las ciencias lo que ponen a prueba es si el alumno es capaz de utilizar un procedimiento conocido (y muchas veces memorizado) para llegar a una solución desconocida, esto es lo que Mazur llama problemas inauténticos (problemas falsos o problemas carentes de autenticidad) e incluso nos cuenta el ejemplo de cómo degradar un problema real que pondría a prueba varios niveles de la pirámide de Bloom para convertirlo en un problema inauténtico de libro que sólo  pone a prueba si el alumno con los datos que ha recibido sabe identificar qué tipo de problema es y recuerda de memoria que formula tiene que utilizar para resolverlo .
Mazur pone el siguiente ejemplo:Durante un sábado en la tarde, vas en coche a un centro comercial, das vueltas alrededor del parking pero no hay ningún espacio disponible para aparcar. Decides esperar en un lado del estacionamiento, donde puedes ver (y controlar) alrededor de 20 espacios.
¿Cuánto tiempo tienes que esperar antes de que haya un espacio disponible?
¿De qué dependerá el tiempo que tendrás que esperar?
La solución requiere: el desarrollo de un modelo y la aplicación de ese modelo. Esto sería un problema real pero pocos alumnos lo resolverían y la mayoría suspenderían porque no están entrenados en usar su creatividad para desarrollar modelos y hacer asunciones para poder desarrollarlos. Si añadimos la asunción de partida: La gente hace compras en un promedio de 2 horas y asumiendo que la gente sale en intervalos espaciados regularmente, el alumno solo deberá desarrollar un modelo sugerido por las asunciones declaradas. Sin embargo, muchos fallarían todavía.
La solución en el método de enseñanza tradicional es que si le decimos a los alumnos que este tipo de problemas se resuelve usando la formula: tiempo de espera = tiempo de compra / número de espacios
Si el alumno recuerda de memoria la formula  o la apunta en una chuleta, la resolución solo requerirá identificar el tipo de problema aplicar la formula de memoria un poco de cálculo  y si dejan usar calculadora ni eso.
¿Evaluamos competencias relevantes con problemas tipo que se resuelven mecánicamente? O ¿evaluamos identificación de tipo de problema y su resolución de memoria?
Mazur descubrió que sus alumnos de Harvard eran capaces de resolver complejos problemas de física sin entender lo más mínimo la física subyacente a las fórmulas que utilizaban.
De esta manera el problema evalúa si el alumno ha memorizado los tipos de problemas y las formulas a usar en ellos. De esta manera producimos aprendizajes memorísticos de corta persistencia que no son transferibles a nuevas situaciones y solo sirven para que los alumnos superen la evaluación y luego olviden. Según Mazur "unless you can transfer what you have learned in one context to another context, you have not really learned."
Mazur concluye que aprender de esta manera no es lo que necesitan los universitarios del siglo XXI. Los problemas reales se resuelven asumiendo riesgos, diseñando prototipos de soluciones, probándolas y si fracasan ideando otras. Esto requiere hacer pruebas y proponer soluciones tentativas que pueden fallar. Sin embargo, la evaluación que practicamos en la universidad les hace ir al procedimiento seguro, evitar los riesgos y de esa manera no aprenden a desarrollar soluciones creativas.

 Otra característica inauténtica de los procedimientos de evaluación es que se realizan casi siempre en situaciones de aislamiento de otras personas y fuentes de información De este modo los alumnos no aprenden a obtener la información de fuentes originales, ni a usarla en el seno de grupos de trabajo.

El conflicto entre nuestro role como tutor-entrenador y nuestro role como juez evaluador

Finalmente Mazur plantea el conflicto juez-entrenador (coach-judge) que tenemos en nuestra posición como profesores universitarios. La dificultad de ser jueces justos precisamente con aquellos a los que intentamos ayudar a aprender. Este conflicto frecuentemente lo intentamos resolver aumentando objetividad de nuestras pruebas. Como el método más objetivo es además el que menos trabajo da para corregir el MCQ algunos llegan a basar toda su evaluación en pruebas MCQ. Esto significa que en nombre de la objetividad bajamos nuestra evaluación a los niveles más bajos de la pirámide de Bloom y de Miller y nos dejamos los niveles superiores sin evaluar.
Mazur propone como solución de usar evaluadores distintos del entrenador un profesor es tutor- y otro auditor. Nosotros lo hacemos en nuestros trabajos de equipos. El tutor califica el trabajo de cada alumno en las tutorías de seguimiento pero es otro profesor distinto del tutor del grupo el que valora el resultado del trabajo del equipo.


¿Cuáles son los problemas que tenemos con la evaluación? ¿Cómo resolver estos problemas?
Planteo esta pregunta a los participantes en todos los cursos sobre evaluación que imparto y las respuestas de mis compañeros me han permitido establecer una taxonomía de problemas más frecuentes en la capacidad del profesorado para aprovechar el potencial de la evaluación :
Profesores que no saben como hacer una evaluación fiable y valida. Hacen exámenes acreditativos (por el 40% de una asignatura) de una hora con los alumnos copiando del de al lado y se quedan tan panchos. Si les dices que ese procedimiento no tiene fiabilidad lo mismo te preguntarán extrañados :¿Qué es eso de la fiabilidad?
Profesores que no alinean bien lo que evalúan con lo que quieren que aprendan sus alumnos.
Te preguntarán: ¿Qué es eso del alineamiento educativo? quieren que sus alumnos aprendan unas cosas y sin embargo sus pruebas de evaluación miden otras distintas (¡ !).

Profesores que no saben lo que es la evaluación formativa y por tanto no son capaces de utilizar su poder para que los alumnos estudien más durante todo el cuatrimestre y aprendan más.
  Te preguntarán ¿Que es eso de la evaluación formativa? ¡ Menuda chorrada !
Profesores que son capaces de hacer una evaluación valida y fiable, que saben alinear  lo que evalúan con sus objetivos, que saben lo que es la evaluación formativa, pero que no saben como aprovechar todas las posibilidades de la evaluación formativa para dar feedback formativo a sus alumnos.
Te preguntan : ¿Qué es eso del feedback formativo? 
Profesores que son capaces de hacer una evaluación valida y fiable, que saben alinear  lo que evalúan con sus objetivos, que saben lo que es la evaluación formativa,  y son capaces de proporcionar feedback, pero no son capaces de lograr que sus alumnos trabajen 25 horas por cada crédito ECTS.
Te preguntan : ¿Qué es eso del flipped learning?  
Profesores que son capaces de hacer una evaluación valida y fiable, que saben alinear  lo que evalúan con sus objetivos, que saben lo que es la evaluación formativa,  y son capaces de proporcionar feedback y saben explotarla  para tener el impacto deseado sobre el trabajo de sus alumnos en tareas formativas
Te preguntan ¿Qué son las competencias genéricas, transversales y del siglo XXI y como se pueden evaluar?
Profesores que saben todo lo anterior y además saben usar la evaluación para transformar y hacer madurar a sus alumnos.
Esto supone implicarlos en los procesos de evaluación mediante técnicas de evaluación compartida supone hacer protagonista al alumno en ejercicios en los que evalúa los productos del trabajo de sus compañeros e incluso aprende a  autoevaluar su propio trabajo mediante el uso de rúbricas y dinámicas de evaluación por compañeros.

Las soluciones de Mazur
Mazur nos propone una serie de ideas para solucionar los problemas de la evaluación universitaria:
1.     Imitar la vida real, hacer que los alumnos trabajen en equipo, realizando indagación y usando fuentes de información, resolviendo problemas y desarrollando proyectos. Uso de métodos inductivos que permiten ejercitar y evaluar competencias.
2.    Evaluar en condiciones de acceso a información en exámenes de libro abierto y en equipos evaluación formativa con IFAT (inmediate feedback assessment technique)
3.    No enfatizar tanto el aspecto calificativo y el ranking de las calificaciones obtenidas sino enfatizar más el impacto educativo mediante estimulación del trabajo del alumno y la generación y colectivización del feedback.
4.    enfocarse más en el desarrollo de  las competencias y menos en los contenidos, por ejemplo repartiéndose la evaluación de distintas competencias entre distintas asignaturas. 



Para los que consideren que la evaluación del aprendizaje es algo tan complejo que no tiene solución hago un comentario que es una opinión personal. Yo soy de la opinión de que va ser más fácil cambiar los métodos de evaluación que los métodos de enseñanza por la sencilla razón de que si los profesores permanecen anclados en la clase magistral es por que les gusta hacerlo y por ello es muy difícil cambiar. Sin embargo, el examen tradicional es algo que sólo puede gustar a profesores sádicos y vagos y a alumnos vagos y masoquistas, por tanto habrá menos resistencia por parte del profesorado y el alumnado para desarrollar otros métodos alternativos de evaluación formativa y acreditativa. Mi predicción es que dentro de 10 años en las universidades españolas habremos incorporado mucha más evaluación formativa pese a que persistamos en el empleo de las clases magistrales expositivas.

Finalizo con otra idea de Mazur: el aislamiento forzado para poder medir lo que el alumno ha memorizado no sirve para predecir lo que el alumno es capaz de hacer en un contexto conectado que es el real en el siglo XXI con acceso a la información y a la interacción con otros compañeros. Por eso  hoy en día cuando en cualquier profesión vamos a tener acceso a la información no tiene ningún sentido seguir evaluando en condiciones de aislamiento como lo hacíamos en el siglo anterior. Podemos ver esta idea en un vídeo de Mazur con subtítulos en español que dejo como despedida "Why you can pass tests and still fail in real world"
.