Licencia de Creative Commons
blog profesor 3.0 by Alfredo Prieto Martín is licensed under a Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional License.

Sígueme en twitter

jueves, 21 de mayo de 2015

Versión open letter course ware del curso Relámpago en evaluación y modelo de enseñanza inversa

He realizado en la Universitat de Lleida una nueva edición (la séptima consecutiva) del curso sobre evaluación. En esta edición hemos reducido en un 40% las horas presenciales y hemos incorporado las metodologías de evaluación formativa con BYOD (Bring Your Own Device) en contextos de enseñanza inversa y el uso de estrategias de gamificación para motivar a nuestros alumnos a implicarse en actividades de fomento del estudio previo y participación en clase.

El curso empezó con un e-mail de bienvenida dirigido a los participantes, en el cual les sugeríamos que visitasen una serie de blogs sobre gamificación y se registrasen en las herramientas de gamificación de esos blogs con el fin de experimentar en primera persona el tipo de estimulo adictivo que proporcionan estas herramientas. También os recomendé visitar redes sociales sobre enseñanza inversa. La idea era estimularos a iniciar por vuestra cuenta la exploración que os he sugerido sobre gamificación y flipped learning.

 Finalmente os avisé de que en el curso oiríais ideas que desafiarían vuestras creencias más profundas (ejemplos: 1) el crédito ECTS es una ficción si no comprobamos que los alumnos trabajan 25 horas, 2) muchos profesores universitarios se comportan como amateurs cuando enseñan,3) las universidades españolas no preparan a sus alumnos para el siglo XXI y os animé a tener una actitud abierta ante ellas.

 En un segundo email os propuse como tarea de preparación para el curso  que reflexionaseis seriamente sobre estas dos preguntas transcendentales:
1. ¿Qué he logrado que mis alumnos hagan y aprendan gracias a los sistemas de evaluación que aplico en las asignaturas que imparto?
2. ¿Qué desearía lograr que hiciesen y aprendiesen y sin embargo hasta ahora no lo he conseguido?
¿Cómo podría  ayudarme a lograrlo la evaluación de la asignatura?

Viaje a Lleida y presencié el desfile de moros y cristianos como llevo haciendo en los últimos cuatro años (hago coincidir la víspera de mi curso con la fiesta) y quedé con algunos de los buenos amigos que he hecho en los 12 cursos de formación del profesorado que desde 2005 y hasta ahora he impartido en la UdL. Unos pedagogos locos me invitaron a cenar y brindamos por el éxito del curso.  

Al día siguiente en la sesión presencial proyectamos con el cañón de datos un "Hall of fame" con los nombres de aquellos participantes que habían respondido al cuestionario de expectativas para homenajearles por su trabajo. Durante la primera hora comentamos sobre lo que cada participante habíamos logrado gracias a  un uso inteligente de la evaluación y lo que todavía nos faltaba por lograr y cómo podríamos lograrlo haciendo un mejor uso de la evaluación. 
Empece con las respuestas de Marc Medrano. Marc es un ejemplo de profesor que ha conseguido alinear sus métodos de evaluación con los objetivos formativos que persigue. no todos los profesores universitarios lo consiguen, muchos dicen tener unos objetivos formativos, pero no logran alinear lo que evalúan en sus tareas y pruebas de evaluación con estos objetivos formativos mas valorados (John Biggs). Sin embargo Marc, reconocía que con su sistema de evaluación actual no conseguía que la mayoría de sus alumnos estudiasen su asignatura de modo continuo a lo largo de todo el cuatrimestre. Comenté que los métodos de evaluación formativa adelantada y fomento del estudio previo (flipped learning) que íbamos a tratar en este taller servían precisamente para eso para lograr que los alumnos poco motivados se vean impulsados (casi obligados) a practicar el estudio de una manera más continua. 
Mantuvimos una amena e instructiva discusión sobre estas metodologías de fomento del estudio previo que nos llevo  a repasar lo que ha pasado en los últimos años en las universidades españolas con la imposición de la evaluación continua a un profesorado que ignora lo distinta que es la evaluación final a la que estaban acostumbrados, con respecto  del sistema de evaluación continua de sus asignaturas en los nuevos grados. No se trata de fragmentar la evaluación final y realizarla a lo largo del auatrimestre se trata de incorporar un tipo distinto de evaluación, la evaluación formativa para que haga trabasjar a loas alumnos de modo continuo y combinarla con la evaluación acreditativa del aprendizaje.
  La evaluación acreditativa pretende demostrar con validez, seguridad  y fiabilidad que aprendizajes se han producido en nuestros alumnos. La evaluación formativa pretende aportar estimulo oportunidades de ejercicio o desempeño y de recepción del feedback sobre el desempeño y es muy importante para lograr el desarrollo de competencias complejas. Son dos tipos de evaluación con funciones y requerimientos muy distintos pero el profesor universitario común suele ignorar la función y el sentido de la evaluación formativa. Por ello, la mayoría siguen utilizando un concepto reduccionista y acreditativo de la evaluación y esto ocurre porque la evaluación formativa carece de repercusiones calificativas y por ello ni los profesores ni los alumnos se la toman suficientemente en serio. Comenté que en el mundo anglosajón las ultimas tendencias lideradas por Cees van der Vleuten tienden a superar la dicotomía entre evaluación acreditativa y evaluación formativa y sustituirla por otra en la que se usan dos tipos de evaluación la evaluación de alta repercusión (high stakes assessment) y la evaluación de baja repercusión (low stakes assessment) con distintas funciones.
En la evaluación de alta repercusión se toman decisiones calificativas con repercusión sobre el futuro de los alumnos. Por esto esta evaluación tiene un enorme impacto sobre como los alumnos se prepararán para ella. La evaluación de alta repercusión debe realizase de una manera que garantice la reproducibilidad de sus resultados (exámenes de por lo menos dos horas de duración) y su seguridad (que no se pueda copiar o responder con auxilio de sistemas de comunicación). Estas dos características fiabilidad y seguridad no pueden garantizarse si hacemos el examen en una hora de clase con los alumnos apretujados como piojos en costura (como se hace en la mayoría de las asignaturas).
Sin embargo, en la evaluación de baja repercusión no debemos preocuparnos tanto por la medida fiable y reproducible del aprendizaje, sino por su fomento. Por tanto, debemos diseñar esta evaluación para maximizar su impacto educativo (pese a su escaso peso en la calificación) y debemos lograr que impulse a estudiar y trabajar pese a que tenga poco valor calificativo. Algo de valor calificativo habrá que darle para que estimule el trabajo de nuestros alumnos, pero no tanto como para que afecte negativamente al nivel de exigencia en evaluación acreditativa de nuestra asignatura. Si distintas actividades de evaluación formativa suman hasta un 20% podemos hacer trabajar mucho a nuestros alumnos, para que ejerciten competencias y reciban feedback. Cómo la evaluación de alta repercusión supone un 80% de la calificación podremos mantener mejor el nivel de exigencia que por ejemplo en un modelo 50% / 50%. En esto estábamos cuando nos llegó la hora del recreo a media mañana.

A la vuelta del recreo nos dedicamos a experimentación de evaluación formativa en metodologías de enseñanza inversa o flipped learning. Siguiendo mis indicaciones habíais estudiado las  distintas metodologías para el fomento del estudio previo. A continuación íbamos a realizar una actividad  de evaluación como las que se realizan en la metodología Team based learning. Repartí un examen de 9 preguntas MCQ (multiple choice questionnaire ) y hojas de respuesta de MCQ. Os di instrucciones para que primero contestarais individualmente a las diez preguntas. 

Tras haber respondido individualmente en vuestras hojas de respuestas os pedí que os reunierais en equipos de cuatro y llegarais a un consenso sobre las respuestas correctas. Formamos dos equipos. 
También dimos un paseo guiado por la aplicación socrative para responder a preguntas MCQ.
Despues hicimos la carrera espacial con el software socrative 
Finalmente en una tercera fase fuimos respondiendo a las preguntas una a una y discutiendo la justificación de las respuestas correctas y vimos la tabla informe que el sofware.
Para acabar la sesión de mañana retome la pregunta urgente del cuestionario de Marc que decía ¿Hay datos científicos que corroboran que los alumnos saldrán más preparados si las aplicamos



En la sesión de tarde continuamos con la revisión de las publicaciones que demuestran que los métodos activos y flipped funcionan mejor que los métodos transmisivos. Mostré mis propios resultados que demuestran que estos métodos funcionan con alumnos españoles. Tras finalizar volvimos a comentar los cuestionarios de expectativas de los participantes y estudiamos las respuestas de Paquita San Vicen. Paquita es una "vieja alumna mía", al menos "tripitidora" en  varios de mis cursos y ella es un ejemplo de profesora que usa la evaluación de otra manera (no hace exámenes) pero aplica una evaluación muy rigurosa y con mucho feedback a los trabajos de sus alumnos. Ella pretende que sus alumnos ejerciten y desarrollen competencias transversales y genéricas al realizar esas tareas. El problema que tiene es que este tipo de evaluación le consume mucho tiempo y dedicación. Ella planteaba como pregunta urgente ¿Cómo sufrir menos evaluando a mis alumnos?
Para ayudarle a responder esta pregunta le prepare esta presentación:



Paquita también preguntaba como venderles las nuevas metodologías desde el primer día de clase. Respondí a esta pregunta mostrando como ejemplo la presentación de una de mis asignaturas:


A continuación   comenté el cuestionario de Natalia Alonso Martinez que preguntaba ¿Evaluaba Sócrates a sus discípulos? respondí que Sócrates lanzaba cuestiones a sus alumnos y de ese nodo les enseñaba a autoevaluar su pensamiento. Comentá que hay dos maneras principales de enseñar: enseñar transmitiendo respuestas o enseñar planteando preguntas. En este momento repartí las flash cards o tarjetas de respuesta para poner en práctica la enseñanza mediante preguntas. Primero las usamos para conocer que porcentaje del tiempo de clase de nuestra propia educación universitaria se había dedicado a transmitirnos conocimientos y que porcentaje se había dedicado a ayudarnos a aprender planteándonos retos y cuestiones. 
Entre los participantes más carrozas que habíamos finalizado nuestros estudios hace más de 15 años el predominio de la transmisión había sido total, del 100% en el 100% de los individuos más carrozas que estábamos en el curso (yo me incluyo). Sin embargo, entre los mas jóvenes que habían finalizado sus estudios dentro de los últimos 15 años sólo un 60% sufrió transmisión con un predomino cercano al 100% del tiempo de clase, pues el afortunado 40% restante había dedicado cerca de un 25% del tiempo de clase a aprender mediante el cuestionamiento y los retos. Parece que las cosas van cambiando aunque muy lentamente. Vamos a intentar poner nuestro granito de arena para acelerar ese cambio tan necesario.
Después utilizamos las flash cards en la metodología Peer instruction con preguntas conceptuales sobre  física de bachillerato. Respondimos a las preguntas con las flash cards y discutimos la justificación de las respuestas al modo del peer instruction: unos alumnos discuten con otros que han escogido otras opciones sobre las razones que justifican las respuestas que han escogido.A continuación demostré como se conducen las sesiones de discusión de peer instruction.
Continuamos con la pregunta urgente de Eva Martín Fuentes que era: ¿Cómo conseguir que los alumnos se impliquen más en su propio aprendizaje? Contesté que hay que vean el valor de hacerlo que se den cuenta de la importancia que tendrá para su futuro las competencias que desarrollen durante la carrera y que se den cuenta de que sólo se desarrollan las competencias que se ejercitan. A modo de broma final comente que Julia Salat Torres planteaba en su cuestionario que deseaba lograr un evaluación que fuese: "justa/objetiva de carácter formativo y que indique realmente la consecución de los objetivos de la asignatura, con un volumen de trabajo razonable para el docente". Yo le dije que eso era la panacea en evaluación y que las panaceas no son fáciles de alcanzar. Lo más que nos podemos acercar a este ideal será combinando sabiamente dos tipos distintos de evaluación: una evaluación formativa que tenga un gran impacto formativo y con la que los profes no nos tengamos que matarnos a trabajar y que tenga una baja repercusión en la calificación bien combinada con una evaluación acreditativa de mayor repercusión (80%) que sea valida, fiable y segura que ademas este bien alineada con los objetivos de aprendizaje que más valoramos.  En la evaluación como en la vida no se puede tener todo hay que escoger algunas cosas y dejar de lado otras. En la evaluación de baja repercusión (low stakes assessment) cuya utilidad es formativa tendremos que comprometer fiabilidad validez y hasta seguridad con tal de maximizar el impacto formativo a unos costes de esfuerzo asumibles por el profesor. En la evaluación de alta repercusión (high stakes assessment) cuya utilidad es acreditativa no podremos comprometer su validez, fiabilidad y seguridad pero dados sus altos costes en medios y tiempo deberemos usarla de una manera muy selectiva. Recuerdo haber dicho  que con que hubieseis comprendido esta dicotomía en el curso me conformaba. 
Cuando cerré la sesión y  los asistentes ya empezaban abandonar el aula me di cuenta de que no les había pasado las encuestas de evaluación. Pero gentilmente se quedaron a rellenarlas pese a que la hora de terminación del curso había pasado ya. Yo rellené el acta del curso, y crucé victoriosamente sobre el rio Segre (con mi amiga Paquita San Vicen que quería consultarme sobre un proyecto). Espero haber ganado algún(a) amigo(a) más en Lleida en este curso pese a que os puse un examen e intente convenceros de que debemos trabajar más para evaluar mejor a nuestros alumnos. A las 21 h. cogí el AVE  que me llevaría a Guadalajara y de allí a mi hogar en Alcalá de Henares, donde mi perro Curro me hizo un gran recibimiento pues el pobre llevaba dos días sin verme.