Durante la realización de un taller de formación del profesorado universitario pedí a los participantes que respondieran a un cuestionario en google forms sobre los problemas que tenemos para lograr que nuestros alumnos aprendan lo que queremos que aprendan. Aunque el grupo de profesores no es representativo de la generalidad del profesorado universitario, pues asistían voluntariamente a talleres para aprender sobre nuevas Apps para hacer evaluación formativa en asignaturas universitarias. Los resultados que hemos obtenido son muy curiosos. Si eres profesor universitario y quieres unirte a este grupo de reflexión puedes contestar a este cuestionario de 9 preguntas que se responde en cinco minutos en el link recopilador
Te recomiendo que lo contestes antes de leer el resto de esta entrada para que tus respuestas no se van influenciadas por lo discutido a continuación.
Análisis de resultados del cuestionario
Análisis de resultados del cuestionario
Voy a iniciar un análisis interpretativo y crítico de las distribuciones de respuestas de los 16 participantes en el taller de Uso de Apps y sistemas de respuesta personal para la evaluación formativa en asignaturas universitarias
Problemas para que tus alumnos aprendan lo que quieres que aprendan
A los profesores incluso a los más innovadores y preocupados por aprender nos gusta (si podemos) echar balones fuera, en este caso el reflejo es una tendencia a echar la culpa de los pobres resultados aprendizaje que obtenemos, a las carencias de nuestros alumnos. Así las dos razones principales aducidas para no lograr los resultados de aprendizaje que pretendemos son que los alumnos no trabajan lo suficiente en nuestras asignaturas (75%) y que no tienen la preparación necesaria (62,3%). Sólo en tercer lugar un 43,3% de los profesores universitarios reconocen que tal vez parte del problema es que no les orientamos debidamente. Posiblemente las tres cosas son ciertas, pero alguien que quiere solucionar un problema debe centrarse en aquellas de sus causas sobre las que puede actuar, no centrarse en aquellas sobre las que no podemos hacer nada. En este caso deberemos centrarnos en orientar mejor a nuestros alumnos y en hacerles trabajar más por su aprendizaje aunque incluso tal vez podamos detectar precozmente la falta de preparación previa (mediante cuestionarios de evaluación diagnóstica) y ofrecer medidas de remediación para aquellos alumnos que las necesiten.
Acerca de si nuestros alumnos no estudian y practican lo que sería necesario para aprender bien, primero debemos intentar medir de alguna manera científica lo que nuestros alumnos estudian y practican y en segundo lugar deberemos crear las condiciones que fomenten que ese estudio y esa práctica aumenten por ejemplo mediante métodos de aula inversa que fomenten y bonifiquen la preparación previa. Empezar a implementar metodologías de aula inversa tendrá varios beneficios en este sentido: 1) fomentará el estudio previo a las clases; 2) nos dará más tiempo de clase y alumnos mas preparados con lo que podremos 3) practicar en clase mas tiempo y en mejores condiciones. Acerca de la orientación y el feedback, el uso de aula inversa nos permitirá 4) mejorar la orientación inicial y 5) después nos dará ocasiones para observarles practicar en clase y proporcionarles feedback. Por ello una evaluación formativa para aprender, no para sacar el 30% de la nota o para liberar materia tendrá mejores efectos que los "examencitos" tan al uso en los nuevos grados que no son aprovechados para dar feedback a nuestros alumnos y que son tomados por los alumnos como pruebas sumativas más que formativas desatendiendo temporalmente al resto de las asignaturas.
Acerca de los problemas de preparación previa deberemos centrarnos no en el rasgado de vestiduras y en las lamentaciones por la defectuosa preparación de nuestros alumnos sino en su detección precoz, e individualizada en ponerlas de manifiesto a los interesados y en hacer lo posible por ayudarles a solventar sus problemas de base.
Problemas para que los alumnos hagan suyos los objetivos de aprendizaje de la asignatura
Otro 44,3% señala que las competencias que se ponen en las guías no se relacionan mucho con lo que luego realmente se evalúa y califica en la asignatura. En este caso ¿Que podemos hacer? Pienso que podemos 1) dedicar más tiempo a que nuestros alumnos comprendan cuales son los conceptos más esenciales y los objetivos a largo plazo de nuestra asignatura. 2) Ponerles un examen de evaluación formativa sobre la guía para animarles ea estudiarla. 3) Escribir nuestras guías pensando no en solventar un trámite burocrático sino en que mensajes queremos transmitir con ellas a nuestros alumnos y como pueden servir para orientarles hacia las grandes cuestiones y los resultados de aprendizaje más importantes de nuestras asignaturas. 4) comprobar que realmente evaluamos precisamente esas competencias que según declaran nuestras guías, pretendemos que nuestros alumnos desarrollen gracias a su experiencia de aprendizaje en nuestra asignatura.
Problemas con el sistema de evaluación e impartición de la asignatura
En cuanto a los problemas con el sistema de evaluación e impartición de sus asignaturas
El 50% de los profesores, en un alarde de capacidad autocrítica creen que no tienen ningún problema con su sistema de impartición y evaluación (aunque también es posible que alguno lo tenga y no sea consciente de ello). Un 31,3% son conscientes de que no usan suficiente tiempo de clase para que sus alumnos hagan y practiquen aquello que quieren que aprendan. Un 12,5% reconocen su grado de inconsciencia al no haberse planteado hasta ahora esto como un problema y finalmente un 6,3 reconocen que se han dado cuenta de que realmente tienen el problema de que no enfocan la evaluación en lo que quieren que sus alumnos hagan y aprendan a hacer.
El 50% de los profesores, en un alarde de capacidad autocrítica creen que no tienen ningún problema con su sistema de impartición y evaluación (aunque también es posible que alguno lo tenga y no sea consciente de ello). Un 31,3% son conscientes de que no usan suficiente tiempo de clase para que sus alumnos hagan y practiquen aquello que quieren que aprendan. Un 12,5% reconocen su grado de inconsciencia al no haberse planteado hasta ahora esto como un problema y finalmente un 6,3 reconocen que se han dado cuenta de que realmente tienen el problema de que no enfocan la evaluación en lo que quieren que sus alumnos hagan y aprendan a hacer.
Las soluciones a estos problemas mas prevalentes en relación con el sistema de evaluación son: 1) darnos cuenta de que nuestro sistema de impartición y evaluación no es perfecto y por tanto podemos mejorarlo si somos observadores y autocríticos; 2) dedicar más tiempo de clase a que nuestros alumnos hagan y practiquen; 3) ser conscientes de que nuestro sistema de evaluación envía mensajes a nuestros alumnos sobre lo que es importante en realidad para aprobar y lo que es importante "de boquilla", 4) enfocar la evaluación precisamente en lo que queremos que hagan y aprendan a hacer.
El mito del profesor superhumano
A partir de aquí profundizamos en el estudio de carga de trabajo no presencial de los alumnos y en cierto sentido empieza lo divertido pues se demuestra que el grupo de profesores que asistieron a mi taller no está formado por profesores ordinarios. Ante la pregunta de si su sistema de impartición y evaluación de la asignatura logran que sus alumnos dediquen atrabajar el tiempo suficiente (establecido en la carga ECTS nominal de su asignatura) para aprender, un considerable 50% demuestran tener supesentidos o precepción extrasensorial pues sospechan que no lo logran (creo que sus sospechas están fundadas). A estos hay que añadir un escaso 6,3 que reconocen que no lo saben (el primer paso a la sabiduría), pues reconocen desconocer hasta cual debería ser ese tiempo de carga nominal y otro 6,3 % que declaran que no lo saben y prefieren no saberlo para no meterse en líos. Por tanto, tenemos un total de un 62,5% de profesores que no creen que su sistema de impartición y evaluación de sus asignaturas logre que sus alumnos trabajen lo suficiente. Este es un buen diagnóstico inicial aunque creo que entre el profesorado universitario en general el porcentaje debería ser mucho mayor.
Por otro lado el restante 37,5% creen poder demostrar con fiabilidad que si que logran hacer trabajar a sus alumnos el numero de horas que corresponde a la carga nominal de su asignatura (e incluso algunos hasta logran que sus alumnos trabajen por lo menos un 20% más todavía como mostraremos en la siguiente pregunta).
Vamos a establecer unas coordenadas para poder discutir racionalmente este punto. El tiempo de carga de trabajo nominal por crédito es de 8 h. presenciales y 17 horas no presenciales en la UAH (aunque en la mayoría de las universidades españolas son 10 horas presenciales más otras 15 horas no presenciales). Personalmente creo que si este grupo tan especial de profesores están en lo cierto, no deben ser una muestra representativa de la generalidad del profesorado universitario sino una muestra muy sesgada hacia logros superiores de lo normal y más bien propios de profesores especialmente innovadores y empeñados como pocos en hacer trabajar a sus alumnos.
Esta especulación la baso en que yo que si he hecho este estudio de carga varios años y por ello se que cuando una asignatura no incluye aula inversa y proyectos en equipo lo que suele salir es que los alumnos trabajan muchas menos horas no presenciales de las que deberían y también se que el porcentaje de asignaturas que combinan aula inversa y proyectos de equipo no supera el 2% de las asignaturas. Por tanto mi experiencia no coincide en absoluto con las estimaciones tan optimistas de estos profesores, a menos que un porcentaje inusualmente alto de los profesores de mi muestra estuviese usando métodos de aula inversa en sus asignaturas.
Lo habitual en España es que la carga de trabajo no presencial real de los alumnos que aprueban las asignaturas sea inferior entre un 20 y un 50% con respecto a la carga de trabajo no presencial nominal de la asignatura. Para una asignatura de 6 créditos esto supone (6 x 25) 150 horas de carga de trabajo total que en una universidad que optó por la formula 8/17 (como la UAH supone 50 h de trabajo presencial y 100 de trabajo no presencial). En las universidades que optaron por el sistema 10 presencial +15 presencial, una . asignatura de 6 créditos supondrá 60 horas presenciales y 90 horas de trabajo no presencial no presenciales. La experiencia demuestra que normalmente el tiempo de trabajo presencial se controla y se cumple (aunque en algunas universidades españolas los profesores no están obligados a firmar las clases), pero el tiempo de trabajo no presencial del alumno ni se controla ni se cumple en su totalidad. Estos resultados empíricos contrastan fuertemente con las respuestas a la siguiente pregunta del cuestionario sobre ¿Qué se puede concluir del estudio de carga de trabajo de sus alumnos? Conociendo este contexto resultan cuando menos sorprendentes algunas de las respuestas que hemos obtenido salvo que nuestra muestra este compuesta por una mayoría de profesores superhumanos con logros docentes imponentes.
¿Cuanto tiempo dedican atrabajar en tu asignatura (fuera de clase) los alumnos que aprueban?
Una explicación plausible es que algunos de los encuestados se engañan a si mismos o bien contestaron a esta pregunta de cachondeo pues el dato de que un 62,6% de los profesores consideren que sus alumnos que aprueban cumplen o superan en mas de un 20% la carga nominal de trabajome parece una afirmación no basada en la evidencia sino apriorística y difícilmente reconciliable con el dato obtenido en la primera pregunta del cuestionario que el 75% de los profesores contestaron aduciendo la falta de trabajo de sus alumnos como la principal razón que impedía que sus alumnos lograsen los resultados de aprendizaje programados (¡!).
La única manera de saber el numero de horas que dedican los alumnos que aprueban es preguntar a nuestros alumnos cuanto tiempo han tardado en realizar cada tareas que les mandamos y finalmente hacer la suma de tiempo dedicado a todas las tareas de la asignatura. Después tras calificar a nuestros alumnos hay que separar a los suspensos de los aprobados y medir la carga media de trabajo en cada subgrupo. No me creo que el porcentaje de profesores que hayan obtenido estas evidencias tan exhaustivas sobre el tiempo de trabajo de los alumnos y las han relacionado con su rendimiento académico sea casi del 70 por ciento. No me lo creo. Responden por intuición no por acumulación de evidencias y en más de un sesenta % de ellos la intuición respalda el prejuicio de que es claro que logran que sus alumnos trabajen el tiempo legalmente establecido en los créditos ECTS e incluso más. Mis evidencias observacionales y bibliográficas apuntan en la dirección contraria y por ello creo mucho más al 30 % restante que reconocen no tener evidencias suficientes sobre el tiempo de trabajo de sus alumnos que aprueban y al 6,3 que aunque reconocen no tener evidencia tienen la intuición cierta de que sus alumnos que aprueban trabajan (de media) menos haras de las que la carga nominal de los créditos ECTS establece..
Sé bien por mi propia experiencia de muchos años que hasta en aquellas asignaturas en las que mandamos tareas semanales y trabajos en equipo nos resulta muy difícil lograr que el alumno medio dedique 100 horas no presenciales a trabajar una asignatura de 6 créditos y esa es sólo la carga nominal legalmente establecida. Por tanto, conseguir que el alumno medio dedique más de 120 horas a tu asignatura es algo extraordinario yo diría que hasta increíble y por ello considero casi imposible que lo consiga uno de cada tres profesores, salvo que sean profesores mutantes con extraordinarios superpoderes de la academia de X men del profesor Xavier.
Los estudios publicados demuestran que hasta en las carreras sanitarias y en las ingenierias el volumen de trabajo no presencial realizado por los alumnos es significativamente inferior al estipulado en la inmensamayoría de las asignaturas estudiadas en estos grados.
Recomiendo la lectura de estos dos artículos para que nos demos cuenta de la enorme diferencia entre las cargas de trabajo nominales y reales en los estudios de grado en distintas universidades españolas.
Participación en las clases
La única manera de saber el numero de horas que dedican los alumnos que aprueban es preguntar a nuestros alumnos cuanto tiempo han tardado en realizar cada tareas que les mandamos y finalmente hacer la suma de tiempo dedicado a todas las tareas de la asignatura. Después tras calificar a nuestros alumnos hay que separar a los suspensos de los aprobados y medir la carga media de trabajo en cada subgrupo. No me creo que el porcentaje de profesores que hayan obtenido estas evidencias tan exhaustivas sobre el tiempo de trabajo de los alumnos y las han relacionado con su rendimiento académico sea casi del 70 por ciento. No me lo creo. Responden por intuición no por acumulación de evidencias y en más de un sesenta % de ellos la intuición respalda el prejuicio de que es claro que logran que sus alumnos trabajen el tiempo legalmente establecido en los créditos ECTS e incluso más. Mis evidencias observacionales y bibliográficas apuntan en la dirección contraria y por ello creo mucho más al 30 % restante que reconocen no tener evidencias suficientes sobre el tiempo de trabajo de sus alumnos que aprueban y al 6,3 que aunque reconocen no tener evidencia tienen la intuición cierta de que sus alumnos que aprueban trabajan (de media) menos haras de las que la carga nominal de los créditos ECTS establece..
Sé bien por mi propia experiencia de muchos años que hasta en aquellas asignaturas en las que mandamos tareas semanales y trabajos en equipo nos resulta muy difícil lograr que el alumno medio dedique 100 horas no presenciales a trabajar una asignatura de 6 créditos y esa es sólo la carga nominal legalmente establecida. Por tanto, conseguir que el alumno medio dedique más de 120 horas a tu asignatura es algo extraordinario yo diría que hasta increíble y por ello considero casi imposible que lo consiga uno de cada tres profesores, salvo que sean profesores mutantes con extraordinarios superpoderes de la academia de X men del profesor Xavier.
Los estudios publicados demuestran que hasta en las carreras sanitarias y en las ingenierias el volumen de trabajo no presencial realizado por los alumnos es significativamente inferior al estipulado en la inmensamayoría de las asignaturas estudiadas en estos grados.
Recomiendo la lectura de estos dos artículos para que nos demos cuenta de la enorme diferencia entre las cargas de trabajo nominales y reales en los estudios de grado en distintas universidades españolas.
Participación en las clases
Ante la pregunta de si logran que participen la mayoría de sus alumnos en sus clases un 43,7 responden que si. Un 18.8% de ellos dicen que logran que participen el 100%. Otro 25% dicen que logran que participe la mitad o más. Sin embargo, hasta en este selecto grupo de profesores con poderes sobre humanos los que no consiguen que la mayoría de sus alumnos participen son mayoría pues suman un 56,3 % e incluyen el 18,8 que como mucho consiguen que participen la mitad, el 31,3% que no creen que el porcentaje de alumnos que participan supere el 25% y el 6,3% que ni saben que porcentaje de sus alumnos participa en clase ni les importa.
Ante la pregunta de si disponen de tiempo suficiente para realizar todas las actividades presenciales que desearían realizar para que tus alumnos obtengan los resultados de aprendizaje deseados. Un 68,2% responden que no. De ellos un 50% responden que la extensión del temario que tienen que dar no se lo permite, otro 6,3 se lamenta de no haber podido usar el aula inversa todavía y otro 12,5% pese a que usan metodología de aula inversa siguen consumiendo mucho tiempo explicando dudas y les falta tiempo para hacer otras cosas.
Tiempo de clase para realizar actividades presenciales
Al preguntarles si disponen de tiempo suficiente para realizar todas las actividades presenciales que desarían realizar para que sus alumnos obtengan los resultados de aprendizaje deseados. Un 31,3 dicen disponer de tiempo suficiente para hacerlo por diversas razones. De estos privilegiados un 18,8% dicen que su problema no es la falta de tempo, sino de ideas para hacer en ese tiempo liberado gracias a aula inversa.Un 6,3% tienen tiempo suficiente porque son unos campeones. Otro 6,3% llevan mucho tiempo usando aula inversa y han ido añadiendo actividades año tras año y por eso ahora sus alumnos no paran en clase.
Del análisis de esta distribución de repuestas podemos deducir que un:
12,5% +18,8% +6,3%= 33,67%
12,5% +18,8% +6,3%= 33,67%
Esto es, un tercio de los profesores que asistieron a mis talleres utilizan metodología de aula inversa. Misterio resuelto al fin entiendo la causa de las anomalías detectadas. Esto me confirma sin ningún genero de dudas que mi muestra de profesores es muy poco representativa del profesorado universitario en general (en el que la tasa de profesores que han usado aula inversa lamentablemente no supera el 1% o el 1 por mil).
¿Qué porcentaje del tiempo de clase no es monólogo explicativo?
Con respecto a la pregunta de ¿Qué parte del tiempo de tus clases no es dictado o monólogo explicativo y es diálogo, respuestas a preguntas de tus alumnos, discusión o asesoramiento a actividades protagonizadas por tus alumnos?
Estas respuestas confirman que estos profesores encuestados no son profesores normales, son mucho más dialogantes de lo normal: solo un 6,3% dedica menos de 5 minutos por clase al dialogo, y un 13,3 entre 5 y 10, un 53,3% entre 10 y 15, un 13,3% entre 15 y 30 y otro 13,3% más de 30 minutos por clase.
¿Qué evalúas?
La última pregunta del cuestionario era ¿Evalúas realmente y das peso en la calificación a todo aquello que quieres que aprendan tus alumnos o hay resultados de aprendizaje deseados que no son debidamente evaluados o no contribuyen a la calificación de tus alumnos en tu asignatura?
Los resultados son esperanzadores un 80,3% de los profesores encuestados intentan alinear lo que evalúan con lo que quieren que sus alumnos aprendan y de entre aquellos que lo intentan estarán aquellos que lo pueden conseguir. El nivel de logro alcanzado es muy variado. Un 25% lo intentan y sienten que se acercan a conseguirlo. Otro 25% lo intentan con ahínco pero son conscientes de lo mucho que les falta para conseguirlo. Un 31,3% lo intentan pero posiblemente no lo suficiente.
Parece que incluso para los profesores más innovadores y dotados de poderes sobrehumanos la evaluación sigue siendo una asignatura pendiente en la que tenemos mucho que mejorar. Por otro lado hasta en estos grupos de selectos profesores existe una minoría (18,8%) que no intentan alinear su evaluación con los resultados de aprendizaje deseados y parte de ellos (12,5%) reconocen incluso que ni se lo habían planteado antes de que este cuestionario les obligase a reflexionar sobre ello.
Parece que incluso para los profesores más innovadores y dotados de poderes sobrehumanos la evaluación sigue siendo una asignatura pendiente en la que tenemos mucho que mejorar. Por otro lado hasta en estos grupos de selectos profesores existe una minoría (18,8%) que no intentan alinear su evaluación con los resultados de aprendizaje deseados y parte de ellos (12,5%) reconocen incluso que ni se lo habían planteado antes de que este cuestionario les obligase a reflexionar sobre ello.
