Tomar una decisión.
Yo decido (Yo?):
El hombre razonable se adapta al mundo,
el irracional intenta adaptar el mundo a él mismo.
Por eso el progreso solo depende de lo irracional.
G. B. Shaw.
Hace tiempo que vengo “masticando” la idea de que tal vez, y solo tal vez, las encuestas estudiantiles podrían estar arrojando resultados inesperados y como si eso fuera poco, una interpretación de esos resultados aún más inesperada (escribo esta palabra aunque estoy pensando en otra políticamente menos correcta). A la luz de lo que expondré se podría pensar que las encuestas han sido una mala idea, dada la manera que se han llevado a cabo. Bueno, probablemente no sea ni mala ni buena, pero es ciertamente, desde mi punto de vista, el juicio (producción y análisis) vertido desde y hacia las mismas el que podría haber quedado oscurecido como consecuencia del mismo instrumento.
Veamos opciones: Para algunos estudiantes / docentes, la respuesta es sí (mala idea), es un mal instrumento ya que no se ha logrado a través del mismo “sacar” del medio a docentes que, de acuerdo a las encuestas, no se desempeñan correctamente. Para otros la respuesta es no, ya que si han logrado objetivos (cambios, remociones, etc.) a través de ellas.
Para algunos evaluadores las encuestas sustituyen al docente por lo que son indispensables. Para otros en cambio, no se pueden tomar en cuenta porque en realidad, los estudiantes "escriben cualquier cosa".
Probablemente todos están un poco en lo cierto y un poco equivocados y el péndulo debería detenerse en el medio (nada nuevo bajo el sol). Y dado que este péndulo no parece tener intenciones de detenerse en el medio súbitamente, algo esta sucediendo y tal vez sea importante recurrir a los conceptos vertidos en la obra “Pensar rápido, pensar despacio” del premio nobel Daniel Khaneman y los dos trabajos que fundamentaron el mismo (los artículos y el libro se encuentran en la página de Estabilidad IV MOD I). El primero es la revisión del juicio en situación de incertidumbre. El segundo, publicado en 1984, resume la teoría de las perspectivas y estudios sobre los efectos marco. Estos artículos representan las contribuciones que el comité del premio Nobel citó para el otorgamiento del premio.
Así el motivo de la presente se clarificó para mi: creo conveniente una discusión profunda sobre las encuestas estudiantiles. Más aún cuando por el Art. 64, inc. 3, Res 956/09; estas deben formar parte de la evaluación de la trayectoria docente junto con el Informe Institucional (sorpresa desagradable, este informe, según el Art. 90 de la mencionada, también tiene por insumo las encuestas, tal como se demuestra mas abajo. Si fuera un impuesto, sería inconstitucional!). Mas allá de la reglamentación, estas son un insumo importante y como cualquier dato usado adecuadamente, puede mejorar el servicio de enseñanza de ingeniería.
Ahora creo poder formular la pregunta correctamente: ¿Cuál es el objetivo de las encuestas y que valor institucional se les debería dar? Aun cuando no tengo la respuesta, intentare que Udes. la piensen conmigo.
La obra mencionada arriba, además de ser un excelente libro el cual recomiendo seriamente, presenta como uno de los puntos más llamativos la enorme cantidad de sesgos [1] a los que está sujeta la opinión (expresada generalmente como encuesta) de una persona normal (esta distinción es para separar el grupo denominado Agente Racional AR). Así, me he propuesto analizar las encuestas usando un poco de teoría del comportamiento. Para ello me permito enunciar brevemente algunos conceptos de los que haré uso más adelante. Por supuesto que se trata de un bosquejo de alguien inexperto en análisis de encuestas pero puede servir de disparador. Es mi pretensión de máxima, discutir el problema.
El sistema de análisis del ser humano puede clasificarse en dos tipos:
Sistema 1: es intuitivo, busca la armonía general. Rápido pero poco profundo, adolece de muchos sesgos que se citan a continuación. Es el más importante por ser el protagonista fundamental de nuestra vida cotidiana.
Sistema 2: es el lógico deductivo. Lento y muy perezoso, controla a regañadientes al sistema 1 y valida o no las decisiones del primero. Muchas veces ni siquiera participa.
Tal como señala este experto, es importante marcar que generalmente contesta el sistema 1 en cualquier tipo de encuestas excepto que, por circunstancias especiales, se fuerce al Sistema 2 a tomar ese control. El sistema 1 busca ser coherente y realizando lo que se denomina “matching de intensidad” (equipara situaciones totalmente diferentes) procede a sustituir la pregunta por otra que le resulta afín y más fácil de responder. El sistema 2 podrá o no permitir esta sustitución por parte del sistema 1, pero por sus características este ultimo, generalmente, valida sin objetar (sin apelar al 2). Este procedimiento muchas veces conduce a solución de problemas en base a vivencias (heurística) y resulta ser de mucha utilidad, pero por otra parte está sujeto a una gran cantidad de sesgos, algunos citados a continuación. Para que se vea el problema en forma más directa, se enumeran los sesgos que se consideran aplicables al proceso Alumnos-Docentes-Encuestas-Evaluación:
1) Priming: este efecto es imperceptible y afecta a sistema 1. Induce al mencionado a dar una respuesta de acuerdo a algún tipo de orientación. Es usado muchísimo en campañas políticas o comerciales. Claramente, al tomar la encuesta sin los profesores involucrados, es una manera de evitar este sesgo. Sin embargo hay otras fuentes de priming, por ejemplo, si la primer pregunta el cuestionario suscita una respuesta negativa, puede ser que el resto del cuestionario sea afectado negativamente. Y la inversa. Otra fuente de priming es el momento del dictado en que se realiza la encuesta, por ejemplo, una clase especialmente amena puede inducir priming positivo, y viceversa.
2) Ley de nueros chicos: Sin duda el problema de asignaturas con pocos alumnos. Tiende a dar extremos. Esta falla más allá de los sistemas 1 o 2. Esta cuestión podría establecer un punto de iniquidad: los docentes con más alumnos deben someterse a cuestionarios (con sus fallas y virtudes) y los de pocos alumnos, no?
3) Sesgo de disponibilidad: Acá se producen varias cosas. A) tensión cognitiva: me posiciono en la pregunta “opinión general de la cátedra” (pero puede ser otras). Si esta opción impone un esfuerzo cognitivo por el alumno (sistema 2), la tensión cognitiva puede dar la paradoja de arrojar un mal resultado en función de cuánto cuesta responder.. Por eso es muy delicado como se pregunta y que se espera de la respuesta. Si se le pidiera previamente que enumere 10 cosas que sabía antes de entrar a la materia y 10 cosas que agregó luego de aprobar, la respuesta podría cambiar mucho… b) Cuando el receptor es conocedor del tema sobre la pregunta, tiene una disponibilidad inmediata sin recurrir a sistema 2 y da encuestas mucho mejores por estado de ánimo. Esta puede ser una diferencia central entre los que cursaron y los que quedaron libres… pero no solo en el conocimiento sino en el HUMOR!!!
4) Anclaje: este punto afecta fundamentalmente al sistema 1 por medio del prejuicio. O sea responde no por vivencia personal. Por ejemplo, calificar docentes que no han dado ninguna clase (ha ocurrido en esta asignatura). O calificar las clases de consultas cuando no se ha asistido a ninguna (vienen un 10% de los alumnos.
5) Heurística del afecto, del humor y sesgo de creencia y confirmación: el primero + el segundo, son tipos de prejuicios que tienden a calificar mejor a quienes se aprecia por algún motivo o cuando se está de mejor ánimo (si se hace el cuestionario un día que se aprobó un parcial, todo se verá diferente). El tercero, califica sin mucho fundamento. Los autores lo denominan WYSIATI (“lo que vez es lo que hay”). Es cuando, típicamente, se salta rápido a las consecuencias (muy argentino..) Por ejemplo, se califica todo un temario con datos sobre unas pocas cosas que ni siquiera están corroborados.
6) Ilusión de validez e ilusión de habilidad: En cuanto a la primera, el ser humano es generalmente malo deduciendo y muy bueno induciendo, porque la deducción requiere del sistema 2 y la inducción es un rápido reflejo del sistema 1. Pero la inducción se basa generalmente en hechos impactantes y no en estadísticas. Rápidamente se da coherencia cognitiva al hecho sobresaliente y se produce el resultado. Operan sustitución y WYSIATI. En cuanto a la segunda, aun verificando el error, es muy difícil reconocerlo ya que uno estima estar capacitado para opinar o responder sobre cierta actividad, sobre todo cuando es una tarea cotidiana (sí, es peor este sesgo en profesionales del tema).
7) Aversión a la pérdida: El sistema 1 responde en forma intuitiva como una reserva genética relativa a la conservación generando una aversión a la pérdida. Esta actitud se refleja en el día a día como una tendencia a reafirmar los eventos desagradables por encima de los placenteros. Así, una mala predisposición por cualquier razón es mucho más difícil de cambiar a buena.
8) Regla del pico-fin: Estudios realizados con análisis médicos muestran que el cerebro es muy bueno construyendo historias pero no es bueno analizando aquellas que requieren de un tiempo prudencial para realizarse. Al responder, el sistema 1 generalmente lo hace basado en la memoria y esta no almacena eventos prolongados en el tiempo sino eventos muy determinantes (sobresalientes, emociones, bronca, etc.) y los promedia incluyendo los eventos más cercanos en el tiempo.
A la luz de estos sesgos, perfectamente corroborados científicamente, se plantea inmediatamente la duda sobre las maneras de evitarlos y si la estructura actual de la facultad está desarrollada lo suficiente como para ello. Por ejemplo, realizar preguntas muy generales o inespecíficas, ¿no podrían acentuar el sesgo de anclaje? ¿O el de heurística del afecto?
Si estos defectos están presentes en los resultados, ¿Qué se debería hacer con las preguntas y respuestas?
Repasemos un poco algunos puntos de la encuesta en particular considerando lo expresado.
Analicemos las preguntas 8, 9 y 12. Son un ejemplo a destacar. Si un alumno responde que, para estudiar una materia, necesita mucho tiempo o que para regularizar/promover se le exigió mucho (preg. 8 y 9); se califica con un número que es alto si ambas cuestiones son positivas. Qué significa? Obviamente el alumno no ve como positivo esto porque esas respuestas flotan sin que el mismo entienda que ese tiempo fue bien invertido o valió la pena por el contenido incorporado (o sea, no se apela al sistema 2), el sistema 1 lo asume como negativo y procederá aumentar el priming negativo, a generar sesgos que le dicen “esto estuvo mal, fue inútil”.
Por supuesto, que después de esta sustitución / priming negativo, luego se pide que de su opinión general de la materia (pregunta 12). Lo primero que se debe analizar es que se está preguntando. Como se puede estar seguro que no opera otra sustitución del tipo fácil / difícil; aprendí / no aprendí; aprobé / no aprobé; mucho contenido / poco contenido? Todas estas pueden ser operaciones rápidas del sistema 1 al responder algo tan amplio. Si además se tiene en cuenta que preceden a esta las 8 y 9, la respuesta puede estar muy condicionada.
No se debe soslayar el efecto ancla (de donde se parte). Está muy arraigado en el estudiantado el “pre-concepto” materia difícil / fácil, linda / fea, corta / larga y a veces esto poco tiene que ver con la actualidad de cada asignatura, sus docentes o sus programas. En un experimento clásico de la Doctora Nalini Ambady (citado en el libro "Agilmente" de Estanislao Bachrach) se le presenta a un conjunto de alumnos tres videos de diez minutos sin sonido, con varios profesores dictando clase y se les solicito que efectúen una evaluación. Lo increíble es que luego se les solicito repetir la evaluación al final del semestre y los resultados fueron muy semejantes.. Mas raro aun? la evaluaciones fueron semejantes si el video inicial solo duraba cinco segundos!!!
Como se espera que este preconcepto (priming) no afecte la “opinión general de la materia”. Cuanto se puede cambiar el priming en un grupo que no cursa efectivamente la materia en análisis y responde igual (80% del total). Es poco probable que por arte de magia regrese a la cabeza del estudiante, lo que sabía antes y después de la asignatura y responda acorde a esto (con el sistema 2). Se sumará a esto la aversión a la pérdida (9). Algunas asignaturas (entre las cuales esta probablemente Estabilidad IV) siempre ha tenido que lidiar con un preconcepto adverso (difícil, mucha matemática, etc.). Como adición, se ha difundido, en forma categóricamente errónea, la posibilidad de aplicar las enseñanzas de estas asignaturas al día a día de la ingeniería.
Para refutar esta última creencia sobre Estabilidad IV, una gran modificación incluida en 2018 (no a partir de resultados de encuestas, sino por otras razones) ha sido un capítulo enteramente dedicado a la ingeniería práctica. Claro, esto se discute en el coloquio integrador y lo que podría despertar el sistema 2 del estudiante y anular el priming, se hace después de tomar las encuestas, lo cual agrega otra incertidumbre: el momento del cuatrimestre en que se debe encuestar.
Porque algunas asignaturas tienen una “opinión” buena?. Seguramente y principalmente por los méritos de los docentes y del plan de estudio. Pero también puede que operen todos los mecanismos mencionados antes (priming – sustitución – anclaje – aversión a la pérdida) pero ahora en positivo y esto no deje visibilizar otros potenciales problemas (más adelante se vuelve sobre esto al analizar pregunta 11).
Por otro lado y para dejar atrás la pregunta 12, una “opinión” no parece ser la palabra correcta a incluir en una encuesta académica. No parece lógico que la “opinión”, buena o mala, sea importante. Pero sí, su resultado produce un priming negativo, ahora, al que revisa la encuesta!!! (Se volverá sobre esto más adelante).
En la pregunta 4, “coordinación teoría practica” ¿qué se pregunta? ¿Si los profesores de teoría y práctica se ponen de acuerdo? ¿Si la práctica no tiene la teoría correspondiente? ¿Si la teoría se da después de dar la práctica? Vuelvo al ejemplo de Estabilidad IV: solo somos dos docentes, el Titular y el Adjunto. Aseguro que es muy difícil no “coordinar”. Estimo que el sistema 1 sustituye y responde “la práctica de los finales es diferente a la de los libros”. Aunque esto no sea cierto (hay prácticos en el libro de cátedra igual de complejos), me animo a proponer este sesgo porque es una de las cosas que aparece más veces en las opiniones sueltas (parte final de la encuesta).
La pregunta 7, “Los temas de exámenes parciales estuvieron acorde a los contenidos impartidos en clase” ¿que se pretende que se responda? ¿Si hay algún tema que se tomó en una prueba y no estaba en el temario? Cuanto puede un estudiante, que a regañadientes avanza entre los avatares del dictado, resolver rápidamente sobre “concordancia”. Por ejemplo, lo que se le tomó y no supo, ¿daría como respuesta “estuvo acorde”? Podría operar ilusión de habilidad y así no tomar toda la responsabilidad por el “fracaso”. En estabilidad IV los temas de examen están incluidos en el apunte (se los solicita con número de inciso) Sin embargo, la práctica es diferente a la de clase. ¿Podría darse de nuevo sustitución debido a (7)?. Esto último es muy probable dado el volumen de reclamos con relación a este punto.
Entonces ¿es correcto proceder a tomar problemas “de la carpeta” para evitar este sesgo? Esta pregunta podría ser mucho más específica: ¿Cada tema de teoría se dio en clase? ¿Cada pregunta refiere a temas de clase? Y finalmente, para resolver el problema del examen, ¿se debía usar la teoría impartida en clase? Y las respuestas serían con seguridad completamente diferentes…
Pero también debería agregarse: ¿UD cree que desaprobó por teoría, preguntas, problemas, o por combinación de todo? O, ¿qué peso le da la cátedra al práctico de la prueba? O ¿El sistema de calificación balancea los temas?
Una confirmación de la posibilidad que ambas preguntas (4 y 7) estén siendo “sustituidas” por la opinión que el práctico de un parcial / final agrega un poco más de dificultad, es la notable correlación entre ambas a lo largo de los años en encuestas de Estabilidad IV.
Una cosa a destacar es la falta de reflejo en las encuestas de los cambios operados en la manera de dictar temas o en agregado / supresión de contenidos complementarios (que hasta podrían ser resultados de solicitudes de estudiantes y/o pares evaluadores). En la conformación actual de las encuestas, un cambio operado debe ser medido en forma indirecta es decir, a través de otras respuestas. Pero admitiendo una evaluación indirecta, la experiencia de esta cátedra es que, ante cambios importantes, no se han producido variaciones en el tenor general de las respuestas, ni para mejor o para peor. Esto puede ser un indicio de que esos cambios no están siendo evaluados, ya sea porque sus efectos no son detectados por el alumnado en el corto plazo o bien por lógica falta de preguntas directas. Pero de cualquier modo es una muestra más de que no es el sistema 2 el que opera en general en las respuestas, sino el sistema 1 que sustituye el programa vigente, por el que es aceptado como general histórico de “esta materia”.
Otro ejemplo de sustitución es la pregunta 11 “como juzga su preparación previa”. No creo que se tenga conciencia que, según el resultado de esta pregunta, se podría exonerar a cualquier docente de tener que explicar cualquier otra cosa. Pues, si se evalúa que la preparación previa es deficiente, se invalidarían automáticamente la pregunta 16 y varias más (la mayoría, a decir verdad). En esta materia siempre se juzga que la preparación previa es muy deficiente. Pero nos resulta casi imposible suponer que sea real que la formación previa obtenida de varias materias, sea mala. Si esto fuera cierto, deberían repasarse la validez de las encuestas de las materias previas y admitir que aquellas positivas debieron sufrir de priming – sustitución – anclaje, pero ahora en positivo. Seguramente esto no es lo que pasa. Es claro que los alumnos están respondiendo otra cosa. Toda encuesta es una apelación a la memoria. Cuanto más se apele a ella, más grave es el sesgo marcado en el punto (8) y lo más probable es que al estudiante le cueste reconocer que no se acuerda (por la ilusión de (6)) de aquellas tareas que requirieron de un mayor tiempo de maduración para poder ser asimiladas (léase asignaturas con alto contenido teórico) y piense que el responsable es el sistema.
Pero no todo es problema de los alumnos. Estos sesgos pueden afectar a evaluadores. Repasemos a continuación el posible efecto de la encuesta sobre el docente responsable y sobre el evaluador del docente al cual se le expone las encuestas
Permítanme ilustrar mi punto de vista con ejemplos: me he tomado el trabajo de extractar varias evaluaciones académicas a varios de nuestros docentes en diferentes momentos y, debo decir NO sorpresivamente, me encuentro con el siguiente párrafo en el Ítem 2) DESEMPEÑO ACADÉMICO DEL DOCENTE DURANTE EL TIEMPO DE PERIODICIDAD TRANSCURRIDO:
Evaluación Titular 10/2018
Se procedió al estudio del Informe Final de Mayor Dedicación presentado para el postulante, del período 2012 - 2018 a evaluar, que incluyo tareas de Docencia, Investigación y Extensión, del Informe Institucional de Control de Gestión (encuestas) elaborado para la Dirección de Organización y Coordinación de Desarrollo Académico, del Informe de Desempeño Docente elaborado por el Director del Departamento de Mecánica Aplicada y del Informe Institucional elaborado par Secretarla Académica.
De acuerdo con el Informe elaborado por el Director del Departamento........ (N.A.: esto es una excepción en la generalidad de las evaluaciones que revisé, generalmente no se cita este punto).
Analizadas las encuestas realizadas a las estudiantes relevadas par la Facultad de Ingeniería durante las ciclos lectivos 2012 a 2017 y el Informe Institucional elaborado por Secretaría Académica, se observa que el docente ha sido calificado en general como .............. Respecto a la asignatura hay mayoría de calificaciones como ........, para lo que dichos aspectos deberán ser objeto de mejora.
Evaluación Titular 11/2019
Se procedió al estudio del Informe Final de Mayor Dedicación..... (Idéntico al anterior, cambia el Departamento o no está).
Analizadas las encuestas realizadas a los estudiantes, relevadas por la Facultad de Ingeniería durante los ciclos lectivos 2011 a 2018, se observa que ha sido calificado en general con ..............
Evaluación Titular 12/2020
Se procedió al estudio del Informe Final de Mayor Dedicación..... (Idéntico al anterior, cambia el Departamento o no está).
Analizadas las encuestas realizadas a los estudiantes, relevadas por la Facultad de Ingeniería durante los ciclos lectivos 2018 a 2019, y el Informe Institucional elaborado por Secretaría Académica, se observa que el docente ha sido calificado en general como .........
Evaluación JTP 10/2017
Se procedió al estudio del Informe Final de Mayor Dedicación..... (Idéntico al anterior, cambia el Departamento o no está).
Analizadas las encuestas a alumnos relevadas por la Facultad de Ingeniería durante los ciclos lectivos 2014 a 2016 inclusive, se observa que la docente ha sido calificado en general como .............
Evaluación Adjunto 04/2018
Se procedió al estudio del Informe Final de Mayor Dedicación..... (Idéntico al anterior, cambia el Departamento o no está).
Analizadas las encuestas realizadas a los estudiantes, relevadas por la Facultad de Ingeniería durante los ciclos lectivos 2011 a 2016, se observa que ha sido calificado en general como ..............
NOTA: En negritas esta lo que los jurados decidieron resaltar específicamente, aunque he omitido por cuestiones de privacidad la opinión en concreto. No la consideré pertinente.
A pesar de la fórmula repetida en los párrafos ("Se procedió al estudio del Informe Final de Mayor Dedicación..."), no parece que todos los informes mencionados en ella (los de las diferentes oficinas administrativas, del Director de Dpto., etc.) hayan sido ponderados en forma equivalente si nos remitimos a lo escrito por los jurados ya que, en la evaluación de un punto tan importante como el desempeño académico del Docente, el único elemento que se refleja en forma específica es el resultado de la encuestas (el Informe Institucional y el del Secretario Académico, refieren también a las encuestas. Recuerden Udes. el Art. 90). Tampoco se incluye, por lo general, en la documentación a disposición de los jurados, las respuestas que el docente está obligado a dar año tras año luego de la comunicación del resultado de las encuestas para ver su interpretación de las mismas (no suele ser incorporado en ningún informe institucional).
No estoy diciendo que los pares no le hayan dado importancia a los demás elementos, pero está clarísimo cual ha sido el elemento más importante. En cierta medida es lógico, el informe de las encuestas tiene muchísimas más hojas y datos cuantitativos que todos los demás informes en general (en caso que estén, son extremadamente escuetos. Hablo por experiencia). ¿Cómo no van a impactar? Y lo peor es que los evaluadores pueden sufrir de los mismos sesgos que afectaron a los alumnos. La incertidumbre que le genera al alumno una pregunta y que conduce a sustitución, es la misma que asalta al docente a la hora de analizar la misma fuente.
Concretamente, preguntas como “opinión general de la cátedra” u “opinión general del docente” impactan directamente sobre el sistema 1 del evaluador (que no cuenta con aparatos psicológicos diferentes al de los alumnos y que, repito, no cuenta con información de otro origen que confirme o desmienta) impulsando un veredicto comandado por la ilusión de validez. Solo podría ser corregido / confirmado lógicamente (Sistema 2) si mediara una enorme voluntad del evaluador (interno o externo) de solicitar una ampliación de los otros informes con también datos estadísticos y de opinión. Algo que no va a ocurrir generalmente…
Mi pregunta es, ¿está bien que el desempeño sea evaluado principalmente de esta manera? ¿No podría ocurrir un mal juicio tanto a favor como en contra del docente y siempre en perjuicio de la enseñanza?
Sobre la homogeneidad de las encuestas:
Naturalmente, tal como cita Nassim Taleb en su obra el cisne negro, todo proceso que implique abstracción no es adecuadamente recibido por nuestro aparato cognitivo. Esta característica humana, abstraerse, es relativamente nueva en la evolución en contraposición con la experiencia de campo del cazador-recolector que lleva millones de años de desarrollo. Esta condición no cambia a la hora de la formación universitaria. No es lo mismo digerir un teorema matemático que una medición topográfica (solo menciono como ejemplo). Algo tan elemental no ha sido tenido en cuenta a la hora de realizar la encuestas ya que el formato es exactamente el mismo para todas las cátedras. Y lo que es peor, esto facilita la comparación directa sin más. El carácter uniforme y genérico de las consultas, fuerza anclas y estereotipos que estandarizan la evaluación cuando a priori esto no tendría por qué ser así. Cada asignatura tiene características únicas que deben ser respetadas y no parece ser lógico evaluar docentes de Ingeniería Sanitaria o Trabajo Final, y docentes de Análisis I con idéntico formulario a menos que este sea muy general es decir inespecífico (no es este el caso).
Sobre el valor de las encuestas e ideas finales:
Para cuando este titular sea sujeto de una nueva evaluación, será el año 2024. Si ninguna pandemia, accidente o evento singular acabara prematuramente con mi carrera docente, para esa época estaré tan cerca de la jubilación que lo que depare la evaluación poco influencia tendrá en mi Carrera (aunque mucha en lo personal). Esto me permite dar las opiniones con la libertad que esto me otorga. Pero si es un hecho, que las malas evaluaciones pueden afectar negativamente la vida académica de la Institución y la de los docentes jóvenes (y no tanto), provocando un comportamiento que, por instinto de conservación, los docentes trabajen para las encuestas y no para la enseñanza.
Dejo a continuación estas ideas finales.
Haciendo un paralelo con las teorías económicas, ni los alumnos ni los docentes somos agentes racionales. Por lo tanto, todos los sesgos aquí citados estarán presentes en la recolección de datos de las encuestas y en la consiguiente evaluación. Pero hay una diferencia: somos los docentes los que proponemos las encuestas y es responsabilidad nuestra atender sus defectos. Indicar las falencias de los alumnos al responder no los hace responsables a ellos sino a nosotros, los docentes, que debemos mejorar las herramientas que les proveemos. Es más, voy un paso más adelante, estas falencias pueden tal vez enmascarar la verdadera opinión de un estudiante y limitar la su capacidad de aportar a las mejoras.
Seamos sinceros, asumiendo que mi tesis es correcta, mejorar la herramienta encuesta resolviendo algunos de los problemas aquí expuestos requeriría que la facultad tenga un departamento académico dedicado a la interpretación de posibles sesgos y sus consecuencias, corregir las cuestiones e informar a terceros sobre la herramienta estadística en forma profesional. Por supuesto esto obligaría a contratar personal especializado en interpretación de los resultados, en evolución de las encuestas, en particularización de encuestas por cátedra, análisis de sesgos, etc. Si no se está dispuesto a esto, no queda más remedio que modificar su peso relativo en los informes de desempeño docente disminuyéndolo. Por supuesto no es lo deseable porque con el tiempo, la voz de los alumnos podría ira apagándose y apagarse también el aporte que los estudiantes pueden hacer en la mejora del funcionamiento académico (reafirmo, no se si las encuestas aportaron..). Pero debo ser honesto, aún corregidas no me parece justa la doble imputación Art. 64-Art. 90. La académica de un docente es una película mientras que las encuestas un conjunto de fotos separadas en el tiempo. El cine entendió hace mucho las diferencias.
Volviendo a poner como ejemplo a Estabilidad IV Mod 1 y Mod 2, ¿una encuesta de las características mencionadas al inicio de esta nota, es buena, mala o regular? El filósofo Alemán G. W. H. Hegel esgrimía una hermosa parábola sobre el accionar de la historia en la epistemología: “El búho de Minerva solo levanta vuelo en el crepúsculo” exaltando que se conoce solo en retrospectiva. ¿Será posible que el porcentaje disconforme este momentáneamente en la "noche" y el porcentaje conforme (aquellos que han podido madurar conocimientos y hasta disfrutar las aplicaciones) presencien el "crepúsculo"? ¿No sería esto algo absolutamente natural? Ni criticable, ni ponderable, solo natural. ¿No considerarían Udes. que una encuesta absolutamente positiva siempre o absolutamente negativa siempre podría estar sujeta a más sesgos?
De todos, más allá de que pudiera ocurrir lo dicho, no hemos dejado de trabajar en la Cátedra en modificaciones / modernizaciones que faciliten el proceso de construcción epistémico en total consonancia con grupos de alumnos; recibiendo de ellos contribuciones insustituibles. Pero algo destacable una vez mas: muy pocas de esas contribuciones provinieron de las encuestas (ninguna de las consideradas fundamentales) sino a través de inquietudes discutidas en charlas muy constructivas.
Remarco que los integrantes de la cátedra tenemos muy claro que la herramienta matemática estadística es poderosa y puede servir de guía para corregir las cuestiones más diversas. Pero es muy difícil validar los resultados que se recojan si no se tienen en cuenta el uso correcto de la herramienta. Los sesgos marcados de (1) a (8) ponen en alerta la validez total de muchos de estos resultados y lógicamente es mucho peor una mala guía que ninguna.
Cierro finalmente confiando que, luego de tanto trajinar, podrían Udes. ayudarme a pensar la pregunta:
¿Cuál es el objetivo de las encuestas y que valor institucional se les da?
[1] Puede usarse la palabra error o vicio.