La redacción de ítems debe responder a criterios de validez, fiabilidad, autenticidad y practicidad. Los ítems deben evaluar lo que se pretende medir (constructo lingüístico) y ser adecuados al nivel de competencia.
¿Cómo asegurar que los ítems responden a los principios fundamentales de una evaluación lingüística de calidad?
Validez: ¿Evalúan realmente el constructo lingüístico que se pretende medir?
Fiabilidad: ¿Produce resultados consistentes cuando se aplica en condiciones equivalentes?
Autenticidad: ¿Refleja situaciones comunicativas reales y significativas?
Practicidad: ¿El diseño de la prueba se adapta a los recursos disponibles?
Objetivos: Respuesta cerrada (selección múltiple, verdadero/falso); Productivos; Respuesta abierta (redacción, expresión oral); Integrados: Combinan comprensión y producción.
¿Qué criterios nos ayudan a seleccionar el tipo de ítem más adecuado para evaluar la competencia lingüística?
¿Hay suficientes ítems/tareas para obtener suficiente información sobre la competencia lingüística de las personas candidatas?
¿Hay suficiente variedad de ítems/tareas para obtener una representación del constructo?
¿La redacción de los ítems/tareas es clara y coherente con las especificaciones de la prueba?
Cada ítem/tarea debe estar acompañado de una ficha técnica que incluya: propósito del ítem, nivel MCER al que se dirige, tipo de tarea y formato, criterios de corrección, tiempo estimado de respuesta.
¿Las especificaciones se han creado por un equipo con formación en evaluación?
¿Las especificaciones consiguen plasmar el constructo?
¿Las especificaciones han sido revisadas externamente?
¿Se han definido procedimientos claros para revisar y actualizar las especificaciones regularmente?
¿Son accesibles para redactores, evaluadores y candidatos, y existen versiones específicas para cada uno de estos grupos?
¿Las especificaciones incluyen información acompañando a cada ítem para asegurar coherencia y calidad en la evaluación (propósito del ítem, nivel MCER, tipo de tarea, formato, criterios de corrección, instrucciones, etc.)?
¿Las especificaciones incluyen detalles sobre todos los aspectos de la prueba: tiempos, etc.?
¿Las especificaciones incluyen pautas para redactar cada tipo de ítem/tarea, y ejemplos de ítems/tareas modelo?
Claridad lingüística y sintáctica, ausencia de ambigüedades, contextualización adecuada, inclusión de distractores plausibles en ítems objetivos, etc.
Claridad y precisión en el lenguaje
¿Las instrucciones son claras y precisas?
¿El nivel de lengua del enunciado es similar o inferior al nivel objeto de la prueba?
Adecuación del contexto
¿El contenido es significativo y relevante para el nivel y la tarea?
¿Se evitan referencias culturales que puedan generar sesgos?
Coherencia con el objetivo evaluativo
¿El ítem /la tarea evalúa exactamente lo que se pretende medir?
Viabilidad de corrección y consistencia
¿Se ha tenido en cuenta la fiabilidad y validez de la corrección en el diseño de la tarea?
Enfoque inclusivo
¿Se han considerado adaptaciones razonables si son necesarias?
¿La presentación (tipografía, formato, audio) es accesible para todos los candidatos?
Recursos y reconocimiento del rol del redactor
¿Se garantiza que el equipo de redacción dispone de tiempo, formación y recursos suficientes?
Uso responsable de herramientas digitales e IA
¿Se emplean como apoyo al diseño sin sustituir el juicio experto?
¿Se usan para mejorar accesibilidad y diversidad de materiales?
¿Se siguen pautas de ética y calidad en su aplicación?
Revisión por pares, pilotaje con grupos de muestra, análisis estadístico de funcionamiento (dificultad, discriminación).
¿Cómo verificar que el ítem/tarea funciona adecuadamente antes de su uso definitivo en una prueba de comprensión?
¿Se hace revisión por pares?
¿Se hace pilotaje de los ítems/tareas con grupos de muestra?
¿Se recogen las opciones de las personas que pilotan para obtener un análisis cualitativo?
¿Se realiza un análisis estadístico para obtener datos cuantitativos?
¿Están previstas la colaboración y mejora continua?