6.1 Por qué no encontrarás aquí una cifra de eficacia
La razón
Demostrar que una intervención educativa funciona es difícil y lento. Hace falta comparar con un grupo que no la recibe, controlar las variables que se cuelan por todas partes —el profesor, el centro, el momento del curso, el contenido concreto—, medir con instrumentos que midan lo que dicen medir (Kane, 2013), y esperar el tiempo suficiente para que un efecto sea real y no un entusiasmo inicial.
Nada de eso se resuelve en unos meses. Y la alternativa rápida — recoger las opiniones de quienes usan el producto y presentarlas como evidencia— no demuestra eficacia: demuestra satisfacción, que es otra cosa (Selwyn, 2019).
Y una razón de coherencia
En el capítulo 1 criticamos al Diseño Universal para el Aprendizaje por apoyarse en una base empírica más floja de lo que su uso institucional da por hecho. Sería difícil de sostener hacer nosotros exactamente lo mismo cinco capítulos después.
Si se le exige evidencia a un marco de referencia con veinte años de recorrido, hay que exigírsela a un producto de una empresa. Con más motivo.
6.2 Las cuatro preguntas que hay que responder
«¿Funciona Nubo?» es una pregunta mal formulada: no se puede responder porque no dice qué habría que medir (Mislevy, 2018). Estas son las cuatro que sí se pueden responder, en orden de dificultad.
Primera: ¿el material adaptado conserva el contenido?
Es la más básica y la condición para que las demás importen. Se responde comparando material original y adaptado con revisión experta ciega: especialistas de la materia que no saben cuál es cuál y valoran si el contenido, la exigencia y la solución son equivalentes.
Es la más fácil de medir de las cuatro, y también la más urgente: si el sistema no supera esta, lo demás es irrelevante.
Segunda: ¿el alumno accede mejor?
Aquí se mide lo que la teoría predice directamente: si un alumno con una barrera concreta rinde mejor con el material adaptado que con el ordinario, en la misma materia y con el mismo contenido (Sireci et al., 2005).
El diseño limpio es intrasujeto: el mismo alumno, tareas equivalentes, las dos versiones alternadas. Con eso se controlan de golpe casi todas las variables que ensucian una comparación entre grupos.
Hay una comprobación que nos importa especialmente y que casi nunca se hace: que la mejora no venga de haber facilitado la tarea. Si el material adaptado produce mejores resultados porque exige menos, hemos fracasado exactamente en lo que este libro dice no hacer. Por eso esta pregunta va siempre acompañada de la primera.
Tercera: ¿le devuelve tiempo al profesor?
Más sencilla de medir y muy relevante para un centro: cuánto tiempo lleva preparar material adaptado con el sistema frente a hacerlo a mano, y cuánto de ese tiempo se va en revisar.
La segunda parte importa más de lo que parece. Un sistema que genera en dos minutos algo que exige veinte de revisión no ha ahorrado nada. La cifra honesta es el tiempo total hasta tener el material listo para repartir.
Cuarta: ¿cambia algo a largo plazo?
La más importante y la más difícil. ¿Un alumno que trabaja con material accesible durante un curso completo aprende más? ¿Se retiran los apoyos con el tiempo, como predice el principio VI, o se acomodan? ¿Cambia algo en cómo se ve a sí mismo como estudiante?
Requiere seguimiento largo, muestras grandes y grupos de comparación. Es donde se juega la afirmación de fondo del libro, y es la que más tardará en tener respuesta.
| Pregunta | Cómo se responde | Dificultad |
|---|---|---|
| ¿Se conserva el contenido? | Revisión experta ciega sobre pares de documentos. | Baja |
| ¿Mejora el acceso? | Diseño intrasujeto con tareas equivalentes y versiones alternadas. | Media |
| ¿Ahorra tiempo? | Medición del tiempo total hasta material listo, con y sin sistema. | Baja |
| ¿Mejora el aprendizaje? | Seguimiento longitudinal con grupo de comparación. | Alta |
6.3 Con quién hay que responderlas
Responder a esas preguntas no lo puede hacer una empresa sola, y no debería. Hacen falta tres cosas que no tenemos por nuestra cuenta: independencia en el análisis, acceso a aulas reales durante el tiempo suficiente, y método.
Los centros
Estamos constituyendo una red de centros dispuestos a participar en los estudios: aulas reales, con sus profesores y su calendario, donde poner a prueba las cuatro preguntas del apartado anterior. La condición que nos parece más importante es esta: un centro puede formar parte de la red use o no use Nubo. Si solo estudiáramos a quien nos ha comprado el producto, no tendríamos comparación posible y cualquier resultado sería sospechoso, con razón.
Lo que un centro obtiene por participar es información propia: un informe detallado sobre su alumnado en las dimensiones que se hayan estudiado, que suele ser más de lo que un centro puede producir por su cuenta. Lo que obtenemos nosotros es la posibilidad de comprobar si esto funciona.
El análisis no debería hacerlo quien vende el producto
Hay una parte de este trabajo que no nos corresponde. Diseñar la metodología de un estudio y analizar sus resultados debería hacerlo alguien que no tenga nada que ganar con el resultado. Nosotros tenemos mucho. No es una cuestión de honradez: es que el interés contamina el criterio aunque uno no quiera, y por eso la investigación seria se organiza para no depender de la buena fe de nadie.
Por eso queremos que el diseño metodológico y el análisis los lleven equipos universitarios, y hay conversaciones en marcha en esa dirección.
Y una condición que nos ponemos
Si un estudio sale en contra, se publica igual.
Swan y Burkhardt (2014) lo formularon para el diseño de materiales educativos: los recursos de calidad se desarrollan mediante ciclos de prueba y refinamiento con retroalimentación detallada del aula (Foster et al., 2021). Un ciclo en el que solo se publica lo que confirma lo que ya creías no es un ciclo: es una campaña.
Mientras llegan los resultados agregados, hay una cosa que un centro sí puede medir desde el primer día: lo suyo.
Los datos del propio centro
Cada centro puede ver su propia evolución: cuántos materiales se han adaptado, qué apoyos se están aplicando, cuáles se han retirado y en qué se ha ido el tiempo. No es un estudio de eficacia y no lo presentamos como tal: es información operativa sobre lo que está pasando en ese centro.
El indicador que más nos importa
De todo lo que se puede medir, el que consideramos más significativo es cuántos apoyos se han retirado. Un centro donde los apoyos solo crecen está usando la herramienta como muleta. Un centro donde los apoyos suben y bajan la está usando como andamio, que es para lo que está hecha.
Referencias del capítulo 6
- Foster, C., Francome, T., Hewitt, D., y Shore, C. (2021). Principles for the design of a fully-resourced, coherent, research-informed school mathematics curriculum. Journal of Curriculum Studies, 53(5), 621–641.
- Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73.
- Mislevy, R. J. (2018). Sociocognitive foundations of educational measurement. Routledge.
- Selwyn, N. (2019). Should robots replace teachers? Polity Press.
- Sireci, S. G., Scarpati, S. E., y Li, S. (2005). Test accommodations for students with disabilities: An analysis of the interaction hypothesis. Review of Educational Research, 75(4), 457–490.
- Swan, M., y Burkhardt, H. (2014). Lesson design for formative assessment. Educational Designer, 2(7).