Expertos y responsables en educación querrían disponer de un equivalente de los ensayos clínicos en medicina, para averiguar cómo influye un determinado factor en el rendimiento de las escuelas y los estudiantes. Así se podría saber si es mejor para los inmigrantes la inmersión lingüística o las clases de adaptación en sus propios idiomas, por qué los alumnos de Lituania o Singapur saben más matemáticas o cómo superar la desventaja de los chicos en lengua o la de las chicas en ciencias.
Esa era la idea concebida en una reunión internacional de especialistas celebrada en Hamburgo en 1958: medir el rendimiento de los escolares por todo el mundo para encontrar las claves de la calidad de la enseñanza. Aquellos sabios veían el planeta como un gran laboratorio de educación, donde cada país funciona como un experimento natural: compararlos permitiría distinguir lo que funciona de lo que no.
Pusieron en práctica su proyecto, que hoy se llama Tendencias en el Estudio Internacional sobre Matemáticas y Ciencias (TIMSS, en siglas inglesas) y cuya primera edición -limitada a las matemáticas- se publicó en 1967 con datos de 12 países. En la más reciente, de 2003, participaron 50 países, y la próxima (2007) abarcará más de 60 (ver los resultados del tercer estudio en Aceprensa 61/97).
La entidad que lo lleva a cabo, la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA), con sede en Amsterdam, realiza en la actualidad estudios semejantes sobre otras dos materias: lectura y educación cívica.
No es fácil comparar
Estos y el otro gran estudio internacional, PISA (cfr. Aceprensa 157/04), entre los países de la OCDE, son una mina de datos que los investigadores pueden explotar para ver cómo afectan al rendimiento escolar distintos factores: condiciones sociales y familiares de los alumnos, tamaño de grupos y escuelas, empleo de computadoras y otras tecnologías, los métodos pedagógicos aplicados…
Por ejemplo, una investigadora de Chipre examinó la influencia que tenía el uso de ordenadores y calculadoras tomando los datos sobre alumnos de 14 años de cuatro países en el TIMSS de 2003 (Chipre, Estados Unidos, Rusia y Sudáfrica). Resultado: los alumnos que usan a menudo el ordenador y la calculadora sacan peores notas, con una excepción: en Estados Unidos, la regla se cumple con la calculadora, pero no con el ordenador.
Ahora bien, las conclusiones extraídas de las comparaciones internacionales tienen limitaciones, como señalan otros especialistas con respecto al ejemplo traído. En Chipre, los profesores dicen a los chicos que no usen ordenador ni calculadora; en Estados Unidos se emplean mucho los ordenadores en las clases complementarias para los alumnos que van mal en matemáticas, mientras que los más aventajados suelen usar la calculadora más que los otros. Por tanto, no está tan claro que, por regla general, usar esos aparatos esté relacionado con puntuar más bajo en los exámenes.
Esta y otras advertencias salieron en un congreso de expertos celebrado el mes pasado en la Brookings Institution (Washington, D.C.) y del que informa «Education Week» (22-11-2006). Uno de los participantes, Jan-Eric Gustafsson (Universidad de Gotemburgo), sugirió dejar a un lado las comparaciones entre países y centrarse en los cambios dentro de cada país, de un examen a otro. Pues «el problema de los análisis sincrónicos -explicó- es que la característica que se quiere medir suele estar correlacionada con muchas otras cosas»; en cambio, como los cambios de circunstancias en un país a lo largo de algunos años son mucho menores que las diferencias entre países, el enfoque diacrónico permite reducir al mínimo las «interferencias».
Por ejemplo, el propio Gustafsson observó que en varios países las muestras de alumnos que participaron en los TIMSS de 1995 y 2003 presentaban diferencias significativas de una edición a otra. En unos casos cambiaba la edad media hasta en nueve meses, lo que obliga a realizar un ajuste en la interpretación de los datos porque, en general, los chicos mayores sacan mejor nota en el examen que los más jóvenes del mismo curso, aunque la diferencia no llegue a un año.
Gustafsson detectó también que en algunos países, de 1995 a 2003 cambió el número de alumnos por clase. Resultó que ese factor influía apreciablemente en el rendimiento de los alumnos de 10 años, pero mucho menos en los de 14 años (las dos edades a las que se hace el TIMSS).
La piedra de toque
Además, limitarse a un ámbito reducido y una población más homogénea permite, a diferencia de los estudios internacionales, hacer un «ensayo clínico». Se trata de aplicar a la educación el método del experimento aleatorio controlado, considerado la piedra de toque para verificar si algo sirve o no. Las investigaciones de este tipo se están multiplicando últimamente, con la novedad de que se ponen en práctica también en países o regiones en desarrollo.
El método consiste en dividir la muestra en un grupo experimental y un grupo de control que solo se distinguen en que el primero posee la variable que se quiere estudiar y el segundo no. Naturalmente, la muestra ha de ser representativa de la población y los grupos, homogéneos. Pero, asegurado esto, la garantía de que la comparación entre los grupos al final del experimento revelará la influencia de la variable es que los sujetos se asignen a uno u otro grupo de modo aleatorio: así se elimina el «ruido» estadístico causado por predisposiciones o preferencias.
El diseño y la ejecución de investigaciones semejantes son difíciles y costosos. Pese a ello, se aplican cada vez más también en países pobres, sobre todo por impulso de instituciones como el Banco Mundial o las ONG de ayuda al desarrollo, que están muy interesadas en saber qué funciona realmente, para orientar sus programas.
Pero el ensayo que inauguró la tendencia y sirvió de modelo a los siguientes fue uno promovido por el gobierno mexicano para medir la eficacia de su plan «Oportunidades», creado en 1997 y dirigido a zonas rurales pobres del país (cfr. Aceprensa 124/05). El programa ofrece subsidios a las madres, a condición de que lleven a los hijos a la escuela y a exámenes médicos periódicos. Mediante un experimento aleatorio controlado con 24.000 hogares se comprobó que las ayudas condicionadas reducían el absentismo escolar y la morbilidad entre los niños.
Adaptarse al terreno
Una idea que mueve tales estudios es que hace falta hallar fórmulas educacionales adaptadas a las condiciones reales y particulares de las regiones en desarrollo. Las claves del excelente rendimiento en matemáticas y ciencias de los escolares de Singapur, atestiguado por el TIMSS y el PISA, resultan poco instructivas para los países africanos, donde las circunstancias son muy distintas. En Estados Unidos, un célebre experimento aleatorio controlado, llamado STAR, mostró las ventajas de las clases pequeñas para los niños de 3 a 9 años. Pero en otros países disminuir el tamaño de los grupos no tiene por qué funcionar o puede ser impracticable. El ensayo estadounidense comparó grupos de 13-17 alumnos con otros de 22-25; en Kenia, a las mismas edades, suele haber un centenar de niños por clase.
En Kenia, las fórmulas para mejorar la educación pueden ser muy distintas, como la que por casualidad descubrió el Abdul Latif Jameel Poverty Action Lab, del MIT, una de las organizaciones que promueve estudios aleatorios controlados en los países en desarrollo. En este caso, el experimento era sanitario; pero al analizar los datos en el laboratorio de Massachusetts, se vio que ofrecer a los niños en las escuelas tratamiento gratuito contra la anquilostomiasis (enfermedad causada por un parásito del intestino) hacía subir la asistencia a clase.
Otro ejemplo es el estudio sobre el programa de cheque escolar aplicado en Colombia de 1992 a 1998, con ayuda del Banco Mundial. Dirigido a chicos de zonas pobres, cubría aproximadamente la mitad del costo de la enseñanza en una escuela privada. Como hubo muchas más solicitudes que cheques, los 125.000 disponibles se adjudicaron por sorteo. Esto ofreció la oportunidad de realizar un experimento aleatorio controlado, si bien al final algunos imprevistos -entre ellos la actividad guerrillera- invalidaron buena parte de los datos. Con esa limitación, el trabajo (publicado en la «American Economic Review», diciembre 2002) concluyó que los beneficiarios del cheque completaban el octavo curso en una proporción 10 puntos porcentuales superior a los demás.
Un experimento reciente es el llevado a cabo en 500 escuelas de Andhra Pradesh (India) por el gobierno del estado en colaboración con una ONG india y el Banco Mundial para comprobar si los incentivos a los profesores mejoran los resultados de los alumnos. El sobresueldo (alrededor del 3% del salario anual) se otorgaba a los profesores si lograban que subiera el rendimiento de los alumnos en matemáticas y lengua. Se formaron dos grupos experimentales: en cien escuelas, el incentivo se daba de forma individual en función de los resultados obtenidos por cada profesor; en otras cien escuelas, se daba a todo el equipo docente en función de los resultados medios del centro.
Había además dos grupos de cien escuelas cada uno que recibían el mismo dinero reservado a incentivos en las anteriores: en un caso, para contratar profesores auxiliares; en el otro, para gastar en necesidades generales. El quinto centenar de escuelas era el grupo de control, donde no había ni incentivos a los profesores ni fondos adicionales para los centros. La distribución de escuelas por grupos se hizo de modo aleatorio.
Los resultados preliminares del primer año del ensayo, recién publicados en Internet por el especialista que ha analizado los datos, Karthik Muralidharan, de Harvard (1), muestran que los alumnos de los profesores con incentivos sacaron mejores notas, y no solo en matemáticas y lengua. Además, no se observan diferencias significativas de eficacia entre los incentivos individuales y los colectivos. El experimento continuará hasta 2011, y proporcionará a las autoridades del estado fundamento para decidir si se implanta o no de modo general un sistema de incentivos a los profesores.
Esa es justo la finalidad de estudios como este: servir de guía a la política educativa sugiriendo medidas bien «experimentadas».
____________________