EGDP 2009. Dudas razonables (I). Regresiones en cuarentena

Ya comenté anteriormente que el Ministerio ha publicado el informe sobre la Evaluación General de Diagnóstico de Primaria 2009, la primera de estas características que se lleva a cabo en nuestro país. El planteamiento de la evaluación no está mal, pero se echa en falta una mayor incidencia en temas como el funcionamiento del centro, las características de los directores o con qué enfoque se imparten las clases por parte de los docentes. La evaluación parece que cuenta con el nivel técnico exigido (aunque hay un par de cosas que tengo que mirar más de cerca para asegurarlo), pero parece claro que el informe publicado no.

Es un informe que podría pasar como uno de primeros resultados, pero como informe final –y, recuerdo, sin posible revisión: el Instituto de Evaluación no hace públicos los microdatos de las evaluaciones por simple veto político–, es una tomadura de pelo. No es un informe de evaluación del sistema educativo, es un informe de justificación de políticas y de esconder la cabeza debajo del ala: la política a justificar es la del Ministerio, claro, y lo que hay que esconder es tanto y afecta a tantas personas –políticos de diversos partidos, popes de la educación española, facultades de pedagogía– que sería comenzar y no parar.

Uno de los problemas del informe es el tratamiento que merecen los condicionantes externos que afectan al nivel educativo. Es un tema importante, muy estudiado en las últimas décadas, pero a estas alturas el peso que se les otorga (más de la mitad del análisis del informe) es absurdo. A estas alturas, los factores socioeconómicos que rodean al alumno tienen demostrada su importancia y es necesario medirlos, pero son cosas que una política educativa apenas puede cambiar. Es tiempo de incidir –y más en una evaluación nacional– en las políticas y sus efectos sobre las escuelas, en la cultura del centro, en la gestión del director, en el quehacer de los maestros, en los efectos que tienen ciertas medidas de los alumnos. Y, de esto, poco.

Como es mucho lo que hay que contar, inauguro aquí el primer capítulo sobre las dudas razonables que despierta el informe. Y comienzo con el tratamiento que dan al papel del índice socioeconómico y cultural (ISEC) en el rendimiento, el apartado titulado “ISEC de las comunidades autónomas y de las ciudades de Ceuta y Melilla” (pp. 125-129). Es un punto esencial para el informe, porque sería la justificación de la importancia del ISEC sobre el rendimiento, pero no la aborda por ningún lado. Por ejemplo, no sabemos qué porcentaje de la variación en los resultados explica el ISEC: el informe no dice cual es la R2 entre el ISEC de los alumnos y su rendimiento. Ni total, ni por comunidades autónomas.

Sí hace dos cosas para justificar la importancia del ISEC, pero ninguna sirve. Primero, la tabla 4.1, en realidad cuatro tablas para explicar las diferencias de rendimiento de las CCAA si todas tuvieran el mismo ISEC. Muy bonitas, pero no está la R2 y, además el informe dice los siguiente:

“No obstante, para interpretar correctamente estos datos [tabla 4.1], debe tenerse en cuenta que las diferencias entre el promedio (primera columna) y el promedio detractado por el ISEC (tercera columna) no son significativas en la mayoría de los casos; en estas comunidades autónomas no se puede, pues, asegurar que el promedio aumenta o disminuya al descontar el efecto del nivel socioeconómico y cultural. Las diferencias son significativas en Cantabria, Ceuta y Melilla en todas las competencias, en Madrid en las Competencias en comunicación lingüística y matemática, y en Aragón en la competencia en el conocimiento y la interacción con el mundo físico."

Vamos, que sin significatividad es difícil que nos creamos la importancia del ISEC.

La segunda es una regresión entre el rendimiento medio de las comunidades autónomas y el ISEC medio de las mismas. Aquí sí que se “acuerdan” de poner la R2, que es considerablemente alta en los casos de los resultados en Lectura y Matemáticas: un 0,63 en el primer caso y un 0,69 en el segundo. Nada menos que el 63 y el 69% de las variaciones de rendimiento entre Comunidades Autónomas las explica el ISEC. ¿Para qué seguir buscando? Nada de lo que hagan nuestros sufridos dirigentes autonómicos conduce a nada, pues los resultados van a depender del ISEC medio, algo que es difícil de cambiar.

Afortunadamente, eso no es cierto. A continuación les pongo el gráfico que, en un análisis serio, deberían haber encontrado. Y, desde luego, sin la importancia que se le concede (sólo pongo el correspondiente a Lectura):

Es básicamente, el mismo gráfico, pero mostrando el peso de los dos puntos más influyentes, Ceuta y Melilla. Estas dos ciudades autónomas escolarizan al 0,47% de los alumnos de 4º de Primaria en España, y sin embargo son responsables de que el R2 se eleve desde un 0,36 a un 0,63 en Lectura, y de un 0,49 a un 0,70 en Matemáticas. Si el 0,47% de los alumnos puede aumentar en más de 20 puntos la explicación del modelo, parece que el modelo hace más aguas que el Titanic.

Luego, en el informe se permiten decir que:

“La distribución de las puntuaciones de los alumnos pone de manifiesto que el entorno social, económico y cultural influye de modo notable”

Cosa que no dudo. Pero, desde luego, el informe dista mucho de demostrarlo. Y, además, me gustaría saber cuanto es “de modo notable”. Y que el informe no lo diga es, cuanto menos, curioso. Siento insistir tanto en cuestiones técnicas que no están al alcance de todos, pero estoy algo cansado de que las políticas educativas –el famoso Pacto es un buen ejemplo de ello– estén basados en creencias y no en datos, en estudios de medio pelo y no en análisis rigurosos.