miércoles, 23 de junio de 2010

Un análisis interesante de los datos por centro de la EGDP 2009

Mi amigo Pablo publica hoy en Magisterio un análisis muy interesante sobre las causas que han podido influir en que los resultados de la Comunidad en dos competencias sean pésimos (naturales y sociales) en vez de malos, como son las otras dos (Lengua y Matemáticas). Tras tener acceso a los datos de los centros individuales, parece haber encontrado una relación entre el modelo idiomático en que se imparten las clases y un empeoramiento de los resultados. Es un dato más sobre los problemas que un bilingüismo mal aplicado está produciendo en el sistema educativo. Es probable que en el País Vasco se hayan dado problemas similares, pero en este caso tales problemas han llevado a la no publicación de los resultados en dos competencias para esa comunidad.
Por otro lado, es una muestra de lo que se podría hacer si se publicasen los microdatos del estudio, y una prueba de los escaso del análisis del Instituto de Evaluación.

lunes, 21 de junio de 2010

EGDP 2009. Dudas razonables (I). Regresiones en cuarentena

Ya comenté anteriormente que el Ministerio ha publicado el informe sobre la Evaluación General de Diagnóstico de Primaria 2009, la primera de estas características que se lleva a cabo en nuestro país. El planteamiento de la evaluación no está mal, pero se echa en falta una mayor incidencia en temas como el funcionamiento del centro, las características de los directores o con qué enfoque se imparten las clases por parte de los docentes. La evaluación parece que cuenta con el nivel técnico exigido (aunque hay un par de cosas que tengo que mirar más de cerca para asegurarlo), pero parece claro que el informe publicado no.
Es un informe que podría pasar como uno de primeros resultados, pero como informe final –y, recuerdo, sin posible revisión: el Instituto de Evaluación no hace públicos los microdatos de las evaluaciones por simple veto político–, es una tomadura de pelo. No es un informe de evaluación del sistema educativo, es un informe de justificación de políticas y de esconder la cabeza debajo del ala: la política a justificar es la del Ministerio, claro, y lo que hay que esconder es tanto y afecta a tantas personas –políticos de diversos partidos, popes de la educación española, facultades de pedagogía– que sería comenzar y no parar.
Uno de los problemas del informe es el tratamiento que merecen los condicionantes externos que afectan al nivel educativo. Es un tema importante, muy estudiado en las últimas décadas, pero a estas alturas el peso que se les otorga (más de la mitad del análisis del informe) es absurdo. A estas alturas, los factores socioeconómicos que rodean al alumno tienen demostrada su importancia y es necesario medirlos, pero son cosas que una política educativa apenas puede cambiar. Es tiempo de incidir –y más en una evaluación nacional– en las políticas y sus efectos sobre las escuelas, en la cultura del centro, en la gestión del director, en el quehacer de los maestros, en los efectos que tienen ciertas medidas de los alumnos. Y, de esto, poco.
Como es mucho lo que hay que contar, inauguro aquí el primer capítulo sobre las dudas razonables que despierta el informe. Y comienzo con el tratamiento que dan al papel del índice socioeconómico y cultural (ISEC) en el rendimiento, el apartado titulado “ISEC de las comunidades autónomas y de las ciudades de Ceuta y Melilla” (pp. 125-129). Es un punto esencial para el informe, porque sería la justificación de la importancia del ISEC sobre el rendimiento, pero no la aborda por ningún lado. Por ejemplo, no sabemos qué porcentaje de la variación en los resultados explica el ISEC: el informe no dice cual es la R2 entre el ISEC de los alumnos y su rendimiento. Ni total, ni por comunidades autónomas.
Sí hace dos cosas para justificar la importancia del ISEC, pero ninguna sirve. Primero, la tabla 4.1, en realidad cuatro tablas para explicar las diferencias de rendimiento de las CCAA si todas tuvieran el mismo ISEC. Muy bonitas, pero no está la R2 y, además el informe dice los siguiente:
“No obstante, para interpretar correctamente estos datos [tabla 4.1], debe tenerse en cuenta que las diferencias entre el promedio (primera columna) y el promedio detractado por el ISEC (tercera columna) no son significativas en la mayoría de los casos; en estas comunidades autónomas no se puede, pues, asegurar que el promedio aumenta o disminuya al descontar el efecto del nivel socioeconómico y cultural. Las diferencias son significativas en Cantabria, Ceuta y Melilla en todas las competencias, en Madrid en las Competencias en comunicación lingüística y matemática, y en Aragón en la competencia en el conocimiento y la interacción con el mundo físico."
Vamos, que sin significatividad es difícil que nos creamos la importancia del ISEC.
La segunda es una regresión entre el rendimiento medio de las comunidades autónomas y el ISEC medio de las mismas. Aquí sí que se “acuerdan” de poner la R2, que es considerablemente alta en los casos de los resultados en Lectura y Matemáticas: un 0,63 en el primer caso y un 0,69 en el segundo. Nada menos que el 63 y el 69% de las variaciones de rendimiento entre Comunidades Autónomas las explica el ISEC. ¿Para qué seguir buscando? Nada de lo que hagan nuestros sufridos dirigentes autonómicos conduce a nada, pues los resultados van a depender del ISEC medio, algo que es difícil de cambiar.
Afortunadamente, eso no es cierto. A continuación les pongo el gráfico que, en un análisis serio, deberían haber encontrado. Y, desde luego, sin la importancia que se le concede (sólo pongo el correspondiente a Lectura):


Es básicamente, el mismo gráfico, pero mostrando el peso de los dos puntos más influyentes, Ceuta y Melilla. Estas dos ciudades autónomas escolarizan al 0,47% de los alumnos de 4º de Primaria en España, y sin embargo son responsables de que el R2 se eleve desde un 0,36 a un 0,63 en Lectura, y de un 0,49 a un 0,70 en Matemáticas. Si el 0,47% de los alumnos puede aumentar en más de 20 puntos la explicación del modelo, parece que el modelo hace más aguas que el Titanic.
Luego, en el informe se permiten decir que:
“La distribución de las puntuaciones de los alumnos pone de manifiesto que el entorno social, económico y cultural influye de modo notable”
Cosa que no dudo. Pero, desde luego, el informe dista mucho de demostrarlo. Y, además, me gustaría saber cuanto es “de modo notable”. Y que el informe no lo diga es, cuanto menos, curioso. Siento insistir tanto en cuestiones técnicas que no están al alcance de todos, pero estoy algo cansado de que las políticas educativas –el famoso Pacto es un buen ejemplo de ello– estén basados en creencias y no en datos, en estudios de medio pelo y no en análisis rigurosos.

martes, 15 de junio de 2010

Informe sobre la Evaluación de Diagnóstico de 4º de Primaria (I)

A taurina hora el Ministerio de Educación ha colgado el informe completo (5 Mb) sobre la Evaluación General de Diagnóstico 2009 de 4º de Primaria. En un primer vistazo al documento he visto cosas que me han gustado y cosas que no. Por un lado, el Informe sigue muy de cerca la metodología de presentación del Informe PISA, lo que tiene cosas buenas y malas: lo bueno es el rigor técnico (muy en duda tras el último Informe sobre la Evaluación de la Educación Primaria) y una presentación de datos bastante clara; pero por otro lado profundiza muy poco, lo que es lógico en PISA (un informe de multitud de países y donde los microdatos son accesibles para todos) pero no en un informe nacional. Creo que se puede sacar mucho más partido.
Lo mejor del informe es que por fin se publican resultados por Comunidades Autónomas. Como mañana saldrá en todos los periódicos (aunque ya los adelantó El Mundo), no voy a insistir aún en el tema. Pero, para el que no lo sepa, hasta ahora los políticos, como nos quieren tanto y velan tanto por nosotros, nos tenían prohibido conocer esos resultados por Comunidades Autónomas, no vaya a ser que nos asustáramos. Hasta donde yo sé, el veto continúa para los microdatos de las evaluaciones del Instituto de Evaluación. Por supuesto, para protegernos de la dura verdad, y no para evitar que demos una patada a los ineptos que gestionan mal el sistema educativo.
Lo peor, una estructura que vuelve a hacer hincapié en los sospechosos habituales (contexto socioeconómico, inmigración) y no en los factores propiamente escolares. Volveremos sobre ello.
Para estupidez supina, lo del sistema homogéneo de Eva Almunia y del Ministerio. No hay por dónde cogerlo: “Entre los resultados obtenidos, que deben tener una lectura global para apreciar un sentido real de la situación, el estudio destaca la homogeneidad del sistema educativo en todo el país, con escasas diferencias entre Comunidades Autónomas.”. Por eso, el 8% de los estudiantes de Navarra, La Rioja, Castilla y León o Asturias están por debajo del nivel 2 (“suspenden”, para entendernos), pero en Baleares o Canarias (dejemos Ceuta y Melilla) lo hacen el 25 y el 24%, respectivamente. Eso, con un mismo sistema educativo, profesores igual de preparados, etc. Cuatro veces más probabilidades de obtener malos resultados por vivir en un sitio u otro. ¿Cuántos repetirán lo que dice el Ministerio y no lo que dicen los datos? ¿Cuántos pondrán ambas cosas en la misma página?
Ahora, con lo que aún me estoy partiendo de risa (la cabra, que tira p’al monte), es con la pregunta de la página 102. Según la respuesta que se supone correcta, no ya Sagasta o Cánovas o Maura, sino ni siquiera Azaña fueron Presidentes del Consejo de Ministros de forma democrática. C2C. Si seguimos por ahí, no fue en Grecia donde nació la democracia, por supuesto, sino en Nueva Zelanda. Qué país y qué Ministerio de Heducación.