martes, 3 de diciembre de 2013

Tonto el que lo diga

En un ratito se publicarán los resultados de PISA 2012. Pasará lo de siempre: manos a la cabeza, llanto y burla, oleadas de declaraciones, ríos de tinta… Nihil novum sub sole. Como los resultados: sólo de tontos o locos pueden esperar distintos resultados tras hacer lo mismo una y otra vez. De lo que nos vamos a hartar es de la inundación de estulticia en que nos van a sumergir los periódicos, haciéndose eco de declaraciones. Esto es una pequeña guía para detectar, sin gran esfuerzo intelectual, a los tontos. Uno pensaría que después de las dosis masivas de tontos que hemos sufrido, a los actores públicos les daría algo de vergüenza mostrarse como tales, pero si hay algo a lo que los tontos son inmunes es a la realidad y al sentido del ridículo. En fin, si oyen o leen cosas como estas, pueden decir, conmigo, tonto el que lo diga:

La gestión del partido X es responsable de los malos resultados.
En España, en los diez últimos años (los alumnos examinados en PISA a los 15 años en 2012 llevan 10 años estudiando la enseñanza obligatoria), y en ese tiempo España ha habido zonas donde ha habido gestión única de uno u otro partido, y zonas de gestión mixta. Si en ninguna de esas zonas ha habido cambios, o si en zonas gobernadas por el mismo partido hay cambios en distintas direcciones, pues ya me dirán ustedes. La gestión está transferida, y de momento es más importante el equipo de gestión que el partido al que pertenece.

Los recortes son culpables de los malos resultados.
Los recortes, según y como se hagan, pueden tener efectos a medio y largo plazo, pero rara vez en el corto. Además, si hacemos balance de los últimos diez años, la inversión ha crecido muchísimo. Y la falta de dinero rara vez tiene efectos generales, sino que afecta a unos colectivos u otros, y habrá que ver (y no es fácil, porque los efectos son pequeños) quién es el perjudicado. Pero, en general, esa declaración es una estupidez oportunista. Por cierto, recuerden que los alumnos se examinaron en mayo de 2012.

La política (tangencial) X tiene la culpa.
Los resultados de PISA son principalmente fruto del sistema, la gestión y el contexto. Políticas tangenciales como cuestiones de personal y otras medidas de alcance limitado tienen un efecto muy pequeño en los resultados. Cambios generales en el sistema sí tienen una influencia grande, pero en España no se han hecho en este tiempo.

España es equitativa (o España es menos equitativa que antes)
Los resultados de España no son equitativos. Si han oído otra cosa, les han engañado, lo siento. Decirlo hace años podría tener justificación, pero no a estas alturas. Si aceptamos que la equidad es la dispersión de los resultados (que ya es aceptar), en España la dispersión por la izquierda (es decir, entre los alumnos peores) es igual que la del resto de Europa o de la OCDE, pero la dispersión por la derecha (la de los alumnos mejores) es la segunda más baja del mundo. Cuando haces la media de ambas, pues te puede salir una dispersión baja en su conjunto, pero tienes que ser consciente de que toda tu equidad se basa exclusivamente en no dejar mejorar a los alumnos con mejores posibilidades. De igual manera, una disminución de la dispersión debida a un aumento de excelencia debe ser recibida como una buena noticia, no como una mala. La equidad se ha de conseguir mejorando los resultados de los alumnos con más dificultades, no impidiendo mejorar a los alumnos que pueden mejorar.

jueves, 7 de noviembre de 2013

El chino cudeiro

PISA es una evaluación internacional de una complejidad enorme, pero que tiene la ventaja de ser extremadamente transparente, ya que publica prácticamente todo: buena parte de las preguntas, estudios muy extensos y detallados, los métodos utilizados y las bases de datos completas que utilizan. Todo ello se puede encontrar aquí. La evaluación se pasa cada tres años desde su primera edición en 2000, y estamos a la espera de que se publiquen los datos de su cuarta entrega, la correspondiente a 2012 (saldrá a principios de diciembre de 2013).
Desde hace unos cuantos años, trabajo con los datos de PISA. La primera edición de la cual descargué las bases de datos fue la de 2003, y desde entonces he ido manejando los datos tanto de la anterior (2000) como de las siguientes, según han ido saliendo. Como algunas tablas son bastante grandes, las suelo cargar en una base de datos (habitualmente MySQL) para comenzar a utilizarlas. Cuando estuvieron disponibles las bases de datos de 2009, ya tenía creadas todas las anteriores, e intenté aprovechar el diseño previo para la nueva base de datos de 2009, ya que los campos no varían mucho.
La tabla grande de 2009 (la que tiene los datos principales de los alumnos) tiene casi medio millón de registros y más de 400 campos, unas dimensiones considerables, y tarda bastante en migrar. Pueden imaginar mi cabreo cuando, pasados cerca del 80% de los datos, el programa da un error: un valor es demasiado alto para el rango reservado en la base de datos. Después de investigar un rato, el error venía de que un alumno había obtenido en la escala de matemáticas más de 1000 puntos PISA, mientras que en mi base de datos tenía reservado sólo espacio para números de tres cifras (entre 0 y 999). Eso me obligó a modificar el tamaño de más de treinta campos en la base de datos y otras modificaciones menores en el programa de migración, y comenzar de nuevo el proceso. Y, como el alumno en cuestión vivía en Shanghai, pues se quedó con el mote de chino cudeiro.
Además de su rendimiento en Matemáticas, podemos saber por los datos de PISA que el chino cudeiro es un chaval que va a una escuela de Secundaria básica en Shanghai, China, que cursa noveno grado (el equivalente a nuestro 3º de ESO: sí, va un curso retrasado, probablemente porque en China ingresen en el curso por la edad que tienen al comenzarlo, y no por el año natural, como en España), que nació en octubre de 1993, que cursó más de un año de educación infantil, comenzó la Primaria con seis años, que vive en casa con sus padres y, al menos, un abuelo, pero que -muy probablemente- no tiene hermanos. Su madre estudió hasta el Bachillerato y trabaja a tiempo completo en una oficina, mientras que el padre obtuvo una licenciatura y tiene un alto cargo en una gran empresa. Ambos nacieron en China (en la propia Shanghai), y hablan chino en casa. En su hogar dispone de los recursos educativos y los electrodomésticos típicos de cualquier hogar de clase media occidental (libros de literatura, poesía, de referencia técnica, diccionario, y algunas obras de arte; también un ordenador, habitación propia,lavaplatos, DVD, aspiradora, cámara digital y exprimidora) salvo internet. Además, en casa hay dos móviles, un televisor, un coche, y sólo tienen un baño. No hay demasiados libros (entre 25 y 100), pero el chino cudeiro lee al menos dos horas diarias, pues es uno de sus pasatiempos favoritos. Lee sobre todo libros de no ficción, literatura, poesía y periódicos, pero casi nunca cómics o revistas. No se concecta a internet, ni en casa (que no tiene) ni fuera de casa, por lo que no chatea ni usa el correo electrónico: sólo lo utiliza en la biblioteca del colegio para cuestiones relacionadas con el estudio. Tiene estrategias de estudio razonables, pero no especialmente buenas y, como cualquier chaval, a veces no entiende las cosas y se atasca en el estudio. Tiene seis clases semanales de matemáticas en el colegio, con una duración de 40 minutos cada una. En una semana tiene en total 38 clases (unas 25 horas semanales), y no tiene clases de refuerzo ni dentro ni fuera de la escuela. Se pasa, eso sí, todos los días por la biblioteca, para estudiar y hacer los deberes, y alguna vez simplemente para leer. Para estudiar, suele hacer resúmenes y leerlos varias veces, pero no copia, ni subraya, ni lee en voz alta. Estudia matemáticas cuatro horas a la semana, pero no sabemos cuánto dedica al resto de asignaturas. Sus resultados son excepcionales en Matemáticas, pero distan mucho de ser brillantes en Lectura. Aparentemente, un chaval como otro buen estudiante cualquiera.
Las escalas de rendimiento en PISA tienen una media de 500 y una desviación típica de 100, por lo que para que un alumno obtuviese más de 1000 puntos en PISA tendría que obtener un rendimiento cinco desviaciones típicas por encima de la media. Asumiendo que los resultados de PISA se distribuyen normalmente, la probabilidad de encontrar un alumno por encima de los 1000 puntos es de 2,87e-07 (0,000000287). Para que me entienda todo el mundo, uno de cada 3,5 millones de alumnos. Tenía cierta razón en suponer que ningún alumno pasaría de los 1000 puntos. Para que os hagáis una idea de la distancia que media entre el chino cudeiro y la media de los países desarrollados, aquí os dejo el siguiente gráfico:
Las barras azules representan la distribución real de los alumnos de países de la OCDE en Matemáticas (PV1MATH) en 2009, la línea en forma de campana de Gauss es la distribución teórica que utiliza PISA (media 500 y desviación típica 100, asumiendo normalidad), y la línea amarilla de la derecha es la puntuación del chino cudeiro en la escala. En realidad, PISA no obtiene las puntuaciones reales de los alumnos -no es un examen-, sino las "puntuaciones poblacionales", es decir, no está hecha para valorar la capacidad del individuo sino para conocer los resultados de una población, por lo que no sabemos la puntuación real de nuestro chino cudeiro, sino que es una aproximación algo inexacta. Pero, para este blog y para el juego que nos traemos entre manos, podemos darla por válida. El resto de distribuciones y datos empleados en esta anotación sí que son válidos incluso siguiendo criterios académicos, salvo que, por simplificar, se usa sólo la primera escala de Matemáticas (PV1MATH), y no las cinco que usa PISA.
Por tanto, tendríamos una posibilidad entre 3,5 millones de encontrar un estudiante de este nivel de excelencia en los países de la OCDE. Pero es que nuestro chino cudeiro no estudia en un país de la OCDE, sino que estudia en Shanghai, que tiene un sistema educativo algo particular y donde se hace especial hincapié en el aprendizaje de las Matemáticas. En el siguiente gráfico, que mantiene la misma escala que el anterior, podemos ver la distribución real de los alumnos españoles (barras azules) y de los chinos (barras amarillas) en Matemáticas en PISA 2009, además de la distribución teórica media de PISA y la situación del chino cudeiro (las frecuencias de los gráficos han sido calculadas simulando poblaciones iguales para poder establecer comparaciones).
El rendimiento del chino cudeiro sigue siendo excepcional, pero ya parece más probable encontrar un alumno así. De hecho, para los parámetros teóricos de la distribución de Shanghai, la probabilidad de encontrar un alumno por encima de los 1000 puntos en Matemáticas es de 4.95e-05 (0,0000495), que puede parecer todavía muy pequeña, pero ya es razonable: más o menos, uno de cada 20.000 alumnos. Para que se hagan una idea, la probabilidad de encontrar un alumno que estudie en el sistema educativo español por encima de los 1000 puntos en Matemáticas es de 2,36e-08 (0,0000000236), uno de cada 42 millones. Creo que no existe tanto español como para tener una sola posibilidad de que eso ocurra.
Pero no acaba aqui la cosa. El chino cudeiro no estudia sólo en un sistema educativo, sino en un centro concreto. Uno bastante bueno, pero ni siquiera es el que mejores resultados obtiene en Shanghai, donde hay un puñado de escuelas con niveles similares. En el siguiente gráfico se pueden ver las distribuciones teóricas -las reales, al haber muy pocos alumnos, están bastante dispersas- del centro típico de la OCDE, del mejor centro que tenemos en España y del centro donde estudia el chino cudeiro.
En el gráfico se ve que el chino cudeiro sigue siendo excepcional, pero se entiende mejor que en un centro con una media en Matemáticas por encima de 700 puntos exista la posibilidad de encontrar a un alumno así. De hecho, la probabilidad de encontrar un alumno por encima de los 1000 puntos en un centro con la distribución teórica del suyo es ya de sólo 0,00123, poco más o menos de uno cada 800 alumnos. Si además tenemos en cuenta que nada menos que 14 de los 152 centros (un 9%) evaluados en Shanghai tenían una media por encima de los 700 puntos, es fácil colegir que esta ciudad china tenía bastantes posibilidades de tener un alumno así. Los que no tenemos ninguna oportunidad somos nosotros: la probabilidad de que aparezca un alumno de ese nivel en el centro español con mejores resultados es de 6.23e-07 (0,000000623), una entre 1,6 millones de alumnos.
Hay quien todavía piensa que las grandes cabezas nacen, y que por tanto es una cuestión de suerte. Sin embargo, hoy sabemos que las grandes cabezas nacen en muchos sitios, pero que sólo en algunos se les da la oportunidad de aprovechar de verdad su potencial.

miércoles, 18 de septiembre de 2013

A quien pueda interesar (II)



Más información aquí.
Y, cuando se presente y puedan leer el estudio, hablaremos de la formación de los maestros.
ADDENDA:
Me dicen que se puede ver en directo.

martes, 10 de septiembre de 2013

Sobre el inicio de curso

Me publican en Alfa y Omega un breve artículo donde explico, muy sucintamente, cuales son los mecanismos por los cuales anulamos el talento de nuestros mejores alumnos.
La trituradora de talento

sábado, 8 de junio de 2013

Otra correlación insostenible

Lc 15:32
No es la primera vez que me ocupo de este tema (aquí y aquí), pero como se insiste, pues cabalgamos.
El caso es que Manuel Bagüés, en el blog de FEDEA, ha escrito una entrada en la que se sorprende de "lo poco que ha cambiado el mapa educativo en siglo y medio", presentando un gráfico de dispersión, en apariencia, apabullante. ¡Nada menos que el 72% del nivel educativo actual, a nivel regional, sería explicable por las tasas de analfabetismo existentes antes de la puesta en marcha de la primera ley educativa de España! Eso le da pie a hablar de la asombrosa "persistencia de los fenómenos sociales, culturales o económicos" y otras zarandajas, por no hablar de la, por momentos delirante, discusión posterior (ni Bagüés -que a veces tiene anotaciones espléndidas- ni los otros colaboradores del blog suelen publicar cosas tan flojas, aunque es habitual que no acabe de estar de acuerdo con ellos en materia educativa).
El problema es que el gráfico apenas se sostiene. Veamos por qué.
En el primer gráfico reproduzco el gráfico de Bagüés, con la recta de regresión lineal, otra curva polinómica y la de Loess. La primera tiene un ajuste medio para el número de puntos, la segunda ajusta un poco mejor, pero no mucho, y la tercera la he puesto porque me gusta, me parece muy indicativa. Yo hubiera dado la vuelta al gráfico (la variable explicativa sería la alfabetización del s.XIX: es difícil que el nivel de lectura actual explique lo que ocurrió hace 150 años), pero es un detalle menor que no cambia lo esencial. Otro error es lo del 72%: en el mejor de los casos, la R2 apenas pasa de 0,5. Probablemente se deba a que ha cogido R en vez de R2, un despiste como otro cualquiera. Aún así, que un factor explique un 50% no es desdeñable, aunque sería deseable que se profundizase algo más en el componente explicativo y causal, porque si no sólo alimentamos prejuicios.
En el segundo gráfico, muy similar al anterior, señalo en rojo las comunidades del sur y en azul las del norte, con sus rectas de regresión consiguientes: en el sur el efecto de las tasas de analfabetismo desaparece, mientras que en el norte la correlación es muy pequeña (y, de hecho, no llega a ser significativa). Como ya comenté en uno de los post citados anteriormente, si cuando divides España en norte y sur el efecto desaparece, pues tienes el efecto norte-sur, y puedes tirar tu factor explicativo "por um cano abaixo". La verdad es que si tienes a diez (más de la mitad) de las CCAA alrededor de un 20% de tasa de alfabetización con diferencias en lectura de más de 50 puntos, ya era para sospechar que el factor explicativo no daba para mucho, pero muy a menudo, cuando tenemos datos agrupados (a mí también me pasa), lo elevado de la correlación no nos deja ver la debilidad de la misma.
[Nota técnica: ya sé que esto último se hace metiendo una dicotómica norte-sur e introduciéndola en la regresión, pero así queda más claro para los legos. Si se hace, el coeficiente del efecto de la alfabetización se reduce a la sexta parte y deja de ser significativo, mientras que la R2 pasa de 0,5 a 0,78. Por tanto, tenemos dos grupos diferenciados, y utilizar la regresión sin utilizar esto en cuenta conduce a errores de interpretación, como el presente.]
Nos queda, entonces, el efecto norte-sur: ¿se ha mantenido estos 150 años?
Hay una evaluación realizada en España en 1997 en la que se publicaron resultados por comunidades autónomas (que yo sepa, por primera vez), aunque ya nadie se acuerde de ella. Es una evaluación muy interesante que encierra buena parte de las claves y problemas de nuestra educación. Que yo sepa, no hay manera de conseguirla entera en internet, aunque en Google Books es posible ver parte de alguno de los siete tomos que se publicaron. Hay, además, un resumen de la misma bastante amplio en inglés y menos amplio en español, pero que hay que bajarse en sendos zip (aquí y aquí). La evaluación medía la competencia en bastantes áreas (Comprensión lectora, Gramática y Literatura, Matemáticas, Ciencias de la Naturaleza y Geografía e Historia) de los alumnos de 14 y 16 años (8º de EGB y 2º de BUP/FP I en el sistema anterior, 2º y 4º de la ESO en el actual), pero dos de las comunidades que esperaban peores resultados (Canarias y Andalucía) se negaron a presentarse (si quieren un ejemplo de pervivencia histórica, ahí está Taifistán). En fin, no me voy a extender más sobre las bondades de esta evaluación, pero si quieren un ejemplo de su actualidad, lean el capítulo de las conclusiones titulado "La mediocridad no debe constituir un objetivo común" (sólo en la versión inglesa).
Bueno, el caso es que tenemos una medición de la competencia lectora a los 14 años en 1996, otra a los 16 en 1996 (pero en esta ya faltaban alumnos que habían dejado la escuela, al menos un 5%), y otra en 2009, todas ellas por CCAA. Si la permanencia de los factores socioculturales de las regiones españolas durase siglo y medio, es evidente que tendrían que notarse en la evaluación de 1996. Y esto es lo que pasa.
En este tercer gráfico (arriba) el ajuste lineal (en rojo) es, esta vez, ridículo, mientras que el ajuste cuadrático (en azul), pese a ser bastante alto, carece sencillamente de sentido. Eso sí, de nuevo ninguna CCAA del sur está por delante de ninguna del norte.
Si pasamos (cuarto gráfico, arriba) a los 16 años (ya hay cerca de un 5% de alumnos no escolarizados) hay algunas variaciones, pero la correlación lineal sigue siendo baja y no significativa.
Por fin (quinto gráfico, arriba), esto es lo que ocurre cuando correlacionamos la evaluación de 1996 (a los 14 años) con la de PISA 2009 (a los 15): una correlación débil causada por el consabido norte-sur, inexistente entre las CCAA del norte y bastante fuerte (y negativa) entre las del sur. No es que signifique demasiado, pero es un ejemplo de cómo factores que correlacionan en cada grupo negativamente, pueden dar lugar a una correlación positiva si no tomamos en cuenta la grupalidad.
Quizás este último gráfico sea el más interesante: se han normalizado las puntuaciones de ambas evaluaciones para poder compararlas (utilizando la media y desviación típica de los alumnos, no la de las CCAA). Esta normalización permite comparar grupos de datos distintos que se distribuyen más o menos normalmente, pero tiene sus limitaciones: no es posible comparar la evolución de España, sino la variación de cada una de sus regiones asumiendo que la media de España es la misma en 1997 que en 2009. Es decir, no podemos decir que la región x haya empeorado o mejorado en términos absolutos, sino con respecto al grupo: podría suceder que toda España hubiera mejorado (o empeorado) mucho en poco más de una década, y por tanto que la región x se hubiera quedado simplemente estancada.
Las tres comunidades que más empeoran, sobre todo en el segundo gráfico, son del sur (y no tenemos datos de Canarias ni de Andalucía), mientras que las del norte tienden a experimentar variaciones más pequeñas. El caso de Cataluña tiene sus dificultades: en 1997 fue la última vez que se midió la competencia lectora en castellano comparándola con el resto de España, y la de 2009 mide la competencia lectora en catalán. No aparecen en el gráfico los datos de Ceuta y Melilla, porque no hay información sobre su tasa de alfabetización, pero en 1996 se situaba al lado de la C. Valenciana (z=-0,22) para los 14 años, mientras que en 2009 se saldría del gráfico, con un valor estandarizado z=-0,91, una diferencia de -0,69 desviaciones típicas (y eso que no tiene la educación transferida, todavía depende del Ministerio). De todas formas, el peso del dato histórico sigue sin ser fuerte en este caso (si correlacionamos diferencias con tasa de alfabetización, la R2 es de 0,134 a los 14, y algo menos a los 16).
No dudo de la pervivencia de la Historia en nuestra sociedad (tengo algunas teorías al respecto), y de algunos factores sociológicos, pero si perviven lo han hecho a través de las familias, y estas se han movido mucho en 150 años (no pocas veces, expulsadas de su solar por esos factores). PISA, que tiene el lugar de nacimiento de los padres, puede dar pistas sobre el tema, quizás. Pero la tasa de alfabetización, tal y como se ha planteado, no parece explicar demasiado a nivel macro.
Como idea general, un sistema educativo fuerte reduce el peso de los factores sociales indeseados en los resultados, mientras que uno débil hace que éstos resurjan. El problema está en que, en la última década, los factores de origen están ganando peso si atendemos no tanto a lo que saben los alumnos, sino a sus oportunidades de titulación. Pero eso lo dejamos para otro día.