jueves, 18 de diciembre de 2014

Nivel socioeconómico, nivel de rendimiento y el sistema educativo como tratamiento

Desde hace al menos cincuenta años se sabe que el rendimiento escolar está influido por el entorno familiar del alumno. Influido, que no determinado -si no, no se explicaría cómo en el mundo desarrollado millones de personas hayan sido, durante los últimos sesenta años, los primeros de su familia en pisar una universidad-, y la forma y el tamaño del efecto están a su vez mediatizado por otros contextos: el escolar, que es capaz de modular esta influencia, al menos hasta cierto punto, y el social.
La forma de medir las variables familiares que influyen en el rendimiento escolar y la fuerza de esa influencia siguen siendo objeto de cierta discusión. Lo que voy a explicar a continuación es cómo lo hace PISA y los resultados que obtiene. PISA construye un índice socioeconómico y cultural a partir de multitud de datos del entorno familiar en que vive el alumno: básicamente está formado por el índice de estatus laboral más alto de ambos padres, el nivel educativo más alto de ambos progenitores medido en años, además de un índice de posesiones en el hogar que intenta agrupar el poder adquisitivo de la familia, sus posesiones culturales, los recursos educativos que el alumno tiene a su disposición y el número de libros que hay en casa. Todo ello se agrupa, por diversos procedimientos matemáticos que no vienen al caso, en una sola escala con una media cero y una desviación típica de uno para la OCDE, y que se distribuye según la famosa campana de Gauss.
Este índice es el que los técnicos de PISA han encontrado que tiene una mayor influencia en el rendimiento, y tiene la ventaja de que utiliza una misma escala para todos los países. Eso no quiere decir, por supuesto, que sea el que más influye en todos los países -es España, por ejemplo, parecen pesar más los libros que el alumno tiene en casa-, ni afecta en todos los sitios igual: la media de la OCDE está cercana al 15% (datos de PISA 2012 para la escala de Matemáticas), aunque en la mayoría de los países oscilan entre un 8 y un 20%. Ese porcentaje es el de "la varianza en el rendimiento explicada por el ISEC", lo que significa que de la variación total que encontramos en el rendimiento de los alumnos, su origen socioeconómico es capaz de explicar el 15%, mientras que el 85% restante obedece a otras causas: la inteligencia del alumno, el que hayan tenidos mejores o peores profesores, lo que se hayan esforzado en estudiar, la calidad del centro, los compañeros que le rodean, si les dolía o no la cabeza el día del examen... A esto me refería cuando decía que el ISEC no determina, pero sí que influye.
Como hemos dicho, la influencia del ISEC es distinta en cada país: entre el 2% de Macao (China) o el 6% de Qatar, hasta el 23% de Perú o el 25% de la República Eslovaca hay mucha diferencia. En España estamos en un 16% -como siempre, alrededor de la media-, los países nórdicos entre un 7 y un 11%, y en los grandes países de Europa Occidental el Reino Unido obtiene un 12%, Alemania un 17% y Francia un 22%. Pueden ver la tabla completa en este documento de excel, tabla II.2.1. Lo que quieren decir estas diferencias es que aunque el ISEC influye en el rendimiento de los alumnos en todos los países, la medida en que lo haga está mediatizado por factores sociales del propio país como, y esta es la parte que me interesa, por el sistema educativo de cada país.
El sistema educativo de cada país es el marco donde los agentes -alumnos, profesores, padres, técnicos, políticos- toman sus decisiones, y está compuesto no sólo por las leyes que lo dan forma, sino por una amalgama de costumbres, aspiraciones, sistemas de acceso y un millón de otras cosas que podrían convertirse en una enumeración borgiana, y que a su vez tiene su origen en otras causas históricas, sociales y políticas que tampoco voy a tratar de enumerar. Lo que me interesa es que todo ese conjunto que llamamos sistema educativo al final es capaz de modular, en un sentido u otro, la influencia del ISEC. Se puede decir que el sistema educativo funciona como un tratamiento, tanto a la hora de obtener los resultados de los alumnos como a la de modular la influencia del ISEC en el rendimiento (o como lo que se le ocurra que pueda afectar a estas y otras variables). La idea -teórica- de tratamiento es que tienes n grupos de personas de características similares y les sometes a distintas condiciones y luego mides los resultados. En medicina, tienes dos grupos de enfermos y a unos les das antibióticos y a otros un placebo, y luego miras quién se ha curado y quién no. En educación las cosas son más complicadas, claro, pero la idea subyacente es que tienes grupos de alumnos más o menos similares que son sometidos a distintos "tratamientos" (formas de organizar el currículo y de impartirlo, y otras muchas cosas, que dependen del dinero, profesores, compañeros, políticos...) o sistemas educativos, y luego medimos los resultados (en este caso, el rendimiento en Matemáticas y sus diferencias según el ISEC).
Todo esto viene por un gráfico que salió hace tiempo en el Huffington Post americano, y que enlazo en español. Quitando el titular (no es la riqueza, que pesa muy poco en el cálculo del ISEC global), el gráfico es perfectamente correcto. De hecho, lo hizo Pablo Zoido, un analista de la OCDE. Si lo miran con cierta atención, verán que dividen a los estudiantes de cada país en diez partes según su ISEC, y luego miden el rendimiento medio de cada uno de los grupos. Lo que permite ver este gráfico es que hay "tratamientos" (sistemas educativos) que consiguen reducir el efecto del ISEC y otros ampliarlo, pero que ninguno ha encontrado la fórmula de que desaparezca por completo (aunque Macao queda muy cerca de conseguirlo). También que hay países que parecen privilegiar a sus élites (Portugal, Turquía, Rumanía o los países sudamericanos), mientras que otros tienden a hundir al último grupo social (Austria, Eslovaquia, Hungría, Francia, Liechtenstein o Shanghai, por ejemplo). También los hay que lo hacen especialmente bien con el último grupo, o especialmente mal con el primero.
Ahora bien, ¿podemos saber si los malos resultados de países como los iberoamericanos u otros muchos se deben a que el sistema educativo es malo o a la pobreza de sus poblaciones? Pues el gráfico no lo permite.
El problema de este gráfico es que no podemos decir más, porque los grupos dejan de ser homogéneos entre países. El 10% más pobre (o más rico) de un país sudamericano no tiene nada que ver con el 10% más pobre de un país europeo. E, incluso, las diferencias dentro de Europa son bastante pronunciadas. Lo que yo me pregunté es: ¿cómo lo hace cada país con grupos homogéneos? Es decir, dividir la población de PISA en diez niveles por su ISEC, y ver cómo lo hace cada país con la parte que le corresponde. Por supuesto, el gráfico tiene también sus problemas: en los extremos, las categorías de los países más ricos o más pobres son menos fiables, pues la muestra es muy pequeña y el error típico crece mucho. Y tampoco tiene en cuenta un posible "efecto compañero": puede no ser lo mismo para un alumno estar acompañado por otros de mayor ISEC que por otros de menor ISEC. Pero, quitando estas salvedades, nos permite saber cómo lo hace cada sistema educativo con poblaciones más o menos homogéneas: al fin y al cabo, una de las grandes ventajas de PISA es la comparabilidad.
Dicho esto, aquí está el gráfico (clic para ampliar):


Lo que el gráfico permite ver es que, una vez que comparamos estudiantes cuyas características socioculturales familiares son más o menos equivalentes, unos sistemas educativos obtienen mejores rendimientos que otros, y que normalmente el rendimiento es escalonado, pero conjunto. Escalonado, porque ningún país consigue, como ya hemos dicho, anular por completo las diferencias de origen; y conjunto, porque aquellos que tienen buenos rendimientos con los alumnos de ISEC medio, consiguen también buenos rendimientos de los alumnos de ISEC bajo, aunque menores dentro del propio país. Eso nos permite, al comparar grupos homogéneos por origen social, dejar nítidas las diferencias de rendimiento de cada sistema educativo -tratamiento- para cada uno de los grupos no sólo dentro de los propios países, sino entre cada uno de los países.
¿Quiere esto decir que a un estudiante español de entorno pobre -v.g. familia monoparental sin estudios, que vive en un piso pequeño del extrarradio sin más libro en casa que una vieja guía telefónica y sin ordenador ni conexión a internet-, con un rendimiento medio esperado de 425 puntos, le saldría más rentable irse a estudiar a Vietnam, donde un chaval con el mismo entorno cultural obtiene alrededor de 500 puntos (que en España y buena parte de Europa es la puntuación que obtienen los que luego van a llegar a la universidad)? Pues no podemos asegurarlo, aunque los datos apunten esa posibilidad. No lo sabemos porque no se ha dado el caso, y porque, aunque los grupos sean homogéneos por su origen socioeconómico, no tienen por qué serlo en muchos otros aspectos, quizás más importantes (ya hemos dicho que el entorno influye, pero no determina). Sí tenemos suficientes casos de inmigrantes que estudian en países con más nivel que el de origen, y que consiguen rendimientos medios superiores que los compatriotas que se quedaron en su tierra, pero ese es un tema que dejaré para otra anotación.
No me resisto, sin embargo, a contarles un caso significativo, aunque sin valor probatorio alguno: conozco a un chaval que estudió en Shanghai, su ciudad de origen, unos pocos años, y luego vino a España porque sus padres abrieron aquí una de tantas "tiendas de chinos". Venía de uno de los mejores sistemas educativos del mundo y, cuando llegó a España no se les ocurrió otra cosa que hacerle repetir porque no sabía español. Dos años después ya tenía el mismo nivel, incluso inferior, que sus compañeros españoles. Somos unos genios.
Volviendo al gráfico, se observan tres grandes grupos: un grupo de países cuyo rendimiento es muy elevado, tanto que permitiría a los estudiantes de ISEC bajo ingresar en una universidad del mundo desarrollado, y que se sitúa sistemáticamente en extremo oriente; un grupo de países mediocres, generalmente pertenecientes al mundo desarrollado, que tiende a llevar a los alumnos de ISEC medio alto a la universidad y a los de ISEC bajo a empleos de menor cualificación, es decir, a dificultar la movilidad social (¿a nadie se le ocurre que esos países son hoy desarrollados precisamente por hacer justo lo contrario? ¿hacia dónde nos lleva este camino?); y un tercer grupo, habitualmente en Iberoamérica y los países árabes, en los que sólo los que tienen un ISEC muy elevado tienen el nivel suficiente para ir a estudiar a las universidades del mundo desarrollado.
¿Por qué ocurre esto? ¿Cuáles son las claves que hacen que unos sistemas obtengan mejores rendimientos que otros? Pues autores discrepan. Muchos les dirán que la inversión, la inteligencia media, la calidad de sus profesores, la mentalidad de los padres, etc. Y todos estos factores importan, por supuesto. Pero si tengo que elegir cuál es el determinante, yo pienso que los más importantes son la extensión del currículo (esto es, la cantidad de materia que se imparte a los alumnos cada curso) y los niveles de exigencia. Pero, en el mundo de la investigación educativa, yo soy el raro que piensa que son las decisiones educativas las que definen a los sistemas educativos, y que muy en segundo lugar están los demás factores.
En fin, no comento más el gráfico, aunque tiene bastante para divertirse.
Les dejo, para rematar, otro: fiel a mi tradición de intentar descender a los sistemas autonómicos, les dejo también el gráfico por regiones. En este caso la homogeneidad de los grupos es mucho mayor, y se cumple que los padres nacidos en otra región tienen hijos cuyo rendimiento se parece más a los de sus compañeros de escuela que a los que siguen estudiando en las regiones donde nacieron sus padres. Sin embargo, las diferencias son significativas en muchos casos, teniendo en cuenta también que mantenemos currículos muy semejantes, pero no iguales niveles de exigencia. A mí me sigue llamando la atención que un chaval de entorno marginal obtiene en promedio 50 puntos más si ha nacido en Navarra que si lo ha hecho en Extremadura o Aragón, por fijarnos en las colas, o el caso madrileño. Si nos fijamos en la cabeza, las diferencias son también amplias: entre Navarra o La Rioja y Baleares o Murcia hay bastantes diferencias si nos fijamos en el rendimiento de los dos grupos con mayor ISEC (si hacemos caso a PISA, que considera que una diferencia de 38 puntos equivale a un curso completo, las diferencias por CCAA tanto entre los grupos de ISEC alto como en los de ISEC bajo son mayores que las que resultarían de estudiar un año más).


Para terminar, advertir que los dos gráficos no son directamente comparables: además del eje de abcisas (que es más reducido en el segundo), los grupos del primero no son iguales a los del segundo, pues en aquel la referencia para establecer los cortes es la de todos los países, mientras que en este es sólo España. Además, la categoría "Resto de España" incluye a la Comunidad Valenciana, Castilla-La Mancha, Canarias, Ceuta y Melilla, que no pidieron muestra ampliada.

miércoles, 22 de enero de 2014

El suicidio de Europa (y tantos otros)

Hace unos años, cuando era redactor-jefe de Magisterio, la embajada inglesa me invitó a una comida, junto con otros periodistas y demás gente del sector educativo, con un alto cargo de Educación británico (creo recordar que era Jim Knight). En los postres, el "minister" nos preguntó por qué creíamos que Finlandia obtenía unos resultados tan espléndidos en PISA. No recuerdo la de los demás, pero sí que la mía contrastaba con el resto: yo creo que Finlandia tiene una educación que se consideraría mediocre en la Europa de hace unas décadas, pero que, como han mantenido el sistema sin grandes cambios, ahora destaca ante el resto; es Europa la que se ha suicidado educativamente, y Finlandia sólo es un testigo de la calidad de antaño. El político hizo un comentario irónico dejando claro que no compartía mi visión, y pasamos a otra cosa.
No sé qué dirá ahora mismo el político, pero yo sigo pensando lo mismo, o peor. Pero vamos con los datos, a ver si, después de verlos, alguien más comparte esta opinión. Las tablas y gráficos que ahora se presentan utilizan una metodología que pretende diferencias a los centros buenos y malos de los mediocres, basándome en los resultados de PISA 2012. Ya empleé una metodología similar –aunque para Europa Occidental– en este libro (5Mb) [Lo siento, enlace roto: pueden encontrar el libro aquí], donde se explican los aspectos metodológicos in extenso. Para no aburrir pondré el apéndice metodológico al final de la entrada: de momento baste saber que un centro bueno es aquel que consigue que un porcentaje significativo de sus alumnos obtenga unos resultados en Matemáticas muy por encima de lo esperado por el estrato socioeconómico de su familia de procedencia, un centro malo lo contrario, y uno mediocre ni fu ni fa. Los centros buenos consiguen la mejora social de sus alumnos y contribuyen enormemente a la mejora del país en general, mientras que los mediocres tienden a dejar las cosas como están. Los malos son uno de los mayores timos en los que puede incurrir un Estado, tanto para los alumnos, las familias y la sociedad en general y, salvo excepciones, no deberían permanecer abiertos.
Este análisis parte de la base de que la educación es el punto de apoyo del progreso económico, político y social de los países, pero no es algo evidente ni tiene por qué ser compartido. También creo que Europa Occidental consiguió lo que consiguió en la segunda mitad del siglo XX, a pesar de la guerra, la descolonización y las crisis económicas gracias no sólo a sus instituciones y sus sistemas económicos, sino a una apuesta educativa que actuaba como sustrato de todo ello, y que comenzó a cambiar a principios de los 70, cuando un país tras otro decidieron –decidimos– que nuestras instituciones eran tan buenas que podían sostenerse sobre el vacío.
Esta primera tabla muestra el porcentaje de alumnos que acuden a centros buenos, mediocres y malos en ocho grandes zonas del mundo. La agrupación es mía, basándome en los países que se presentan a PISA y en mis conocimientos geo-históricos (aparte de alguna consideración técnica: EE.UU y la Federación Rusa están por separado para que su tamaño no eclipse al resto del grupo). Los países que incluye cada grupo se encuentran en la segunda tabla, además de los no incluidos en ningún grupo. Hay, por supuesto, alguna disonancia, como la inclusión de Kazajstán en un grupo de países con una evolución bastante distinta, o de Tailandia entre los dragones del Pacífico, o la modernizada Turquía. Pero, en general, creo que hay cierta homogeneidad y que los grupos son coherentes.

Porcentaje de alumnos en centros buenos, mediocres y malos en PISA 2012
Por áreas geo-políticas
Malos ET Mediocres ET Buenos ET
Extremo Oriente2,0(0,53)42,2(1,58)55,8(1,47)
Europa Occidental7,9(0,59)69,6(1,07)22,5(0,95)
Europa Oriental8,5(0,61)69,0(1,80)22,5(1,63)
Transplantes británicos2,5(0,50)79,8(1,29)17,7(1,21)
Países musulmanes16,5(1,05)67,0(2,10)16,5(2,01)
Rusia6,3(1,86)83,5(3,24)10,2(2,51)
EE.UU6,9(2,74)88,8(3,04)4,3(1,94)
Iberoamérica31,2(1,46)68,3(1,45)0,5(0,20)
Todos14,6(0,59)69,0(0,80)16,3(0,48)
Fuente: Elaboración propia sobre microdatos de PISA 2012.

Las regiones están ordenadas de acuerdo con la mayor proporción de alumnos escolarizados en centros buenos. Aunque los parámetros utilizados se eligieron para que el 16% de los alumnos examinados en PISA 2012 acudiera a centros buenos, existe una gran variación entre regiones: mientras que en Pacífico hay una apuesta clara por la calidad –léase: por que los alumnos aprendan–, y que esta llegue al mayor número posible de alumnos, no es eso lo que nos encontramos en el resto del mundo. En Europa, tanto Occidental como Oriental, se mantiene la calidad sólo para algunos grupos de alumnos (y según qué países: véase la siguiente tabla), mientras que un grupo nada desdeñable de alumnos acuden todos los días a centros donde, en general, les saldría más rentable no acudir. Los "trasplantes" británicos –en terminología de Julián Marías– apuestan por quedarse como están, con pocos alumnos en centros buenos y muy pocos en los malos, mientras que la Federación Rusa y EEUU son monumentos a la mediocridad. En los países musulmanes podría parecer que hay un equilibrio entre la calidad y la mediocridad, pero no es cierto: en la siguiente tabla se ve que la apuesta por la calidad es exclusiva de Turquía, mientras que el resto sigue la peligrosa senda iberoamericana. Y es que no sé si los políticos iberoamericanos piensan que el progreso cae del cielo o que, porque no hay manera de encontrar más que trazas de calidad en sus sistemas educativos, mientras que cerca de un tercio de sus alumnos van a centros (¡la mitad en Argentina!) que quizás sería mejor que no permanecieran abiertos.
Para que puedan hacerse una idea más precisa –y entretenerse un rato–, les dejo la tabla por países, agrupados por regiones. Es un poco larga, ya lo siento; si quieren verla en detalle, clic para ampliar. Quizás les sorprenda la inclusión de tres estados de EE.UU y uno de la Federación Rusa, pero la base de datos de PISA los deja así y no me he molestado en averiguar por qué. La tabla incluye el porcentaje de alumnos en cada centro y su error típico (calculado según los estándares de PISA: ya sé que no hace falta ser tan preciso, pero estoy probando una librería de R para ello, y ya aprovecho). Además, la última columna indica la posición relativa de cada país en cada porcentaje, todos de mayor a menor; por ejemplo, España ocupa el lugar 39 de 67 en porcentaje de alumnos en centros buenos (en la parte media de la tabla), el cuarto en porcentaje de alumnos matriculados en centros mediocres (sí, somos de los primeros en mediocridad), mientras que ocupamos el puesto 51 de 67 en alumnos en centros malos (lo que está realmente bien).


Quizás se vea mejor en un gráfico, aunque no ofrezca tanto detalle. Los países se ordenan por el porcentaje de alumnos en centros buenos, y España aparece marcada con una sombra gris.


A no pocos les parecerá que el porcentaje de centros buenos de Europa Occidental, un 22,5%, es suficiente, y que hablar del suicidio de Europa sea exagerado. Pero quizás deba tener en consideración dos cosas: primero, que tal porcentaje se consigue básicamente por cuatro países, y muy poblados –Alemania, Francia Bélgica y Holanda, además de la minúscula Liechtenstein–, mientras que bastante se quedan en niveles ridículos; segundo, que en el cálculo se incluyen muchos países con malos resultados, lo que baja la media alrededor de 20 puntos y sube la correlación y los coeficientes de las variables empleadas: si se incluyeran sólo países desarrollados, el porcentaje de alumnos europeos en centros buenos descendería, mientras que la diferencia con los asiáticos aumentaría aún más (ver apéndice para más detalles). También es cierto que si la competencia empleada fuera Lectura en vez de Matemáticas, los países asiáticos no destacarían tanto. Lo que sería un triste consuelo: no se trata de que Europa esté peor que otros países, sino de lo que se ha dejado en el camino.
Por último, una tabla con las diferencias por comunidades autónomas españolas: aunque todas lo hacen bastante bien con respecto a los centros malos, las diferencias se encuentran en los alumnos matriculados en centros buenos. Por ejemplo, Castilla y León o Navarra tienen cuatro veces más que Murcia, o doce veces más que Andalucía. Y eso, recordemos, tras haber eliminado las diferencias socioeconómicas.

Porcentaje de alumnos en centros buenos, mediocres y malos en PISA 2012
España. Por Comunidades Autónomas
Malos ET Mediocres ET Buenos ET
Castilla y León0,6(1,54)77,3(6,85)22,0(7,11)
Navarra0,2(0,83)78,9(6,57)20,8(6,46)
País Vasco1,3(0,64)83,5(3,49)15,2(3,37)
La Rioja1,0(0,38)84,4(3,37)14,7(3,26)
Aragón1,7(1,71)85,5(6,27)12,8(6,03)
Cataluña0,0(0,00)88,2(4,38)11,8(4,38)
Madrid0,9(1,87)88,9(4,93)10,2(4,62)
Asturias1,5(1,52)91,8(4,93)6,7(4,71)
Galicia2,1(2,65)91,5(6,27)6,4(4,60)
Cantabria4,6(2,39)89,0(4,11)6,4(3,40)
Murcia7,3(3,26)87,5(4,90)5,2(3,71)
Resto de España3,2(3,98)92,6(5,04)4,2(2,90)
Andalucía0,0(0,00)98,3(1,69)1,7(1,69)
Baleares4,2(3,31)94,4(3,74)1,4(1,74)
Extremadura3,5(2,97)95,8(3,26)0,7(1,60)
España1,6(1,02)90,9(1,80)7,6(1,19)
Fuente: Elaboración propia sobre microdatos de PISA 2012.

Nota metodológica:
El proceso, resumido (está detallado en el libro enlazado anteriormente; también incluye –págs. 58-59– dos cuadros que intentan explicar la correlación y la regresión para legos, si no acaba de entender todo esto), es el siguiente. Se hace una regresión, con las puntuaciones de matemáticas como dependiente (en PISA, PV1MATH-PV5MATH) y el ISEC (en PISA, ESCS: índice socioeconómico y cultural) como independiente, de todo el mundo (salvo Albania, que no dispone de ISEC). Se toman los residuos y se marcan los alumnos con un residuo superior e inferior a una desviación típica. Los alumnos se agrupan por centros y se considera centro bueno aquel cuya diferencia entre la proporción de alumnos buenos y malos es superior a 0,30, mientras que se marcan como malos los que tienen una diferencia inferior a -0,30, dejando al resto como mediocres. El 0,30 no se elige al azar, sino que está pensado para que haya, aproximadamente, un 16% de centros buenos y un 16% de centros malos en el mundo. Una vez etiquetados los centros simplemente se calculan los porcentajes por país o región.
Esta metodología tiene, por supuesto, debilidades: una de ellas es que siempre hay que establecer que tal país tiene tantos o cuantos alumnos en centros buenos en relación al resto de países utilizados, pero esa proporción varía en cuanto cambiemos el número de países que intervienen (por ejemplo, en el libro sólo se utilizan los países de Europa Occidental). En el presente caso, al utilizar a todos los países, y no sólo a los más desarrollados, la media de Matemáticas cayó hasta los 456 puntos, mientras que el ISEC bajó a -0,607, en vez de 499 y -0.167 respectivamente. Esto hace que en una regresión baje el intercepto y suban pendiente y correlación, lo que, a efectos prácticos, supone que los mediocres como Europa Occidental aumenten el porcentaje de alumnos en centros malos y disminuya el de matriculados en buenos. Por poner un ejemplo, mientras que utilizando todos los países, los del pacífico tienen 2,5 veces más proporción de alumnos en centros buenos que Europa Occidental, en el caso de eliminar los países más atrasados educativamente la proporción aumenta a 3,6.
En el caso de España, nos quedaríamos con un 1,5% de alumnos matriculados en centros buenos y un 10,5% en centros malos. Es el problema de jugar en las ligas mayores.