jueves, 18 de diciembre de 2014

Nivel socioeconómico, nivel de rendimiento y el sistema educativo como tratamiento

Desde hace al menos cincuenta años se sabe que el rendimiento escolar está influido por el entorno familiar del alumno. Influido, que no determinado -si no, no se explicaría cómo en el mundo desarrollado millones de personas hayan sido, durante los últimos sesenta años, los primeros de su familia en pisar una universidad-, y la forma y el tamaño del efecto están a su vez mediatizado por otros contextos: el escolar, que es capaz de modular esta influencia, al menos hasta cierto punto, y el social.
La forma de medir las variables familiares que influyen en el rendimiento escolar y la fuerza de esa influencia siguen siendo objeto de cierta discusión. Lo que voy a explicar a continuación es cómo lo hace PISA y los resultados que obtiene. PISA construye un índice socioeconómico y cultural a partir de multitud de datos del entorno familiar en que vive el alumno: básicamente está formado por el índice de estatus laboral más alto de ambos padres, el nivel educativo más alto de ambos progenitores medido en años, además de un índice de posesiones en el hogar que intenta agrupar el poder adquisitivo de la familia, sus posesiones culturales, los recursos educativos que el alumno tiene a su disposición y el número de libros que hay en casa. Todo ello se agrupa, por diversos procedimientos matemáticos que no vienen al caso, en una sola escala con una media cero y una desviación típica de uno para la OCDE, y que se distribuye según la famosa campana de Gauss.
Este índice es el que los técnicos de PISA han encontrado que tiene una mayor influencia en el rendimiento, y tiene la ventaja de que utiliza una misma escala para todos los países. Eso no quiere decir, por supuesto, que sea el que más influye en todos los países -es España, por ejemplo, parecen pesar más los libros que el alumno tiene en casa-, ni afecta en todos los sitios igual: la media de la OCDE está cercana al 15% (datos de PISA 2012 para la escala de Matemáticas), aunque en la mayoría de los países oscilan entre un 8 y un 20%. Ese porcentaje es el de "la varianza en el rendimiento explicada por el ISEC", lo que significa que de la variación total que encontramos en el rendimiento de los alumnos, su origen socioeconómico es capaz de explicar el 15%, mientras que el 85% restante obedece a otras causas: la inteligencia del alumno, el que hayan tenidos mejores o peores profesores, lo que se hayan esforzado en estudiar, la calidad del centro, los compañeros que le rodean, si les dolía o no la cabeza el día del examen... A esto me refería cuando decía que el ISEC no determina, pero sí que influye.
Como hemos dicho, la influencia del ISEC es distinta en cada país: entre el 2% de Macao (China) o el 6% de Qatar, hasta el 23% de Perú o el 25% de la República Eslovaca hay mucha diferencia. En España estamos en un 16% -como siempre, alrededor de la media-, los países nórdicos entre un 7 y un 11%, y en los grandes países de Europa Occidental el Reino Unido obtiene un 12%, Alemania un 17% y Francia un 22%. Pueden ver la tabla completa en este documento de excel, tabla II.2.1. Lo que quieren decir estas diferencias es que aunque el ISEC influye en el rendimiento de los alumnos en todos los países, la medida en que lo haga está mediatizado por factores sociales del propio país como, y esta es la parte que me interesa, por el sistema educativo de cada país.
El sistema educativo de cada país es el marco donde los agentes -alumnos, profesores, padres, técnicos, políticos- toman sus decisiones, y está compuesto no sólo por las leyes que lo dan forma, sino por una amalgama de costumbres, aspiraciones, sistemas de acceso y un millón de otras cosas que podrían convertirse en una enumeración borgiana, y que a su vez tiene su origen en otras causas históricas, sociales y políticas que tampoco voy a tratar de enumerar. Lo que me interesa es que todo ese conjunto que llamamos sistema educativo al final es capaz de modular, en un sentido u otro, la influencia del ISEC. Se puede decir que el sistema educativo funciona como un tratamiento, tanto a la hora de obtener los resultados de los alumnos como a la de modular la influencia del ISEC en el rendimiento (o como lo que se le ocurra que pueda afectar a estas y otras variables). La idea -teórica- de tratamiento es que tienes n grupos de personas de características similares y les sometes a distintas condiciones y luego mides los resultados. En medicina, tienes dos grupos de enfermos y a unos les das antibióticos y a otros un placebo, y luego miras quién se ha curado y quién no. En educación las cosas son más complicadas, claro, pero la idea subyacente es que tienes grupos de alumnos más o menos similares que son sometidos a distintos "tratamientos" (formas de organizar el currículo y de impartirlo, y otras muchas cosas, que dependen del dinero, profesores, compañeros, políticos...) o sistemas educativos, y luego medimos los resultados (en este caso, el rendimiento en Matemáticas y sus diferencias según el ISEC).
Todo esto viene por un gráfico que salió hace tiempo en el Huffington Post americano, y que enlazo en español. Quitando el titular (no es la riqueza, que pesa muy poco en el cálculo del ISEC global), el gráfico es perfectamente correcto. De hecho, lo hizo Pablo Zoido, un analista de la OCDE. Si lo miran con cierta atención, verán que dividen a los estudiantes de cada país en diez partes según su ISEC, y luego miden el rendimiento medio de cada uno de los grupos. Lo que permite ver este gráfico es que hay "tratamientos" (sistemas educativos) que consiguen reducir el efecto del ISEC y otros ampliarlo, pero que ninguno ha encontrado la fórmula de que desaparezca por completo (aunque Macao queda muy cerca de conseguirlo). También que hay países que parecen privilegiar a sus élites (Portugal, Turquía, Rumanía o los países sudamericanos), mientras que otros tienden a hundir al último grupo social (Austria, Eslovaquia, Hungría, Francia, Liechtenstein o Shanghai, por ejemplo). También los hay que lo hacen especialmente bien con el último grupo, o especialmente mal con el primero.
Ahora bien, ¿podemos saber si los malos resultados de países como los iberoamericanos u otros muchos se deben a que el sistema educativo es malo o a la pobreza de sus poblaciones? Pues el gráfico no lo permite.
El problema de este gráfico es que no podemos decir más, porque los grupos dejan de ser homogéneos entre países. El 10% más pobre (o más rico) de un país sudamericano no tiene nada que ver con el 10% más pobre de un país europeo. E, incluso, las diferencias dentro de Europa son bastante pronunciadas. Lo que yo me pregunté es: ¿cómo lo hace cada país con grupos homogéneos? Es decir, dividir la población de PISA en diez niveles por su ISEC, y ver cómo lo hace cada país con la parte que le corresponde. Por supuesto, el gráfico tiene también sus problemas: en los extremos, las categorías de los países más ricos o más pobres son menos fiables, pues la muestra es muy pequeña y el error típico crece mucho. Y tampoco tiene en cuenta un posible "efecto compañero": puede no ser lo mismo para un alumno estar acompañado por otros de mayor ISEC que por otros de menor ISEC. Pero, quitando estas salvedades, nos permite saber cómo lo hace cada sistema educativo con poblaciones más o menos homogéneas: al fin y al cabo, una de las grandes ventajas de PISA es la comparabilidad.
Dicho esto, aquí está el gráfico (clic para ampliar):


Lo que el gráfico permite ver es que, una vez que comparamos estudiantes cuyas características socioculturales familiares son más o menos equivalentes, unos sistemas educativos obtienen mejores rendimientos que otros, y que normalmente el rendimiento es escalonado, pero conjunto. Escalonado, porque ningún país consigue, como ya hemos dicho, anular por completo las diferencias de origen; y conjunto, porque aquellos que tienen buenos rendimientos con los alumnos de ISEC medio, consiguen también buenos rendimientos de los alumnos de ISEC bajo, aunque menores dentro del propio país. Eso nos permite, al comparar grupos homogéneos por origen social, dejar nítidas las diferencias de rendimiento de cada sistema educativo -tratamiento- para cada uno de los grupos no sólo dentro de los propios países, sino entre cada uno de los países.
¿Quiere esto decir que a un estudiante español de entorno pobre -v.g. familia monoparental sin estudios, que vive en un piso pequeño del extrarradio sin más libro en casa que una vieja guía telefónica y sin ordenador ni conexión a internet-, con un rendimiento medio esperado de 425 puntos, le saldría más rentable irse a estudiar a Vietnam, donde un chaval con el mismo entorno cultural obtiene alrededor de 500 puntos (que en España y buena parte de Europa es la puntuación que obtienen los que luego van a llegar a la universidad)? Pues no podemos asegurarlo, aunque los datos apunten esa posibilidad. No lo sabemos porque no se ha dado el caso, y porque, aunque los grupos sean homogéneos por su origen socioeconómico, no tienen por qué serlo en muchos otros aspectos, quizás más importantes (ya hemos dicho que el entorno influye, pero no determina). Sí tenemos suficientes casos de inmigrantes que estudian en países con más nivel que el de origen, y que consiguen rendimientos medios superiores que los compatriotas que se quedaron en su tierra, pero ese es un tema que dejaré para otra anotación.
No me resisto, sin embargo, a contarles un caso significativo, aunque sin valor probatorio alguno: conozco a un chaval que estudió en Shanghai, su ciudad de origen, unos pocos años, y luego vino a España porque sus padres abrieron aquí una de tantas "tiendas de chinos". Venía de uno de los mejores sistemas educativos del mundo y, cuando llegó a España no se les ocurrió otra cosa que hacerle repetir porque no sabía español. Dos años después ya tenía el mismo nivel, incluso inferior, que sus compañeros españoles. Somos unos genios.
Volviendo al gráfico, se observan tres grandes grupos: un grupo de países cuyo rendimiento es muy elevado, tanto que permitiría a los estudiantes de ISEC bajo ingresar en una universidad del mundo desarrollado, y que se sitúa sistemáticamente en extremo oriente; un grupo de países mediocres, generalmente pertenecientes al mundo desarrollado, que tiende a llevar a los alumnos de ISEC medio alto a la universidad y a los de ISEC bajo a empleos de menor cualificación, es decir, a dificultar la movilidad social (¿a nadie se le ocurre que esos países son hoy desarrollados precisamente por hacer justo lo contrario? ¿hacia dónde nos lleva este camino?); y un tercer grupo, habitualmente en Iberoamérica y los países árabes, en los que sólo los que tienen un ISEC muy elevado tienen el nivel suficiente para ir a estudiar a las universidades del mundo desarrollado.
¿Por qué ocurre esto? ¿Cuáles son las claves que hacen que unos sistemas obtengan mejores rendimientos que otros? Pues autores discrepan. Muchos les dirán que la inversión, la inteligencia media, la calidad de sus profesores, la mentalidad de los padres, etc. Y todos estos factores importan, por supuesto. Pero si tengo que elegir cuál es el determinante, yo pienso que los más importantes son la extensión del currículo (esto es, la cantidad de materia que se imparte a los alumnos cada curso) y los niveles de exigencia. Pero, en el mundo de la investigación educativa, yo soy el raro que piensa que son las decisiones educativas las que definen a los sistemas educativos, y que muy en segundo lugar están los demás factores.
En fin, no comento más el gráfico, aunque tiene bastante para divertirse.
Les dejo, para rematar, otro: fiel a mi tradición de intentar descender a los sistemas autonómicos, les dejo también el gráfico por regiones. En este caso la homogeneidad de los grupos es mucho mayor, y se cumple que los padres nacidos en otra región tienen hijos cuyo rendimiento se parece más a los de sus compañeros de escuela que a los que siguen estudiando en las regiones donde nacieron sus padres. Sin embargo, las diferencias son significativas en muchos casos, teniendo en cuenta también que mantenemos currículos muy semejantes, pero no iguales niveles de exigencia. A mí me sigue llamando la atención que un chaval de entorno marginal obtiene en promedio 50 puntos más si ha nacido en Navarra que si lo ha hecho en Extremadura o Aragón, por fijarnos en las colas, o el caso madrileño. Si nos fijamos en la cabeza, las diferencias son también amplias: entre Navarra o La Rioja y Baleares o Murcia hay bastantes diferencias si nos fijamos en el rendimiento de los dos grupos con mayor ISEC (si hacemos caso a PISA, que considera que una diferencia de 38 puntos equivale a un curso completo, las diferencias por CCAA tanto entre los grupos de ISEC alto como en los de ISEC bajo son mayores que las que resultarían de estudiar un año más).


Para terminar, advertir que los dos gráficos no son directamente comparables: además del eje de abcisas (que es más reducido en el segundo), los grupos del primero no son iguales a los del segundo, pues en aquel la referencia para establecer los cortes es la de todos los países, mientras que en este es sólo España. Además, la categoría "Resto de España" incluye a la Comunidad Valenciana, Castilla-La Mancha, Canarias, Ceuta y Melilla, que no pidieron muestra ampliada.

3 comentarios:

  1. Yo vivo en España y tengo tres libros y un ordenador viejo en casa. Claramente, no soy de la élite cognitiva ni social del país. Luego mi hijo sale... como cabía esperar.
    Tú vives en Noséqué-istán, tienes tres libros y un ordenador viejo en casa. Bien puede ser que seas de la élite cognitiva y social del país. Así que el hijos sale... como cabía esperar.
    ¿No pueden ir por ahí los tiros?

    ResponderEliminar
  2. Por otro lado, hacer un índice compuesto como el ISEC si los diferentes indicadores pueden ser adecuadamente resumidos por un única variable latente. No sé si hay base empírica para ello. Tengo mis serias dudas. En el caso de no ser así, se está perdiendo información y la que se ofrece puede estar distorsionada.

    Igualmente, querría saber si en todos los países el CI y la excelencia cultural paternos guardan la misma relación con el ISEC y la posición social. En un país en el que los ricos con libros sean los hermanos y primos del dictador de turno y los listos sean enemigos del régimen enviados al arrozal, el ISEC tendrá un impacto mínimo en el rendimiento educativo. No sé si ese es el modelo de justificia social que buscamos.

    ResponderEliminar
  3. No sé si acabo de entender todo lo que dices, por lo que si me voy por peteneras me centras el tema de nuevo.

    La metodología empleada divide a todos los alumnos de PISA en diez grupos iguales dependiendo del ISEC, por lo que es posible que en un país rico haya muy pocos alumnos en el grupo con menos ISEC, y en un país pobre haya muy pocos alumnos en el grupo del ISEC más alto, por lo que la precisión es menor y el error típico mayor en estos casos. Según me parece entender de tu primera argumentación, lo que dices puede pasar en un país con ISEC bajo y rendimiento alto. Es algo que ocurre, a mi juicio, en estos países, pues Shanghai, Singapur, Corea o Japón se parecen más a España. [El gráfico representa la distribución del ISEC en cada país (barras) comparado con el de España (línea continua), igualando el número de casos]. Es evidente que, al menos en los dos primeros, puede pasar algo de lo que dices. En los países árabes o sudamérica, por ejemplo, también podríamos poner en entredicho los valores de los grupos con mayor ISEC, pero en ese caso no destacan especialmente sobre los españoles. Pero considero es que lo importante es que los puntos de ISEC bajo de los países orientales del gráfico están por encima (muy por encima, incluso) de los valores medios de los países occidentales. Y que los alumnos de mayor y menor ISEC de un mismo país van "agrupados", se parecen más entre ellos que los de similar ISEC en otros países. Yo defiendo que el efecto "igualador" está en el sistema educativo.

    Respecto a tu segundo comentario: efectivamente, el ISEC de PISA se creó en 2000, cuando sólo había países de la OCDE (tirando a ricos, vamos), y entonces funcionaba aceptablemente, aunque no captaba las singularidades de cada país. Lo mismo pasaba con la escala cognitiva. Pero, al ampliar a países tan distintos como los presentes en 2012, cada vez parece funcionar peor. De hecho, se hicieron cambios en la escala cognitiva para medir mejor a los países con peores resultados, pero creo que no se ha hecho nada con el ISEC.

    Incluso, el peso en el ISEC de la variable SEI (estatus laboral), y su utilización en la estimación de las variables cognitivas me deja también reparos a esa correlación, aunque en las simulaciones que he hecho funciona aceptablemente en países occidentales. En fin, es lo que hay.

    Sobre el CI, no tengo un solo dato. Hace años diseñé un experimento para conocer la infuencia del CI en las variables de PISA (cognitivas y de contexto), incluso ya tenía los permisos "políticos" oportunos, pero no hubo manera de conseguir financiación. Vamos, que yo también querría saber. Estimo, gracias a otros datos, pero "con gran temor a equivocarme", que el CI podría explicar el 50% de los resultados cognitivos de PISA (sobre todo, la variabilidad dentro de cada país), y alrededor de un 75% de la influencia del ISEC sobre esos resultados cognitivos. Pero ya digo que son elucubraciones sin demasiada base.

    Sobre lo de los hermanos y primos, coincidirás conmigo en que son pocos casos como para que tenga una influencia. Sí es cierto que en dictaduras largas surge una élite social que no tiene por qué depender del mérito (en España ocurrió). Pues es un buen tema para investigar, hasta ahí puedo leer.

    ResponderEliminar