miércoles, 16 de octubre de 2019

Segundo error grave de PISA en España: ISEC 2015

En una evaluación tan enorme como PISA es muy fácil cometer involuntariamente algún error técnico en un país o dato importante. En el ámbito científico, tan natural como cometerlos debería ser el reconocerlos y rectificarlos, pero muy a menudo los egos y los prestigios de las instituciones se interponen, y los fallos se tienden a tapar. En mi opinión, no es cometer fallos lo que te hace poco fiable, sino cómo reaccionas cuando eres consciente del error. El caso es que, en las seis ediciones que llevamos de PISA, la OCDE ha cometido por lo menos dos errores técnicos importantes en nuestro país. El primero fue en los resultados de Lectura en 2006, y el segundo en el Índice Socioeconómico y Cultural (ISEC, ESCS en inglés) de 2015. No ha rectificado ninguno, y sólo los han reconocido a nivel político y con la boca chica.
El error de 2006 tuvo como resultado una caída de 20 puntos en la prueba de Lectura con respecto a 2003, y que se saldó con un aumento de 20 puntos en 2009. Afectó a la media española y, de las comunidades que habían tenido muestra ampliada en 2003, perjudicó sobre todo a Castilla y León (21 puntos), menos al País Vasco (10 puntos) y apenas a Cataluña (diferencia no significativa). Políticamente apenas tuvo efecto alguno, salvo en Castilla y León, donde hubo cierto escándalo y se tomaron algunas medidas técnicas encaminadas hacia el fomento de la lectura en Primaria. En el conjunto nacional el dato aparecía por primera vez en el texto de la página 69 del informe, mientras que la tabla (pág. 71) aparecía sin comparar con 2003 –la especialidad de Roca, entonces director del Instituto de Evaluación y hoy presidente del Consejo Escolar del Estado, era sumergir los datos "inconvenientes" en el fondo de la hojarasca. El texto ya aludía a un posible error técnico (aunque por causas equivocadas) y aprovechaba para justificar alguna de las medidas de la recientemente aprobada LOE:
"El descenso relativo producido entre 2000 y 2006 y la comparación internacional justifican la propuesta realizada en la LOE de dedicar un tiempo específico a la lectura en todas las etapas y en las diferentes áreas y materias."
Cuando aparecieron los datos de PISA 2009, España creció 20 puntos, mientras que todas las comunidades con muestra ampliada en 2006 mejoraron sus resultados en Lectura (en ese año era, además, la competencia estrella*), encabezados por los 25 puntos de Castilla y León. Todo el mundo sacó pecho entonces y el asunto se olvidó. Si hoy vemos los datos, queda como una anomalía en la serie (gráfico 2.b, más abajo) y poco más (aunque en algún informe nacional de otros países he visto que ponen a España como ejemplo a seguir por su evolución en Lectura entre 2006 y 2015: aviados van). Mi hipótesis entonces fue que había un fallo en algún ítem de anclaje, pero entonces no tenía la competencia técnica necesaria para averiguarlo. En algún sitio me dijeron que la OCDE había reconocido el error en alguna reunión técnica, pero no me contaron cual era el problema concreto.

Qué es el ISEC y por qué es importante

Como ya se ha dicho, el segundo error tiene que ver con el ISEC, o Índice Socioeconómico y Cultural, que es un índice complejo y, probablemente, la segunda variable más importante de PISA tras las escalas de rendimiento (Lectura, Matemáticas, Ciencias). Pero para entender el error antes hay que saber qué es esta variable, por qué es importante y cómo se obtiene (si ya la conoce bien puede saltarse este epígrafe, aunque los problemas que esconde el ISEC, detallados al final, probablemente le resulten menos familiares).

El ISEC es un índice compuesto que intenta recoger en un solo número el contexto socioeconómico y cultural de la familia del alumno, y que consta de tres elementos básicos: el nivel de estudios más alto de ambos padres, expresado en años de escolarización mínimos para la obtención de ese título en cada país (PARED); el estatus laboral más alto de ambos padres (HISEI), expresado en la escala internacional ISCO (International Standard Classification of Occupations en inglés, en español CIUO, Clasificación Internacional Uniforme de Ocupaciones); y otro índice denominado HOMEPOS (de "home possessions", bienes en el hogar en inglés), compuesto de 25 variables sobre lo que el alumno tiene en su casa, desde un diccionario al nº de coches o libros (la mayoría de las variables pueden verse en la carta enlazada un poco más abajo). Un cuadro detallado, obtenido de la página 340 del PISA 2015 Technical Report, es el que se reproduce a continuación: 

Gráfico 1

La formación de un índice es un proceso matemático complejo que se puede realizar por varias vías (análisis de componentes principales, como es el caso del ISEC, análisis factorial o por medio de los modelos de la Teoría de Respuesta al Item, como es el caso de HOMEPOS), pero que básicamente tiene una serie de pasos comunes: se parte de una serie de datos numéricos directos, obtenidos generalmente de un test; estos se introducen en una función de cálculo compleja para obtener una serie de parámetros generales; con estos parámetros generales y los valores en el test de cada individuo se obtiene una puntuación particular para cada sujeto; en el caso de PISA, estas puntuaciones sufren una transformación adicional para que el conjunto tenga una media de cero y una desviación típica de uno. El objetivo de estos cálculos y transformaciones es averiguar qué importancia tiene cada variable inicial en la variable final, y emplear tal información en el cálculo del índice para cada individuo.
Entiendo que esta explicación puede ser un lío para aquellos poco familiarizados con estas técnicas, y muy básica para aquellos que ya las conocen, pero eso es algo difícilmente evitable. Para intentar desliar a los primeros, dejo una explicación más práctica en la segunda nota (**),pero creo que esto basta para comprender el proceso y entender dónde puede estar el error.
El ISEC tenía la particularidad de tener media cero y desviación típica uno en cada una de las ediciones de PISA, pero esta característica significaba que ese índice no era comparable de una edición a otra, y no se podía utilizar como variable de tendencia como las de rendimiento (es decir, se podía comparar el resultado de Matemáticas de una edición a otra, pero no el ISEC). Para solucionar este problema, la OCDE recalculó para la edición de 2015, el denominado "ISEC de tendencia" (ESCS trend, que puede encontrarse aquí, en el apartado Rescaled Indices for Trend Analyses). Para ello tomó como base los datos de 2015 y utilizó esos parámetros para recalcular los índices de todos los alumnos de las ediciones anteriores (el proceso es algo más complejo: quien quiera puede consultar los detalles en el capítulo 16 del PISA 2015 Technical Report, especialmente las págs. 339-342). El resultado de este sistema es que el ISEC es comparable no sólo entre países (o alumnos) dentro del mismo año, sino que se puede seguir la tendencia de un país a lo largo de las ediciones, o equiparar los datos de un país en un año determinado con los de otro país en otra edición de PISA.
Pero el cálculo del ISEC tiene algunos problemas:
1. Definición y elección de variables. Aunque el nivel de estudios y el estatus laboral aseguran buena parte del estatus socioeconómico y cultural, las variables pequeñas que forman la otra pata del ISEC afinan el cálculo, ordenan dentro de las mismas categorías. Sin embargo, aunque todas las variables contribuyen al índice (si no, no estarían ahí), pueden existir otras variables que contribuyan al índice en mayor medida, mejorándolo. Hay que tener en cuenta que estas variables se eligieron a finales del siglo pasado, y que entonces no parece que hubiera un proceso serio de selección de variables con criterios técnicos, como mucho ha habido un cierto filtrado con el tiempo.
2. Significación de las variables. Algunas variables no significan lo mismo no sólo entre países, sino dentro del propio país. Por ejemplo, en el cuestionario se pregunta por el número de baños en casa, pero es bastante cuestionable que sea lo mismo tener tres baños en una casa en el centro de una gran ciudad que en una vivienda situada en un poblachón manchego. De hecho, sólo los tienen el 11,8% de los alumnos vascos o el 11,3% de los catalanes, por un 26,8% de los castellano-manchegos, por poner los extremos, cuando es evidente que el nivel de vida en las dos primeras es sin duda superior al de la tercera. Es una variable que funciona a escala municipal (es probable que si hay dos viviendas familiares en un mismo municipio o barrio, una con tres baños y otra con uno, la diferencia se deba al poder adquisitivo), pero no tiene por qué a escala regional ni tengo claro que a escala nacional (probablemente sí si comparamos España con Túnez, pero no si comparamos nuestro país con Alemania o Gran Bretaña).
3. Caducidad de las variables (tendencia). Ya he dicho anteriormente que las variables que sirven para calcular el ISEC se decidieron a finales del siglo pasado, y lo que entonces podían ser artículos más o menos exclusivos, hoy no tiene por qué ser así. Quizás el caso de los móviles sea el más evidente: en 2000 sólo el 16% de los alumnos españoles de 15 años tenía tres o más móviles en casa, mientras que en 2015 eran el 86%: ¿de verdad tal aumento corresponde a una elevación del nivel de vida o a los procesos propios de una saturación del mercado?
4. Capta mal las coyunturas. Quizás esta parte puede sorprender, aunque tiene cierta lógica. El ISEC no es sensible a las crisis coyunturales, como la que ha pasado nuestro país, entre otras cosas porque intenta capturar el entorno socioeconómico del estudiante a lo largo de su escolarización, pues se supone que es el que más pesa en el rendimiento. Por ejemplo, si uno de los progenitores se ha quedado en el paro a PISA le da lo mismo, pues pregunta por las características de su último trabajo, aunque ya no lo tenga. Por supuesto, el nivel educativo de los padres no cambia con la crisis (por tanto, dos tercios del índice apenas se mueven). Las variables que más tienen que ver con el nivel económico apenas se verán afectadas a corto plazo: las familias en crisis a lo mejor no tienen menos móviles o coches, sino que los tienen más viejos, etc.
Lucas Gortazar sugire en su The PISA "shock" in the Basque Country: Contingent factors or structural change? (pág. 11) que PISA debería ser más sensible a los cambios coyunturales, y que no hacerlo perjudica (o afecta) especialmente a los países del sur de Europa, y creo que tiene razón en que los cambios laborales de esa magnitud en una familia pueden afectar negativamente al rendimiento del alumno. Pero también pienso que PISA no está para eso. Es cierto que preguntar si algún progenitor se ha quedado en paro y desde cuando no vendría mal, pero nos olvidamos de que PISA es un complemento a los deberes que tendríamos que hacer en casa y que, evidentemente, no hacemos. Los deberes son, claro, tener un sistema decente y transparente de evaluación nacional del sistema educativo, adaptado a lo que necesitamos para entender nuestros problemas.

El segundo error técnico

Este Índice Socioeconómico y Cultural no es uno de tantos datos que se recogen en la evaluación, sino la variable que más influencia tiene como predictor del rendimiento de todas las que PISA mide (y así será hasta que se atrevan a incluir, por ejemplo, la inteligencia). De hecho, es muy habitual "corregir" los resultados cognitivos de PISA con esta variable de contexto (a menudo, de forma abusiva) para comparar los resultados entre países, regiones o alumnos en "igualdad de condiciones" socioeconómicas. Por ejemplo, mi amigo Juan Carlos Rodríguez sostiene desde hace tiempo la tesis de que, dado que España está estancada en los resultados de Lectura, Matemáticas y Ciencias de todas las ediciones, y puesto que el contexto socioeconómico y cultural no ha hecho sino mejorar, en realidad ese estancamiento es un empeoramiento de los resultados. Es una tesis plausible, pero hasta que no se creó el ISEC de tendencia era difícil de comprobar fehacientemente.
Precisamente estaba trabajando en comprobar esta tesis, y si era cierta, de cuánto estábamos hablando, y estos son los resultados para las tres escalas cognitivas (las barras verticales en cada punto corresponden al error de cada estadístico para un intervalo de confianza del 95%; no está de más recordar que tal error sólo sirve para comparar puntos en la misma serie, no entre serie distintas) [como siempre, click para ampliar]:

Gráfico 2.a

Gráfico 2.b

Gráfico 2.c

Como se puede ver, el punto ponderado de 2015 está mucho más arriba de lo que la serie permite prever en todas las escalas. Entre 2000 y 2012, los resultados ponderados por el ISEC (línea rojiza en los tres gráficos) habían caído 19 puntos en Lectura (un cambio sustantivo), 8 en Matemáticas (no significativo) y 10 en Ciencias, pero entre 2012 y 2015 habíamos recuperado más de lo perdido de forma sorprendente. Y digo sorprendente porque, primero, nada había cambiado de forma sustantiva en el sistema educativo como para producir tal resultado (el axioma de que ningún resultado cambia si no has tomado medidas antes es raramente creído por nuestros administradores educativos; el que sólo cambia –a mejor, claro– tomando ciertas medidas muy concretas les parece de ciencia ficción), y segundo, porque los resultados sin ponderar (línea azul en los tres gráficos) tampoco lo explicaban. Antes de meterme con el ISEC hice algunas comprobaciones adicionales: eliminar a los inmigrantes empujaba la serie hacia arriba, pero la tendencia continuaba igual; al comprobar el archivo de los datos regionales de España (en esta edición están separados), el salto de 2015 se mantenía incluso región a región. El sospechoso se mantenía y, efectivamente, se comportaba de forma extraña, como puede verse en el siguiente gráfico (línea azul para el ISEC de tendencia):
Gráfico 3

Ese cambio es una auténtica enormidad, no creo que tenga parangón en tan sólo tres años. Nada menos que una caída de 0,64 puntos (para una desviación típica de 1 de este índice para toda la OCDE). Para que se hagan una idea menos técnica, habíamos pasado de estar al nivel de Francia en 2012 al de Jordania en 2015. Y es cierto que hemos pasado una dura crisis, pero ni de tal magnitud, ni ha afectado sobre todo a la franja de edad que puede tener hijos de 15 años, ni el ISEC está planteado para capturar situaciones coyunturales (como ya hemos visto). Sencillamente, no podía ser. El caso es que, el mismo mes en que salieron los datos de PISA 2015 (diciembre de 2016) hice unos cálculos de urgencia y envié una carta a la OCDE de cinco páginas (aunque más de tres corresponden a tablas y gráficos) en la que explicaba por qué el dato español no era verosímil. Una traducción de la carta puede leerse aquí (el texto estaba en inglés, sólo se ha cambiado el nombre de la persona a la que iba dirigida). No recibí respuesta y me olvidé de ello: instituciones e investigadores tiene la Iglesia, ya se ocuparán.
Mientras he sabido, aunque no oficialmente, que el Instituto de Evaluación*** (INEE), el interlocutor español con la OCDE en estos temas, ha hecho gestiones en el mismo sentido y, aunque en ese caso la macroorganización ha tenido a bien contestar, la respuesta ha sido, por decirlo castizamente, lentejas. Por otro lado, en los casi tres años transcurridos, y aunque he leído no pocos informes y artículos científicos donde han utilizado esta variable, todo el mundo parece actuar como si el error no existiera.

Profundizando en el error

Por razones que no vienen al caso he tenido que retomar el tema del error en el ISEC español, y podía elegir entre dos opciones: o reconstruir el proceso para encontrar el error, o buscar una vía alternativa que mostrase claramente el fallo. Dado que el proceso está descrito algo someramente en los documentos de la OCDE, que no tengo tiempo de ponerme a ello, y que mi ordenador actual (el año que viene me toca comprar uno nuevo) no creo que tenga la capacidad de proceso necesaria, me decanté por la segunda opción, bastante más sencilla (al final, una función de poco más de 20 líneas de código, no muy eficiente, pero que trabajaba en segundo plano): comparar los alumnos con los mismos parámetros que sirven para calcular el ISEC en nuestro país y en el resto de la base de datos de PISA.
La idea es que los alumnos con los mismos datos iniciales (los obtenidos de los test) tienen que obtener el mismo ISEC. Por complejo que sea, el cálculo de un índice es un proceso matemático, lo que significa que si partes de los mismos parámetros llegas a los mismos resultados. Por tanto, fui comparando el ISEC de los alumnos españoles con el del resto de la OCDE con los mismos parámetros iniciales –nivel de estudios de los padres, estatus laboral de los mismos y el índice HOMEPOS (los dos primeros exactos, el tercero en intervalos de una décima de índice)– y luego comparé el ISEC de ambos grupos. Ya puestos, hice el mismo proceso con los otros datos de España (en 2015 España tiene dos grupos de datos: uno que representa a España como país y otro con los datos de la muestra ampliada de todas las CCAA) y con otros países de nuestro entorno.
Estaba en este proceso cuando reparé en la nota 10 al final del capítulo del PISA 2015 Technical Report (pág. 343), donde puede leerse lo siguiente:
10. In October 2016, it turned out that the PARED variable was coded incorrectly for Spain, Lebanon and Latvia. As a consequence, the ESCS calculation was based on incorrect variables in some of the countries. To avoid changing the values of ESCS for all countries, at a time where most reports were already completed, ESCS was recalculated only for the samples with mistakes in the original PARED values, using the results from the international ESCS calculation (i.e., constants for standardizing input variables, factor loadings, eigenvalue, and constants for standardising the ESCS). As a consequence of this partial recalculation, the ESCS mean across OECD countries is no longer exactly zero and the standard deviation is no longer exactly one. Instead, the respective descriptives are -0.0259 and 1.00001.
Vamos, supongo que lo clásico que los españoles pensamos que sólo ocurre en nuestro país, pero que por lo que parece ocurre también en el resto: en octubre de 2016 (a poco más de un mes de que se publiquen los resultados de PISA, se compartan las bases de datos y se publiquen los primeros tomos de análisis) alguien se da cuenta de que hay un error en una variable fundamental (PARED, que indica el nivel educativo más alto de los padres expresado en años de estudio) para el cálculo del ISEC en España, Letonia y el Líbano; los de arriba entran en pánico y el marrón va resbalando hasta los curritos de turno con el clásico "lo quiero para ayer"; con las prisas, las variables escogidas para el cálculo no son exactamente las mismas que las que se han utilizado con el resto, se tira para delante, nadie comprueba nada y el resultado es el que tenemos en el gráfico siguiente:

Gráfico 4

Es un gráfico difícil de entender a primera vista, pero no es complicado. Se ha calculado el ISEC de los alumnos de cada país (rojo) con el ISEC de los alumnos de la OCDE que tienen los mismos parámetros (azul). Así, si la puntuación fuera igual en el país que en el resto de la OCDE, los puntos rojos estarían en la diagonal del cuadrado, pero no es al caso. Lo que vemos es que hay una desviación de las puntuaciones, y que esta no es lineal, sino que va aumentando según disminuye el ISEC (de hecho, es nula cuando el ISEC es superior a 1,5, pero alcanza el medio punto cuando el ISEC se acerca a -2,5. La desviación total para España es de alrededor de tres décimas de punto.
En el resto de países (aquí les pongo cuatro de ejemplo, pero lo he comprobado en la cincuentena restante) no existe tal variación al aplicar el mismo método, y todos los puntos están en la misma diagonal:
Gráfico 5

Es un error importante, pero no explica toda la desviación, sólo una parte. Sospecho, basado en el artículo de Gortázar antes citado, que también hay un error en el cálculo del índice HOMEPOS (la tercera pata del ISEC), ya que no parece haber variaciones importantes en este índice tampoco, al menos en el País Vasco. Y puede haber más fuentes de error, mi apreciación personal es que es muy difícil que el ISEC español en 2015 esté por debajo de cero, pero eso sólo puede confirmarlo un recálculo del índice completo.
Nos queda por dilucidar otra cuestión: si todos los índices se han calculado basándose en los datos de 2015, ¿se podría haber arrastrado el error a los otros años? Pues puede que algún fallo menor se haya cometido, pero el error grueso antes descrito no parece que se haya trasladado a otras ediciones de PISA. Sólo he hecho alguna comprobación menor, pero como se muestra en el gráfico 6, al menos para la edición de 2009 en los países afectados (muestro sólo España y Letonia, pero tampoco en el Líbano hay desviación) no parece haber problemas.

Gráfico 6

No se me entienda mal: no estoy, ni mucho menos, con los que piensan que PISA carece de rigor ni ha de ser tomado en cuenta. Estos errores técnicos no invalidan en absoluto ni su trabajo ni sus resultados. Mi queja con la OCDE es otra: tiene que ver con lo que tiene de "ciencia áulica", uno de los mayores peligros (en mi opinión, claro) que tiene la ciencia hoy día; y con las libertades que se toman para ir más allá de lo que sus datos les permiten ir.

Notas:
* Cada edición de PISA tiene una competencia que se evalúa más en profundidad y pasa a ser la más importante. La Lectura lo fue en 2000 y 2009, y lo volverá a ser en 2018. Se van turnando, con Matemáticas y Ciencias, cada nueve años, o cada tres ediciones.
** Intentaré poner como ejemplo un proceso más práctico para el cálculo de HOMEPOS, una de las tres partes del ISEC. La OCDE quiere una variable o índice que resuma los bienes que existen en el hogar donde vive el alumno, que son a su vez reflejo del nivel económico y cultural de su hogar, pero no existe un termómetro que mida tal cosa. Por ello elige una serie de rasgos observables y que pueden ser contestados por el alumno. Por ejemplo, si tiene o no un diccionario en casa (entre otras muchas cosas), el número de móviles o cuartos de baños en su hogar, o el número de libros. A cada variable observable le da un número: 0/1 si carece o tiene diccionario; de 1 a 4 entre no tener móvil en casa y tener tres o más; de 1 a 5 dependiendo del número de libros que haya en la vivienda (por ejemplo, el 1 significa entre 0 y 25, y el 5 más de 500), etc. La idea es que el número de libros es un indicador de nivel cultural, y el número de móviles puede mostrar el nivel económico, pero ¿cuánto debe contribuir cada variable al cómputo del índice? Lo que hace el primer proceso de cálculo es asignar pesos (es decir, conceder importancia) a cada variable dependiendo de lo que contribuya al índice final, y esos pesos son los parámetros generales de los que hemos hablado antes. El segundo proceso de cálculo usa esos parámetros para pasar de los datos observables obtenidos del test de cada alumno (por ejemplo, el estudiante tiene: 0,1,1,1,1,0,0,0,2,3,1...) a un número (por ejemplo, 1,4771) perteneciente a una variable continua que, supone PISA, es un reflejo fiel de la variable que pretendíamos medir. El último paso es convertir la variable a otra que tenga media cero y desviación típica uno, con lo que nuestro número aparece en la base de datos como -0,2317. Este número ya nos dice que el alumno tiene un ISEC algo inferior al de la media de la OCDE, y que si la media de su país es -0,8, en realidad tiene un estatus medio-alto con respecto a sus connacionales. El sistema es aún más complejo (en realidad en el sistema actual se manejan probabilidades y no solo pesos para calcular HOMEPOS), pero basta para hacerse una idea.
*** He estado haciendo recuento y, en los casi diez años que mantengo este blog, he citado al Instituto de Evaluación con varios nombres distintos (de hecho, ya lo llamo Instituto de Evaluación siempre, tenga el nombre que tenga) y lo he referenciado a cuatro direcciones web, sea por cambio de nombre del Instituto, sea por el cambio de nombre del Ministerio. Además, con cada cambio de web desaparecen cosas, o al menos he sido incapaz de reencontrarlas. Esto significa que no tardando mucho, este enlace se habrá roto de nuevo. En fin.

martes, 4 de abril de 2017

Inger Enkvist en el Congreso

Esta mañana, Inger Enkvist ha hablado en el Congreso de los Diputados para asesorar sobre el pacto educativo. Su discurso inicial dura apenas 20 minutos, desde los 4'47" a los 24'00". Después un turno de preguntas, donde está el que se escucha a sí mismo, y el que intenta contradecir a la ponente agarrándose a lo anecdótico en vez enterarse de lo sustancial, Inger vuelve a hablar de los 56'15" (sí, se tiran media hora "preguntando") hasta 1h09'50". Sin más comentarios ni comparaciones, pueden verlo aquí.

jueves, 9 de marzo de 2017

Conferencia sobre la desigualdad educativa

Ayer, miércoles 8 de marzo, impartí una conferencia en el salón de actos de la Caja Rural del Sur, en Sevilla, sobre "El origen de la desigualdad educativa en España", invitado por CESUR Empresarios del Sur de España. Además de contar conmigo (después de ser recomendado, nada menos, que por Inger Enkvist y Gregorio Luri: uno no sabe que hacer para agradecer tal honor), me trataron estupendamente. No se puede pedir más.
Antes de la conferencia grabaron en vídeo algunas preguntas y las han colgado en su canal de YouTube, y retransmitieron el acto en twitter. Les dejo ambos aquí. Creo que digo algunas cosas que no se oyen demasiado y aporto algunas ideas. Los vídeos son muy breves (el más largo apenas sobrepasa los dos minutos). Un resumen de la conferencia lo recogió Diego Genís, del Diario de Sevilla, por lo que también les dejo un enlace.
Pero primero vamos con los vídeos, cada uno contesta a la pregunta que lo antecede:
¿Qué opina de que los empresarios promuevan y defiendan la enseñanza de calidad?

¿Qué soluciones prácticas podrían llevarse a cabo para mejorar nuestro sistema educativo?

¿Qué relación hay entre empleo y modelo educativo?

¿Por qué Andalucía está a la cola de España en abandono escolar? ¿También en calidad educativa?


El artículo de Diego Genís recoge parte de lo que dije en la conferencia, y además apuntó en el titular la idea, en mi opinión, más interesante: La falta de exigencia como origen del fracaso educativo.
CESUR, además, recogió en twitter algunas de las ideas que expresé en la conferencia, y puso unas cuantas fotos. La primera es de Fernando Seco, presidente de CESUR, mientras me presentaba. En la última salgo junto a María Albendea durante el coloquio posterior. El autor de las fotos es Juan Carlos Muñoz. No sé quién retuiteó la conferencia, pero gracias. Aquí reproduzco los mensajes, extraídos del twitter de CESUR:
Se me olvidaba decir que a la conferencia asistieron el presidente de la Comisión de Educación del Parlamento de Andalucía, José Antonio Funes (Ciudadanos), y la portavoz de Educación de Ciudadanos en dicha asamblea, Marta Escrivá. Muchas gracias, no suelen hacerme tal honor.
Como veis, la idea de que una mayor exigencia en la escuela no lleva a un mayor, sino a un menor número de suspensos, se repitió varias veces. Es algo que a veces choca con la idea que tenemos, pero es que la mayor exigencia no es sólo para el alumno, también es para el profesor y el centro. Debería desarrollar más esta idea, pero lo dejaré, de momento, para otra anotación.
Actualización:
He visto que la Agencia EFE se ha hecho eco también de mi intervención en Sevilla.

martes, 6 de diciembre de 2016

Inger Enkvist me hace una entrevista

Después de que yo le hiciera unas cuantas cuando era periodista y de mantener durante todos estos años una estimulante amistad, Inger Enkvist ha tenido a bien hacerme ella una entrevista para un medio sueco. El texto, de hace unos meses, no fue al final publicado (en todas partes cuecen habas) a pesar de hacer algunas modificaciones y reducciones. Se habla bastante sobre PISA, por ello creo que es buen momento publicarla el día que conocemos los resultados, pero tengan en cuenta que se hizo varios meses antes. Les dejo la entrevista completa:
1. Trabajas sobre las estadísticas educativas. ¿Qué importancia tienen para entender lo que pasa en el mundo educativo?
Mi trabajo se centra en dos aspectos. Por un lado la estadística de la educación recoge los datos agrupados de los alumnos, formando los indicadores de la educación, lo que permite conocer la marcha general del sistema educativo, pero no por qué se comporta así. Por otro, los “microdatos” –es decir, los datos persona a persona que provienen de distintas fuentes, normalmente encuestas de distintos orígenes y evaluaciones nacionales e internacionales (como PISA), y que permiten análisis complejos que pueden apuntar a las causas de lo que ocurre en el sistema educativo.
Las principales dificultades de este trabajo se centran, aparte de la falta de transparencia, en la calidad y los sesgos de los datos, dificultades creadas en el origen, es decir, en las cercanías del poder y de los grupos de presión. Siempre dicen que los analistas de datos vamos a mirar donde hay luz, es decir, donde hay datos disponibles, pero también nos hacemos muchas preguntas sobre las zonas de oscuridad que no podemos contestar, y a menudo esa zona de oscuridad tiene un interés detrás. Una evaluación tan conocida como PISA, a cargo de la OCDE, no es ajena a estas oscuridades creadas por visiones ideológicas o presiones de grupos de interés.
2. ¿Ves algún sesgo, algún criterio no propiamente educativo, en los informes PISA?
Para empezar, PISA me parece una idea magnífica, un logro de la ciencia y la técnica contemporánea que no sé si se valora como debiera. Desde hace unos años están surgiendo críticas técnicas a PISA, pero –es algo que he investigado en profundidad–, aunque es mejorable en cuestiones de detalle, no comparto las enmiendas a la totalidad que intentan descalificar el estudio.
Dicho esto, creo que PISA es un intento de comprender la educación demasiado desde fuera de la educación, demasiado centrado en los puntos de vista económicos y sociológicos, en vez de en los intelectuales y educativos. En la OCDE se han juntado los dos antiintelectualismos más peligrosos para la educación: el de izquierdas, de tendencia constructivista, y el de derechas, de tendencia economicista. No es un problema sólo de la OCDE (suelen colaborar en otros sitios: uno de sus hijos más notables es el Plan Bolonia de reforma universitaria), pues en numerosos países e instituciones los sectores de corte intelectualista, que los hay en ambas ideologías, no han sido capaces de contrarrestar estas tendencias dentro de sus propios partidos, y cada vez tienen menos presencia en el debate público. Por si fuera poco, la OCDE es sensible a la presión de grandes grupos organizados, que han sido capaces de frenar algunas de las reformas de PISA más próximas a la educación.
Pero, ¿todo esto en qué se traduce? Por ejemplo, cualquier persona podría escribir cuatro o cinco folios sobre la vida cotidiana de cualquier alumno examinado en PISA, pero de su profesor de matemáticas no sabría si es hombre o mujer, ni cualquier otra información más relevante. Esto no es casual: lo que subyace es la concepción educativa de la OCDE, y además, cuando se intentó conectar el estudio de profesores con los resultados de sus alumnos, la presión sindical retrasó y descafeinó el proyecto. Tampoco parece haber demasiado interés en conectar los resultados de PISA con lo que en realidad el alumnos hace y recibe en la escuela. Aunque sabemos mucho de su utilización del tiempo y de su contexto familiar, apenas sabemos nada sobre cuestiones tan cotidianas en la escuela como las notas del alumno en la asignatura evaluada (parece que se va a preguntar, por fin, en 2015), cuáles son los contenidos efectivos que el alumno ha estudiado en clase (se introducen algunas preguntas genéricas, pero debería analizarse en profundidad), por poner algunos ejemplos. Lo que significa para un investigador es que tiene un enorme campo de variables “extraescolares” para analizar, pero no puede contestar a preguntas tan simples (y, en mi opinión, relevantes) como dónde establece el sistema el sobresaliente o qué influencia tiene lo que un alumno aprende en clase en los resultados de PISA.
Y no sólo tiene consecuencias para los investigadores, sino para los sistemas y, por tanto, para los alumnos. Víctima de su propia limitación ideológica, la propia OCDE por una parte extiende su visión sesgada a los responsables educativos del mundo y, por otra, falla a la hora de establecer las recomendaciones para mejorar los sistemas.
En España tenemos dos ejemplos de ello. El primero, la OCDE hizo un informe (y lo cobró extraordinariamente bien) en 2009 para mejorar el sistema educativo de las Islas Canarias, la región española con peores resultados en PISA. Tras recabar miles de datos, resulta que no miraron el currículo efectivo –el contenido real– que recibe un alumno a lo largo de su escolarización, y por tanto, las recomendaciones que hicieron en ese sentido fueron referencias bastante vacuas a la “calidad de la enseñanza”. El resultado previsible es que Canarias no mejorará en PISA 2015.
El segundo, una irresponsable política nos vendió por un plato de lentejas y estableció en España, de la mano de la OCDE, un currículo basado en competencias y que se está mostrando peor que el establecido anteriormente (que ya era pésimo). El resultado es que España se ha convertido en el conejillo de indias de la OCDE, que ha decidido (sin prueba alguna) que como se puede medir el nivel de los alumnos midiendo las competencias, sería buena idea enseñar por competencias directamente para mejorar el nivel de los alumnos (un ejemplo más de la ideología antiintelectual de esta organización). Un resultado derivado es que España ha perdido una nueva oportunidad de establecer un currículo con contenidos bien estructurados y con altas expectativas, lo que habría elevado el nivel general, reducido el fracaso, promocionado la excelencia y reducido las diferencias entre las distintas regiones.
3. ¿Cuál fue el resultado de la introducción de la Logse en 1990?
España venía de un periodo de expansión educativa, iniciado tras la guerra civil (1936-1939) y que se mantuvo, sin cambios importantes en su evolución, durante más de 50 años. En los años 70 se hicieron reformas e inversiones importantes que permitieron que continuase la expansión de la educación al inicio del periodo democrático, manteniéndose una evolución que nos situó en la segunda mejora de indicadores educativos más importante del mundo, tras Corea del Sur. En 1990 estábamos a punto de cerrar una brecha educativa que aún nos separaba de Europa.
Pero, en 1990, se implantó la Logse, un sistema copiado del “modelo nórdico” –básicamente el sueco con algunos añadidos del danés; absolutamente nada del modelo finés, que entonces tenía poco glamour–, un sistema que acabó con esa evolución histórica, afectó de forma catastrófica a la igualdad de oportunidades, frenando un sistema educativo que, hasta ese momento, había funcionado como el “ascensor social” por excelencia de la educación española. No voy a describir la Logse porque es muy similar al modelo educativo sueco, y lo conocen muy bien: es el que ha conseguido que su país pase de ser la envidia de Europa en educación a estar por debajo de España y otros países del sur en las evaluaciones internacionales.
Sólo decir que sus lacras principales fueron el constructivismo, el igualitarismo y el antiintelectualismo. Su efecto principal fue el hundimiento de los contenidos, lo que detuvo la mejora de las tasas de titulación y escolarización, el aumento de la desigualdad, y multitud de problemas accesorios. A lo que hay que añadir que, al primar los contenidos ideológicos en la ley, las soluciones técnicas fueron especialmente incompetentes. Otra cosa común, en España y en Suecia, es la falta de atención a los datos que anunciaban la mala dirección del sistema educativo.
4. Desde tu perspectiva, ¿cuáles son actualmente las principales diferencias entre la educación en Finlandia y en Suecia?
Curiosamente, Suecia y Finlandia son los países que más han descendido en su puntuación de Matemáticas entre PISA 2003 y PISA 2012. Suecia ha perdido 35 puntos y Finlandia 33, lo que supone casi un curso. La diferencia fundamental es que el sistema finés ha pasado de ser uno de los mejores del mundo a la cabeza de los mediocres, mientras que el sistema sueco ha pasado de la mediocridad a ser el penúltimo país de Europa Occidental (sólo Grecia está por debajo). Cada país ha llegado a esta situación por caminos distintos en tiempos distintos, pero cometiendo los mismos errores.
Suecia fue la envidia de Europa durante los 50 y 60, cuando comenzaron una serie de reformas, basadas en el constructivismo y en el desprecio a los contenidos, que han hundido paulatinamente su calidad desde entonces. Ha sido la sorprendente falta de reacción ante esta pérdida de calidad la que ha situado al sistema educativo de su país a la cola de Europa tras cuarenta años de inacción. España, por cierto, copió no lo que hizo a Suecia estar arriba, sino lo que hizo para bajar.
La historia de Finlandia es la del país que se resistió a los cambios que lideró Suecia y que se extendieron por toda Europa durante veinticinco años, acabando con su liderazgo educativo. Y, muy importante, extendieron a toda la población el currículo más fuerte (el que conducía a la universidad), en vez del débil, como en el resto de Europa. No es que el sistema finés fuera extraordinario en aquella época, pero al seguir evolucionando dentro de los parámetros que los demás habían abandonado, se quedaron como un testigo de lo que hubiera sido la enseñanza europea sin los cambios que acabaron con la caída de la calidad de sus sistemas educativos. El problema fue que, cuando empezó PISA, no supieron a qué venía su éxito (ni la OCDE, ni los responsables políticos ni educativos fineses que leí o consulté en la época lo sabían), y ese éxito se lo apropiaron los pedagogos fineses para aplicar las reformas que habían hundido a la educación sueca. El currículo de matemáticas que aplicaron los fineses en 2004 había sufrido ya la “poda pedagógica”, en la que se había eliminado aquellos saberes superfluos que los alumnos no iban a necesitar, y el resultado fue el descenso de un curso en lo que sabían los alumnos fineses a los 15 años, alumnos que empiezan a tener problemas con el cálculo, como los del resto de Europa. En España, de nuevo, tienen mucho impacto las medidas que está tomando Finlandia para reducir la calidad del sistema, pero no tienen ninguna las que tomó para mantenerla.
¿Cambiarán su deriva o, como los suecos, se dejarán mecer por los cantos de sirena obviando los datos? Es difícil asegurarlo, pero como de momento la debacle afectará principalmente a las matemáticas, se convencerán de que siguen en el buen camino y no harán caso a los expertos en matemáticas que ya están avisando. No sé si se dan cuenta de que las matemáticas son sólo el primer aviso, y que luego va todo lo demás.
5. ¿Cómo anda la formación de docentes en España? ¿Tienes datos?
Hace unos años Juan Carlos Rodríguez y yo publicamos un estudio en el Instituto de Evaluación sobre capacidad docente en Matemáticas de los alumnos de último año de las escuelas de Magisterio, basándonos en los datos de una evaluación internacional, TEDS-M. Entre otros hallazgos interesantes, veíamos que los conocimientos de matemáticas de los alumnos de Magisterio –y, por tanto, su capacidad didáctica– dependían no de lo estudiado en la carrera, sino de lo que habían adquirido en sus estudios previos, principalmente en el Bachillerato.
Esta cuestión apenas ha sido valorada, pero, ¿imagina usted lo que pasaría si la capacidad de un médico o de un ingeniero para curar a sus pacientes o para que los puentes no se le caigan dependiera no de lo que han estudiado en la carrera, sino de su nivel de Bachillerato? Nuestro estudio establece que existe una relación entre lo que un profesor sabe y su capacidad de enseñarlo, pero esto es algo que se obvia por completo en las escuelas de Magisterio, de tal manera que sólo el 6,6% de los créditos necesarios para obtener el título tienen contenido de Matemáticas, y sólo el 0,2% tienen un contenido de Matemáticas de nivel universitario. Y, por otro lado, los créditos dedicados a la didáctica general o a la didáctica específica de las Matemáticas apenas influían en la capacidad docente de os futuros maestros.
En definitiva, la formación de los maestros en España es, en general, muy pobre, y los datos apuntaban –aunque no demostraban a que si se eliminaran estas escuelas la calidad del sistema educativo no se vería menoscabada. A esto hay que añadir que las facultades que forman a los maestros son las que menos nota de ingreso tienen (es decir, recogen a los alumnos más mediocres), pero son la que más nota media obtienen al finalizar la carrera (es decir, son las que tienen un menor nivel de exigencia).
Esto en lo que se refiere a los maestros. Los profesores siguen otro camino: hacen primero una carrera universitaria y luego un curso (ahora un máster) los habilita para la docencia en Secundaria. Este máster tiene un alto contenido de métodos pedagógicos “modernos”, en su mayoría sin el menor aval científico, y que sospecho que no contribuye precisamente a mejorar su capacidad docente. Si a eso añadimos que el sistema –debido probablemente a la inexistencia de una carrera docente y a la situación de la escuela no atrae a los mejores alumnos, y que la formación continua del profesorado es manifiestamente mejorable, podemos concluir que la formación docente en España es pobre. Sin embargo, sobre estos puntos apenas hay datos, y no parece haber un plan para aprovechar los exámenes externos de los alumnos para evaluar a los profesores y, a través de ellos, a los centros donde se han formado.
6. Según tú, ¿cómo se debería mejorar la formación docente en España?
En España, en Iberoamérica y, en general, en cualquier país, la formación de los maestros generalistas debería primar los contenidos referidos a los conocimientos sobre los pedagógicos. Esos contenidos generales deberían tener nivel universitario: un maestro debería saber de Historia o Matemáticas al menos lo mismo que un alumno de segundo curso de la carrera de Historia o Matemáticas. Además, tendrían que acabar la carrera siendo lectores competentes y personas cultas, si no venían así al entrar en ella.
Los contenidos pedagógicos, comunes para maestros generalistas y profesores especialistas, deben tener una parte filosófica –centrada en el humanismo, no en teorías reduccionistas o muy ideologizadas, otra psicológica y otra, más práctica, basada en lo posible en evidencias científicas. En este punto, convendría que los futuros docentes tuvieran una base de conocimientos de metodología experimental para ser capaces de entender los experimentos de los demás y realizar algunos propios para transformas las experiencias validadas por el método científico en conocimientos comunes.
7. ¿Qué ha significado el dividir a España en 17 autonomías para los costos y para los resultados?
Aunque son varios los partidos que piensan así, yo no creo que el problema de la educación española haya sido la descentralización, sino que esta se hizo mal (fue una de las incompetencias manifiestas de la Logse). Primero, porque no fue una descentralización real, sino una multiplicación de la centralización: cada región se convirtió en un centro con todas las competencias del Ministerio, sin ceder ninguna a los escalones inferiores (municipios, centros, sociedad); y segundo por que se fue muy estricto en lo accesorio y muy flexible en lo importante: se fue muy estricto en trasladar el espíritu de la Logse y todos sus problemas, pero muy flexible en los currículos [o contenidos, como prefieras] y en el control de los resultados de cada región. Era la Logse la que tenía el germen de la desigualdad, y al descentralizarse sin control, la desigualdad entre regiones ha aumentado exponencialmente en muy pocos años. Hoy hay más diferencias entre las regiones españolas que entre los países europeos.
Sobre los costos, es cierto que el gasto en educación creció considerablemente tras la descentralización (el gasto bruto se duplicó en unos años, un crecimiento del 35% si quitamos la inflación), pero ese aumento fue directamente a gastos de personal (más profesores y mejores sueldos) gracias a que la buena gestión de los sindicatos –y la mala de los responsables políticos– consiguió transformar el aumento de ingreso público generado por la buena marcha de la economía en subidas lineales y generalizadas de sueldos. El efecto del aumento de ese gasto fue nulo en cuanto a la mejora de los resultados.
En resumen, pienso que el que el gasto se disparase con las autonomías y creciese la desigualdad tienen su causa en una mala ley y una mala gestión, no en la descentralización en sí. Y habríamos tenido problemas similares sin transferir la educación. También es cierto que al hacerse mal se han creado problemas políticos graves, que han dado lugar, por ejemplo, a que en algunas regiones de España se estudie el español como una lengua extranjera. Esto ocurre, sí, por una descentralización mal hecha y al abuso de los políticos locales, pero también a la inacción del Ministerio, que prefirió renunciar a proteger el interés general por conveniencias políticas, estando informado en todo momento de lo que estaba ocurriendo.
8. ¿Cómo les va a los inmigrantes en el sistema escolar español?
En España, en muy pocos años (poco más de un lustro), pasó de tener una inmigración residual a que una de cada ocho personas hubiera nacido fuera de España. Buena parte de los inmigrantes vinieron acompañados de sus familias, y al proceder de sistemas educativos de baja calidad (Hispanoamérica, Norte de África y Este de Europa, principalmente), tenían, en general, un nivel más bajo que los españoles de su misma edad.
El sistema educativo funcionó razonablemente bien en cuanto a la escolarización e integración de los inmigrantes en edad escolar, lo que a menudo no fue una tarea sencilla, dado el volumen y disparidad de los nuevos alumnos y a que venían en cualquier momento del año.
Sin embargo, de cara a los resultados de esos alumnos y a la igualdad de oportunidades, el sistema respondió realmente mal, debido a que la propia Logse se distinguía por transformar las desventajas de los alumnos en obstáculos insalvables. El sistema no discriminaba a los inmigrantes por el hecho de serlo, discriminaba a aquellos que tenían desventajas familiares, y los inmigrantes a menudo entraban dentro de esa categoría. Pero antes de los inmigrantes el sistema no daba una salida digna a uno de cada tres españoles, con preferencia a aquellos que tenían un origen social más bajo.
El problema no acaba aquí: uno de cada cinco niños que han nacido en España en los últimos años tiene madre nacida fuera de España, es decir, son lo que PISA denomina como “inmigrantes de segunda generación”. La desigualdad y los mecanismos que la producen es uno de mis principales objetos de estudio, y los mecanismos de discriminación son demasiado complejos para explicarlos aquí, pero existen. A riesgo de parecer una Casandra, si seguimos con un sistema que amplifica las desigualdades y falla en la igualdad de oportunidades, dentro de unos años tendremos problemas sociales graves en España.
9. ¿Qué papel ha jugado PISA en la comprensión de los ciudadanos de cómo va el sistema español?
Pues ha tenido unos indudables efectos positivos, dada la falta de transparencia del sistema educativo español. Hay que tener en cuenta que la simple publicación de datos por regiones causaba en España un escándalo político, por lo que los datos de las evaluaciones que hacía el Ministerio se mantenían bajo llave: la consecuencia era que el Ministerio hacía análisis someros de esos datos para evitar problemas políticos, mientras los problemas reales del sistema educativo permanecían orillados. El que PISA ponga los datos a disposición de todos ha sido un soplo de aire fresco y una oportunidad para investigar esos problemas. El que esa oportunidad apenas haya sido aprovechada y aún sigamos sin un diagnóstico claro del origen de los problemas no es achacable a PISA, sino a causas internas.
Pero también los ha tenido negativos, achacables al trasfondo ideológico de la OCDE: el que PISA no termine de aclarar qué significa el término calidad, su concepto economicista de equidad, la selección de preguntas de los cuestionarios de PISA, o la insistencia desmedida en los índices socioeconómicos han dado argumentos a los políticos para defender un sistema indefendible, alejando el foco de los problemas reales, y han retrasado o imposibilitado el diagnóstico de los problemas del propio sistema educativo.
Por poner un ejemplo, la idea de equidad en PISA es en realidad el de la dispersión de resultados, que es un concepto económico: si hablamos de riqueza puede tener sentido, puesto que el que alguien tenga una determinada riqueza implica que otro esté privado de ella; pero el que uno tenga un conocimiento no implica que otro no lo tenga, es más bien al contrario. Sus consecuencias prácticas en España han sido que se ha puesto el foco en que somos un “sistema equitativo”, cuando nuestra equidad es suicida: toda ella se basa en que no tenemos excelencia, pero si analizamos sólo los alumnos con malos resultados, tenemos los mismos que cualquier otro país de Europa. Con el añadido de que esa desventaja es transformada por nuestro sistema en fracaso escolar y exclusión del sistema educativo, discriminación que se ceba con los alumnos de origen social bajo e inmigrantes.
10. ¿España está en el buen camino en educación?
No, eso está claro para cualquiera que lo quiera ver. Como ya he dicho, estamos estancados por debajo del nivel al que podríamos esperar, pero en poco tiempo comenzaremos a descender, mientras que la falta de igualdad de oportunidades del sistema comenzará a actuar y a crear problemas sociales graves. Ninguna de las leyes educativas posteriores a la Logse ha partido de un diagnóstico correcto, y por ello no ha logrado atajar los problemas. La última que ha entrado en vigor vuelve a no enfocar los problemas correctamente y falla estrepitosamente en las soluciones técnicas. Además, ha impuesto un currículo, dictado por la OCDE y basado en competencias, que es aún peor que el que existía, es más profundamente antiintelectual. La única ventaja que tiene es que ha dado lugar a un sistema de evaluación y control mejor que el anterior y, si se lleva a término, puede poner las bases para un diagnóstico certero de nuestro problemas educativos.
Ahora el tema de moda en España es el “pacto educativo”. Sin embargo, el riesgo de ese pacto es que, al carecer de un diagnóstico claro, no aborde los problemas, sino que fije los mecanismos que los crean y, por otro lado, que proteja los intereses de los “insiders” (políticos, sindicatos, patronales) y se olvide, de nuevo, de los verdaderos beneficiarios de la educación: el futuro de los alumnos y las esperanzas de sus familias.

lunes, 5 de diciembre de 2016

Entrevista en Catalunya Vanguardista

El viernes 25 de noviembre di una conferencia en Barcelona sobre los "Efectos indeseados del debilitamiento del currículo escolar". Es el segundo año en el que participo en las Jornades de Sècundaria, organizadas por el sindicato Aspepc-SPS, y lo cierto es que disfruté mucho preparando el tema y sólo tengo palabras de agradecimiento para el trato recibido. En cuanto tenga el resumen de la conferencia lo enlazaré aquí.
Hasta entonces, les dejo con dos "consecuencias" de la charla. La primera una entrevista que me hicieron en Catalunya Vanguardista:
"Estamos en el peor momento social para un Pacto por la Educación"
También me entrevistaron para TV3, para un reportaje sobre la enseñanza por proyectos, que dura poco más de dos minutos:
"Instituts per projectes, sí o no?"
Como dice un amigo (de los de verdad), haciendo amigos. Alberto Royo, a quien conocí precisamente en estas mismas jornadas el pasado año, tiene un más que amable comentario a la entrevista (gracias). J. Jorge Sánchez tiene otro amable comentario en su blog Bajo la lluvia sobre la conferencia (gracias también).

jueves, 7 de mayo de 2015

Entrevista sobre el próximo PISA

En Alfa y Omega tienen a bien hacerme una entrevista sobre el próximo PISA. No hagan mucho caso de los inmerecidos elogios de la introducción, pero sí de cómo unas buenas preguntas mejoran mucho las respuestas.
"PISA está mejorando poco los sistemas educativos por cuestiones ideológicas"

viernes, 6 de marzo de 2015

Nuevo blog

Aunque no tiene demasiado que ver con el tema de este blog, aprovecho para anunciarles que he abierto una nueva bitácora, denominada Erreando, y que va a tratar sobre simulación, probabilidad y el programa R. Como digo en la presentación, se trata de "errar por la realidad, no pocas veces errada, a través del azar, la probabilidad y la simulación de números, un acercamiento que espero sea distinto, al menos poco común, de ver las cosas". Una cosa bastante rara, pero como decía el personaje de Marquina, España y yo somos así...
Me estreno con un análisis del funcionamiento electoral español bajo determinadas condiciones y las paradojas que producen cuando se cruza un sistema proporcional como d'Hondt con las circunscripciones pequeñas. Determinadas condiciones que pueden darse ─o no─ en las próximas elecciones generales. La entrada se llama D'Hondt y el tripartidismo. No todo el blog irá sobre simulación electoral, pero en un año como el que nos espera, algunas entradas más sobre el tema sí que habrá.
Todo esto no quiere decir que abandone el presenta blog, por supuesto, sólo es otro aspecto que quiero desarrollar. A los que hayan pasado por aquí esperando una entrada sobre educación, siento el paseo, pero les prometo que en breve habrá novedades. Como dice un amigo mío, si te gusta pásalo a tus amigos, y si no, a tus enemigos.

jueves, 18 de diciembre de 2014

Nivel socioeconómico, nivel de rendimiento y el sistema educativo como tratamiento

Desde hace al menos cincuenta años se sabe que el rendimiento escolar está influido por el entorno familiar del alumno. Influido, que no determinado -si no, no se explicaría cómo en el mundo desarrollado millones de personas hayan sido, durante los últimos sesenta años, los primeros de su familia en pisar una universidad-, y la forma y el tamaño del efecto están a su vez mediatizado por otros contextos: el escolar, que es capaz de modular esta influencia, al menos hasta cierto punto, y el social.
La forma de medir las variables familiares que influyen en el rendimiento escolar y la fuerza de esa influencia siguen siendo objeto de cierta discusión. Lo que voy a explicar a continuación es cómo lo hace PISA y los resultados que obtiene. PISA construye un índice socioeconómico y cultural a partir de multitud de datos del entorno familiar en que vive el alumno: básicamente está formado por el índice de estatus laboral más alto de ambos padres, el nivel educativo más alto de ambos progenitores medido en años, además de un índice de posesiones en el hogar que intenta agrupar el poder adquisitivo de la familia, sus posesiones culturales, los recursos educativos que el alumno tiene a su disposición y el número de libros que hay en casa. Todo ello se agrupa, por diversos procedimientos matemáticos que no vienen al caso, en una sola escala con una media cero y una desviación típica de uno para la OCDE, y que se distribuye según la famosa campana de Gauss.
Este índice es el que los técnicos de PISA han encontrado que tiene una mayor influencia en el rendimiento, y tiene la ventaja de que utiliza una misma escala para todos los países. Eso no quiere decir, por supuesto, que sea el que más influye en todos los países -es España, por ejemplo, parecen pesar más los libros que el alumno tiene en casa-, ni afecta en todos los sitios igual: la media de la OCDE está cercana al 15% (datos de PISA 2012 para la escala de Matemáticas), aunque en la mayoría de los países oscilan entre un 8 y un 20%. Ese porcentaje es el de "la varianza en el rendimiento explicada por el ISEC", lo que significa que de la variación total que encontramos en el rendimiento de los alumnos, su origen socioeconómico es capaz de explicar el 15%, mientras que el 85% restante obedece a otras causas: la inteligencia del alumno, el que hayan tenidos mejores o peores profesores, lo que se hayan esforzado en estudiar, la calidad del centro, los compañeros que le rodean, si les dolía o no la cabeza el día del examen... A esto me refería cuando decía que el ISEC no determina, pero sí que influye.
Como hemos dicho, la influencia del ISEC es distinta en cada país: entre el 2% de Macao (China) o el 6% de Qatar, hasta el 23% de Perú o el 25% de la República Eslovaca hay mucha diferencia. En España estamos en un 16% -como siempre, alrededor de la media-, los países nórdicos entre un 7 y un 11%, y en los grandes países de Europa Occidental el Reino Unido obtiene un 12%, Alemania un 17% y Francia un 22%. Pueden ver la tabla completa en este documento de excel, tabla II.2.1. Lo que quieren decir estas diferencias es que aunque el ISEC influye en el rendimiento de los alumnos en todos los países, la medida en que lo haga está mediatizado por factores sociales del propio país como, y esta es la parte que me interesa, por el sistema educativo de cada país.
El sistema educativo de cada país es el marco donde los agentes -alumnos, profesores, padres, técnicos, políticos- toman sus decisiones, y está compuesto no sólo por las leyes que lo dan forma, sino por una amalgama de costumbres, aspiraciones, sistemas de acceso y un millón de otras cosas que podrían convertirse en una enumeración borgiana, y que a su vez tiene su origen en otras causas históricas, sociales y políticas que tampoco voy a tratar de enumerar. Lo que me interesa es que todo ese conjunto que llamamos sistema educativo al final es capaz de modular, en un sentido u otro, la influencia del ISEC. Se puede decir que el sistema educativo funciona como un tratamiento, tanto a la hora de obtener los resultados de los alumnos como a la de modular la influencia del ISEC en el rendimiento (o como lo que se le ocurra que pueda afectar a estas y otras variables). La idea -teórica- de tratamiento es que tienes n grupos de personas de características similares y les sometes a distintas condiciones y luego mides los resultados. En medicina, tienes dos grupos de enfermos y a unos les das antibióticos y a otros un placebo, y luego miras quién se ha curado y quién no. En educación las cosas son más complicadas, claro, pero la idea subyacente es que tienes grupos de alumnos más o menos similares que son sometidos a distintos "tratamientos" (formas de organizar el currículo y de impartirlo, y otras muchas cosas, que dependen del dinero, profesores, compañeros, políticos...) o sistemas educativos, y luego medimos los resultados (en este caso, el rendimiento en Matemáticas y sus diferencias según el ISEC).
Todo esto viene por un gráfico que salió hace tiempo en el Huffington Post americano, y que enlazo en español. Quitando el titular (no es la riqueza, que pesa muy poco en el cálculo del ISEC global), el gráfico es perfectamente correcto. De hecho, lo hizo Pablo Zoido, un analista de la OCDE. Si lo miran con cierta atención, verán que dividen a los estudiantes de cada país en diez partes según su ISEC, y luego miden el rendimiento medio de cada uno de los grupos. Lo que permite ver este gráfico es que hay "tratamientos" (sistemas educativos) que consiguen reducir el efecto del ISEC y otros ampliarlo, pero que ninguno ha encontrado la fórmula de que desaparezca por completo (aunque Macao queda muy cerca de conseguirlo). También que hay países que parecen privilegiar a sus élites (Portugal, Turquía, Rumanía o los países sudamericanos), mientras que otros tienden a hundir al último grupo social (Austria, Eslovaquia, Hungría, Francia, Liechtenstein o Shanghai, por ejemplo). También los hay que lo hacen especialmente bien con el último grupo, o especialmente mal con el primero.
Ahora bien, ¿podemos saber si los malos resultados de países como los iberoamericanos u otros muchos se deben a que el sistema educativo es malo o a la pobreza de sus poblaciones? Pues el gráfico no lo permite.
El problema de este gráfico es que no podemos decir más, porque los grupos dejan de ser homogéneos entre países. El 10% más pobre (o más rico) de un país sudamericano no tiene nada que ver con el 10% más pobre de un país europeo. E, incluso, las diferencias dentro de Europa son bastante pronunciadas. Lo que yo me pregunté es: ¿cómo lo hace cada país con grupos homogéneos? Es decir, dividir la población de PISA en diez niveles por su ISEC, y ver cómo lo hace cada país con la parte que le corresponde. Por supuesto, el gráfico tiene también sus problemas: en los extremos, las categorías de los países más ricos o más pobres son menos fiables, pues la muestra es muy pequeña y el error típico crece mucho. Y tampoco tiene en cuenta un posible "efecto compañero": puede no ser lo mismo para un alumno estar acompañado por otros de mayor ISEC que por otros de menor ISEC. Pero, quitando estas salvedades, nos permite saber cómo lo hace cada sistema educativo con poblaciones más o menos homogéneas: al fin y al cabo, una de las grandes ventajas de PISA es la comparabilidad.
Dicho esto, aquí está el gráfico (clic para ampliar):


Lo que el gráfico permite ver es que, una vez que comparamos estudiantes cuyas características socioculturales familiares son más o menos equivalentes, unos sistemas educativos obtienen mejores rendimientos que otros, y que normalmente el rendimiento es escalonado, pero conjunto. Escalonado, porque ningún país consigue, como ya hemos dicho, anular por completo las diferencias de origen; y conjunto, porque aquellos que tienen buenos rendimientos con los alumnos de ISEC medio, consiguen también buenos rendimientos de los alumnos de ISEC bajo, aunque menores dentro del propio país. Eso nos permite, al comparar grupos homogéneos por origen social, dejar nítidas las diferencias de rendimiento de cada sistema educativo -tratamiento- para cada uno de los grupos no sólo dentro de los propios países, sino entre cada uno de los países.
¿Quiere esto decir que a un estudiante español de entorno pobre -v.g. familia monoparental sin estudios, que vive en un piso pequeño del extrarradio sin más libro en casa que una vieja guía telefónica y sin ordenador ni conexión a internet-, con un rendimiento medio esperado de 425 puntos, le saldría más rentable irse a estudiar a Vietnam, donde un chaval con el mismo entorno cultural obtiene alrededor de 500 puntos (que en España y buena parte de Europa es la puntuación que obtienen los que luego van a llegar a la universidad)? Pues no podemos asegurarlo, aunque los datos apunten esa posibilidad. No lo sabemos porque no se ha dado el caso, y porque, aunque los grupos sean homogéneos por su origen socioeconómico, no tienen por qué serlo en muchos otros aspectos, quizás más importantes (ya hemos dicho que el entorno influye, pero no determina). Sí tenemos suficientes casos de inmigrantes que estudian en países con más nivel que el de origen, y que consiguen rendimientos medios superiores que los compatriotas que se quedaron en su tierra, pero ese es un tema que dejaré para otra anotación.
No me resisto, sin embargo, a contarles un caso significativo, aunque sin valor probatorio alguno: conozco a un chaval que estudió en Shanghai, su ciudad de origen, unos pocos años, y luego vino a España porque sus padres abrieron aquí una de tantas "tiendas de chinos". Venía de uno de los mejores sistemas educativos del mundo y, cuando llegó a España no se les ocurrió otra cosa que hacerle repetir porque no sabía español. Dos años después ya tenía el mismo nivel, incluso inferior, que sus compañeros españoles. Somos unos genios.
Volviendo al gráfico, se observan tres grandes grupos: un grupo de países cuyo rendimiento es muy elevado, tanto que permitiría a los estudiantes de ISEC bajo ingresar en una universidad del mundo desarrollado, y que se sitúa sistemáticamente en extremo oriente; un grupo de países mediocres, generalmente pertenecientes al mundo desarrollado, que tiende a llevar a los alumnos de ISEC medio alto a la universidad y a los de ISEC bajo a empleos de menor cualificación, es decir, a dificultar la movilidad social (¿a nadie se le ocurre que esos países son hoy desarrollados precisamente por hacer justo lo contrario? ¿hacia dónde nos lleva este camino?); y un tercer grupo, habitualmente en Iberoamérica y los países árabes, en los que sólo los que tienen un ISEC muy elevado tienen el nivel suficiente para ir a estudiar a las universidades del mundo desarrollado.
¿Por qué ocurre esto? ¿Cuáles son las claves que hacen que unos sistemas obtengan mejores rendimientos que otros? Pues autores discrepan. Muchos les dirán que la inversión, la inteligencia media, la calidad de sus profesores, la mentalidad de los padres, etc. Y todos estos factores importan, por supuesto. Pero si tengo que elegir cuál es el determinante, yo pienso que los más importantes son la extensión del currículo (esto es, la cantidad de materia que se imparte a los alumnos cada curso) y los niveles de exigencia. Pero, en el mundo de la investigación educativa, yo soy el raro que piensa que son las decisiones educativas las que definen a los sistemas educativos, y que muy en segundo lugar están los demás factores.
En fin, no comento más el gráfico, aunque tiene bastante para divertirse.
Les dejo, para rematar, otro: fiel a mi tradición de intentar descender a los sistemas autonómicos, les dejo también el gráfico por regiones. En este caso la homogeneidad de los grupos es mucho mayor, y se cumple que los padres nacidos en otra región tienen hijos cuyo rendimiento se parece más a los de sus compañeros de escuela que a los que siguen estudiando en las regiones donde nacieron sus padres. Sin embargo, las diferencias son significativas en muchos casos, teniendo en cuenta también que mantenemos currículos muy semejantes, pero no iguales niveles de exigencia. A mí me sigue llamando la atención que un chaval de entorno marginal obtiene en promedio 50 puntos más si ha nacido en Navarra que si lo ha hecho en Extremadura o Aragón, por fijarnos en las colas, o el caso madrileño. Si nos fijamos en la cabeza, las diferencias son también amplias: entre Navarra o La Rioja y Baleares o Murcia hay bastantes diferencias si nos fijamos en el rendimiento de los dos grupos con mayor ISEC (si hacemos caso a PISA, que considera que una diferencia de 38 puntos equivale a un curso completo, las diferencias por CCAA tanto entre los grupos de ISEC alto como en los de ISEC bajo son mayores que las que resultarían de estudiar un año más).


Para terminar, advertir que los dos gráficos no son directamente comparables: además del eje de abcisas (que es más reducido en el segundo), los grupos del primero no son iguales a los del segundo, pues en aquel la referencia para establecer los cortes es la de todos los países, mientras que en este es sólo España. Además, la categoría "Resto de España" incluye a la Comunidad Valenciana, Castilla-La Mancha, Canarias, Ceuta y Melilla, que no pidieron muestra ampliada.

miércoles, 22 de enero de 2014

El suicidio de Europa (y tantos otros)

Hace unos años, cuando era redactor-jefe de Magisterio, la embajada inglesa me invitó a una comida, junto con otros periodistas y demás gente del sector educativo, con un alto cargo de Educación británico (creo recordar que era Jim Knight). En los postres, el "minister" nos preguntó por qué creíamos que Finlandia obtenía unos resultados tan espléndidos en PISA. No recuerdo la de los demás, pero sí que la mía contrastaba con el resto: yo creo que Finlandia tiene una educación que se consideraría mediocre en la Europa de hace unas décadas, pero que, como han mantenido el sistema sin grandes cambios, ahora destaca ante el resto; es Europa la que se ha suicidado educativamente, y Finlandia sólo es un testigo de la calidad de antaño. El político hizo un comentario irónico dejando claro que no compartía mi visión, y pasamos a otra cosa.
No sé qué dirá ahora mismo el político, pero yo sigo pensando lo mismo, o peor. Pero vamos con los datos, a ver si, después de verlos, alguien más comparte esta opinión. Las tablas y gráficos que ahora se presentan utilizan una metodología que pretende diferencias a los centros buenos y malos de los mediocres, basándome en los resultados de PISA 2012. Ya empleé una metodología similar –aunque para Europa Occidental– en este libro (5Mb) [Lo siento, enlace roto: pueden encontrar el libro aquí], donde se explican los aspectos metodológicos in extenso. Para no aburrir pondré el apéndice metodológico al final de la entrada: de momento baste saber que un centro bueno es aquel que consigue que un porcentaje significativo de sus alumnos obtenga unos resultados en Matemáticas muy por encima de lo esperado por el estrato socioeconómico de su familia de procedencia, un centro malo lo contrario, y uno mediocre ni fu ni fa. Los centros buenos consiguen la mejora social de sus alumnos y contribuyen enormemente a la mejora del país en general, mientras que los mediocres tienden a dejar las cosas como están. Los malos son uno de los mayores timos en los que puede incurrir un Estado, tanto para los alumnos, las familias y la sociedad en general y, salvo excepciones, no deberían permanecer abiertos.
Este análisis parte de la base de que la educación es el punto de apoyo del progreso económico, político y social de los países, pero no es algo evidente ni tiene por qué ser compartido. También creo que Europa Occidental consiguió lo que consiguió en la segunda mitad del siglo XX, a pesar de la guerra, la descolonización y las crisis económicas gracias no sólo a sus instituciones y sus sistemas económicos, sino a una apuesta educativa que actuaba como sustrato de todo ello, y que comenzó a cambiar a principios de los 70, cuando un país tras otro decidieron –decidimos– que nuestras instituciones eran tan buenas que podían sostenerse sobre el vacío.
Esta primera tabla muestra el porcentaje de alumnos que acuden a centros buenos, mediocres y malos en ocho grandes zonas del mundo. La agrupación es mía, basándome en los países que se presentan a PISA y en mis conocimientos geo-históricos (aparte de alguna consideración técnica: EE.UU y la Federación Rusa están por separado para que su tamaño no eclipse al resto del grupo). Los países que incluye cada grupo se encuentran en la segunda tabla, además de los no incluidos en ningún grupo. Hay, por supuesto, alguna disonancia, como la inclusión de Kazajstán en un grupo de países con una evolución bastante distinta, o de Tailandia entre los dragones del Pacífico, o la modernizada Turquía. Pero, en general, creo que hay cierta homogeneidad y que los grupos son coherentes.

Porcentaje de alumnos en centros buenos, mediocres y malos en PISA 2012
Por áreas geo-políticas
Malos ET Mediocres ET Buenos ET
Extremo Oriente2,0(0,53)42,2(1,58)55,8(1,47)
Europa Occidental7,9(0,59)69,6(1,07)22,5(0,95)
Europa Oriental8,5(0,61)69,0(1,80)22,5(1,63)
Transplantes británicos2,5(0,50)79,8(1,29)17,7(1,21)
Países musulmanes16,5(1,05)67,0(2,10)16,5(2,01)
Rusia6,3(1,86)83,5(3,24)10,2(2,51)
EE.UU6,9(2,74)88,8(3,04)4,3(1,94)
Iberoamérica31,2(1,46)68,3(1,45)0,5(0,20)
Todos14,6(0,59)69,0(0,80)16,3(0,48)
Fuente: Elaboración propia sobre microdatos de PISA 2012.

Las regiones están ordenadas de acuerdo con la mayor proporción de alumnos escolarizados en centros buenos. Aunque los parámetros utilizados se eligieron para que el 16% de los alumnos examinados en PISA 2012 acudiera a centros buenos, existe una gran variación entre regiones: mientras que en Pacífico hay una apuesta clara por la calidad –léase: por que los alumnos aprendan–, y que esta llegue al mayor número posible de alumnos, no es eso lo que nos encontramos en el resto del mundo. En Europa, tanto Occidental como Oriental, se mantiene la calidad sólo para algunos grupos de alumnos (y según qué países: véase la siguiente tabla), mientras que un grupo nada desdeñable de alumnos acuden todos los días a centros donde, en general, les saldría más rentable no acudir. Los "trasplantes" británicos –en terminología de Julián Marías– apuestan por quedarse como están, con pocos alumnos en centros buenos y muy pocos en los malos, mientras que la Federación Rusa y EEUU son monumentos a la mediocridad. En los países musulmanes podría parecer que hay un equilibrio entre la calidad y la mediocridad, pero no es cierto: en la siguiente tabla se ve que la apuesta por la calidad es exclusiva de Turquía, mientras que el resto sigue la peligrosa senda iberoamericana. Y es que no sé si los políticos iberoamericanos piensan que el progreso cae del cielo o que, porque no hay manera de encontrar más que trazas de calidad en sus sistemas educativos, mientras que cerca de un tercio de sus alumnos van a centros (¡la mitad en Argentina!) que quizás sería mejor que no permanecieran abiertos.
Para que puedan hacerse una idea más precisa –y entretenerse un rato–, les dejo la tabla por países, agrupados por regiones. Es un poco larga, ya lo siento; si quieren verla en detalle, clic para ampliar. Quizás les sorprenda la inclusión de tres estados de EE.UU y uno de la Federación Rusa, pero la base de datos de PISA los deja así y no me he molestado en averiguar por qué. La tabla incluye el porcentaje de alumnos en cada centro y su error típico (calculado según los estándares de PISA: ya sé que no hace falta ser tan preciso, pero estoy probando una librería de R para ello, y ya aprovecho). Además, la última columna indica la posición relativa de cada país en cada porcentaje, todos de mayor a menor; por ejemplo, España ocupa el lugar 39 de 67 en porcentaje de alumnos en centros buenos (en la parte media de la tabla), el cuarto en porcentaje de alumnos matriculados en centros mediocres (sí, somos de los primeros en mediocridad), mientras que ocupamos el puesto 51 de 67 en alumnos en centros malos (lo que está realmente bien).


Quizás se vea mejor en un gráfico, aunque no ofrezca tanto detalle. Los países se ordenan por el porcentaje de alumnos en centros buenos, y España aparece marcada con una sombra gris.


A no pocos les parecerá que el porcentaje de centros buenos de Europa Occidental, un 22,5%, es suficiente, y que hablar del suicidio de Europa sea exagerado. Pero quizás deba tener en consideración dos cosas: primero, que tal porcentaje se consigue básicamente por cuatro países, y muy poblados –Alemania, Francia Bélgica y Holanda, además de la minúscula Liechtenstein–, mientras que bastante se quedan en niveles ridículos; segundo, que en el cálculo se incluyen muchos países con malos resultados, lo que baja la media alrededor de 20 puntos y sube la correlación y los coeficientes de las variables empleadas: si se incluyeran sólo países desarrollados, el porcentaje de alumnos europeos en centros buenos descendería, mientras que la diferencia con los asiáticos aumentaría aún más (ver apéndice para más detalles). También es cierto que si la competencia empleada fuera Lectura en vez de Matemáticas, los países asiáticos no destacarían tanto. Lo que sería un triste consuelo: no se trata de que Europa esté peor que otros países, sino de lo que se ha dejado en el camino.
Por último, una tabla con las diferencias por comunidades autónomas españolas: aunque todas lo hacen bastante bien con respecto a los centros malos, las diferencias se encuentran en los alumnos matriculados en centros buenos. Por ejemplo, Castilla y León o Navarra tienen cuatro veces más que Murcia, o doce veces más que Andalucía. Y eso, recordemos, tras haber eliminado las diferencias socioeconómicas.

Porcentaje de alumnos en centros buenos, mediocres y malos en PISA 2012
España. Por Comunidades Autónomas
Malos ET Mediocres ET Buenos ET
Castilla y León0,6(1,54)77,3(6,85)22,0(7,11)
Navarra0,2(0,83)78,9(6,57)20,8(6,46)
País Vasco1,3(0,64)83,5(3,49)15,2(3,37)
La Rioja1,0(0,38)84,4(3,37)14,7(3,26)
Aragón1,7(1,71)85,5(6,27)12,8(6,03)
Cataluña0,0(0,00)88,2(4,38)11,8(4,38)
Madrid0,9(1,87)88,9(4,93)10,2(4,62)
Asturias1,5(1,52)91,8(4,93)6,7(4,71)
Galicia2,1(2,65)91,5(6,27)6,4(4,60)
Cantabria4,6(2,39)89,0(4,11)6,4(3,40)
Murcia7,3(3,26)87,5(4,90)5,2(3,71)
Resto de España3,2(3,98)92,6(5,04)4,2(2,90)
Andalucía0,0(0,00)98,3(1,69)1,7(1,69)
Baleares4,2(3,31)94,4(3,74)1,4(1,74)
Extremadura3,5(2,97)95,8(3,26)0,7(1,60)
España1,6(1,02)90,9(1,80)7,6(1,19)
Fuente: Elaboración propia sobre microdatos de PISA 2012.

Nota metodológica:
El proceso, resumido (está detallado en el libro enlazado anteriormente; también incluye –págs. 58-59– dos cuadros que intentan explicar la correlación y la regresión para legos, si no acaba de entender todo esto), es el siguiente. Se hace una regresión, con las puntuaciones de matemáticas como dependiente (en PISA, PV1MATH-PV5MATH) y el ISEC (en PISA, ESCS: índice socioeconómico y cultural) como independiente, de todo el mundo (salvo Albania, que no dispone de ISEC). Se toman los residuos y se marcan los alumnos con un residuo superior e inferior a una desviación típica. Los alumnos se agrupan por centros y se considera centro bueno aquel cuya diferencia entre la proporción de alumnos buenos y malos es superior a 0,30, mientras que se marcan como malos los que tienen una diferencia inferior a -0,30, dejando al resto como mediocres. El 0,30 no se elige al azar, sino que está pensado para que haya, aproximadamente, un 16% de centros buenos y un 16% de centros malos en el mundo. Una vez etiquetados los centros simplemente se calculan los porcentajes por país o región.
Esta metodología tiene, por supuesto, debilidades: una de ellas es que siempre hay que establecer que tal país tiene tantos o cuantos alumnos en centros buenos en relación al resto de países utilizados, pero esa proporción varía en cuanto cambiemos el número de países que intervienen (por ejemplo, en el libro sólo se utilizan los países de Europa Occidental). En el presente caso, al utilizar a todos los países, y no sólo a los más desarrollados, la media de Matemáticas cayó hasta los 456 puntos, mientras que el ISEC bajó a -0,607, en vez de 499 y -0.167 respectivamente. Esto hace que en una regresión baje el intercepto y suban pendiente y correlación, lo que, a efectos prácticos, supone que los mediocres como Europa Occidental aumenten el porcentaje de alumnos en centros malos y disminuya el de matriculados en buenos. Por poner un ejemplo, mientras que utilizando todos los países, los del pacífico tienen 2,5 veces más proporción de alumnos en centros buenos que Europa Occidental, en el caso de eliminar los países más atrasados educativamente la proporción aumenta a 3,6.
En el caso de España, nos quedaríamos con un 1,5% de alumnos matriculados en centros buenos y un 10,5% en centros malos. Es el problema de jugar en las ligas mayores.