Debate sobre la utilidad de la repetición, en el Consejo Escolar de la Región de Murcia

He mantenido un agradable debate, en el marco de una iniciativa del CERM denominada "Los debates del Consejo Escolar", bajo el título de "¿Es útil la repetición?". Ambos ponentes (Juan Manuel Moreno Olmedilla, profesor de la UNED, aunque ha trabajado durante muchos años en el Banco Mundial, era mi colega) coincidimos en que la repetición era una institución cara y poco eficiente en la actualidad, aunque estuvimos menos de acuerdo en cómo acabar con ella.

En mi opinión, la repetición comenzó a perder sentido con la implantación de la Logse, pues a partir de dicha ley se transformó en el principal elemento de discriminación del sistema. Sin embargo, a partir de entonces se convirtió en el testigo de que algo no estábamos haciendo bien con el sistema educativo: la repetición se había vuelto disfuncional, pero porque encarnaba las disfuncionalidades de la gestión del sistema. Por ello, me parece que intentar reducirla como lo está planteando el Ministerio es un error, pues sólo maquillará la disfuncionalidad del sistema al eliminar a un testigo, pero no corregirá lo que está mal, que es mucho. Me inclino, más bien, por actualizar el currículo de Primaria y establecer refuerzos durante esa etapa, en vez de facilitar el tránsito sin que los alumnos estén preparados para afrontar con garantías la ESO.

Aquí les dejo el vídeo del debate, que dura más de dos horas, pero lo cierto es que con un formato muy ágil y con muchas preguntas del público. El debate propiamente dicho comienza en 29'24" y acaba 1:23'40", dando lugar a las intervenciones del público.

En el curso de la preparación del debate me topé con unos datos interesantes que no puedo por menos que mostrar aquí. El primer gráfico lo empleé en el debate, mientras que el segundo no, ya que me parecía que era un tema tangencial a lo que allí se discutía. El primero, que pueden ver a continuación (click para ampliar) muestra la evolución del porcentaje de alumnos que promocionan en 6º de Primaria y 1º y 4º de la ESO (estos dos último muestran también los que promocionan sin asignaturas pendientes). Lo que se ve es que nuestro sistema educativo ha mejorado las tasas de promoción en 6º de Primaria (en realidad, en todos los cursos de Primaria, pero no cabían) y en los tres primeros cursos de ESO (aquí represento sólo 1º), mientras que en 4º la evolución es algo más errática. Por supuesto, toda esta mejora en la promoción no ha venido avalada por una mejora de la calidad, como muestra nuestro estancamiento en PISA. La fuente de los datos es la estadística del Ministerio de Educación. Enseñanzas no universitarias. Alumnado. Resultados académicos. Series. Porcentaje de alumnado que promociona de curso por enseñanza.

Uno de los aspectos más importantes de este gráfico es la diferencia de porcentajes de promoción entre 6º de Primaria y 1º de ESO. Tal y como yo lo veo, un sistema eficiente no puede tener unos saltos tan importantes en el nivel de exigencia, y que eso ocurra indica que los alumnos que propocionan en 6º de Primaria no están preparados para enfrentarse a la ESO con garantías. Como indico en el debate, esa es la principal fuente de desigualdad y fracaso en el sistema educativo español, aunque rara vez se aborde.

Pero lo que más me interesa hoy es lo ocurrido el último año en todos los cursos, mejoras de dos o tres puntos en Primaria y de cinco o seis en la ESO, una aceleración asombrosa si pensamos que no ha sido el resultado de ninguna norma de carácter nacional (que aún no se ha publicado) ni, que yo sepa, de otras instrucciones oficiales, aunque sí de las instrucciones de la pandemia. Aún no tenemos forma de comprobarlo, pues PISA sale a finales de 2023 y no tenemos otra evaluación pública para verificarlo, pero mucho me extrañaría que dicha mejora en los porcentajes fuera resultado de una mejora real en el conocimiento de los alumnos. Como se puede ver en el gráfico siguiente, esa mejora ha existido en prácticamente todas las comunidades.

Salvo el caso de Melilla (y sólo en los que promocionan sin pendientes), todas las comunidades han mejorado sustancialmente los porcentajes de promoción en 1º de la ESO (que es el ejemplo que traigo, aunque es similar en otros cursos, como pueden comprobar en el enlace a las estadísticas del Ministerio) sin ninguna razón aparente. En la promoción (en verde), se han mejorado desde los dos puntos del País Vasco a los quince de Ceuta. En la promoción sin pendientes (naranja), la mejora es de casi el doble (ocho puntos de media) que van desde los 3,5 puntos de la comunidad Valenciana a los 12,7 de Cantabria. El fracaso escolar en 4º de la ESO, aunque deje el análisis para otro momento, ha descendido de forma paralela en ese curso. De estos datos, me preocupa por un lado haber tomado un camino en el descenso de la exigencia que no tiene fin, y por otro que se están desincentivando a los centros que habían optado por mantener estándares de calidad algo superiores a la media. Ya veremos si, cuando pase la situación de excepcionalidad, se continúa con esta tendencia, y sufriremos las consecuencias en posteriores evaluaciones.

Entrevista sobre PISA 2018

El periodista radiofónico Paco Prian me hace una entrevista sobre PISA 2018 y otras cuestiones del sistema educativo español para su canal de youtube, La bitácora d Paco. Aquí la comparto con ustedes:

A veces me alargo mucho en las respuestas, por un lado porque uno es así, y por otro porque es difícil trasladar lo que dicen los datos en una charla sin poder mostrarlos. Aún así, creo que se dicen cosas interesantes. Voy aprendiendo para el canal de vídeo que estoy montando y que verán próximamente.

Segundo error grave de PISA en España: ISEC 2015

En una evaluación tan enorme como PISA es muy fácil cometer involuntariamente algún error técnico en un país o dato importante. En el ámbito científico, tan natural como cometerlos debería ser el reconocerlos y rectificarlos, pero muy a menudo los egos y los prestigios de las instituciones se interponen, y los fallos se tienden a tapar. En mi opinión, no es cometer fallos lo que te hace poco fiable, sino cómo reaccionas cuando eres consciente del error. El caso es que, en las seis ediciones que llevamos de PISA, la OCDE ha cometido por lo menos dos errores técnicos importantes en nuestro país. El primero fue en los resultados de Lectura en 2006, y el segundo en el Índice Socioeconómico y Cultural (ISEC, ESCS en inglés) de 2015. No ha rectificado ninguno, y sólo los han reconocido a nivel político y con la boca chica.

El error de 2006 tuvo como resultado una caída de 20 puntos en la prueba de Lectura con respecto a 2003, y que se saldó con un aumento de 20 puntos en 2009. Afectó a la media española y, de las comunidades que habían tenido muestra ampliada en 2003, perjudicó sobre todo a Castilla y León (21 puntos), menos al País Vasco (10 puntos) y apenas a Cataluña (diferencia no significativa). Políticamente apenas tuvo efecto alguno, salvo en Castilla y León, donde hubo cierto escándalo y se tomaron algunas medidas técnicas encaminadas hacia el fomento de la lectura en Primaria. En el conjunto nacional el dato aparecía por primera vez en el texto de la página 69 del informe, mientras que la tabla (pág. 71) aparecía sin comparar con 2003 –la especialidad de Roca, entonces director del Instituto de Evaluación y hoy presidente del Consejo Escolar del Estado, era sumergir los datos "inconvenientes" en el fondo de la hojarasca. El texto ya aludía a un posible error técnico (aunque por causas equivocadas) y aprovechaba para justificar alguna de las medidas de la recientemente aprobada LOE:

"El descenso relativo producido entre 2000 y 2006 y la comparación internacional justifican la propuesta realizada en la LOE de dedicar un tiempo específico a la lectura en todas las etapas y en las diferentes áreas y materias."

Cuando aparecieron los datos de PISA 2009, España creció 20 puntos, mientras que todas las comunidades con muestra ampliada en 2006 mejoraron sus resultados en Lectura (en ese año era, además, la competencia estrella[1]), encabezados por los 25 puntos de Castilla y León. Todo el mundo sacó pecho entonces y el asunto se olvidó. Si hoy vemos los datos, queda como una anomalía en la serie (gráfico 2.b, más abajo) y poco más (aunque en algún informe nacional de otros países he visto que ponen a España como ejemplo a seguir por su evolución en Lectura entre 2006 y 2015: aviados van). Mi hipótesis entonces fue que había un fallo en algún ítem de anclaje, pero entonces no tenía la competencia técnica necesaria para averiguarlo. En algún sitio me dijeron que la OCDE había reconocido el error en alguna reunión técnica, pero no me contaron cual era el problema concreto.

Qué es el ISEC y por qué es importante

Como ya se ha dicho, el segundo error tiene que ver con el ISEC, o Índice Socioeconómico y Cultural, que es un índice complejo y, probablemente, la segunda variable más importante de PISA tras las escalas de rendimiento (Lectura, Matemáticas, Ciencias). Pero para entender el error antes hay que saber qué es esta variable, por qué es importante y cómo se obtiene (si ya la conoce bien puede saltarse este epígrafe, aunque los problemas que esconde el ISEC, detallados al final, probablemente le resulten menos familiares).

El ISEC es un índice compuesto que intenta recoger en un solo número el contexto socioeconómico y cultural de la familia del alumno, y que consta de tres elementos básicos: el nivel de estudios más alto de ambos padres, expresado en años de escolarización mínimos para la obtención de ese título en cada país (PARED); el estatus laboral más alto de ambos padres (HISEI), expresado en la escala internacional ISCO (International Standard Classification of Occupations en inglés, en español CIUO, Clasificación Internacional Uniforme de Ocupaciones); y otro índice denominado HOMEPOS (de "home possessions", bienes en el hogar en inglés), compuesto de 25 variables sobre lo que el alumno tiene en su casa, desde un diccionario al nº de coches o libros (la mayoría de las variables pueden verse en la carta enlazada un poco más abajo). Un cuadro detallado, obtenido de la página 340 del PISA 2015 Technical Report, es el que se reproduce a continuación: 

Gráfico 1

La formación de un índice es un proceso matemático complejo que se puede realizar por varias vías (análisis de componentes principales, como es el caso del ISEC, análisis factorial o por medio de los modelos de la Teoría de Respuesta al Item, como es el caso de HOMEPOS), pero que básicamente tiene una serie de pasos comunes: se parte de una serie de datos numéricos directos, obtenidos generalmente de un test; estos se introducen en una función de cálculo compleja para obtener una serie de parámetros generales; con estos parámetros generales y los valores en el test de cada individuo se obtiene una puntuación particular para cada sujeto; en el caso de PISA, estas puntuaciones sufren una transformación adicional para que el conjunto tenga una media de cero y una desviación típica de uno. El objetivo de estos cálculos y transformaciones es averiguar qué importancia tiene cada variable inicial en la variable final, y emplear tal información en el cálculo del índice para cada individuo.

Entiendo que esta explicación puede ser un lío para aquellos poco familiarizados con estas técnicas, y muy básica para aquellos que ya las conocen, pero eso es algo difícilmente evitable. Para intentar desliar a los primeros, dejo una explicación más práctica en la segunda nota ([2]),pero creo que esto basta para comprender el proceso y entender dónde puede estar el error.

El ISEC tenía la particularidad de tener media cero y desviación típica uno en cada una de las ediciones de PISA, pero esta característica significaba que ese índice no era comparable de una edición a otra, y no se podía utilizar como variable de tendencia como las de rendimiento (es decir, se podía comparar el resultado de Matemáticas de una edición a otra, pero no el ISEC). Para solucionar este problema, la OCDE recalculó para la edición de 2015, el denominado "ISEC de tendencia" (ESCS trend, que puede encontrarse aquí, en el apartado Rescaled Indices for Trend Analyses). Para ello tomó como base los datos de 2015 y utilizó esos parámetros para recalcular los índices de todos los alumnos de las ediciones anteriores (el proceso es algo más complejo: quien quiera puede consultar los detalles en el capítulo 16 del PISA 2015 Technical Report, especialmente las págs. 339-342). El resultado de este sistema es que el ISEC es comparable no sólo entre países (o alumnos) dentro del mismo año, sino que se puede seguir la tendencia de un país a lo largo de las ediciones, o equiparar los datos de un país en un año determinado con los de otro país en otra edición de PISA.

Pero el cálculo del ISEC tiene algunos problemas:

1. Definición y elección de variables. Aunque el nivel de estudios y el estatus laboral aseguran buena parte del estatus socioeconómico y cultural, las variables pequeñas que forman la otra pata del ISEC afinan el cálculo, ordenan dentro de las mismas categorías. Sin embargo, aunque todas las variables contribuyen al índice (si no, no estarían ahí), pueden existir otras variables que contribuyan al índice en mayor medida, mejorándolo. Hay que tener en cuenta que estas variables se eligieron a finales del siglo pasado, y que entonces no parece que hubiera un proceso serio de selección de variables con criterios técnicos, como mucho ha habido un cierto filtrado con el tiempo.

2. Significación de las variables. Algunas variables no significan lo mismo no sólo entre países, sino dentro del propio país. Por ejemplo, en el cuestionario se pregunta por el número de baños en casa, pero es bastante cuestionable que sea lo mismo tener tres baños en una casa en el centro de una gran ciudad que en una vivienda situada en un poblachón manchego. De hecho, sólo los tienen el 11,8% de los alumnos vascos o el 11,3% de los catalanes, por un 26,8% de los castellano-manchegos, por poner los extremos, cuando es evidente que el nivel de vida en las dos primeras es sin duda superior al de la tercera. Es una variable que funciona a escala municipal (es probable que si hay dos viviendas familiares en un mismo municipio o barrio, una con tres baños y otra con uno, la diferencia se deba al poder adquisitivo), pero no tiene por qué a escala regional ni tengo claro que a escala nacional (probablemente sí si comparamos España con Túnez, pero no si comparamos nuestro país con Alemania o Gran Bretaña).

3. Caducidad de las variables (tendencia). Ya he dicho anteriormente que las variables que sirven para calcular el ISEC se decidieron a finales del siglo pasado, y lo que entonces podían ser artículos más o menos exclusivos, hoy no tiene por qué ser así. Quizás el caso de los móviles sea el más evidente: en 2000 sólo el 16% de los alumnos españoles de 15 años tenía tres o más móviles en casa, mientras que en 2015 eran el 86%: ¿de verdad tal aumento corresponde a una elevación del nivel de vida o a los procesos propios de una saturación del mercado?

4. Capta mal las coyunturas. Quizás esta parte puede sorprender, aunque tiene cierta lógica. El ISEC no es sensible a las crisis coyunturales, como la que ha pasado nuestro país, entre otras cosas porque intenta capturar el entorno socioeconómico del estudiante a lo largo de su escolarización, pues se supone que es el que más pesa en el rendimiento. Por ejemplo, si uno de los progenitores se ha quedado en el paro a PISA le da lo mismo, pues pregunta por las características de su último trabajo, aunque ya no lo tenga. Por supuesto, el nivel educativo de los padres no cambia con la crisis (por tanto, dos tercios del índice apenas se mueven). Las variables que más tienen que ver con el nivel económico apenas se verán afectadas a corto plazo: las familias en crisis a lo mejor no tienen menos móviles o coches, sino que los tienen más viejos, etc.

Lucas Gortazar sugire en su The PISA "shock" in the Basque Country: Contingent factors or structural change? (pág. 11) que PISA debería ser más sensible a los cambios coyunturales, y que no hacerlo perjudica (o afecta) especialmente a los países del sur de Europa, y creo que tiene razón en que los cambios laborales de esa magnitud en una familia pueden afectar negativamente al rendimiento del alumno. Pero también pienso que PISA no está para eso. Es cierto que preguntar si algún progenitor se ha quedado en paro y desde cuando no vendría mal, pero nos olvidamos de que PISA es un complemento a los deberes que tendríamos que hacer en casa y que, evidentemente, no hacemos. Los deberes son, claro, tener un sistema decente y transparente de evaluación nacional del sistema educativo, adaptado a lo que necesitamos para entender nuestros problemas.

El segundo error técnico

Este Índice Socioeconómico y Cultural no es uno de tantos datos que se recogen en la evaluación, sino la variable que más influencia tiene como predictor del rendimiento de todas las que PISA mide (y así será hasta que se atrevan a incluir, por ejemplo, la inteligencia). De hecho, es muy habitual "corregir" los resultados cognitivos de PISA con esta variable de contexto (a menudo, de forma abusiva) para comparar los resultados entre países, regiones o alumnos en "igualdad de condiciones" socioeconómicas. Por ejemplo, mi amigo Juan Carlos Rodríguez sostiene desde hace tiempo la tesis de que, dado que España está estancada en los resultados de Lectura, Matemáticas y Ciencias de todas las ediciones, y puesto que el contexto socioeconómico y cultural no ha hecho sino mejorar, en realidad ese estancamiento es un empeoramiento de los resultados. Es una tesis plausible, pero hasta que no se creó el ISEC de tendencia era difícil de comprobar fehacientemente.

Precisamente estaba trabajando en comprobar esta tesis, y si era cierta, de cuánto estábamos hablando, y estos son los resultados para las tres escalas cognitivas (las barras verticales en cada punto corresponden al error de cada estadístico para un intervalo de confianza del 95%; no está de más recordar que tal error sólo sirve para comparar puntos en la misma serie, no entre serie distintas) [como siempre, click para ampliar]:

Gráfico 2.a

Gráfico 2.b

Gráfico 2.c

Como se puede ver, el punto ponderado de 2015 está mucho más arriba de lo que la serie permite prever en todas las escalas. Entre 2000 y 2012, los resultados ponderados por el ISEC (línea rojiza en los tres gráficos) habían caído 19 puntos en Lectura (un cambio sustantivo), 8 en Matemáticas (no significativo) y 10 en Ciencias, pero entre 2012 y 2015 habíamos recuperado más de lo perdido de forma sorprendente. Y digo sorprendente porque, primero, nada había cambiado de forma sustantiva en el sistema educativo como para producir tal resultado (el axioma de que ningún resultado cambia si no has tomado medidas antes es raramente creído por nuestros administradores educativos; el que sólo cambia –a mejor, claro– tomando ciertas medidas muy concretas les parece de ciencia ficción), y segundo, porque los resultados sin ponderar (línea azul en los tres gráficos) tampoco lo explicaban. Antes de meterme con el ISEC hice algunas comprobaciones adicionales: eliminar a los inmigrantes empujaba la serie hacia arriba, pero la tendencia continuaba igual; al comprobar el archivo de los datos regionales de España (en esta edición están separados), el salto de 2015 se mantenía incluso región a región. El sospechoso se mantenía y, efectivamente, se comportaba de forma extraña, como puede verse en el siguiente gráfico (línea azul para el ISEC de tendencia):

Gráfico 3

Ese cambio es una auténtica enormidad, no creo que tenga parangón en tan sólo tres años. Nada menos que una caída de 0,64 puntos (para una desviación típica de 1 de este índice para toda la OCDE). Para que se hagan una idea menos técnica, habíamos pasado de estar al nivel de Francia en 2012 al de Jordania en 2015. Y es cierto que hemos pasado una dura crisis, pero ni de tal magnitud, ni ha afectado sobre todo a la franja de edad que puede tener hijos de 15 años, ni el ISEC está planteado para capturar situaciones coyunturales (como ya hemos visto). Sencillamente, no podía ser. El caso es que, el mismo mes en que salieron los datos de PISA 2015 (diciembre de 2016) hice unos cálculos de urgencia y envié una carta a la OCDE de cinco páginas (aunque más de tres corresponden a tablas y gráficos) en la que explicaba por qué el dato español no era verosímil. Una traducción de la carta puede leerse aquí (el texto estaba en inglés, sólo se ha cambiado el nombre de la persona a la que iba dirigida). No recibí respuesta y me olvidé de ello: instituciones e investigadores tiene la Iglesia, ya se ocuparán.

Mientras he sabido, aunque no oficialmente, que el Instituto de Evaluación[3] (INEE), el interlocutor español con la OCDE en estos temas, ha hecho gestiones en el mismo sentido y, aunque en ese caso la macroorganización ha tenido a bien contestar, la respuesta ha sido, por decirlo castizamente, lentejas. Por otro lado, en los casi tres años transcurridos, y aunque he leído no pocos informes y artículos científicos donde han utilizado esta variable, todo el mundo parece actuar como si el error no existiera.

Profundizando en el error

Por razones que no vienen al caso he tenido que retomar el tema del error en el ISEC español, y podía elegir entre dos opciones: o reconstruir el proceso para encontrar el error, o buscar una vía alternativa que mostrase claramente el fallo. Dado que el proceso está descrito algo someramente en los documentos de la OCDE, que no tengo tiempo de ponerme a ello, y que mi ordenador actual (el año que viene me toca comprar uno nuevo) no creo que tenga la capacidad de proceso necesaria, me decanté por la segunda opción, bastante más sencilla (al final, una función de poco más de 20 líneas de código, no muy eficiente, pero que trabajaba en segundo plano): comparar los alumnos con los mismos parámetros que sirven para calcular el ISEC en nuestro país y en el resto de la base de datos de PISA.

La idea es que los alumnos con los mismos datos iniciales (los obtenidos de los test) tienen que obtener el mismo ISEC. Por complejo que sea, el cálculo de un índice es un proceso matemático, lo que significa que si partes de los mismos parámetros llegas a los mismos resultados. Por tanto, fui comparando el ISEC de los alumnos españoles con el del resto de la OCDE con los mismos parámetros iniciales –nivel de estudios de los padres, estatus laboral de los mismos y el índice HOMEPOS (los dos primeros exactos, el tercero en intervalos de una décima de índice)– y luego comparé el ISEC de ambos grupos. Ya puestos, hice el mismo proceso con los otros datos de España (en 2015 España tiene dos grupos de datos: uno que representa a España como país y otro con los datos de la muestra ampliada de todas las CCAA) y con otros países de nuestro entorno.

Estaba en este proceso cuando reparé en la nota 10 al final del capítulo del PISA 2015 Technical Report (pág. 343), donde puede leerse lo siguiente:

10. In October 2016, it turned out that the PARED variable was coded incorrectly for Spain, Lebanon and Latvia. As a consequence, the ESCS calculation was based on incorrect variables in some of the countries. To avoid changing the values of ESCS for all countries, at a time where most reports were already completed, ESCS was recalculated only for the samples with mistakes in the original PARED values, using the results from the international ESCS calculation (i.e., constants for standardizing input variables, factor loadings, eigenvalue, and constants for standardising the ESCS). As a consequence of this partial recalculation, the ESCS mean across OECD countries is no longer exactly zero and the standard deviation is no longer exactly one. Instead, the respective descriptives are -0.0259 and 1.00001.

Vamos, supongo que lo clásico que los españoles pensamos que sólo ocurre en nuestro país, pero que por lo que parece ocurre también en el resto: en octubre de 2016 (a poco más de un mes de que se publiquen los resultados de PISA, se compartan las bases de datos y se publiquen los primeros tomos de análisis) alguien se da cuenta de que hay un error en una variable fundamental (PARED, que indica el nivel educativo más alto de los padres expresado en años de estudio) para el cálculo del ISEC en España, Letonia y el Líbano; los de arriba entran en pánico y el marrón va resbalando hasta los curritos de turno con el clásico "lo quiero para ayer"; con las prisas, las variables escogidas para el cálculo no son exactamente las mismas que las que se han utilizado con el resto, se tira para delante, nadie comprueba nada y el resultado es el que tenemos en el gráfico siguiente:

Gráfico 4

Es un gráfico difícil de entender a primera vista, pero no es complicado. Se ha calculado el ISEC de los alumnos de cada país (rojo) con el ISEC de los alumnos de la OCDE que tienen los mismos parámetros (azul). Así, si la puntuación fuera igual en el país que en el resto de la OCDE, los puntos rojos estarían en la diagonal del cuadrado, pero no es al caso. Lo que vemos es que hay una desviación de las puntuaciones, y que esta no es lineal, sino que va aumentando según disminuye el ISEC (de hecho, es nula cuando el ISEC es superior a 1,5, pero alcanza el medio punto cuando el ISEC se acerca a -2,5. La desviación total para España es de alrededor de tres décimas de punto.

En el resto de países (aquí les pongo cuatro de ejemplo, pero lo he comprobado en la cincuentena restante) no existe tal variación al aplicar el mismo método, y todos los puntos están en la misma diagonal:

Gráfico 5

Es un error importante, pero no explica toda la desviación, sólo una parte. Sospecho, basado en el artículo de Gortázar antes citado, que también hay un error en el cálculo del índice HOMEPOS (la tercera pata del ISEC), ya que no parece haber variaciones importantes en este índice tampoco, al menos en el País Vasco. Y puede haber más fuentes de error, mi apreciación personal es que es muy difícil que el ISEC español en 2015 esté por debajo de cero, pero eso sólo puede confirmarlo un recálculo del índice completo.

Nos queda por dilucidar otra cuestión: si todos los índices se han calculado basándose en los datos de 2015, ¿se podría haber arrastrado el error a los otros años? Pues puede que algún fallo menor se haya cometido, pero el error grueso antes descrito no parece que se haya trasladado a otras ediciones de PISA. Sólo he hecho alguna comprobación menor, pero como se muestra en el gráfico 6, al menos para la edición de 2009 en los países afectados (muestro sólo España y Letonia, pero tampoco en el Líbano hay desviación) no parece haber problemas.

Gráfico 6

No se me entienda mal: no estoy, ni mucho menos, con los que piensan que PISA carece de rigor ni ha de ser tomado en cuenta. Estos errores técnicos no invalidan en absoluto ni su trabajo ni sus resultados. Mi queja con la OCDE es otra: tiene que ver con lo que tiene de "ciencia áulica", uno de los mayores peligros (en mi opinión, claro) que tiene la ciencia hoy día; y con las libertades que se toman para ir más allá de lo que sus datos les permiten ir.

Notas:

[1] Cada edición de PISA tiene una competencia que se evalúa más en profundidad y pasa a ser la más importante. La Lectura lo fue en 2000 y 2009, y lo volverá a ser en 2018. Se van turnando, con Matemáticas y Ciencias, cada nueve años, o cada tres ediciones. [subir^]

[2] Intentaré poner como ejemplo un proceso más práctico para el cálculo de HOMEPOS, una de las tres partes del ISEC. La OCDE quiere una variable o índice que resuma los bienes que existen en el hogar donde vive el alumno, que son a su vez reflejo del nivel económico y cultural de su hogar, pero no existe un termómetro que mida tal cosa. Por ello elige una serie de rasgos observables y que pueden ser contestados por el alumno. Por ejemplo, si tiene o no un diccionario en casa (entre otras muchas cosas), el número de móviles o cuartos de baños en su hogar, o el número de libros. A cada variable observable le da un número: 0/1 si carece o tiene diccionario; de 1 a 4 entre no tener móvil en casa y tener tres o más; de 1 a 5 dependiendo del número de libros que haya en la vivienda (por ejemplo, el 1 significa entre 0 y 25, y el 5 más de 500), etc. La idea es que el número de libros es un indicador de nivel cultural, y el número de móviles puede mostrar el nivel económico, pero ¿cuánto debe contribuir cada variable al cómputo del índice? Lo que hace el primer proceso de cálculo es asignar pesos (es decir, conceder importancia) a cada variable dependiendo de lo que contribuya al índice final, y esos pesos son los parámetros generales de los que hemos hablado antes. El segundo proceso de cálculo usa esos parámetros para pasar de los datos observables obtenidos del test de cada alumno (por ejemplo, el estudiante tiene: 0,1,1,1,1,0,0,0,2,3,1...) a un número (por ejemplo, 1,4771) perteneciente a una variable continua que, supone PISA, es un reflejo fiel de la variable que pretendíamos medir. El último paso es convertir la variable a otra que tenga media cero y desviación típica uno, con lo que nuestro número aparece en la base de datos como -0,2317. Este número ya nos dice que el alumno tiene un ISEC algo inferior al de la media de la OCDE, y que si la media de su país es -0,8, en realidad tiene un estatus medio-alto con respecto a sus connacionales. El sistema es aún más complejo (en realidad en el sistema actual se manejan probabilidades y no solo pesos para calcular HOMEPOS), pero basta para hacerse una idea.[subir^]

[3] He estado haciendo recuento y, en los casi diez años que mantengo este blog, he citado al Instituto de Evaluación con varios nombres distintos (de hecho, ya lo llamo Instituto de Evaluación siempre, tenga el nombre que tenga) y lo he referenciado a cuatro direcciones web, sea por cambio de nombre del Instituto, sea por el cambio de nombre del Ministerio. Además, con cada cambio de web desaparecen cosas, o al menos he sido incapaz de reencontrarlas. Esto significa que no tardando mucho, este enlace se habrá roto de nuevo. En fin.[subir^]

Nivel socioeconómico, nivel de rendimiento y el sistema educativo como tratamiento

Desde hace al menos cincuenta años se sabe que el rendimiento escolar está influido por el entorno familiar del alumno. Influido, que no determinado -si no, no se explicaría cómo en el mundo desarrollado millones de personas hayan sido, durante los últimos sesenta años, los primeros de su familia en pisar una universidad-, y la forma y el tamaño del efecto están a su vez mediatizado por otros contextos: el escolar, que es capaz de modular esta influencia, al menos hasta cierto punto, y el social.

La forma de medir las variables familiares que influyen en el rendimiento escolar y la fuerza de esa influencia siguen siendo objeto de cierta discusión. Lo que voy a explicar a continuación es cómo lo hace PISA y los resultados que obtiene. PISA construye un índice socioeconómico y cultural a partir de multitud de datos del entorno familiar en que vive el alumno: básicamente está formado por el índice de estatus laboral más alto de ambos padres, el nivel educativo más alto de ambos progenitores medido en años, además de un índice de posesiones en el hogar que intenta agrupar el poder adquisitivo de la familia, sus posesiones culturales, los recursos educativos que el alumno tiene a su disposición y el número de libros que hay en casa. Todo ello se agrupa, por diversos procedimientos matemáticos que no vienen al caso, en una sola escala con una media cero y una desviación típica de uno para la OCDE, y que se distribuye según la famosa campana de Gauss.

Este índice es el que los técnicos de PISA han encontrado que tiene una mayor influencia en el rendimiento, y tiene la ventaja de que utiliza una misma escala para todos los países. Eso no quiere decir, por supuesto, que sea el que más influye en todos los países -es España, por ejemplo, parecen pesar más los libros que el alumno tiene en casa-, ni afecta en todos los sitios igual: la media de la OCDE está cercana al 15% (datos de PISA 2012 para la escala de Matemáticas), aunque en la mayoría de los países oscilan entre un 8 y un 20%. Ese porcentaje es el de "la varianza en el rendimiento explicada por el ISEC", lo que significa que de la variación total que encontramos en el rendimiento de los alumnos, su origen socioeconómico es capaz de explicar el 15%, mientras que el 85% restante obedece a otras causas: la inteligencia del alumno, el que hayan tenidos mejores o peores profesores, lo que se hayan esforzado en estudiar, la calidad del centro, los compañeros que le rodean, si les dolía o no la cabeza el día del examen... A esto me refería cuando decía que el ISEC no determina, pero sí que influye.

Como hemos dicho, la influencia del ISEC es distinta en cada país: entre el 2% de Macao (China) o el 6% de Qatar, hasta el 23% de Perú o el 25% de la República Eslovaca hay mucha diferencia. En España estamos en un 16% -como siempre, alrededor de la media-, los países nórdicos entre un 7 y un 11%, y en los grandes países de Europa Occidental el Reino Unido obtiene un 12%, Alemania un 17% y Francia un 22%. Pueden ver la tabla completa en este documento de excel, tabla II.2.1. Lo que quieren decir estas diferencias es que aunque el ISEC influye en el rendimiento de los alumnos en todos los países, la medida en que lo haga está mediatizado por factores sociales del propio país como, y esta es la parte que me interesa, por el sistema educativo de cada país.

El sistema educativo de cada país es el marco donde los agentes -alumnos, profesores, padres, técnicos, políticos- toman sus decisiones, y está compuesto no sólo por las leyes que lo dan forma, sino por una amalgama de costumbres, aspiraciones, sistemas de acceso y un millón de otras cosas que podrían convertirse en una enumeración borgiana, y que a su vez tiene su origen en otras causas históricas, sociales y políticas que tampoco voy a tratar de enumerar. Lo que me interesa es que todo ese conjunto que llamamos sistema educativo al final es capaz de modular, en un sentido u otro, la influencia del ISEC. Se puede decir que el sistema educativo funciona como un tratamiento, tanto a la hora de obtener los resultados de los alumnos como a la de modular la influencia del ISEC en el rendimiento (o como lo que se le ocurra que pueda afectar a estas y otras variables). La idea -teórica- de tratamiento es que tienes n grupos de personas de características similares y les sometes a distintas condiciones y luego mides los resultados. En medicina, tienes dos grupos de enfermos y a unos les das antibióticos y a otros un placebo, y luego miras quién se ha curado y quién no. En educación las cosas son más complicadas, claro, pero la idea subyacente es que tienes grupos de alumnos más o menos similares que son sometidos a distintos "tratamientos" (formas de organizar el currículo y de impartirlo, y otras muchas cosas, que dependen del dinero, profesores, compañeros, políticos...) o sistemas educativos, y luego medimos los resultados (en este caso, el rendimiento en Matemáticas y sus diferencias según el ISEC).

Todo esto viene por un gráfico que salió hace tiempo en el Huffington Post americano, y que enlazo en español. Quitando el titular (no es la riqueza, que pesa muy poco en el cálculo del ISEC global), el gráfico es perfectamente correcto. De hecho, lo hizo Pablo Zoido, un analista de la OCDE. Si lo miran con cierta atención, verán que dividen a los estudiantes de cada país en diez partes según su ISEC, y luego miden el rendimiento medio de cada uno de los grupos. Lo que permite ver este gráfico es que hay "tratamientos" (sistemas educativos) que consiguen reducir el efecto del ISEC y otros ampliarlo, pero que ninguno ha encontrado la fórmula de que desaparezca por completo (aunque Macao queda muy cerca de conseguirlo). También que hay países que parecen privilegiar a sus élites (Portugal, Turquía, Rumanía o los países sudamericanos), mientras que otros tienden a hundir al último grupo social (Austria, Eslovaquia, Hungría, Francia, Liechtenstein o Shanghai, por ejemplo). También los hay que lo hacen especialmente bien con el último grupo, o especialmente mal con el primero.

Ahora bien, ¿podemos saber si los malos resultados de países como los iberoamericanos u otros muchos se deben a que el sistema educativo es malo o a la pobreza de sus poblaciones? Pues el gráfico no lo permite.

El problema de este gráfico es que no podemos decir más, porque los grupos dejan de ser homogéneos entre países. El 10% más pobre (o más rico) de un país sudamericano no tiene nada que ver con el 10% más pobre de un país europeo. E, incluso, las diferencias dentro de Europa son bastante pronunciadas. Lo que yo me pregunté es: ¿cómo lo hace cada país con grupos homogéneos? Es decir, dividir la población de PISA en diez niveles por su ISEC, y ver cómo lo hace cada país con la parte que le corresponde. Por supuesto, el gráfico tiene también sus problemas: en los extremos, las categorías de los países más ricos o más pobres son menos fiables, pues la muestra es muy pequeña y el error típico crece mucho. Y tampoco tiene en cuenta un posible "efecto compañero": puede no ser lo mismo para un alumno estar acompañado por otros de mayor ISEC que por otros de menor ISEC. Pero, quitando estas salvedades, nos permite saber cómo lo hace cada sistema educativo con poblaciones más o menos homogéneas: al fin y al cabo, una de las grandes ventajas de PISA es la comparabilidad.

Dicho esto, aquí está el gráfico (clic para ampliar):

Lo que el gráfico permite ver es que, una vez que comparamos estudiantes cuyas características socioculturales familiares son más o menos equivalentes, unos sistemas educativos obtienen mejores rendimientos que otros, y que normalmente el rendimiento es escalonado, pero conjunto. Escalonado, porque ningún país consigue, como ya hemos dicho, anular por completo las diferencias de origen; y conjunto, porque aquellos que tienen buenos rendimientos con los alumnos de ISEC medio, consiguen también buenos rendimientos de los alumnos de ISEC bajo, aunque menores dentro del propio país. Eso nos permite, al comparar grupos homogéneos por origen social, dejar nítidas las diferencias de rendimiento de cada sistema educativo -tratamiento- para cada uno de los grupos no sólo dentro de los propios países, sino entre cada uno de los países.

¿Quiere esto decir que a un estudiante español de entorno pobre -v.g. familia monoparental sin estudios, que vive en un piso pequeño del extrarradio sin más libro en casa que una vieja guía telefónica y sin ordenador ni conexión a internet-, con un rendimiento medio esperado de 425 puntos, le saldría más rentable irse a estudiar a Vietnam, donde un chaval con el mismo entorno cultural obtiene alrededor de 500 puntos (que en España y buena parte de Europa es la puntuación que obtienen los que luego van a llegar a la universidad)? Pues no podemos asegurarlo, aunque los datos apunten esa posibilidad. No lo sabemos porque no se ha dado el caso, y porque, aunque los grupos sean homogéneos por su origen socioeconómico, no tienen por qué serlo en muchos otros aspectos, quizás más importantes (ya hemos dicho que el entorno influye, pero no determina). Sí tenemos suficientes casos de inmigrantes que estudian en países con más nivel que el de origen, y que consiguen rendimientos medios superiores que los compatriotas que se quedaron en su tierra, pero ese es un tema que dejaré para otra anotación.

No me resisto, sin embargo, a contarles un caso significativo, aunque sin valor probatorio alguno: conozco a un chaval que estudió en Shanghai, su ciudad de origen, unos pocos años, y luego vino a España porque sus padres abrieron aquí una de tantas "tiendas de chinos". Venía de uno de los mejores sistemas educativos del mundo y, cuando llegó a España no se les ocurrió otra cosa que hacerle repetir porque no sabía español. Dos años después ya tenía el mismo nivel, incluso inferior, que sus compañeros españoles. Somos unos genios.

Volviendo al gráfico, se observan tres grandes grupos: un grupo de países cuyo rendimiento es muy elevado, tanto que permitiría a los estudiantes de ISEC bajo ingresar en una universidad del mundo desarrollado, y que se sitúa sistemáticamente en extremo oriente; un grupo de países mediocres, generalmente pertenecientes al mundo desarrollado, que tiende a llevar a los alumnos de ISEC medio alto a la universidad y a los de ISEC bajo a empleos de menor cualificación, es decir, a dificultar la movilidad social (¿a nadie se le ocurre que esos países son hoy desarrollados precisamente por hacer justo lo contrario? ¿hacia dónde nos lleva este camino?); y un tercer grupo, habitualmente en Iberoamérica y los países árabes, en los que sólo los que tienen un ISEC muy elevado tienen el nivel suficiente para ir a estudiar a las universidades del mundo desarrollado.

¿Por qué ocurre esto? ¿Cuáles son las claves que hacen que unos sistemas obtengan mejores rendimientos que otros? Pues autores discrepan. Muchos les dirán que la inversión, la inteligencia media, la calidad de sus profesores, la mentalidad de los padres, etc. Y todos estos factores importan, por supuesto. Pero si tengo que elegir cuál es el determinante, yo pienso que los más importantes son la extensión del currículo (esto es, la cantidad de materia que se imparte a los alumnos cada curso) y los niveles de exigencia. Pero, en el mundo de la investigación educativa, yo soy el raro que piensa que son las decisiones educativas las que definen a los sistemas educativos, y que muy en segundo lugar están los demás factores.

En fin, no comento más el gráfico, aunque tiene bastante para divertirse.

Les dejo, para rematar, otro: fiel a mi tradición de intentar descender a los sistemas autonómicos, les dejo también el gráfico por regiones. En este caso la homogeneidad de los grupos es mucho mayor, y se cumple que los padres nacidos en otra región tienen hijos cuyo rendimiento se parece más a los de sus compañeros de escuela que a los que siguen estudiando en las regiones donde nacieron sus padres. Sin embargo, las diferencias son significativas en muchos casos, teniendo en cuenta también que mantenemos currículos muy semejantes, pero no iguales niveles de exigencia. A mí me sigue llamando la atención que un chaval de entorno marginal obtiene en promedio 50 puntos más si ha nacido en Navarra que si lo ha hecho en Extremadura o Aragón, por fijarnos en las colas, o el caso madrileño. Si nos fijamos en la cabeza, las diferencias son también amplias: entre Navarra o La Rioja y Baleares o Murcia hay bastantes diferencias si nos fijamos en el rendimiento de los dos grupos con mayor ISEC (si hacemos caso a PISA, que considera que una diferencia de 38 puntos equivale a un curso completo, las diferencias por CCAA tanto entre los grupos de ISEC alto como en los de ISEC bajo son mayores que las que resultarían de estudiar un año más).

Para terminar, advertir que los dos gráficos no son directamente comparables: además del eje de abcisas (que es más reducido en el segundo), los grupos del primero no son iguales a los del segundo, pues en aquel la referencia para establecer los cortes es la de todos los países, mientras que en este es sólo España. Además, la categoría "Resto de España" incluye a la Comunidad Valenciana, Castilla-La Mancha, Canarias, Ceuta y Melilla, que no pidieron muestra ampliada.

¿Cambiamos uno de los mejores sistemas educativos del mundo desarrollado por el peor?

Tras ver algunos datos del informe de la OCDE 2011, me ha surgido esta pregunta. Llevo muchos años defendiendo que cambiamos un sistema educativo bastante bueno para las necesidades de nuestro país –el de la Ley General de Educación de 1970, aderezado con los cambios en recursos y legislación de la democracia– por otro bastante peor, el de la Logse de 1990. Pero nunca se me había ocurrido comparar lo que ocurría en nuestro país con el resto del mundo desarrollado (sabía que éramos el país que más había empeorado de Europa en la última década, sí, pero me faltaba una visión de conjunto).

Los datos de la evolución histórica del nivel de estudios de los españoles ya los había calculado en años alguna vez, hasta los nacidos en 1975, que es lo que permite el Censo 2001 elaborado por el INE. Los resultados son espectaculares.
Pero nunca lo había hecho sistemáticamente con la EPA. En este caso voy a utilizar el porcentaje de población por tramo de edad que ha completado al menos la Secundaria Superior, utilizando la media de los trimestres de 2010 (click para ampliar):

Los resultados siguen siendo espectaculares, pero el cambio de tendencia creo que lo es más: pasamos de mejorar cuatro puntos por lustro a empeorar casi tres en el siguiente (para evitar el efecto de la inmigración, se ha calculado dos series la de los residentes en España y la de los nacidos en España). Parece evidente que el sistema Logse era mucho menos efectivo, en términos de titulación, que el anterior. La lástima es que cuando entró la Logse y sus consecuencias, estábamos cerca –de continuar la tendencia– de superar la media europea.

Ahora, los datos de la OCDE nos dan una nueva perspectiva (aunque ya los cité en la última anotación): somos el cuarto país que mejor lo ha hecho en términos de titulación en los últimos 50 años, tras Corea (como dice la introducción del informe), pero somos el que peor lo ha hecho en los últimos diez (como dice el indicador C4).

Los datos en concreto son los siguientes:

Evolución del nivel de estudios (titulados en Secundaria superior)
	Nacidos en	Nacidos en
	1933-1942	1975-1984
	(medido	(medido
	en 1997)	en 2009)	Diferencia
Países con nivel de estudios de partida alto
Rep. Checa	71,8	94,2	22,4
Noruega	64,9	83,6	18,7
Suiza	73,6	89,9	16,3
Alemania	74,3	86,0	11,8
Estados Unidos	77,6	88,3	10,7
Países con nivel de estudios de partida medio
Finlandia	41,3	90,4	49,1
Rep. Eslovaca	52,6	94,8	42,2
Polonia	51,5	93,5	41,9
Australia	41,8	82,9	41,1
Suecia	56,9	91,2	34,3
Canadá	58,3	92,0	33,7
Austria	56,5	88,4	31,9
Nueva Zelanda	47,8	79,3	31,6
Islandia	40,6	70,0	29,4
Reino Unido	51,7	77,4	25,7
Países con nivel de estudios de partida bajo
Corea	24,0	97,5	73,5
Hungría	28,4	86,0	57,7
Irlanda	29,3	85,8	56,5
España	11,1	64,1	53,0
Grecia	21,9	74,9	53,0
Bélgica	32,4	83,1	50,7
Francia	38,7	83,9	45,2
México	10,6	41,9	31,3
Turquía	10,6	41,6	31,0
Fuente: Education at a Glance 2011. Gráfico 2 (http://dx.doi.org/10.1787/888932478983).

España habría partido de un nivel próximo a Turquía o Méjico y habría subido a un ritmo de diez puntos por década hasta el 64%, todavía lejos de los países desarrollados. En diferencia sería el cuarto país de la tabla, pero en proporción sería el primero, pues es el único que quintuplica su nivel de partida.

Sin embargo, la OCDE también daba otros datos en este gráfico, que publicábamos en la anotación anterior.

Tiene dos datos preocupantes. El primero, que somos el país que más ha descendido en porcentaje de jóvenes (15-29 años) que continúan estudiando (tenemos un 23% menos de estudiantes y un 8% menos de población, es decir, hemos caído un 16% en cuanto a proporción de alumnos escolarizados) El siguiente que más cae es Estonia, con un 8% y Canadá (5%). La media de la OCDE es un aumento del 8% –hemos perdido, por tanto, un 24% más que el mundo desarrollado–, y hay países que en este tiempo han aumentado un 50% su proporción de alumnos escolarizados tras la enseñanza obligatoria, como las repúblicas checa y eslovaca.

El segundo, que somos el país donde más años de escolarización hemos perdido tras los 15 años en la última década, nada menos que 1,06 años menos en la expectativa de escolarización a los 15 años, mientras que el mundo desarrollado ha aumentado 0,69 (una pérdida total de 1,75 años en sólo diez). Los años de expectativa de escolarización son los años medios que permanecen los jóvenes escolarizados tras la enseñanza obligatoria: es casi irónico pensar que el gran logro de la Logse fue la extensión de la escolarización obligatoria dos años más –y eso que esa extensión sólo afectó al 7% de la población, puesto que el resto ya estaba escolarizada hasta esa edad–, y sin embargo redujo en dos años la escolarización media de todos los jóvenes españoles.

El corolario de todos estos datos es que teníamos un sistema educativo que, en términos de titulación, nos puso entre los primeros del mundo desarrollado en cuanto a ritmo de mejora, y lo hemos cambiado por un sistema que, en términos de titulación, nos ha puesto a la cabeza del mundo desarrollado en cuanto a ritmo de empeoramiento. Y luego nos extrañamos de lo que nos pasa. Y estamos tan orgullosos que estamos intentando exportarlo a Iberoamérica. País.

Actualización: He sustituido el gráfico porque tenía el código de color al revés en los números. Gracias, Pseudópodo.

Defina desastre, por favor

Casandra fue una princesa troyana que consiguió el don de la adivinación engañando a los dioses, y por ello, en vez de retirarla el don, la condenaron a que nadie creyera sus profecías. A veces tengo la sensación de que me ocurre algo parecido.

Desde hace unos cuantos años vengo diciendo y repitiendo que desde la aplicación de la Logse se interrumpió una larga serie de años de mejoras en la titulación de los españoles, y que a partir de ese momento no sólo nos estancamos, sino que comenzamos a caer. Comencé a advertirlo en algunos artículos de periódico y, más adelante, de manera algo más sistematizada, en un paper que se llamó “El efecto Logse y otros cuentos”, publicado en 2006.

Pero siempre hubo excusas para justificar los malos datos: el retraso histórico de nuestra educación, expresada en los bajos índices de titulación entre la población adulta, o la falta de inversión. Sin embargo, siendo argumentos en parte ciertos, no funcionaban en sentido contrario: cuando el nivel de estudios de los padres aumentó, o cuando se invirtió más dinero, los resultados educativos seguían sin mejorar. Y cuando han comenzado a mejorar, coincidiendo con la aplicación de algunos cambios en el sistema con la LOE, resulta que la responsable es la crisis. ¿Datos? La coincidencia en el tiempo, y que la excusa suena muy bien. La realidad es que a los 10 años ya sabemos qué alumnos van a fracasar a los 16, y por tanto ni la crisis, ni las expectativas laborales, ni las drogas, ni el sursum corda tienen demasiado que ver con los resultados educativos.

Sin embargo, el Ministerio está instalado en el discurso de que cualquier mal funcionamiento del sistema educativo o no existe, o es mínimo, o se debe a causas extraeducativas. Para ello, no han dudado, desde hace años, en seleccionar los datos que se acomodan al discurso y esconder o evitar poner los que lo contradicen: ya son muchos los años desde que vengo advirtiendo que los informes del ministerio no son fiables, y que cuando es posible hay que recurrir a la fuente original.

Hasta ahora, había visto muchos absurdos más o menos deliciosos en este empeño por esconder la realidad y engañar a los ciudadanos, pero el de hoy creo que rebasa todos los límites. Es tan burdo que no creo que la prensa se lo trague (aunque, de momento, parece estar colando). Resulta que esta mañana a las 11 se presentaba en todo el mundo el Education at a Glance 2011 (Panorama de la educación 2011 en español), un estudio anual realizado por la OCDE en el que se repasan los datos de los sistemas educativos de los países desarrollados. El formato es de poco texto y mucha tabla, por lo que es fácil perderse para aquellos que no estén especializados o no sepan qué buscar. El Ministerio hace un informe más breve, se supone que para adecuar los datos al contexto español, pero ya que se pone aprovecha para recortar lo que no le interesa e imponer su discurso. Al final, dos personas que hayan leído sólo uno de los informes saldrán con impresiones totalmente distintas.

El Ministerio comienza la nota de prensa así:

"El secretario de Estado de Educación y Formación Profesional, Mario Bedera, ha destacado el gran avance educativo de España en estos 50 últimos años durante la presentación del informe de la OCDE: Panorama de la Educación 2011.
En España se han reducido muy notablemente las diferencias de partida respecto a la OCDE, que eran muy elevadas hace algunas décadas, siendo el país que ha experimentado una mejoría más notable después de Corea."

¿Es esto falso? Pues no, pero ¿es lo relevante del informe? Vean este gráfico (que sólo aparece en la versión completa, no en la española) y juzguen (click para ampliar):

El gráfico representa varias cosas: la barra azul, la variación en la esperanza de vida escolar tras los 15 años –es decir, la cantidad de cursos que los alumnos, como media, van a mantenerse estudiando tras esa edad– entre 1999 y 2009; la barra gris lo mismo, pero sólo entre 2008 y 2009; el círculo blanco el porcentaje de variación en la población entre los 15 y los 29 años en la última década, y el triángulo negro la variación en el porcentaje de población de 15 a 29 años que continúa estudiando entre 1999 y 2009.

Lo que dice el gráfico es que somos el país con peores resultados educativos en la última década del mundo desarrollado. El peor. En 1999 un alumno de 15 años tenía una esperanza media de continuar estudiando de 6,7 años más, y en 2009 dicha esperanza se ha reducido a 5,6 años. El resto del mundo desarrollado ha mejorado en ese mismo tiempo casi 8 meses, por lo que estamos diciendo que España ha descendido casi dos años (1,75 exactamente) con respecto al resto en sólo una década. En 1999 estábamos por encima de la media: en 2009 sólo superamos a Turquía y México. También dice que somos los que más hemos empeorado –un 22%– en el número de personas escolarizadas a esa edad, incluso teniendo en cuenta que hemos perdido un 8% de población en esos diez años.

¿Qué es más relevante, a efectos de mejorar el sistema educativo (para eso son los informes, se supone): que hemos mejorado espectacularmente en los últimos cincuenta años y tres sistemas educativos, o que hemos empeorado espectacularmente en los últimos diez con un solo sistema educativo? Si fuera para plantearse volver al sistema anterior, se entiende la relevancia a los cuarenta años anteriores, pero ocultar que hemos empeorado casi dos años en los últimos diez –en realidad son ocho, entre 2000 y 2008, pues en 2000 todavía mejoramos y en 2009 también, con la Logse ya derogada– dice muy poco a favor de semejante Ministerio.

Como dice EFE, "Gabilondo ha asegurado que 'no tienen razón' los que dicen que el sistema español de enseñanza es un desastre". Ante tal conocimiento de su área, no tengo nada más que pedirle que diga qué entiende por desastre.

Inequidades varias

Tras leer la vergonzosa nota de prensa del Ministerio y escuchar la sarta de tonterías que le han hecho decir al pobre Bedera en la rueda de prensa sobre PISA –¿dónde estaba el ministro, por cierto?– me he decidido a escribir algo sobre ello. Ya estoy acostumbrado a que el Ministerio no afronte los datos, que mienta descaradamente cuando le conviene, que manipule la interpretación de los datos para que justifiquen su política, etc. No sería nada del otro mundo si no fuera porque el extremos conservadurismo del PSOE en materia de educación desde 1990 está perjudicando a nuestro país de forma extremadamente grave.

Por ejemplo, Bedera, diciendo en la rueda de prensa que la mejor vacuna contra el fracaso escolar es la escolarización temprana, y que poco menos que no pararán hasta escolarizar a todos los niños de menores de tres años. PISA no dice nada de eso (aunque los que más escolarización temprana tienen no salen precisamente bien parados), mientras que un informe de la OCDE sobre la educación española sí que dice que desaprovechamos claramente la etapa de Infantil. Pero, como el Pisuerga pasa por Valladolid, pues suelto una referencia al único indicador con evolución positiva del que dispongo, y así soy feliz. Una política pública más basada en una creencia en vez de en un dato.

Pero no es de esto de lo que quería hablar –al fin y al cabo, sólo es dinero tirado– sino del concepto de equidad que el Ministerio maneja en la nota de prensa, un concepto ideológico que le sirve para no ver la realidad y para seguir con la inacción que le caracteriza.

Como ya he explicado alguna vez, el Ministerio maneja un concepto de equidad basado en que haya escasas diferencias estadísticas entre los alumnos, lo que técnicamente corresponde a la varianza o la desviación típica. Es una traslación de un concepto económico –un bien económico es, por definción, un bien escaso– a uno no económico, como el nivel educativo: el que uno tenga más conocimientos es independiente de que otro los tenga, puesto que el conocimiento no se agota.

Por ejemplo, nuestro sistema educativo prácticamente proscribe la excelencia: a partir del percentil 75 (es decir, si comparamos los resultados del 25% de los mejores alumnos de cada país) ya somos el último país de Europa, mientras que nuestro percentil 95 roza el ridículo. Si subimos –es una simulación sencilla– un 2% los resultados de lectura de los alumnos entre el percentil 75 y 80, un 4% los alumnos entre el 80 y el 85, y así hasta el 10% a los del percentil 95, la media de España subiría ocho puntos, pero la desviación típica sería 100, es decir, la misma que la media de la OCDE. Es decir, si subimos un poco los resultados de los mejores alumnos –algo que el sistema educativo de prácticamente cualquier europeo parece capaz de lograr– la mejora es pequeña, pero la equidad se va al garete. Y eso sin modificar ningún valor del 75% de los alumnos restante. ¿Por qué? Porque nuestra famosa equidad estadística es sólo efecto de que nuestro sistema es incapaz de formar alumnos brillantes.

Como he dicho en algún momento del día de ayer, ya no sé dónde ni a quién, si de verdad nos creemos que estamos en al sociedad del conocimiento, y que los alumnos brillantes serán los mayores productores de riqueza del mañana, nuestra falta de alumnos excelentes hoy es sólo un número. Pero dentro de veinte años lo llamaremos crisis.

En realidad, en el tema de la equidad España no es ningún ejemplo, por mucho que lo diga el Ministerio. La equidad educativa consta de tres elementos: primero que ningún alumno quede por debajo de un mínimo; segundo que las circunstancias de los alumnos (especialmente las que no se pueden cambiar: sexo, raza, lugar de nacimiento, lengua materna…) no influyan gravemente en sus resultados educativos; y tercero que un alumno con capacidad e interés pueda llegar hasta donde él quiera. En el primer caso lo hacemos regular, en el tercero muy mal, como hemos visto. Nos queda por examinar un aspecto del segundo. Como dice el Ministerio en la nota de prensa:

“En cuanto a las Comunidades Autónomas, PISA refleja que los resultados entre unas y otras es mínimo, sólo de un 4%, es decir, que se constata que el sistema educativo español se caracteriza por una gran equidad.”

Confieso que me ha costado entender lo del 4%, y a algunos amigos que saben de esto también. En un principio pensé que se referían al tamaño del efecto, pero mal calculado. Luego me ha parecido entender que se refieren al porcentaje de varianza explicada por el hecho de que un alumno viva en una región u otra. Lo cual me parece muy bien, pero es un dato que poco tiene que ver con la equidad.

Voy a empezar la argumentación al estilo del gato de Chesire: para empezar, nadie en su sano juicio diría que los resultados de Finlandia y España son “equitativos”: Finlandia está en los 536 puntos y España en los 481, Finlandia un 8% de los alumnos por debajo del nivel 2 y España un 19%, etc. ¿Cómo lo sabemos? Primero, porque las diferencias entre ambos países son significativas (es decir, existen, no son debidas al azar). Pero, con unas muestras tan grandes como maneja PISA, es fácil que una diferencia sea significativa. Por ello PISA ha comenzado a medir lo que se denomina tamaño del efecto (http://en.wikipedia.org/wiki/Effect_size), es decir, no si la diferencia es significativa, sino si es sustantiva. Y, en el caso de que lo sea, de la magnitud de esa sustantividad.

El propio Informe PISA (tomo II, pág. 148) nos explica cómo calcular el tamaño del efecto (mediante la delta de Cohen) y la interpretación de los valores: no sustantiva para valores por debajo de 0,20, poco importante entre 0,20 y 0,50, un efecto medio entre 0,50 y 0,80, y muy importante por encima de 0,80. Pues bien, el tamaño del efecto entre los resultados de Finlandia y España en la escala de Lectura es de 0,63.

Vamos a las regiones españolas. En la tabla he puesto el tamaño del efecto de las diferencias entre las Comunidades Autónomas españolas. En gris están las no sustantivas, en azul más pálido los efectos pequeños, en azul brillante los efectos medios y en rojo los efectos grandes.

Tamaño del efecto en la escala de Lectura. PISA 2008
ARA	-0,391
AST	-0,317	0,056
BAL	0,044	0,429	0,355
PVA	-0,381	0,012	-0,045	-0,420
CAN	0,144	0,531	0,452	0,098	0,522
CNT	-0,305	0,081	0,022	-0,344	0,070	-0,444
CyL	-0,483	-0,094	-0,145	-0,519	-0,107	-0,621	-0,173
CAT	-0,432	-0,036	-0,091	-0,470	-0,048	-0,574	-0,118	0,060
CyM	0,506	0,874	0,787	0,458	0,867	0,367	0,789	0,958	0,918
GAL	-0,284	0,105	0,044	-0,324	0,094	-0,424	0,023	0,198	0,142	-0,772
RIO	-0,411	-0,034	-0,086	-0,448	-0,046	-0,546	-0,112	0,057	0,000	-0,880	-0,135
MAD	-0,483	-0,094	-0,145	-0,519	-0,107	-0,621	-0,173	0,000	-0,060	-0,958	-0,198	-0,057
MUR	-0,225	0,182	0,115	-0,267	0,171	-0,371	0,095	0,279	0,222	-0,733	0,072	0,210	0,279
NAV	-0,416	-0,024	-0,079	-0,454	-0,036	-0,556	-0,105	0,071	0,012	-0,899	-0,129	0,011	0,071	-0,207
	AND	ARA	AST	BAL	PVA	CAN	CNT	CyL	CAT	CyM	GAL	RIO	MAD	MUR
Fuente: Elaboración propia sobre datos de PISA 2009.

Vamos a prescindir de Ceuta y Melilla (CyM), con unas distancias abismales (el Ministerio debería responder por estos datos, ya que son territorios bajo su gestión directa, pero ha preferido irse por equidades). Pues bien, las diferencias entre Castilla y León o Madrid con Canarias (CAN, Cantabria es CNT) tienen un tamaño de 0,62. Vaya, una centésima menos que las diferencias entre Finlandia y España. Es más, si no consideramos Finlandia, las diferencias entre los países europeos pertenecientes a la OCDE son similares, si atendemos al tamaño del efecto (y a las diferencias puras y duras) a los que existen entre las regiones españolas.

Es decir, en un país como España, con un mismo sistema educativo, mismos profesores, misma dotación a los centros, y con una homogeneidad cultural, idiomática, socioeconómica, etc. mucho mayor que en Europa, resulta que tenemos unas diferencias entre regiones similares a las que existen entre los países europeos, las mismas entre Holanda y Austria o la República Checa que entre Castilla y León (o Madrid) y Canarias.

Ya sabíamos que el hecho de nacer en un país u otro podía marcar el rumbo educativo de un alumno. Parece bastante claro que también nacer en una región española u otra. Esto es lo que el Ministerio considera diferencias mínimas.

AÑADIDO:

En un comentario pedían esta tabla:

Idioma del test para España, por Comunidades
	ESP	CAT	GAL	VAS	VAL	MISS	Total
AND	1.411	0	0	0	0	5	1.416
ARA	1.506	0	0	0	0	8	1.514
AST	1.535	0	0	0	0	1	1.536
BAL	259	1.201	0	0	0	3	1.463
CAN	1.446	0	0	0	0	2	1.448
CAT	3	1.369	0	0	0	9	1.381
CLM	239	0	0	0	0	0	239
CNT	1.516	0	0	0	0	0	1.516
CYL	1.510	0	0	0	0	5	1.515
CYM	1.363	0	0	0	0	7	1.370
EXT	134	0	0	0	0	0	134
GAL	45	0	1.540	0	0	0	1.585
MAD	1.449	0	0	0	0	4	1.453
MUR	1.320	0	0	0	0	1	1.321
NAV	1.079	0	0	425	0	0	1.504
PVA	4.022	0	0	743	0	3	4.768
RIO	1.284	0	0	0	0	4	1.288
VAL	280	0	0	0	156	0	436
Total	20.401	2.570	1.540	1.168	156	52	25.887
FUENTE: Elaboración propia sobre datos de PISA 2009.

No entraba como comentario y he optado por meterla aquí. Las cifras corresponden al número de alumnos evaluados en cada idioma.