Calentando PISA

Como ya sabréis –y si no, ya os lo digo yo– el día 7 de diciembre sale PISA 2009. PISA es una evaluación internacional pilotada por la OCDE que mide los conocimientos de los alumnos de 15 años en tres competencias: Lectura, Matemáticas y Ciencias. En esta edición la competencia estrella es la lectura, y participan más de 60 países donde se examina nada menos que a cerca de medio millón de alumnos.

¿Qué resultados va a obtener España en PISA 2009? Pues, básicamente, los mismos que en años anteriores. ¿Por qué? Porque apenas ha habido cambios en la educación española estos años, salvo en alguna administración más espabilada. Los cambios de la LOE (2006) sobre la Logse (1990) fueron mínimos, y sus efectos sobre el rendimiento también lo serán. Vamos a analizar las variaciones que podemos esperar encontrar en los resultados españoles en PISA 2009 con respecto a PISA 2006.

1. Una mejora técnica.

En PISA 2006 hubo un problema con los datos de Lectura españoles. En concreto, en las pruebas redactadas en castellano (por tanto, no afecta a Cataluña, que pasa la evaluación en catalán a todos los alumnos, y en menor medida a Galicia y País Vasco) hubo un problema por el que los resultados de la escala de lectura fueron alrededor de 20 puntos menos de lo correcto. Cuál es el problema, no lo sé con seguridad, pues he oído dos versiones: un problema con la dureza de los correctores y un problema con un ítem en una prueba piloto. El segundo me parece más plausible, pero como ambos tendrían consecuencias similares y yo aún no tengo conocimientos suficientes de medición para desentrañar el asunto (aunque ya me falta menos), si es que se puede, pues hasta aquí puedo leer.

Lo que sí sé es que es un problema técnico del que el Instituto de Evaluación (IE) es consciente desde hace al menos un par de años, y con esa base han trabajado todos. Espero que el IE no eche las campanas al vuelo por la supuesta mejora cuando es perfectamente consciente del problema técnico, y se ponga a decir lo buena que es la LOE. [Por ejemplo, en el Informe Español de PISA 2006 (126 págs.) no aparecía en ninguna tabla un solo dato de ediciones anteriores: veremos este].

Por tanto, una mejora en la escala de Lectura de, pongamos, 15 puntos, en PISA 2009 con respecto a PISA 2006, y que no se vea acompañada de mejoras en las escalas de Ciencia y Matemáticas es hablar de un efecto nulo de las medidas tomadas hasta ahora. Y una mejora menor un auténtico fracaso, ya que no se habrá quebrado la tendencia al empeoramiento en el área de lectura desde 2000. Entiendo que, siendo la Lectura la escala principal en 2009 e importándoles un bledo la realidad a nuestros políticos, el Ministerio no va a poder resistirse a intentar sacar partido de esto, pero, al menos, ustedes pueden comparar los resultados con los de PISA 2003 antes de tomarles en serio.

2. ¿Habremos reducido algo los niveles de rendimiento más bajos de PISA?

Prácticamente las únicas medidas introducidas por la LOE que pueden afectar al rendimiento de los alumnos de 15 años son la introducción de refuerzos educativos a gran escala y la pequeña diversificación que suponen los PCPI. Los PCPI (Programas de Cualificación Profesional Inicial) son una diversificación para alumnos de 15 o más años que ya han repetido y de los que se juzga que por el camino normal no obtendrán un título. Es una vía diseñada (muy mal, por cierto) para facilitar el acceso al título o, al menos, para otorgar a los alumnos una cualificación profesional mínima antes de que abandonen la escuela. Probablemente lo mejor que podemos esperar de esta medida es que los alumnos se reenganchen a la FPGM a través del examen de ingreso. Pero, desde luego, no podemos esperar que los PCPI aumenten las competencias de los alumnos en Lectura, Matemáticas o Ciencias, que es lo que mide PISA.

La segunda de las medidas, la extensión de los refuerzos a través del programa PROA, sí que puede tener un efecto en el rendimiento. Es un programa que se ha aplicado de forma desigual en cada una de las Comunidades Autónomas, y por tanto los efectos sobre el rendimiento serán desiguales. Además, algunas han utilizado el programa para regalar títulos, y otros para que los alumnos sepan más, y eso se va a ver muy claro en PISA 2009. Como recordaréis, los planes de refuerzo lograron una reducción del fracaso escolar en 2008, pero es más que dudoso que en todas las CCAA los refuerzos se utilizaran para aumentar los conocimientos de los alumnos –lo que les lleva a obtener el título–, sino para regalar el título de ESO, es decir, para maquillar las estadísticas.

Es decir, si los refuerzos han funcionado correctamente en PISA se notaría una ligera mejoría general, mejoría que se debería a que alumnos con un nivel de rendimiento bajo pasarían a tener un nivel de rendimiento mediocre. También tendría algún efecto en la desviación típica, lo que algunos llaman (mal) equidad. Es decir, de aquellas comunidades que redujeron el fracaso gracias a los refuerzos sabremos quiénes lo hicieron bien y quiénes intentaron engañarnos.

3. Los refuerzos de Lectura en Primaria

Algunas comunidades comenzaron hace años a darse cuenta de que muchos alumnos tenían problemas de lectura en Primaria, y tomaron medidas para corregirlo mediante refuerzos especiales. Y, dentro de ese grupo, algunos llevan más tiempo que otras. Que yo sepa, sólo en una, y a pequeña escala, se han llevado a cabo para que afecte a los alumnos que en 2009 tenían 15 años. Es decir, poco que hacer en esta edición por ese lado, pero en la siguiente a lo mejor vemos sus frutos.

4. Los otros problemas

España tiene otros problemas sobre los que nada se hace. Los principales son repetición y escasa presencia de alumnos en los niveles altos. No hay ningún plan nacional para atajar estos problemas y que se pueda ver en PISA 2009, por lo que los resultados serán exactamente iguales a los de otros años, salvo en aquellas comunidades donde hayan tenido planes específicos de mejora en estas cuestiones. Aunque algunos aún o se hayan enterado, sólo los tontos y los locos pueden esperar obtener un resultado distinto tras hacer exactamente lo mismo.

5. Del país de la equidad al país de "varias velocidades"

Aunque no son pocos los que celebran la equidad española, en realidad tenemos un país donde el hecho de nacer en una comunidad u otra tiene una influencia importante en el rendimiento de los alumnos. Si eso no se ha visto en PISA es porque las que no iban bien no se presentaban. En la Evaluación General de Diagnóstico de Primaria ya encontramos algún indicio de lo que estoy diciendo, pero lo de PISA 2009 será obvio. Incluso aunque haya tres comunidades –Castilla-La Mancha, C. Valenciana y Extremadura, todas ellas con un fracaso escolar elevado– que se hayan negado a presentarse en esta edición.

¿Qué indicios tenemos de ello? Pues viendo los resultados de las Comunidades Autónomas en PISA 2006. Tanto en 2006 como en 2003 era posible identificar los centros de cada CCAA y hacer una aproximación de los resultados. Naturalmente, la muestra es más pequeña y la selección de centros puede no ser representativa de la región, pero ya hubo una estabilidad notable entre 2003 (se presentaron cuatro comunidades) y 2006 (donde se presentaron diez), y por tanto espero que la haya en 2009. El martes lo comprobaremos pero, de momento, les ofrezco los resultados de todas las regiones españolas en 2006 y, además, la corrección del ISEC (a veces, la selección de los centros puede hacer que la muestra seleccionada tenga un nivel socioeconómico superior o inferior al de la población de la Comunidad, y esta corrección lo evita).

Vayamos primero con la tabla de los alumnos evaluados en cada CCAA (hay unos pocos centros no asignados, que son etiquetados como “Desconocido”):

Alumnos examinados en PISA 2006, por C. Autónomas
	Muestra de	Población	Error	Peso de	Error
	alumnos	de alumnos	Típico	cada CCAA	típico
	nº	nº	nº	%	%
Andalucía	1.463	81.437	2.506	21,3	0,58
Aragón	1.526	9.467	318	2,5	0,09
Asturias	1.579	7.594	197	2,0	0,06
Baleares	123	5.868	847	1,5	0,22
Canarias	206	15.868	899	4,2	0,24
Cataluña	1.527	56.987	1.787	14,9	0,46
Castilla-La Mancha	226	17.296	907	4,5	0,23
Cantabria	1.496	4.534	98	1,2	0,03
Castilla y León	1.512	19.697	419	5,2	0,12
Ceuta y Melilla	108	1.441	74	0,4	0,02
Extremadura	141	9.343	660	2,4	0,17
Galicia	1.573	22.578	365	5,9	0,12
Madrid	525	43.847	1.018	11,5	0,26
Murcia	174	11.843	368	3,1	0,11
Navarra	1.590	4.678	67	1,2	0,02
Desconocido	147	12.931	3.613	3,4	0,92
País Vasco	3.929	14.707	203	3,9	0,08
La Rioja	1.333	2.494	13	0,7	0,01
C. Valenciana	426	39.077	1.136	10,2	0,30
FUENTE: Elaboración propia sobre datos de PISA 2006.

La primera columna indica los alumnos que son evaluados realmente, la segunda señala la población a la que representan, y la cuarta el porcentaje de alumnos de cada Comunidad sobre el total de España. Los errores típicos son los que tienen todos los estadísticos de PISA, ya que estamos hablando de muestras.

Las siguientes tablas se muestran los resultados en cada una de las escalas de PISA 2006: Ciencias, Lectura y Matemáticas. Como es normal, los datos que provienen de muestras pequeñas tienen un error típico más alto.

Resultados en la escala de Ciencias en PISA 2006, por CCAA
		Validos	Media	ET
1	Castilla y León	1.512	520	3,9
2	La Rioja	1.333	520	2,5
3	Aragón	1.526	513	3,9
4	Navarra	1.590	511	2,9
5	Cantabria	1.496	509	3,6
6	Asturias	1.579	508	4,9
7	Madrid	525	506	11,7
8	Galicia	1.573	505	3,4
	Desconocido	147	500	23,0
9	Murcia	174	500	6,3
10	País Vasco	3.929	495	3,5
11	Cataluña	1.527	491	5,1
12	Castilla-La Mancha	226	489	11,9
	ESPAÑA	19.604	488	2,6
13	Andalucía	1.463	474	4,0
14	Canarias	206	472	19,2
15	C. Valenciana	426	468	6,4
16	Extremadura	141	452	4,5
17	Ceuta y Melilla	108	437	11,8
18	Baleares	123	433	20,7
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio de los alumnos de cada Comunidad en la escala de Ciencias. ET es el error típico asociado a esa media.

Resultados en la escala de Lectura en PISA 2006, por CCAA
		Validos	Media	ET
1	La Rioja	1.333	492	2,6
2	País Vasco	3.929	487	4,2
3	Aragón	1.526	483	5,2
4	Navarra	1.590	481	2,7
5	Galicia	1.573	479	3,4
6	Castilla y León	1.512	478	3,4
	Desconocido	147	478	20,9
7	Asturias	1.579	477	4,7
8	Cataluña	1.527	477	5,1
9	Cantabria	1.496	475	4,0
10	Madrid	525	473	8,9
11	Castilla-La Mancha	226	463	15,3
	ESPAÑA	19.604	461	2,2
12	Murcia	174	458	8,0
13	Andalucía	1.463	445	4,1
14	Canarias	206	443	11,9
15	Ceuta y Melilla	108	434	9,3
16	C. Valenciana	426	434	5,4
17	Extremadura	141	419	7,1
18	Baleares	123	413	13,9
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio de los alumnos de cada Comunidad en la escala de Lectura. ET es el error típico asociado a esa media.

Resultados en la escala de Matemáticas en PISA 2006, por CCAA
		Validos	Media	ET
1	La Rioja	1.333	526	2,2
2	Castilla y León	1.512	515	3,3
3	Navarra	1.590	515	3,5
4	Aragón	1.526	513	4,5
5	Cantabria	1.496	502	2,6
6	País Vasco	3.929	501	3,4
7	Asturias	1.579	497	4,9
8	Madrid	525	496	10,5
9	Galicia	1.573	494	4,1
	Desconocido	147	493	17,9
10	Cataluña	1.527	488	5,2
11	Castilla-La Mancha	226	482	8,4
	ESPAÑA	19.604	480	2,3
12	Murcia	174	475	6,6
13	Andalucía	1.463	463	4,2
14	C. Valenciana	426	456	4,9
15	Baleares	123	449	10,8
16	Extremadura	141	448	8,6
17	Canarias	206	446	11,0
18	Ceuta y Melilla	108	442	8,9
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio de los alumnos de cada Comunidad en la escala de Matemáticas. ET es el error típico asociado a esa media.

Estas tablas muestran los resultados directos, pero, como hemos dicho, en las comunidades sin muestra ampliada corremos el riesgo de que la selección no represente a la población. No tenemos mucho con lo que comparar, pero parece claro que el nivel socioeconómico y cultural extremeño no está por encima de la media española. Por tanto, podemos afirmar que los alumnos extremeños seleccionados en la muestra tienen un nivel superior al de la población extremeña real, y por tanto concluir que los resultados de las tablas anteriores están sobreestimados. El ISEC medio de cada una de las Comunidades (es un índice con media cero y desviación típica uno para todos los alumnos de la OCDE) es el siguiente:

ISEC medio por CCAA en PISA 2006
		Validos	Media	ET
	Desconocido	147	0,024	0,228
1	País Vasco	3.892	-0,039	0,039
2	Madrid	524	-0,094	0,158
3	Baleares	121	-0,116	0,281
4	La Rioja	1.331	-0,124	0,026
5	Aragón	1.520	-0,136	0,052
6	Navarra	1.586	-0,141	0,035
7	Cataluña	1.514	-0,146	0,080
8	Asturias	1.573	-0,150	0,068
9	Cantabria	1.483	-0,162	0,047
10	Castilla y León	1.508	-0,212	0,046
11	Extremadura	140	-0,244	0,135
	ESPAÑA	19.499	-0,311	0,031
12	C. Valenciana	423	-0,320	0,087
13	Galicia	1.566	-0,341	0,066
14	Ceuta y Melilla	105	-0,344	0,120
15	Canarias	205	-0,381	0,275
16	Murcia	174	-0,542	0,216
17	Castilla-La Mancha	226	-0,562	0,111
18	Andalucía	1.461	-0,635	0,056
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio del Índice Socioeconómico y Cultural (ISEC) de los alumnos de cada Comunidad. ET es el error típico asociado a esa media.

Pero eso no nos sirve de mucho. Para saber cuales son las puntuaciones netas de cada comunidad, es decir, la puntuación que tendrían si los alumnos tuvieran un ISEC medio igual a la media de la OCDE, está la tabla siguiente. Los datos son los coeficientes de una regresión lineal, y su significado está en las notas a la tabla. Como no es algo que tenga que entender un lector medio, lo más básico es lo siguiente: la primera columna (B0) es la puntuación neta, cuya media debería ser 500; y la última (R2) es el porcentaje de variación de los resultados de los alumnos que el ISEC es capaz de explicar. En fin, esta es la tabla:

Resultado neto en la escala de Ciencias de PISA 2006, por CCAA
		B0	ET	B1	ET	R2
1	Castilla y León	525	3,6	23	3,0	8,4%
2	La Rioja	523	2,4	25	2,8	8,4%
3	Aragón	519	3,3	32	2,3	14,4%
4	Navarra	516	3,0	30	2,2	12,0%
5	Cantabria	516	3,0	32	2,2	13,2%
6	Asturias	514	3,5	32	2,5	15,5%
7	Galicia	514	3,0	25	2,7	8,9%
8	Murcia	512	5,8	21	3,9	10,8%
9	Madrid	510	7,0	36	5,7	16,3%
10	Castilla-La Mancha	505	9,5	26	7,8	8,3%
	Desconocido	501	17,3	40	9,2	21,4%
	ESPAÑA	499	1,9	31	1,3	13,7%
11	País Vasco	497	2,8	28	2,0	10,9%
12	Cataluña	497	4,0	31	3,1	13,5%
13	Andalucía	494	3,1	32	2,8	14,9%
14	Canarias	484	13,2	29	4,6	14,8%
15	C. Valenciana	480	6,5	30	3,7	11,3%
16	Extremadura	464	6,2	37	9,3	19,0%
17	Ceuta y Melilla	445	13,0	22	7,8	7,9%
18	Baleares	441	18,3	34	21,2	11,9%
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: B0 es el valor neto del rendimiento de los alumnos de cada CCAA en la escala de Ciencias. Es decir, es el resultado medio de los alumnos de cada Comunidad si todos tuvieran un ISEC igual a cero o, en otras palabras, commo si los condicionantes socioculturales y familiares fueran iguales en todas las CCAA. B1 es el aumento de puntuación asociada al aumento de una unidad (en este caso, de una desviación típica) en el ISEC. R2 es el porcentaje de la variación en los resultados de los alumnos explicable por el ISEC de cada alumno. ET es el error típico asociado a cada coeficiente.

Hasta aquí, las predicciones. El martes por la mañana, la hora de la verdad.