domingo, 5 de diciembre de 2010

Calentando PISA

Como ya sabréis –y si no, ya os lo digo yo– el día 7 de diciembre sale PISA 2009. PISA es una evaluación internacional pilotada por la OCDE que mide los conocimientos de los alumnos de 15 años en tres competencias: Lectura, Matemáticas y Ciencias. En esta edición la competencia estrella es la lectura, y participan más de 60 países donde se examina nada menos que a cerca de medio millón de alumnos.
¿Qué resultados va a obtener España en PISA 2009? Pues, básicamente, los mismos que en años anteriores. ¿Por qué? Porque apenas ha habido cambios en la educación española estos años, salvo en alguna administración más espabilada. Los cambios de la LOE (2006) sobre la Logse (1990) fueron mínimos, y sus efectos sobre el rendimiento también lo serán. Vamos a analizar las variaciones que podemos esperar encontrar en los resultados españoles en PISA 2009 con respecto a PISA 2006.

1. Una mejora técnica.
En PISA 2006 hubo un problema con los datos de Lectura españoles. En concreto, en las pruebas redactadas en castellano (por tanto, no afecta a Cataluña, que pasa la evaluación en catalán a todos los alumnos, y en menor medida a Galicia y País Vasco) hubo un problema por el que los resultados de la escala de lectura fueron alrededor de 20 puntos menos de lo correcto. Cuál es el problema, no lo sé con seguridad, pues he oído dos versiones: un problema con la dureza de los correctores y un problema con un ítem en una prueba piloto. El segundo me parece más plausible, pero como ambos tendrían consecuencias similares y yo aún no tengo conocimientos suficientes de medición para desentrañar el asunto (aunque ya me falta menos), si es que se puede, pues hasta aquí puedo leer.
Lo que sí sé es que es un problema técnico del que el Instituto de Evaluación (IE) es consciente desde hace al menos un par de años, y con esa base han trabajado todos. Espero que el IE no eche las campanas al vuelo por la supuesta mejora cuando es perfectamente consciente del problema técnico, y se ponga a decir lo buena que es la LOE. [Por ejemplo, en el Informe Español de PISA 2006 (126 págs.) no aparecía en ninguna tabla un solo dato de ediciones anteriores: veremos este].
Por tanto, una mejora en la escala de Lectura de, pongamos, 15 puntos, en PISA 2009 con respecto a PISA 2006, y que no se vea acompañada de mejoras en las escalas de Ciencia y Matemáticas es hablar de un efecto nulo de las medidas tomadas hasta ahora. Y una mejora menor un auténtico fracaso, ya que no se habrá quebrado la tendencia al empeoramiento en el área de lectura desde 2000. Entiendo que, siendo la Lectura la escala principal en 2009 e importándoles un bledo la realidad a nuestros políticos, el Ministerio no va a poder resistirse a intentar sacar partido de esto, pero, al menos, ustedes pueden comparar los resultados con los de PISA 2003 antes de tomarles en serio.

2. ¿Habremos reducido algo los niveles de rendimiento más bajos de PISA?
Prácticamente las únicas medidas introducidas por la LOE que pueden afectar al rendimiento de los alumnos de 15 años son la introducción de refuerzos educativos a gran escala y la pequeña diversificación que suponen los PCPI. Los PCPI (Programas de Cualificación Profesional Inicial) son una diversificación para alumnos de 15 o más años que ya han repetido y de los que se juzga que por el camino normal no obtendrán un título. Es una vía diseñada (muy mal, por cierto) para facilitar el acceso al título o, al menos, para otorgar a los alumnos una cualificación profesional mínima antes de que abandonen la escuela. Probablemente lo mejor que podemos esperar de esta medida es que los alumnos se reenganchen a la FPGM a través del examen de ingreso. Pero, desde luego, no podemos esperar que los PCPI aumenten las competencias de los alumnos en Lectura, Matemáticas o Ciencias, que es lo que mide PISA.
La segunda de las medidas, la extensión de los refuerzos a través del programa PROA, sí que puede tener un efecto en el rendimiento. Es un programa que se ha aplicado de forma desigual en cada una de las Comunidades Autónomas, y por tanto los efectos sobre el rendimiento serán desiguales. Además, algunas han utilizado el programa para regalar títulos, y otros para que los alumnos sepan más, y eso se va a ver muy claro en PISA 2009. Como recordaréis, los planes de refuerzo lograron una reducción del fracaso escolar en 2008, pero es más que dudoso que en todas las CCAA los refuerzos se utilizaran para aumentar los conocimientos de los alumnos –lo que les lleva a obtener el título–, sino para regalar el título de ESO, es decir, para maquillar las estadísticas.
Es decir, si los refuerzos han funcionado correctamente en PISA se notaría una ligera mejoría general, mejoría que se debería a que alumnos con un nivel de rendimiento bajo pasarían a tener un nivel de rendimiento mediocre. También tendría algún efecto en la desviación típica, lo que algunos llaman (mal) equidad. Es decir, de aquellas comunidades que redujeron el fracaso gracias a los refuerzos sabremos quiénes lo hicieron bien y quiénes intentaron engañarnos.

3. Los refuerzos de Lectura en Primaria
Algunas comunidades comenzaron hace años a darse cuenta de que muchos alumnos tenían problemas de lectura en Primaria, y tomaron medidas para corregirlo mediante refuerzos especiales. Y, dentro de ese grupo, algunos llevan más tiempo que otras. Que yo sepa, sólo en una, y a pequeña escala, se han llevado a cabo para que afecte a los alumnos que en 2009 tenían 15 años. Es decir, poco que hacer en esta edición por ese lado, pero en la siguiente a lo mejor vemos sus frutos.

4. Los otros problemas
España tiene otros problemas sobre los que nada se hace. Los principales son repetición y escasa presencia de alumnos en los niveles altos. No hay ningún plan nacional para atajar estos problemas y que se pueda ver en PISA 2009, por lo que los resultados serán exactamente iguales a los de otros años, salvo en aquellas comunidades donde hayan tenido planes específicos de mejora en estas cuestiones. Aunque algunos aún o se hayan enterado, sólo los tontos y los locos pueden esperar obtener un resultado distinto tras hacer exactamente lo mismo.

5. Del país de la equidad al país de "varias velocidades"
Aunque no son pocos los que celebran la equidad española, en realidad tenemos un país donde el hecho de nacer en una comunidad u otra tiene una influencia importante en el rendimiento de los alumnos. Si eso no se ha visto en PISA es porque las que no iban bien no se presentaban. En la Evaluación General de Diagnóstico de Primaria ya encontramos algún indicio de lo que estoy diciendo, pero lo de PISA 2009 será obvio. Incluso aunque haya tres comunidades –Castilla-La Mancha, C. Valenciana y Extremadura, todas ellas con un fracaso escolar elevado– que se hayan negado a presentarse en esta edición.
¿Qué indicios tenemos de ello? Pues viendo los resultados de las Comunidades Autónomas en PISA 2006. Tanto en 2006 como en 2003 era posible identificar los centros de cada CCAA y hacer una aproximación de los resultados. Naturalmente, la muestra es más pequeña y la selección de centros puede no ser representativa de la región, pero ya hubo una estabilidad notable entre 2003 (se presentaron cuatro comunidades) y 2006 (donde se presentaron diez), y por tanto espero que la haya en 2009. El martes lo comprobaremos pero, de momento, les ofrezco los resultados de todas las regiones españolas en 2006 y, además, la corrección del ISEC (a veces, la selección de los centros puede hacer que la muestra seleccionada tenga un nivel socioeconómico superior o inferior al de la población de la Comunidad, y esta corrección lo evita).
Vayamos primero con la tabla de los alumnos evaluados en cada CCAA (hay unos pocos centros no asignados, que son etiquetados como “Desconocido”):

Alumnos examinados en PISA 2006, por C. Autónomas
Muestra dePoblaciónErrorPeso deError
alumnosde alumnosTípicocada CCAAtípico
%%
Andalucía1.46381.4372.50621,30,58
Aragón1.5269.4673182,50,09
Asturias1.5797.5941972,00,06
Baleares1235.8688471,50,22
Canarias20615.8688994,20,24
Cataluña1.52756.9871.78714,90,46
Castilla-La Mancha22617.2969074,50,23
Cantabria1.4964.534981,20,03
Castilla y León1.51219.6974195,20,12
Ceuta y Melilla1081.441740,40,02
Extremadura1419.3436602,40,17
Galicia1.57322.5783655,90,12
Madrid52543.8471.01811,50,26
Murcia17411.8433683,10,11
Navarra1.5904.678671,20,02
Desconocido14712.9313.6133,40,92
País Vasco3.92914.7072033,90,08
La Rioja1.3332.494130,70,01
C. Valenciana42639.0771.13610,20,30
FUENTE: Elaboración propia sobre datos de PISA 2006.

La primera columna indica los alumnos que son evaluados realmente, la segunda señala la población a la que representan, y la cuarta el porcentaje de alumnos de cada Comunidad sobre el total de España. Los errores típicos son los que tienen todos los estadísticos de PISA, ya que estamos hablando de muestras.
Las siguientes tablas se muestran los resultados en cada una de las escalas de PISA 2006: Ciencias, Lectura y Matemáticas. Como es normal, los datos que provienen de muestras pequeñas tienen un error típico más alto.

Resultados en la escala de Ciencias en PISA 2006, por CCAA
ValidosMediaET
1Castilla y León1.5125203,9
2La Rioja1.3335202,5
3Aragón1.5265133,9
4Navarra1.5905112,9
5Cantabria1.4965093,6
6Asturias1.5795084,9
7Madrid52550611,7
8Galicia1.5735053,4
Desconocido14750023,0
9Murcia1745006,3
10País Vasco3.9294953,5
11Cataluña1.5274915,1
12Castilla-La Mancha22648911,9
ESPAÑA19.6044882,6
13Andalucía1.4634744,0
14Canarias20647219,2
15C. Valenciana4264686,4
16Extremadura1414524,5
17Ceuta y Melilla10843711,8
18Baleares12343320,7
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio de los alumnos de cada Comunidad en la escala de Ciencias. ET es el error típico asociado a esa media.


Resultados en la escala de Lectura en PISA 2006, por CCAA
ValidosMediaET
1La Rioja1.3334922,6
2País Vasco3.9294874,2
3Aragón1.5264835,2
4Navarra1.5904812,7
5Galicia1.5734793,4
6Castilla y León1.5124783,4
Desconocido14747820,9
7Asturias1.5794774,7
8Cataluña1.5274775,1
9Cantabria1.4964754,0
10Madrid5254738,9
11Castilla-La Mancha22646315,3
ESPAÑA19.6044612,2
12Murcia1744588,0
13Andalucía1.4634454,1
14Canarias20644311,9
15Ceuta y Melilla1084349,3
16C. Valenciana4264345,4
17Extremadura1414197,1
18Baleares12341313,9
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio de los alumnos de cada Comunidad en la escala de Lectura. ET es el error típico asociado a esa media.


Resultados en la escala de Matemáticas en PISA 2006, por CCAA
ValidosMediaET
1La Rioja1.3335262,2
2Castilla y León1.5125153,3
3Navarra1.5905153,5
4Aragón1.5265134,5
5Cantabria1.4965022,6
6País Vasco3.9295013,4
7Asturias1.5794974,9
8Madrid52549610,5
9Galicia1.5734944,1
Desconocido14749317,9
10Cataluña1.5274885,2
11Castilla-La Mancha2264828,4
ESPAÑA19.6044802,3
12Murcia1744756,6
13Andalucía1.4634634,2
14C. Valenciana4264564,9
15Baleares12344910,8
16Extremadura1414488,6
17Canarias20644611,0
18Ceuta y Melilla1084428,9
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio de los alumnos de cada Comunidad en la escala de Matemáticas. ET es el error típico asociado a esa media.

Estas tablas muestran los resultados directos, pero, como hemos dicho, en las comunidades sin muestra ampliada corremos el riesgo de que la selección no represente a la población. No tenemos mucho con lo que comparar, pero parece claro que el nivel socioeconómico y cultural extremeño no está por encima de la media española. Por tanto, podemos afirmar que los alumnos extremeños seleccionados en la muestra tienen un nivel superior al de la población extremeña real, y por tanto concluir que los resultados de las tablas anteriores están sobreestimados. El ISEC medio de cada una de las Comunidades (es un índice con media cero y desviación típica uno para todos los alumnos de la OCDE) es el siguiente:

ISEC medio por CCAA en PISA 2006
ValidosMediaET
Desconocido1470,0240,228
1País Vasco3.892-0,0390,039
2Madrid524-0,0940,158
3Baleares121-0,1160,281
4La Rioja1.331-0,1240,026
5Aragón1.520-0,1360,052
6Navarra1.586-0,1410,035
7Cataluña1.514-0,1460,080
8Asturias1.573-0,1500,068
9Cantabria1.483-0,1620,047
10Castilla y León1.508-0,2120,046
11Extremadura140-0,2440,135
ESPAÑA19.499-0,3110,031
12C. Valenciana423-0,3200,087
13Galicia1.566-0,3410,066
14Ceuta y Melilla105-0,3440,120
15Canarias205-0,3810,275
16Murcia174-0,5420,216
17Castilla-La Mancha226-0,5620,111
18Andalucía1.461-0,6350,056
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio del Índice Socioeconómico y Cultural (ISEC) de los alumnos de cada Comunidad. ET es el error típico asociado a esa media.

Pero eso no nos sirve de mucho. Para saber cuales son las puntuaciones netas de cada comunidad, es decir, la puntuación que tendrían si los alumnos tuvieran un ISEC medio igual a la media de la OCDE, está la tabla siguiente. Los datos son los coeficientes de una regresión lineal, y su significado está en las notas a la tabla. Como no es algo que tenga que entender un lector medio, lo más básico es lo siguiente: la primera columna (B0) es la puntuación neta, cuya media debería ser 500; y la última (R2) es el porcentaje de variación de los resultados de los alumnos que el ISEC es capaz de explicar. En fin, esta es la tabla:

Resultado neto en la escala de Ciencias de PISA 2006, por CCAA
B0ETB1ETR2
1Castilla y León5253,6233,08,4%
2La Rioja5232,4252,88,4%
3Aragón5193,3322,314,4%
4Navarra5163,0302,212,0%
5Cantabria5163,0322,213,2%
6Asturias5143,5322,515,5%
7Galicia5143,0252,78,9%
8Murcia5125,8213,910,8%
9Madrid5107,0365,716,3%
10Castilla-La Mancha5059,5267,88,3%
Desconocido50117,3409,221,4%
ESPAÑA4991,9311,313,7%
11País Vasco4972,8282,010,9%
12Cataluña4974,0313,113,5%
13Andalucía4943,1322,814,9%
14Canarias48413,2294,614,8%
15C. Valenciana4806,5303,711,3%
16Extremadura4646,2379,319,0%
17Ceuta y Melilla44513,0227,87,9%
18Baleares44118,33421,211,9%
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: B0 es el valor neto del rendimiento de los alumnos de cada CCAA en la escala de Ciencias. Es decir, es el resultado medio de los alumnos de cada Comunidad si todos tuvieran un ISEC igual a cero o, en otras palabras, commo si los condicionantes socioculturales y familiares fueran iguales en todas las CCAA. B1 es el aumento de puntuación asociada al aumento de una unidad (en este caso, de una desviación típica) en el ISEC. R2 es el porcentaje de la variación en los resultados de los alumnos explicable por el ISEC de cada alumno. ET es el error típico asociado a cada coeficiente.

Hasta aquí, las predicciones. El martes por la mañana, la hora de la verdad.

No hay comentarios:

Publicar un comentario