Inequidades varias

Tras leer la vergonzosa nota de prensa del Ministerio y escuchar la sarta de tonterías que le han hecho decir al pobre Bedera en la rueda de prensa sobre PISA –¿dónde estaba el ministro, por cierto?– me he decidido a escribir algo sobre ello. Ya estoy acostumbrado a que el Ministerio no afronte los datos, que mienta descaradamente cuando le conviene, que manipule la interpretación de los datos para que justifiquen su política, etc. No sería nada del otro mundo si no fuera porque el extremos conservadurismo del PSOE en materia de educación desde 1990 está perjudicando a nuestro país de forma extremadamente grave.

Por ejemplo, Bedera, diciendo en la rueda de prensa que la mejor vacuna contra el fracaso escolar es la escolarización temprana, y que poco menos que no pararán hasta escolarizar a todos los niños de menores de tres años. PISA no dice nada de eso (aunque los que más escolarización temprana tienen no salen precisamente bien parados), mientras que un informe de la OCDE sobre la educación española sí que dice que desaprovechamos claramente la etapa de Infantil. Pero, como el Pisuerga pasa por Valladolid, pues suelto una referencia al único indicador con evolución positiva del que dispongo, y así soy feliz. Una política pública más basada en una creencia en vez de en un dato.

Pero no es de esto de lo que quería hablar –al fin y al cabo, sólo es dinero tirado– sino del concepto de equidad que el Ministerio maneja en la nota de prensa, un concepto ideológico que le sirve para no ver la realidad y para seguir con la inacción que le caracteriza.

Como ya he explicado alguna vez, el Ministerio maneja un concepto de equidad basado en que haya escasas diferencias estadísticas entre los alumnos, lo que técnicamente corresponde a la varianza o la desviación típica. Es una traslación de un concepto económico –un bien económico es, por definción, un bien escaso– a uno no económico, como el nivel educativo: el que uno tenga más conocimientos es independiente de que otro los tenga, puesto que el conocimiento no se agota.

Por ejemplo, nuestro sistema educativo prácticamente proscribe la excelencia: a partir del percentil 75 (es decir, si comparamos los resultados del 25% de los mejores alumnos de cada país) ya somos el último país de Europa, mientras que nuestro percentil 95 roza el ridículo. Si subimos –es una simulación sencilla– un 2% los resultados de lectura de los alumnos entre el percentil 75 y 80, un 4% los alumnos entre el 80 y el 85, y así hasta el 10% a los del percentil 95, la media de España subiría ocho puntos, pero la desviación típica sería 100, es decir, la misma que la media de la OCDE. Es decir, si subimos un poco los resultados de los mejores alumnos –algo que el sistema educativo de prácticamente cualquier europeo parece capaz de lograr– la mejora es pequeña, pero la equidad se va al garete. Y eso sin modificar ningún valor del 75% de los alumnos restante. ¿Por qué? Porque nuestra famosa equidad estadística es sólo efecto de que nuestro sistema es incapaz de formar alumnos brillantes.

Como he dicho en algún momento del día de ayer, ya no sé dónde ni a quién, si de verdad nos creemos que estamos en al sociedad del conocimiento, y que los alumnos brillantes serán los mayores productores de riqueza del mañana, nuestra falta de alumnos excelentes hoy es sólo un número. Pero dentro de veinte años lo llamaremos crisis.

En realidad, en el tema de la equidad España no es ningún ejemplo, por mucho que lo diga el Ministerio. La equidad educativa consta de tres elementos: primero que ningún alumno quede por debajo de un mínimo; segundo que las circunstancias de los alumnos (especialmente las que no se pueden cambiar: sexo, raza, lugar de nacimiento, lengua materna…) no influyan gravemente en sus resultados educativos; y tercero que un alumno con capacidad e interés pueda llegar hasta donde él quiera. En el primer caso lo hacemos regular, en el tercero muy mal, como hemos visto. Nos queda por examinar un aspecto del segundo. Como dice el Ministerio en la nota de prensa:

“En cuanto a las Comunidades Autónomas, PISA refleja que los resultados entre unas y otras es mínimo, sólo de un 4%, es decir, que se constata que el sistema educativo español se caracteriza por una gran equidad.”

Confieso que me ha costado entender lo del 4%, y a algunos amigos que saben de esto también. En un principio pensé que se referían al tamaño del efecto, pero mal calculado. Luego me ha parecido entender que se refieren al porcentaje de varianza explicada por el hecho de que un alumno viva en una región u otra. Lo cual me parece muy bien, pero es un dato que poco tiene que ver con la equidad.

Voy a empezar la argumentación al estilo del gato de Chesire: para empezar, nadie en su sano juicio diría que los resultados de Finlandia y España son “equitativos”: Finlandia está en los 536 puntos y España en los 481, Finlandia un 8% de los alumnos por debajo del nivel 2 y España un 19%, etc. ¿Cómo lo sabemos? Primero, porque las diferencias entre ambos países son significativas (es decir, existen, no son debidas al azar). Pero, con unas muestras tan grandes como maneja PISA, es fácil que una diferencia sea significativa. Por ello PISA ha comenzado a medir lo que se denomina tamaño del efecto (http://en.wikipedia.org/wiki/Effect_size), es decir, no si la diferencia es significativa, sino si es sustantiva. Y, en el caso de que lo sea, de la magnitud de esa sustantividad.

El propio Informe PISA (tomo II, pág. 148) nos explica cómo calcular el tamaño del efecto (mediante la delta de Cohen) y la interpretación de los valores: no sustantiva para valores por debajo de 0,20, poco importante entre 0,20 y 0,50, un efecto medio entre 0,50 y 0,80, y muy importante por encima de 0,80. Pues bien, el tamaño del efecto entre los resultados de Finlandia y España en la escala de Lectura es de 0,63.

Vamos a las regiones españolas. En la tabla he puesto el tamaño del efecto de las diferencias entre las Comunidades Autónomas españolas. En gris están las no sustantivas, en azul más pálido los efectos pequeños, en azul brillante los efectos medios y en rojo los efectos grandes.

Tamaño del efecto en la escala de Lectura. PISA 2008
ARA	-0,391
AST	-0,317	0,056
BAL	0,044	0,429	0,355
PVA	-0,381	0,012	-0,045	-0,420
CAN	0,144	0,531	0,452	0,098	0,522
CNT	-0,305	0,081	0,022	-0,344	0,070	-0,444
CyL	-0,483	-0,094	-0,145	-0,519	-0,107	-0,621	-0,173
CAT	-0,432	-0,036	-0,091	-0,470	-0,048	-0,574	-0,118	0,060
CyM	0,506	0,874	0,787	0,458	0,867	0,367	0,789	0,958	0,918
GAL	-0,284	0,105	0,044	-0,324	0,094	-0,424	0,023	0,198	0,142	-0,772
RIO	-0,411	-0,034	-0,086	-0,448	-0,046	-0,546	-0,112	0,057	0,000	-0,880	-0,135
MAD	-0,483	-0,094	-0,145	-0,519	-0,107	-0,621	-0,173	0,000	-0,060	-0,958	-0,198	-0,057
MUR	-0,225	0,182	0,115	-0,267	0,171	-0,371	0,095	0,279	0,222	-0,733	0,072	0,210	0,279
NAV	-0,416	-0,024	-0,079	-0,454	-0,036	-0,556	-0,105	0,071	0,012	-0,899	-0,129	0,011	0,071	-0,207
	AND	ARA	AST	BAL	PVA	CAN	CNT	CyL	CAT	CyM	GAL	RIO	MAD	MUR
Fuente: Elaboración propia sobre datos de PISA 2009.

Vamos a prescindir de Ceuta y Melilla (CyM), con unas distancias abismales (el Ministerio debería responder por estos datos, ya que son territorios bajo su gestión directa, pero ha preferido irse por equidades). Pues bien, las diferencias entre Castilla y León o Madrid con Canarias (CAN, Cantabria es CNT) tienen un tamaño de 0,62. Vaya, una centésima menos que las diferencias entre Finlandia y España. Es más, si no consideramos Finlandia, las diferencias entre los países europeos pertenecientes a la OCDE son similares, si atendemos al tamaño del efecto (y a las diferencias puras y duras) a los que existen entre las regiones españolas.

Es decir, en un país como España, con un mismo sistema educativo, mismos profesores, misma dotación a los centros, y con una homogeneidad cultural, idiomática, socioeconómica, etc. mucho mayor que en Europa, resulta que tenemos unas diferencias entre regiones similares a las que existen entre los países europeos, las mismas entre Holanda y Austria o la República Checa que entre Castilla y León (o Madrid) y Canarias.

Ya sabíamos que el hecho de nacer en un país u otro podía marcar el rumbo educativo de un alumno. Parece bastante claro que también nacer en una región española u otra. Esto es lo que el Ministerio considera diferencias mínimas.

AÑADIDO:

En un comentario pedían esta tabla:

Idioma del test para España, por Comunidades
	ESP	CAT	GAL	VAS	VAL	MISS	Total
AND	1.411	0	0	0	0	5	1.416
ARA	1.506	0	0	0	0	8	1.514
AST	1.535	0	0	0	0	1	1.536
BAL	259	1.201	0	0	0	3	1.463
CAN	1.446	0	0	0	0	2	1.448
CAT	3	1.369	0	0	0	9	1.381
CLM	239	0	0	0	0	0	239
CNT	1.516	0	0	0	0	0	1.516
CYL	1.510	0	0	0	0	5	1.515
CYM	1.363	0	0	0	0	7	1.370
EXT	134	0	0	0	0	0	134
GAL	45	0	1.540	0	0	0	1.585
MAD	1.449	0	0	0	0	4	1.453
MUR	1.320	0	0	0	0	1	1.321
NAV	1.079	0	0	425	0	0	1.504
PVA	4.022	0	0	743	0	3	4.768
RIO	1.284	0	0	0	0	4	1.288
VAL	280	0	0	0	156	0	436
Total	20.401	2.570	1.540	1.168	156	52	25.887
FUENTE: Elaboración propia sobre datos de PISA 2009.

No entraba como comentario y he optado por meterla aquí. Las cifras corresponden al número de alumnos evaluados en cada idioma.

Calentando PISA

Como ya sabréis –y si no, ya os lo digo yo– el día 7 de diciembre sale PISA 2009. PISA es una evaluación internacional pilotada por la OCDE que mide los conocimientos de los alumnos de 15 años en tres competencias: Lectura, Matemáticas y Ciencias. En esta edición la competencia estrella es la lectura, y participan más de 60 países donde se examina nada menos que a cerca de medio millón de alumnos.

¿Qué resultados va a obtener España en PISA 2009? Pues, básicamente, los mismos que en años anteriores. ¿Por qué? Porque apenas ha habido cambios en la educación española estos años, salvo en alguna administración más espabilada. Los cambios de la LOE (2006) sobre la Logse (1990) fueron mínimos, y sus efectos sobre el rendimiento también lo serán. Vamos a analizar las variaciones que podemos esperar encontrar en los resultados españoles en PISA 2009 con respecto a PISA 2006.

1. Una mejora técnica.

En PISA 2006 hubo un problema con los datos de Lectura españoles. En concreto, en las pruebas redactadas en castellano (por tanto, no afecta a Cataluña, que pasa la evaluación en catalán a todos los alumnos, y en menor medida a Galicia y País Vasco) hubo un problema por el que los resultados de la escala de lectura fueron alrededor de 20 puntos menos de lo correcto. Cuál es el problema, no lo sé con seguridad, pues he oído dos versiones: un problema con la dureza de los correctores y un problema con un ítem en una prueba piloto. El segundo me parece más plausible, pero como ambos tendrían consecuencias similares y yo aún no tengo conocimientos suficientes de medición para desentrañar el asunto (aunque ya me falta menos), si es que se puede, pues hasta aquí puedo leer.

Lo que sí sé es que es un problema técnico del que el Instituto de Evaluación (IE) es consciente desde hace al menos un par de años, y con esa base han trabajado todos. Espero que el IE no eche las campanas al vuelo por la supuesta mejora cuando es perfectamente consciente del problema técnico, y se ponga a decir lo buena que es la LOE. [Por ejemplo, en el Informe Español de PISA 2006 (126 págs.) no aparecía en ninguna tabla un solo dato de ediciones anteriores: veremos este].

Por tanto, una mejora en la escala de Lectura de, pongamos, 15 puntos, en PISA 2009 con respecto a PISA 2006, y que no se vea acompañada de mejoras en las escalas de Ciencia y Matemáticas es hablar de un efecto nulo de las medidas tomadas hasta ahora. Y una mejora menor un auténtico fracaso, ya que no se habrá quebrado la tendencia al empeoramiento en el área de lectura desde 2000. Entiendo que, siendo la Lectura la escala principal en 2009 e importándoles un bledo la realidad a nuestros políticos, el Ministerio no va a poder resistirse a intentar sacar partido de esto, pero, al menos, ustedes pueden comparar los resultados con los de PISA 2003 antes de tomarles en serio.

2. ¿Habremos reducido algo los niveles de rendimiento más bajos de PISA?

Prácticamente las únicas medidas introducidas por la LOE que pueden afectar al rendimiento de los alumnos de 15 años son la introducción de refuerzos educativos a gran escala y la pequeña diversificación que suponen los PCPI. Los PCPI (Programas de Cualificación Profesional Inicial) son una diversificación para alumnos de 15 o más años que ya han repetido y de los que se juzga que por el camino normal no obtendrán un título. Es una vía diseñada (muy mal, por cierto) para facilitar el acceso al título o, al menos, para otorgar a los alumnos una cualificación profesional mínima antes de que abandonen la escuela. Probablemente lo mejor que podemos esperar de esta medida es que los alumnos se reenganchen a la FPGM a través del examen de ingreso. Pero, desde luego, no podemos esperar que los PCPI aumenten las competencias de los alumnos en Lectura, Matemáticas o Ciencias, que es lo que mide PISA.

La segunda de las medidas, la extensión de los refuerzos a través del programa PROA, sí que puede tener un efecto en el rendimiento. Es un programa que se ha aplicado de forma desigual en cada una de las Comunidades Autónomas, y por tanto los efectos sobre el rendimiento serán desiguales. Además, algunas han utilizado el programa para regalar títulos, y otros para que los alumnos sepan más, y eso se va a ver muy claro en PISA 2009. Como recordaréis, los planes de refuerzo lograron una reducción del fracaso escolar en 2008, pero es más que dudoso que en todas las CCAA los refuerzos se utilizaran para aumentar los conocimientos de los alumnos –lo que les lleva a obtener el título–, sino para regalar el título de ESO, es decir, para maquillar las estadísticas.

Es decir, si los refuerzos han funcionado correctamente en PISA se notaría una ligera mejoría general, mejoría que se debería a que alumnos con un nivel de rendimiento bajo pasarían a tener un nivel de rendimiento mediocre. También tendría algún efecto en la desviación típica, lo que algunos llaman (mal) equidad. Es decir, de aquellas comunidades que redujeron el fracaso gracias a los refuerzos sabremos quiénes lo hicieron bien y quiénes intentaron engañarnos.

3. Los refuerzos de Lectura en Primaria

Algunas comunidades comenzaron hace años a darse cuenta de que muchos alumnos tenían problemas de lectura en Primaria, y tomaron medidas para corregirlo mediante refuerzos especiales. Y, dentro de ese grupo, algunos llevan más tiempo que otras. Que yo sepa, sólo en una, y a pequeña escala, se han llevado a cabo para que afecte a los alumnos que en 2009 tenían 15 años. Es decir, poco que hacer en esta edición por ese lado, pero en la siguiente a lo mejor vemos sus frutos.

4. Los otros problemas

España tiene otros problemas sobre los que nada se hace. Los principales son repetición y escasa presencia de alumnos en los niveles altos. No hay ningún plan nacional para atajar estos problemas y que se pueda ver en PISA 2009, por lo que los resultados serán exactamente iguales a los de otros años, salvo en aquellas comunidades donde hayan tenido planes específicos de mejora en estas cuestiones. Aunque algunos aún o se hayan enterado, sólo los tontos y los locos pueden esperar obtener un resultado distinto tras hacer exactamente lo mismo.

5. Del país de la equidad al país de "varias velocidades"

Aunque no son pocos los que celebran la equidad española, en realidad tenemos un país donde el hecho de nacer en una comunidad u otra tiene una influencia importante en el rendimiento de los alumnos. Si eso no se ha visto en PISA es porque las que no iban bien no se presentaban. En la Evaluación General de Diagnóstico de Primaria ya encontramos algún indicio de lo que estoy diciendo, pero lo de PISA 2009 será obvio. Incluso aunque haya tres comunidades –Castilla-La Mancha, C. Valenciana y Extremadura, todas ellas con un fracaso escolar elevado– que se hayan negado a presentarse en esta edición.

¿Qué indicios tenemos de ello? Pues viendo los resultados de las Comunidades Autónomas en PISA 2006. Tanto en 2006 como en 2003 era posible identificar los centros de cada CCAA y hacer una aproximación de los resultados. Naturalmente, la muestra es más pequeña y la selección de centros puede no ser representativa de la región, pero ya hubo una estabilidad notable entre 2003 (se presentaron cuatro comunidades) y 2006 (donde se presentaron diez), y por tanto espero que la haya en 2009. El martes lo comprobaremos pero, de momento, les ofrezco los resultados de todas las regiones españolas en 2006 y, además, la corrección del ISEC (a veces, la selección de los centros puede hacer que la muestra seleccionada tenga un nivel socioeconómico superior o inferior al de la población de la Comunidad, y esta corrección lo evita).

Vayamos primero con la tabla de los alumnos evaluados en cada CCAA (hay unos pocos centros no asignados, que son etiquetados como “Desconocido”):

Alumnos examinados en PISA 2006, por C. Autónomas
	Muestra de	Población	Error	Peso de	Error
	alumnos	de alumnos	Típico	cada CCAA	típico
	nº	nº	nº	%	%
Andalucía	1.463	81.437	2.506	21,3	0,58
Aragón	1.526	9.467	318	2,5	0,09
Asturias	1.579	7.594	197	2,0	0,06
Baleares	123	5.868	847	1,5	0,22
Canarias	206	15.868	899	4,2	0,24
Cataluña	1.527	56.987	1.787	14,9	0,46
Castilla-La Mancha	226	17.296	907	4,5	0,23
Cantabria	1.496	4.534	98	1,2	0,03
Castilla y León	1.512	19.697	419	5,2	0,12
Ceuta y Melilla	108	1.441	74	0,4	0,02
Extremadura	141	9.343	660	2,4	0,17
Galicia	1.573	22.578	365	5,9	0,12
Madrid	525	43.847	1.018	11,5	0,26
Murcia	174	11.843	368	3,1	0,11
Navarra	1.590	4.678	67	1,2	0,02
Desconocido	147	12.931	3.613	3,4	0,92
País Vasco	3.929	14.707	203	3,9	0,08
La Rioja	1.333	2.494	13	0,7	0,01
C. Valenciana	426	39.077	1.136	10,2	0,30
FUENTE: Elaboración propia sobre datos de PISA 2006.

La primera columna indica los alumnos que son evaluados realmente, la segunda señala la población a la que representan, y la cuarta el porcentaje de alumnos de cada Comunidad sobre el total de España. Los errores típicos son los que tienen todos los estadísticos de PISA, ya que estamos hablando de muestras.

Las siguientes tablas se muestran los resultados en cada una de las escalas de PISA 2006: Ciencias, Lectura y Matemáticas. Como es normal, los datos que provienen de muestras pequeñas tienen un error típico más alto.

Resultados en la escala de Ciencias en PISA 2006, por CCAA
		Validos	Media	ET
1	Castilla y León	1.512	520	3,9
2	La Rioja	1.333	520	2,5
3	Aragón	1.526	513	3,9
4	Navarra	1.590	511	2,9
5	Cantabria	1.496	509	3,6
6	Asturias	1.579	508	4,9
7	Madrid	525	506	11,7
8	Galicia	1.573	505	3,4
	Desconocido	147	500	23,0
9	Murcia	174	500	6,3
10	País Vasco	3.929	495	3,5
11	Cataluña	1.527	491	5,1
12	Castilla-La Mancha	226	489	11,9
	ESPAÑA	19.604	488	2,6
13	Andalucía	1.463	474	4,0
14	Canarias	206	472	19,2
15	C. Valenciana	426	468	6,4
16	Extremadura	141	452	4,5
17	Ceuta y Melilla	108	437	11,8
18	Baleares	123	433	20,7
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio de los alumnos de cada Comunidad en la escala de Ciencias. ET es el error típico asociado a esa media.

Resultados en la escala de Lectura en PISA 2006, por CCAA
		Validos	Media	ET
1	La Rioja	1.333	492	2,6
2	País Vasco	3.929	487	4,2
3	Aragón	1.526	483	5,2
4	Navarra	1.590	481	2,7
5	Galicia	1.573	479	3,4
6	Castilla y León	1.512	478	3,4
	Desconocido	147	478	20,9
7	Asturias	1.579	477	4,7
8	Cataluña	1.527	477	5,1
9	Cantabria	1.496	475	4,0
10	Madrid	525	473	8,9
11	Castilla-La Mancha	226	463	15,3
	ESPAÑA	19.604	461	2,2
12	Murcia	174	458	8,0
13	Andalucía	1.463	445	4,1
14	Canarias	206	443	11,9
15	Ceuta y Melilla	108	434	9,3
16	C. Valenciana	426	434	5,4
17	Extremadura	141	419	7,1
18	Baleares	123	413	13,9
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio de los alumnos de cada Comunidad en la escala de Lectura. ET es el error típico asociado a esa media.

Resultados en la escala de Matemáticas en PISA 2006, por CCAA
		Validos	Media	ET
1	La Rioja	1.333	526	2,2
2	Castilla y León	1.512	515	3,3
3	Navarra	1.590	515	3,5
4	Aragón	1.526	513	4,5
5	Cantabria	1.496	502	2,6
6	País Vasco	3.929	501	3,4
7	Asturias	1.579	497	4,9
8	Madrid	525	496	10,5
9	Galicia	1.573	494	4,1
	Desconocido	147	493	17,9
10	Cataluña	1.527	488	5,2
11	Castilla-La Mancha	226	482	8,4
	ESPAÑA	19.604	480	2,3
12	Murcia	174	475	6,6
13	Andalucía	1.463	463	4,2
14	C. Valenciana	426	456	4,9
15	Baleares	123	449	10,8
16	Extremadura	141	448	8,6
17	Canarias	206	446	11,0
18	Ceuta y Melilla	108	442	8,9
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio de los alumnos de cada Comunidad en la escala de Matemáticas. ET es el error típico asociado a esa media.

Estas tablas muestran los resultados directos, pero, como hemos dicho, en las comunidades sin muestra ampliada corremos el riesgo de que la selección no represente a la población. No tenemos mucho con lo que comparar, pero parece claro que el nivel socioeconómico y cultural extremeño no está por encima de la media española. Por tanto, podemos afirmar que los alumnos extremeños seleccionados en la muestra tienen un nivel superior al de la población extremeña real, y por tanto concluir que los resultados de las tablas anteriores están sobreestimados. El ISEC medio de cada una de las Comunidades (es un índice con media cero y desviación típica uno para todos los alumnos de la OCDE) es el siguiente:

ISEC medio por CCAA en PISA 2006
		Validos	Media	ET
	Desconocido	147	0,024	0,228
1	País Vasco	3.892	-0,039	0,039
2	Madrid	524	-0,094	0,158
3	Baleares	121	-0,116	0,281
4	La Rioja	1.331	-0,124	0,026
5	Aragón	1.520	-0,136	0,052
6	Navarra	1.586	-0,141	0,035
7	Cataluña	1.514	-0,146	0,080
8	Asturias	1.573	-0,150	0,068
9	Cantabria	1.483	-0,162	0,047
10	Castilla y León	1.508	-0,212	0,046
11	Extremadura	140	-0,244	0,135
	ESPAÑA	19.499	-0,311	0,031
12	C. Valenciana	423	-0,320	0,087
13	Galicia	1.566	-0,341	0,066
14	Ceuta y Melilla	105	-0,344	0,120
15	Canarias	205	-0,381	0,275
16	Murcia	174	-0,542	0,216
17	Castilla-La Mancha	226	-0,562	0,111
18	Andalucía	1.461	-0,635	0,056
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: Válidos es el número de alumnos evaluados con valores válidos para esta variable. Media es el resultado medio del Índice Socioeconómico y Cultural (ISEC) de los alumnos de cada Comunidad. ET es el error típico asociado a esa media.

Pero eso no nos sirve de mucho. Para saber cuales son las puntuaciones netas de cada comunidad, es decir, la puntuación que tendrían si los alumnos tuvieran un ISEC medio igual a la media de la OCDE, está la tabla siguiente. Los datos son los coeficientes de una regresión lineal, y su significado está en las notas a la tabla. Como no es algo que tenga que entender un lector medio, lo más básico es lo siguiente: la primera columna (B0) es la puntuación neta, cuya media debería ser 500; y la última (R2) es el porcentaje de variación de los resultados de los alumnos que el ISEC es capaz de explicar. En fin, esta es la tabla:

Resultado neto en la escala de Ciencias de PISA 2006, por CCAA
		B0	ET	B1	ET	R2
1	Castilla y León	525	3,6	23	3,0	8,4%
2	La Rioja	523	2,4	25	2,8	8,4%
3	Aragón	519	3,3	32	2,3	14,4%
4	Navarra	516	3,0	30	2,2	12,0%
5	Cantabria	516	3,0	32	2,2	13,2%
6	Asturias	514	3,5	32	2,5	15,5%
7	Galicia	514	3,0	25	2,7	8,9%
8	Murcia	512	5,8	21	3,9	10,8%
9	Madrid	510	7,0	36	5,7	16,3%
10	Castilla-La Mancha	505	9,5	26	7,8	8,3%
	Desconocido	501	17,3	40	9,2	21,4%
	ESPAÑA	499	1,9	31	1,3	13,7%
11	País Vasco	497	2,8	28	2,0	10,9%
12	Cataluña	497	4,0	31	3,1	13,5%
13	Andalucía	494	3,1	32	2,8	14,9%
14	Canarias	484	13,2	29	4,6	14,8%
15	C. Valenciana	480	6,5	30	3,7	11,3%
16	Extremadura	464	6,2	37	9,3	19,0%
17	Ceuta y Melilla	445	13,0	22	7,8	7,9%
18	Baleares	441	18,3	34	21,2	11,9%
Fuente: Elaboración propia sobre datos de PISA 2006.
Notas: B0 es el valor neto del rendimiento de los alumnos de cada CCAA en la escala de Ciencias. Es decir, es el resultado medio de los alumnos de cada Comunidad si todos tuvieran un ISEC igual a cero o, en otras palabras, commo si los condicionantes socioculturales y familiares fueran iguales en todas las CCAA. B1 es el aumento de puntuación asociada al aumento de una unidad (en este caso, de una desviación típica) en el ISEC. R2 es el porcentaje de la variación en los resultados de los alumnos explicable por el ISEC de cada alumno. ET es el error típico asociado a cada coeficiente.

Hasta aquí, las predicciones. El martes por la mañana, la hora de la verdad.

Demasiado para nuestros castos oídos

Hace unos meses, el Instituto de Evaluación publicó la Evaluación general de diagnóstico 2009. Educación Primaria. Cuarto curso (ojo, 14 Mb), último paso de un largo proceso en el que se pretendía evaluar las competencias en Lengua, Matemáticas, Mundo Físico y una cuarta, denominada competencia Social y Ciudadana. Es una evaluación con una muestra considerable, ya que se pretende obtener resultados significativos para todas las Comunidades Autónomas. En total, se evaluó a 28.708 alumnos de 887 centros, y se pasaron cuestionarios a 1.341 profesores, 25.741 familias y a 874 directores.

En definitiva, un estudio que necesitó un trabajo de planificación y organización importante, una solvencia técnica avalada por un consejo científico de prestigio, etc. Desgraciadamente, el informe final no está a la altura de la empresa: es un informe técnicamente muy malo, en el que se desaprovechan los datos de manera evidente, se extraen conclusiones más que dudosas y se dejan en el aire muchas preguntas no sólo pertinentes, sino que se corresponden con acuciantes problemas de nuestro sistema de enseñanza. No soy el único que lo dice, pero sigo pensando que somos demasiado pocos los que lo decimos y que deberíamos ser más. Todo esto se agrava porque hasta ahora (en este punto hay novedades, ya les contaré) las bases de datos no se hacían públicas por simple secuestro político.

Uno de los puntos raros del informe era el que trataba sobre la relación entre el uso del ordenador en el centro y los resultados educativos. Es un tema de interés porque el Ministerio, en colaboración con las CCAA (todas salvo la madrileña y la valenciana) está implantando en este curso un carísimo programa Escuela 2.0 en el que, por razones políticas, se está dotando a los centros de infraestructura para comunicaciones y de ordenadores, y se está dando un "ultraportátil" a miles de alumnos. Sin una sola razón técnica o pedagógica que lo avale, sin un solo estudio previo, sin consultar otros estudios referidos a países donde se han implantado medidas similares, y sin aprender de los errores que ya han cometido algunas comunidades autónomas. Vamos, evidencia cero. Pero como en este país parece que la labor de un político en gastar, pero no se piden justificaciones a priori ni cuentas a posteriori, pues así nos va. Uno esperaría encontrar alguna evidencia en el informe de evaluación, pero nos encontramos con este texto (pág. 158):

Resultados en función del uso del ordenador en el colegio y del uso de Internet
El ordenador y el acceso a Internet con múltiples fines se han convertido en un elemento de ocio ya no sólo entre adolescentes, sino también en edades más tempranas. Como otros muchos aspectos del ocio infantil y juvenil, éste puede tener efectos negativos y positivos, según el uso que se haga del mismo. También los centros educativos han incorporado la utilización del ordenador en el colegio y el uso de Internet como instrumentos de aprendizaje. Por ello, interesa indagar en qué medida estos medios facilitan la adquisición de competencias básicas en el alumnado.
En la Evaluación general de diagnóstico 2009 se incluían varias preguntas en el cuestionario de contexto destinado al alumnado sobre el uso de las tecnologías de la información y la comunicación. A partir de las respuestas de los alumnos, se ha estudiado la relación entre la frecuencia en el uso y la familiaridad del alumnado con las tecnologías de la información y la comunicación y los resultados en las cuatro competencias evaluadas.
De las respuestas de los alumnos se deduce que solo el 4% del alumnado dice utilizar el ordenador en el colegio todos los días; este alumnado tiene un promedio ISEC muy bajo (-0,34), una edad promedio mayor que la de la muestra, unas expectativas de estudio inferiores a la media y un comienzo más tardío en su primera escolarización.
Los resultados del resto de los alumnos no difieren significativamente, tanto si se trata de alumnos que usan con una frecuencia moderada las tecnologías de la información y la comunicación, como si se considera aquellos que hacen un uso más frecuente. Tampoco del análisis de los datos puede afirmarse nada concluyente sobre cómo influye en los resultados el uso más o menos frecuente de Internet. Por todo ello, convendría realizar un análisis posterior que permitiera valorar mejor el significado de los mismos. También es necesario precisar las preguntas que se formulan a los alumnos sobre este tema para obtener unos datos más consistentes que permiten un análisis más detallado de la relación entre los resultados y el uso y la familiarización con estas tecnologías.
Finalmente, debe tenerse en cuenta que los resultados de este primer ejercicio de la Evaluación general de diagnóstico 2009 no pueden recoger en ningún caso el impacto que tendrán los nuevos planes de reforzamiento del uso y familiaridad con el ordenador y con internet en el ámbito educativo como instrumentos de aprendizaje.
Por todo ello, será necesario llevar a cabo este análisis en posteriores aplicaciones de las evaluaciones generales de diagnóstico, una vez enriquecidos los instrumentos de recogida de la información. Además, deberán aplicarse técnicas de análisis que permitan obtener resultados más precisos y significativos.

Esto es lo que dice el informe sobre el tema, un informe que, a partir de ahora, denominaré "políticamente correcto". Como veremos, nunca mejor dicho. Pues el informe políticamente correcto viene a decir que aunque hay diferencias significativas entre los que usan el ordenador todos los días en el centro y los que no, son pocos (un 4% de la muestra son 1.150 alumnos aproximadamente, no son tan pocos, incluso si, como es probablemente el caso, se encuentran en 15 o 20 centros. Además, esos alumnos vienen de entornos más desfavorecidos, pues su Índice Socioeconómico y Cultural medio(ISEC) es bajo, -0,34 (pero no demasiado, pues es un tercio de desviación típica más bajo que la media nacional), hay más repetidores y sus expectativas de alcanzar altos niveles de estudio son bajas. Todo ello influye en los resultados, claro, pero sin saber la diferencia de la que habla es difícil saber si se justifica o no.

El problema es que el informe publicado es el B, pero existía uno A antes de ser revisado por las Comunidades Autónomas, y que hasta ahora no ha visto la luz. Hasta ahora. Es el Informe que denomino DCO (Demasiado para nuestros Castos Oídos), y que decidieron archivar no vayamos a poner en duda los ciudadanos las sabias decisiones de nuestros políticos. Esto es lo que dice el informe DCO en el mismo lugar que el políticamente correcto:

Resultados en función del uso del ordenador en el colegio y del uso de internet.
En este apartado, como en algunos de los que le siguen, se ha realizado un análisis factorial que ha permitido agrupar variables de los cuestionarios de alumnos y familias, relacionadas con el uso y la familiaridad de los alumnos con las tecnologías de la información y la comunicación. Las variables así construidas ofrecen una mayor capacidad explicativa de los resultados.
Los alumnos que dicen no usar nunca o casi nunca el ordenador (51%) en clase tienen una puntuación más elevada en las cuatro competencias que los que afirman usarlo todos o casi todos los días (5%). Lo utilizan una o dos veces a la semana el 44%. Las diferencias oscilan entre 84 puntos en competencia social y ciudadana y 62 puntos en competencia matemática, como muestra el gráfico 5.4. 

Gráfico 5.4. Los resultados según la frecuencia de uso del ordenador en la escuela

En el mismo sentido se relacionan el uso de internet por parte de los alumnos y sus resultados en la Evaluación general de diagnóstico 2009, aunque en este caso las diferencias son menores, como muestra el gráfico 5.5. Los alumnos que dicen no usar nunca o casi nunca internet (27%) tienen una puntuación más elevada en las cuatro competencias que los que afirman usar la red todos o casi todos los días (36%). Las diferencias oscilan entre 25 puntos en competencia social y ciudadana y 19 puntos en competencia matemática.
Estos resultados de uso del ordenador en clase e internet tanto en el colegio como en el ámbito privado son francamente destacables y convendría realizar un análisis posterior que permitiera valorar mejor el significado de los mismos. 

Gráfico 5.5. Diferencias en los resultados según la frecuencia de navegación en internet 

Hay que resaltar que cuando el uso de internet pretende facilitar al alumno la búsqueda de información para sus estudios los alumnos que hacen un uso moderado de internet (una o dos veces por semana) son los que tienen una puntuación mayor. Los alumnos que usan internet para comunicarse con otras personas (chatear) todos los días obtiene una puntuación inferior a la de aquellos que no lo usan nunca para este fin, en valores que oscilan entre 24 y 28 puntos en las cuatro competencias.

Lo que dice el informe DCO es que estos resultados son “francamente destacables”. Pues entre 84 y 62 puntos (la desviación típica media es de 100), se puede colegir con cierta seguridad que los resultados son tanto significativamente como sustantivamente destacables. No dice nada del ISEC medio de los alumnos, probablemente porque la diferencia neta (es decir, descontados los efectos del ISEC) sigue siendo sustantiva. Sobre este tema se puede decir más: según el informe políticamente correcto (tabla 4.1, pág. 128), la variación de rendimiento asociada a una unidad del ISEC oscila entre los 33 y los 37 puntos. Por tanto, es imposible que una variación del ISEC de 0,34 puntos explique diferencias mayores de 20 puntos, como es el caso.

¿Se puede afirmar entonces que el modelo pedagógico basado en un uso diario del ordenador en el centro está relacionado con un rendimiento mucho menor de los alumnos? ¿Se puede afirmar que la extensión del programa Escuela 2.0 va a traer consigo una disminución del ya de por sí bajo rendimiento de nuestros alumnos? Pues no, mire usted. Tanto el informe A como el B son técnicamente muy malos, y no se puede afirmar prácticamente nada basado en él. Otra cosa sería si se permitiese el acceso a los microdatos a la sociedad.

¿Por qué no podemos afirmarlo con seguridad? Porque no sabemos cómo son los centros ni su calidad: no sólo la debida a la composición de sus alumnos, sino a la calidad del centro y de la administración educativa de la que depende (estos dos aspectos son sistemáticamente ignorados en demasiados análisis y, según mi experiencia, tienen un efecto considerable). Tampoco sabemos el número de repetidores en esos centros, nada sobre su composición social, si son rurales o no, si se decidió poner ordenadores en esos centros precisamente porque eran especialmente conflictivos… Ahora, es bastante más probable que el modelo pedagógico de introducción de ordenadores en las aulas que empleamos en España, como ya apunta algún estudio basado en los resultados de PISA para nuestro país, tenga el efecto de disminuir el rendimiento de los alumnos.

Ahora, lo que sí se puede asegurar es que el programa Escuela 2.0 es extremadamente imprudente en su concepción y aplicación, y que debería estar avalado por algún estudio o algún experimento previo o, al menos, alguna prueba a pequeña escala antes de aplicarlo a todos los alumnos.

Y, por supuesto, que ha existido la voluntad de ocultar una información relevante a los ciudadanos sobre el funcionamiento del sistema educativo. Como otras tantas veces, el déspota ilustrado que vela por nosotros ha considerado paternalmente que no estábamos preparados para asumir este tipo de información. Como tantas otras veces, mentir sobre este tema saldrá gratis. Ya ha ocurrido antes. Y así nos va.

Calcular el fracaso

Como algunos sabéis, he dedicado algún tiempo a trabajar sobre las definiciones técnicas de fracaso escolar y de su cálculo. Publiqué un resumen de mis conclusiones en un artículo en Papeles de Economía (de pago), y pensé que ya estaría el tema claro. Aún así, me llegaban noticias de que en el Ministerio seguían trabajando en la idea de que el fracaso estaba sobreestimado, ya que pensaban que el alumno que no saque el título a su edad lo puede sacar un año más tarde, lo cual es verdad. Es verdad, pero el problema es que no entienden lo que mide el indicador. A veces puedes decir la verdad y soltar una soberana tontería, como mostró la película Bienvenido, Mr. Chance, sencillamente porque hablas del tocino cuando te preguntan por la velocidad.

Pero vamos a empezar por el principio. En España se ha medido tradicionalmente el porcentaje de alumnos de un curso dado que promocionaban al curso siguiente. Cuando llegó la escolarización obligatoria hasta los 14 años, allá por los años 70, se comenzó a hablar de fracaso escolar referido al último curso de esta enseñanza obligatoria, entonces 8º de EGB: al introducirse el concepto de enseñanza obligatoria, automáticamente se comenzó a medir el porcentaje de alumnos que no obtenía el título mínimo obligatorio. En aquel entonces los alumnos salían de la EGB con un título (los que aprobaban) o con un certificado (los que no). Los primeros podían continuar los estudios en Bachillerato o FP I, los segundo sólo a FP I, y se suponía que la enseñanza era obligatoria hasta los 16. Es un error muy común decir que los que aprobaban iban a Bachillerato y los que no a FP, porque lo cierto es que la mitad de los matriculados en FP I tenían título y la otra mitad certificado.

Aunque este indicador era muy cómodo para medir cómo iba cada centro, y por agregación cada provincia, cada región y, al final, el país, lo cierto es que fue calando la idea de que, para agregaciones territoriales era más lógico usar otro indicador, denominado tasa bruta de graduación, ya que aquí se recogía lo que ocurría con toda la población, y no sólo con los matriculados ese último curso (por un lado, había un absentismo crónico en ciertas zonas, por lo que el primer indicador no los medía nunca; y, por otro, ese último curso acumulaba muchos repetidores, lo que distorsionaba los datos). Esta tasa bruta consistía en hallar el porcentaje de alumnos que obtenían la titulación sobre el total de la población en la edad teórica de obtención de tal título. Lo que faltaba hasta 100 es lo que denominamos fracaso escolar bruto. Por ejemplo, en el año 1985, esa tasa bruta sería: [alumnos que obtenían el título de 8º de EGB en el curso 1984-85] x 100 / [personas que cumplen 14 años en 1985]. El fracaso bruto sería 100-[tasa bruta].

Es decir, tanto en la primera tasa (tasa directa) como en la segunda (tasa bruta), el numerador era el mismo, pero cambiaba el denominador. Y, si se habla de escolarización obligatoria para todos, lo lógico era incluir a todos en la ecuación. De hecho, la tasa bruta era la medida usual en toda Europa.

Cuando llegó la Logse, la tasa bruta de fracaso se dejó momentáneamente de aplicar por razones técnicas: al tener a una parte de los alumnos en un sistema obligatorio hasta los 14 y otro obligatorio hasta los 16, no existía denominador común poblacional, y se volvió a recurrir al viejo sistema de la tasa directa entre 1991 y 1999. Pero, una vez implantada la Logse en su totalidad, en 2000, se pudo volver a calcular la tasa bruta de fracaso escolar, y así lo hizo el Ministerio desde entonces. Pero ya se habían producido las transferencias a las Comunidades Autónomas, y estas no se dieron por enteradas de que se podía volver al cálculo de la tasa bruta. Ese año daba lo mismo, pues los datos de ambas tasas eran muy parecidos, pero a partir de entonces vean lo que ocurrió:

Es decir, el fracaso escolar bruto, la que incluía a toda la población, creció cuatro puntos en siete años, mientras que el fracaso directo disminuía más de cuatro en ese mismo tiempo. Al final, en el último año Logse la diferencia era de más de ocho puntos. El cálculo de las Comunidades Autónomas tenía un error de medida cercano al 30%. Vamos, que con ese metro Pau Gassol (2,15 m.) mediría 1,54, y lo habrían apuntado de base en el equipo del Instituto. Por eso, cada vez que publicaba el fracaso escolar, los responsables de las comunidades peor paradas salían diciendo que su dato era distinto y mucho menor. Y había periodistas que publicaban ese dato, y a otra cosa. ¿Para qué va a tomar medidas un político si se ha intoxicado a sí mismo y se cree que el fracaso es menor del que es? Pues, naturalmente, el fracaso continuó creciendo año tras año.

Pero, ¿por qué diferían ambos cálculos? Mi tesis es que se debía a la regla del 25%. Mientras en España se fue aumentando el volumen de población escolarizada, había que controlar que los centros y los profesores (que venían de un sistema más exigente) no suspendiesen a demasiados, y ese sistema fue controlar/presionar para que los centros no superasen demasiado el 25% de suspensos en el último curso. Cuando se implantó la Logse mantener un cuarto de suspensos en 4º de la ESO era insostenible, y por ello se fueron acumulando alumnos en los cursos anteriores (o fue algo natural: el propio sistema lo propiciaba), primero en 3º, luego en 2º, finalmente en 1º. Los que repetían antes de 4º de ESO, muy a menudo, nunca llegaban al último curso pues abandonaban al cumplir los 16. Y con ello se mantenían las estadísticas.

Hasta aquí la historia. Vamos ahora con la cuestión técnica: por qué no es cierto que el sistema de la tasa bruta no es exacto porque aunque un alumno repita puede sacar el título al año siguiente. Este argumento tiene una trampa conceptual un poco curiosa: pensar que un alumno puede sacar un título tras repetir pero no considerar que un alumno puede sacar el título a los 17 años. Dicho así suena absurdo, pero es la raíz del argumento.

Veamos primero un gráfico con la distribución por edades de los alumnos de 4º de ESO junto a otro de la distribución por cursos de los alumnos de 15 años (curso 2008-09, pero es similar en cursos anteriores):

Es decir, el 63% de los alumnos de 4º de ESO tiene 15 años, y el 59% de los alumnos de 15 años están en 4º de la ESO. Por un lado, es cierto que un 41% de los alumnos aún no ha llegado a 4º y, por tanto, no tiene posibilidad de titular aún, pero por otro un 37% de los alumnos de 4º de la ESO tiene más de 15 años y sí que está en disposición de titular (de hecho, los alumnos más mayores, que siguen ahí sin abandonar, tienen más probabilidades de titular que los que van retrasados, pues muchos no llegarán a pisar un aula de 4º de ESO –un 10% de cada cohorte– o no llegarán a los exámenes finales).

Por tanto, al dividir entre los alumnos de 15 años no estamos dejando fuera a los alumnos que pueden sacar el título después (puesto que incluimos a los de cohortes anteriores que se lo sacan ahora), sino que dividimos por un grupo homogéneo de alumnos, la cohorte de edad. Por ello, cuando las cohortes son homogéneas, la medida es muy exacta. Además, cuando no tenemos un dato aislado, sino una serie bastante estable, como es el caso, la medida es mucho más fiable: al poner en el denominador a todas las personas año tras año, variaciones grandes de titulados producirían picos en la serie, y entonces la medida de un año concreto no sería fiable. Pero esto no se produce.

Pero hay otra medida que viene a corroborar el fracaso bruto: desde hace unos años, el Ministerio ha incluido en la estadística el porcentaje de alumnos que salen de la ESO con y sin título. Al principio lo hacían también por redes, lo que daba idea de las diferencias de fracaso entre la pública y la privada, pero los resultados eran bastante escandalosos y dejaron de publicarlo. El indicador es definido así por el Ministerio:

La distribución del alumnado que sale de la E.S.O. según el resultado obtenido […] es un indicador alternativo a la tasa bruta de población que se gradúa en E.S.O. Este nuevo indicador sólo utiliza datos derivados de la Estadística de la Enseñanza niveles no universitarios, a diferencia de la tasa bruta que utiliza también las Proyecciones de Población. Se define el “alumnado que sale de la E.S.O. en el año X” como diferencia entre el “alumnado matriculado en el año X en la E.S.O. con 15 y más años de edad” y el “alumnado matriculado en el año X+1 en la E.S.O. con 16 y más años de edad” (edad partir de la cual se producen las salidas de este nivel). El “alumnado que sale sin título de Graduado en Secundaria” se obtiene como diferencia entre el “alumnado que sale de la E.S.O. en el año X” y el “alumnado graduado en E.S.O. en el año X”.

Vamos, que el indicador indica el porcentaje de alumnos que abandonan la ESO sin título sobre el total de alumnos que dejan la ESO con 15 años o más, y podemos denominarla tasa neta. Es una medida muy similar al fracaso escolar bruto, salvo que no tiene en cuenta el absentismo antes de los 16 años (que existir existe: un 2,2% en 2009, ya les contaré una divertida historia sobre este tema). Los últimos datos de este indicador, para el curso 2007-08, se encuentran en la tabla D3.9 de este pdf.

Este fracaso neto era en 2007 del 28,6%, algo por debajo de 30,7% de fracaso bruto ese año. Si miramos con cuidado la tabla por comunidades vemos que el fracaso neto mide prácticamente los mismo que el bruto (la variación de unos es explicada en un 87% por la variación del otro o, dicho en términos más técnicos, la R2 entre ambas variables es de 0,87), sólo que su media es algo menor. ¿Por qué? Porque no tiene en cuenta el absentismo en etapas obligatorias. Esta tasa neta es mejor en algunos aspectos: capta mejor las variaciones año a año, y además permite utilizarla en más contextos. Por ejemplo, para saber las diferencias entre pública y privada, o para medir el fracaso cuando varía la edad de la enseñanza obligatoria. También es algo más justa con el sistema educativo, que no suele tener responsabilidad sobre el absentismo, pues tiene un fuerte componente social.

Como el que haya tenido la paciencia de llegar hasta aquí lo mismo anda un poco perdido, recapitulo: hay un fracaso directos con un error de medida sobre el fracaso real del 30%, y que lo subestima enormemente (y que es el favorito de las administraciones autonómicas); un fracaso neto que es muy exacto para los que están escolarizados pero que no tiene en cuenta el absentismo (un 2% de la población); y un fracaso bruto que tiene en cuenta a toda la población, que es bastante exacto, pero que es utilizable sólo en algunos casos.

No está mal el lío para medirlo. Lo que no hay duda es que este dato es el que hunde todos nuestros indicadores educativos en las siguientes etapas y que es el mayor segregador social de nuestra sociedad.