lunes, 29 de noviembre de 2010

Demasiado para nuestros castos oídos

Hace unos meses, el Instituto de Evaluación publicó la Evaluación general de diagnóstico 2009. Educación Primaria. Cuarto curso (ojo, 14 Mb), último paso de un largo proceso en el que se pretendía evaluar las competencias en Lengua, Matemáticas, Mundo Físico y una cuarta, denominada competencia Social y Ciudadana. Es una evaluación con una muestra considerable, ya que se pretende obtener resultados significativos para todas las Comunidades Autónomas. En total, se evaluó a 28.708 alumnos de 887 centros, y se pasaron cuestionarios a 1.341 profesores, 25.741 familias y a 874 directores.
En definitiva, un estudio que necesitó un trabajo de planificación y organización importante, una solvencia técnica avalada por un consejo científico de prestigio, etc. Desgraciadamente, el informe final no está a la altura de la empresa: es un informe técnicamente muy malo, en el que se desaprovechan los datos de manera evidente, se extraen conclusiones más que dudosas y se dejan en el aire muchas preguntas no sólo pertinentes, sino que se corresponden con acuciantes problemas de nuestro sistema de enseñanza. No soy el único que lo dice, pero sigo pensando que somos demasiado pocos los que lo decimos y que deberíamos ser más. Todo esto se agrava porque hasta ahora (en este punto hay novedades, ya les contaré) las bases de datos no se hacían públicas por simple secuestro político.
Uno de los puntos raros del informe era el que trataba sobre la relación entre el uso del ordenador en el centro y los resultados educativos. Es un tema de interés porque el Ministerio, en colaboración con las CCAA (todas salvo la madrileña y la valenciana) está implantando en este curso un carísimo programa Escuela 2.0 en el que, por razones políticas, se está dotando a los centros de infraestructura para comunicaciones y de ordenadores, y se está dando un "ultraportátil" a miles de alumnos. Sin una sola razón técnica o pedagógica que lo avale, sin un solo estudio previo, sin consultar otros estudios referidos a países donde se han implantado medidas similares, y sin aprender de los errores que ya han cometido algunas comunidades autónomas. Vamos, evidencia cero. Pero como en este país parece que la labor de un político en gastar, pero no se piden justificaciones a priori ni cuentas a posteriori, pues así nos va. Uno esperaría encontrar alguna evidencia en el informe de evaluación, pero nos encontramos con este texto (pág. 158):
Resultados en función del uso del ordenador en el colegio y del uso de Internet
El ordenador y el acceso a Internet con múltiples fines se han convertido en un elemento de ocio ya no sólo entre adolescentes, sino también en edades más tempranas. Como otros muchos aspectos del ocio infantil y juvenil, éste puede tener efectos negativos y positivos, según el uso que se haga del mismo. También los centros educativos han incorporado la utilización del ordenador en el colegio y el uso de Internet como instrumentos de aprendizaje. Por ello, interesa indagar en qué medida estos medios facilitan la adquisición de competencias básicas en el alumnado.
En la Evaluación general de diagnóstico 2009 se incluían varias preguntas en el cuestionario de contexto destinado al alumnado sobre el uso de las tecnologías de la información y la comunicación. A partir de las respuestas de los alumnos, se ha estudiado la relación entre la frecuencia en el uso y la familiaridad del alumnado con las tecnologías de la información y la comunicación y los resultados en las cuatro competencias evaluadas.
De las respuestas de los alumnos se deduce que solo el 4% del alumnado dice utilizar el ordenador en el colegio todos los días; este alumnado tiene un promedio ISEC muy bajo (-0,34), una edad promedio mayor que la de la muestra, unas expectativas de estudio inferiores a la media y un comienzo más tardío en su primera escolarización.
Los resultados del resto de los alumnos no difieren significativamente, tanto si se trata de alumnos que usan con una frecuencia moderada las tecnologías de la información y la comunicación, como si se considera aquellos que hacen un uso más frecuente. Tampoco del análisis de los datos puede afirmarse nada concluyente sobre cómo influye en los resultados el uso más o menos frecuente de Internet. Por todo ello, convendría realizar un análisis posterior que permitiera valorar mejor el significado de los mismos. También es necesario precisar las preguntas que se formulan a los alumnos sobre este tema para obtener unos datos más consistentes que permiten un análisis más detallado de la relación entre los resultados y el uso y la familiarización con estas tecnologías.
Finalmente, debe tenerse en cuenta que los resultados de este primer ejercicio de la Evaluación general de diagnóstico 2009 no pueden recoger en ningún caso el impacto que tendrán los nuevos planes de reforzamiento del uso y familiaridad con el ordenador y con internet en el ámbito educativo como instrumentos de aprendizaje.
Por todo ello, será necesario llevar a cabo este análisis en posteriores aplicaciones de las evaluaciones generales de diagnóstico, una vez enriquecidos los instrumentos de recogida de la información. Además, deberán aplicarse técnicas de análisis que permitan obtener resultados más precisos y significativos.
Esto es lo que dice el informe sobre el tema, un informe que, a partir de ahora, denominaré "políticamente correcto". Como veremos, nunca mejor dicho. Pues el informe políticamente correcto viene a decir que aunque hay diferencias significativas entre los que usan el ordenador todos los días en el centro y los que no, son pocos (un 4% de la muestra son 1.150 alumnos aproximadamente, no son tan pocos, incluso si, como es probablemente el caso, se encuentran en 15 o 20 centros. Además, esos alumnos vienen de entornos más desfavorecidos, pues su Índice Socioeconómico y Cultural medio(ISEC) es bajo, -0,34 (pero no demasiado, pues es un tercio de desviación típica más bajo que la media nacional), hay más repetidores y sus expectativas de alcanzar altos niveles de estudio son bajas. Todo ello influye en los resultados, claro, pero sin saber la diferencia de la que habla es difícil saber si se justifica o no.
El problema es que el informe publicado es el B, pero existía uno A antes de ser revisado por las Comunidades Autónomas, y que hasta ahora no ha visto la luz. Hasta ahora. Es el Informe que denomino DCO (Demasiado para nuestros Castos Oídos), y que decidieron archivar no vayamos a poner en duda los ciudadanos las sabias decisiones de nuestros políticos. Esto es lo que dice el informe DCO en el mismo lugar que el políticamente correcto:
Resultados en función del uso del ordenador en el colegio y del uso de internet.
En este apartado, como en algunos de los que le siguen, se ha realizado un análisis factorial que ha permitido agrupar variables de los cuestionarios de alumnos y familias, relacionadas con el uso y la familiaridad de los alumnos con las tecnologías de la información y la comunicación. Las variables así construidas ofrecen una mayor capacidad explicativa de los resultados.
Los alumnos que dicen no usar nunca o casi nunca el ordenador (51%) en clase tienen una puntuación más elevada en las cuatro competencias que los que afirman usarlo todos o casi todos los días (5%). Lo utilizan una o dos veces a la semana el 44%. Las diferencias oscilan entre 84 puntos en competencia social y ciudadana y 62 puntos en competencia matemática, como muestra el gráfico 5.4.
 
Gráfico 5.4. Los resultados según la frecuencia de uso del ordenador en la escuela

En el mismo sentido se relacionan el uso de internet por parte de los alumnos y sus resultados en la Evaluación general de diagnóstico 2009, aunque en este caso las diferencias son menores, como muestra el gráfico 5.5. Los alumnos que dicen no usar nunca o casi nunca internet (27%) tienen una puntuación más elevada en las cuatro competencias que los que afirman usar la red todos o casi todos los días (36%). Las diferencias oscilan entre 25 puntos en competencia social y ciudadana y 19 puntos en competencia matemática.
Estos resultados de uso del ordenador en clase e internet tanto en el colegio como en el ámbito privado son francamente destacables y convendría realizar un análisis posterior que permitiera valorar mejor el significado de los mismos.
 
Gráfico 5.5. Diferencias en los resultados según la frecuencia de navegación en internet 

Hay que resaltar que cuando el uso de internet pretende facilitar al alumno la búsqueda de información para sus estudios los alumnos que hacen un uso moderado de internet (una o dos veces por semana) son los que tienen una puntuación mayor. Los alumnos que usan internet para comunicarse con otras personas (chatear) todos los días obtiene una puntuación inferior a la de aquellos que no lo usan nunca para este fin, en valores que oscilan entre 24 y 28 puntos en las cuatro competencias.
Lo que dice el informe DCO es que estos resultados son “francamente destacables”. Pues entre 84 y 62 puntos (la desviación típica media es de 100), se puede colegir con cierta seguridad que los resultados son tanto significativamente como sustantivamente destacables. No dice nada del ISEC medio de los alumnos, probablemente porque la diferencia neta (es decir, descontados los efectos del ISEC) sigue siendo sustantiva. Sobre este tema se puede decir más: según el informe políticamente correcto (tabla 4.1, pág. 128), la variación de rendimiento asociada a una unidad del ISEC oscila entre los 33 y los 37 puntos. Por tanto, es imposible que una variación del ISEC de 0,34 puntos explique diferencias mayores de 20 puntos, como es el caso.
¿Se puede afirmar entonces que el modelo pedagógico basado en un uso diario del ordenador en el centro está relacionado con un rendimiento mucho menor de los alumnos? ¿Se puede afirmar que la extensión del programa Escuela 2.0 va a traer consigo una disminución del ya de por sí bajo rendimiento de nuestros alumnos? Pues no, mire usted. Tanto el informe A como el B son técnicamente muy malos, y no se puede afirmar prácticamente nada basado en él. Otra cosa sería si se permitiese el acceso a los microdatos a la sociedad.
¿Por qué no podemos afirmarlo con seguridad? Porque no sabemos cómo son los centros ni su calidad: no sólo la debida a la composición de sus alumnos, sino a la calidad del centro y de la administración educativa de la que depende (estos dos aspectos son sistemáticamente ignorados en demasiados análisis y, según mi experiencia, tienen un efecto considerable). Tampoco sabemos el número de repetidores en esos centros, nada sobre su composición social, si son rurales o no, si se decidió poner ordenadores en esos centros precisamente porque eran especialmente conflictivos… Ahora, es bastante más probable que el modelo pedagógico de introducción de ordenadores en las aulas que empleamos en España, como ya apunta algún estudio basado en los resultados de PISA para nuestro país, tenga el efecto de disminuir el rendimiento de los alumnos.
Ahora, lo que sí se puede asegurar es que el programa Escuela 2.0 es extremadamente imprudente en su concepción y aplicación, y que debería estar avalado por algún estudio o algún experimento previo o, al menos, alguna prueba a pequeña escala antes de aplicarlo a todos los alumnos.
Y, por supuesto, que ha existido la voluntad de ocultar una información relevante a los ciudadanos sobre el funcionamiento del sistema educativo. Como otras tantas veces, el déspota ilustrado que vela por nosotros ha considerado paternalmente que no estábamos preparados para asumir este tipo de información. Como tantas otras veces, mentir sobre este tema saldrá gratis. Ya ha ocurrido antes. Y así nos va.

lunes, 22 de noviembre de 2010

Calcular el fracaso

Como algunos sabéis, he dedicado algún tiempo a trabajar sobre las definiciones técnicas de fracaso escolar y de su cálculo. Publiqué un resumen de mis conclusiones en un artículo en Papeles de Economía (de pago), y pensé que ya estaría el tema claro. Aún así, me llegaban noticias de que en el Ministerio seguían trabajando en la idea de que el fracaso estaba sobreestimado, ya que pensaban que el alumno que no saque el título a su edad lo puede sacar un año más tarde, lo cual es verdad. Es verdad, pero el problema es que no entienden lo que mide el indicador. A veces puedes decir la verdad y soltar una soberana tontería, como mostró la película Bienvenido, Mr. Chance, sencillamente porque hablas del tocino cuando te preguntan por la velocidad.
Pero vamos a empezar por el principio. En España se ha medido tradicionalmente el porcentaje de alumnos de un curso dado que promocionaban al curso siguiente. Cuando llegó la escolarización obligatoria hasta los 14 años, allá por los años 70, se comenzó a hablar de fracaso escolar referido al último curso de esta enseñanza obligatoria, entonces 8º de EGB: al introducirse el concepto de enseñanza obligatoria, automáticamente se comenzó a medir el porcentaje de alumnos que no obtenía el título mínimo obligatorio. En aquel entonces los alumnos salían de la EGB con un título (los que aprobaban) o con un certificado (los que no). Los primeros podían continuar los estudios en Bachillerato o FP I, los segundo sólo a FP I, y se suponía que la enseñanza era obligatoria hasta los 16. Es un error muy común decir que los que aprobaban iban a Bachillerato y los que no a FP, porque lo cierto es que la mitad de los matriculados en FP I tenían título y la otra mitad certificado.
Aunque este indicador era muy cómodo para medir cómo iba cada centro, y por agregación cada provincia, cada región y, al final, el país, lo cierto es que fue calando la idea de que, para agregaciones territoriales era más lógico usar otro indicador, denominado tasa bruta de graduación, ya que aquí se recogía lo que ocurría con toda la población, y no sólo con los matriculados ese último curso (por un lado, había un absentismo crónico en ciertas zonas, por lo que el primer indicador no los medía nunca; y, por otro, ese último curso acumulaba muchos repetidores, lo que distorsionaba los datos). Esta tasa bruta consistía en hallar el porcentaje de alumnos que obtenían la titulación sobre el total de la población en la edad teórica de obtención de tal título. Lo que faltaba hasta 100 es lo que denominamos fracaso escolar bruto. Por ejemplo, en el año 1985, esa tasa bruta sería: [alumnos que obtenían el título de 8º de EGB en el curso 1984-85] x 100 / [personas que cumplen 14 años en 1985]. El fracaso bruto sería 100-[tasa bruta].
Es decir, tanto en la primera tasa (tasa directa) como en la segunda (tasa bruta), el numerador era el mismo, pero cambiaba el denominador. Y, si se habla de escolarización obligatoria para todos, lo lógico era incluir a todos en la ecuación. De hecho, la tasa bruta era la medida usual en toda Europa.
Cuando llegó la Logse, la tasa bruta de fracaso se dejó momentáneamente de aplicar por razones técnicas: al tener a una parte de los alumnos en un sistema obligatorio hasta los 14 y otro obligatorio hasta los 16, no existía denominador común poblacional, y se volvió a recurrir al viejo sistema de la tasa directa entre 1991 y 1999. Pero, una vez implantada la Logse en su totalidad, en 2000, se pudo volver a calcular la tasa bruta de fracaso escolar, y así lo hizo el Ministerio desde entonces. Pero ya se habían producido las transferencias a las Comunidades Autónomas, y estas no se dieron por enteradas de que se podía volver al cálculo de la tasa bruta. Ese año daba lo mismo, pues los datos de ambas tasas eran muy parecidos, pero a partir de entonces vean lo que ocurrió:


Es decir, el fracaso escolar bruto, la que incluía a toda la población, creció cuatro puntos en siete años, mientras que el fracaso directo disminuía más de cuatro en ese mismo tiempo. Al final, en el último año Logse la diferencia era de más de ocho puntos. El cálculo de las Comunidades Autónomas tenía un error de medida cercano al 30%. Vamos, que con ese metro Pau Gassol (2,15 m.) mediría 1,54, y lo habrían apuntado de base en el equipo del Instituto. Por eso, cada vez que publicaba el fracaso escolar, los responsables de las comunidades peor paradas salían diciendo que su dato era distinto y mucho menor. Y había periodistas que publicaban ese dato, y a otra cosa. ¿Para qué va a tomar medidas un político si se ha intoxicado a sí mismo y se cree que el fracaso es menor del que es? Pues, naturalmente, el fracaso continuó creciendo año tras año.
Pero, ¿por qué diferían ambos cálculos? Mi tesis es que se debía a la regla del 25%. Mientras en España se fue aumentando el volumen de población escolarizada, había que controlar que los centros y los profesores (que venían de un sistema más exigente) no suspendiesen a demasiados, y ese sistema fue controlar/presionar para que los centros no superasen demasiado el 25% de suspensos en el último curso. Cuando se implantó la Logse mantener un cuarto de suspensos en 4º de la ESO era insostenible, y por ello se fueron acumulando alumnos en los cursos anteriores (o fue algo natural: el propio sistema lo propiciaba), primero en 3º, luego en 2º, finalmente en 1º. Los que repetían antes de 4º de ESO, muy a menudo, nunca llegaban al último curso pues abandonaban al cumplir los 16. Y con ello se mantenían las estadísticas.
Hasta aquí la historia. Vamos ahora con la cuestión técnica: por qué no es cierto que el sistema de la tasa bruta no es exacto porque aunque un alumno repita puede sacar el título al año siguiente. Este argumento tiene una trampa conceptual un poco curiosa: pensar que un alumno puede sacar un título tras repetir pero no considerar que un alumno puede sacar el título a los 17 años. Dicho así suena absurdo, pero es la raíz del argumento.
Veamos primero un gráfico con la distribución por edades de los alumnos de 4º de ESO junto a otro de la distribución por cursos de los alumnos de 15 años (curso 2008-09, pero es similar en cursos anteriores):


Es decir, el 63% de los alumnos de 4º de ESO tiene 15 años, y el 59% de los alumnos de 15 años están en 4º de la ESO. Por un lado, es cierto que un 41% de los alumnos aún no ha llegado a 4º y, por tanto, no tiene posibilidad de titular aún, pero por otro un 37% de los alumnos de 4º de la ESO tiene más de 15 años y sí que está en disposición de titular (de hecho, los alumnos más mayores, que siguen ahí sin abandonar, tienen más probabilidades de titular que los que van retrasados, pues muchos no llegarán a pisar un aula de 4º de ESO –un 10% de cada cohorte– o no llegarán a los exámenes finales).
Por tanto, al dividir entre los alumnos de 15 años no estamos dejando fuera a los alumnos que pueden sacar el título después (puesto que incluimos a los de cohortes anteriores que se lo sacan ahora), sino que dividimos por un grupo homogéneo de alumnos, la cohorte de edad. Por ello, cuando las cohortes son homogéneas, la medida es muy exacta. Además, cuando no tenemos un dato aislado, sino una serie bastante estable, como es el caso, la medida es mucho más fiable: al poner en el denominador a todas las personas año tras año, variaciones grandes de titulados producirían picos en la serie, y entonces la medida de un año concreto no sería fiable. Pero esto no se produce.
Pero hay otra medida que viene a corroborar el fracaso bruto: desde hace unos años, el Ministerio ha incluido en la estadística el porcentaje de alumnos que salen de la ESO con y sin título. Al principio lo hacían también por redes, lo que daba idea de las diferencias de fracaso entre la pública y la privada, pero los resultados eran bastante escandalosos y dejaron de publicarlo. El indicador es definido así por el Ministerio:

La distribución del alumnado que sale de la E.S.O. según el resultado obtenido […] es un indicador alternativo a la tasa bruta de población que se gradúa en E.S.O. Este nuevo indicador sólo utiliza datos derivados de la Estadística de la Enseñanza niveles no universitarios, a diferencia de la tasa bruta que utiliza también las Proyecciones de Población. Se define el “alumnado que sale de la E.S.O. en el año X” como diferencia entre el “alumnado matriculado en el año X en la E.S.O. con 15 y más años de edad” y el “alumnado matriculado en el año X+1 en la E.S.O. con 16 y más años de edad” (edad partir de la cual se producen las salidas de este nivel). El “alumnado que sale sin título de Graduado en Secundaria” se obtiene como diferencia entre el “alumnado que sale de la E.S.O. en el año X” y el “alumnado graduado en E.S.O. en el año X”.
Vamos, que el indicador indica el porcentaje de alumnos que abandonan la ESO sin título sobre el total de alumnos que dejan la ESO con 15 años o más, y podemos denominarla tasa neta. Es una medida muy similar al fracaso escolar bruto, salvo que no tiene en cuenta el absentismo antes de los 16 años (que existir existe: un 2,2% en 2009, ya les contaré una divertida historia sobre este tema). Los últimos datos de este indicador, para el curso 2007-08, se encuentran en la tabla D3.9 de este pdf.
Este fracaso neto era en 2007 del 28,6%, algo por debajo de 30,7% de fracaso bruto ese año. Si miramos con cuidado la tabla por comunidades vemos que el fracaso neto mide prácticamente los mismo que el bruto (la variación de unos es explicada en un 87% por la variación del otro o, dicho en términos más técnicos, la R2 entre ambas variables es de 0,87), sólo que su media es algo menor. ¿Por qué? Porque no tiene en cuenta el absentismo en etapas obligatorias. Esta tasa neta es mejor en algunos aspectos: capta mejor las variaciones año a año, y además permite utilizarla en más contextos. Por ejemplo, para saber las diferencias entre pública y privada, o para medir el fracaso cuando varía la edad de la enseñanza obligatoria. También es algo más justa con el sistema educativo, que no suele tener responsabilidad sobre el absentismo, pues tiene un fuerte componente social.
Como el que haya tenido la paciencia de llegar hasta aquí lo mismo anda un poco perdido, recapitulo: hay un fracaso directos con un error de medida sobre el fracaso real del 30%, y que lo subestima enormemente (y que es el favorito de las administraciones autonómicas); un fracaso neto que es muy exacto para los que están escolarizados pero que no tiene en cuenta el absentismo (un 2% de la población); y un fracaso bruto que tiene en cuenta a toda la población, que es bastante exacto, pero que es utilizable sólo en algunos casos.
No está mal el lío para medirlo. Lo que no hay duda es que este dato es el que hunde todos nuestros indicadores educativos en las siguientes etapas y que es el mayor segregador social de nuestra sociedad.