Demasiado para nuestros castos oídos

Hace unos meses, el Instituto de Evaluación publicó la Evaluación general de diagnóstico 2009. Educación Primaria. Cuarto curso (ojo, 14 Mb), último paso de un largo proceso en el que se pretendía evaluar las competencias en Lengua, Matemáticas, Mundo Físico y una cuarta, denominada competencia Social y Ciudadana. Es una evaluación con una muestra considerable, ya que se pretende obtener resultados significativos para todas las Comunidades Autónomas. En total, se evaluó a 28.708 alumnos de 887 centros, y se pasaron cuestionarios a 1.341 profesores, 25.741 familias y a 874 directores.

En definitiva, un estudio que necesitó un trabajo de planificación y organización importante, una solvencia técnica avalada por un consejo científico de prestigio, etc. Desgraciadamente, el informe final no está a la altura de la empresa: es un informe técnicamente muy malo, en el que se desaprovechan los datos de manera evidente, se extraen conclusiones más que dudosas y se dejan en el aire muchas preguntas no sólo pertinentes, sino que se corresponden con acuciantes problemas de nuestro sistema de enseñanza. No soy el único que lo dice, pero sigo pensando que somos demasiado pocos los que lo decimos y que deberíamos ser más. Todo esto se agrava porque hasta ahora (en este punto hay novedades, ya les contaré) las bases de datos no se hacían públicas por simple secuestro político.

Uno de los puntos raros del informe era el que trataba sobre la relación entre el uso del ordenador en el centro y los resultados educativos. Es un tema de interés porque el Ministerio, en colaboración con las CCAA (todas salvo la madrileña y la valenciana) está implantando en este curso un carísimo programa Escuela 2.0 en el que, por razones políticas, se está dotando a los centros de infraestructura para comunicaciones y de ordenadores, y se está dando un "ultraportátil" a miles de alumnos. Sin una sola razón técnica o pedagógica que lo avale, sin un solo estudio previo, sin consultar otros estudios referidos a países donde se han implantado medidas similares, y sin aprender de los errores que ya han cometido algunas comunidades autónomas. Vamos, evidencia cero. Pero como en este país parece que la labor de un político en gastar, pero no se piden justificaciones a priori ni cuentas a posteriori, pues así nos va. Uno esperaría encontrar alguna evidencia en el informe de evaluación, pero nos encontramos con este texto (pág. 158):

Resultados en función del uso del ordenador en el colegio y del uso de Internet
El ordenador y el acceso a Internet con múltiples fines se han convertido en un elemento de ocio ya no sólo entre adolescentes, sino también en edades más tempranas. Como otros muchos aspectos del ocio infantil y juvenil, éste puede tener efectos negativos y positivos, según el uso que se haga del mismo. También los centros educativos han incorporado la utilización del ordenador en el colegio y el uso de Internet como instrumentos de aprendizaje. Por ello, interesa indagar en qué medida estos medios facilitan la adquisición de competencias básicas en el alumnado.
En la Evaluación general de diagnóstico 2009 se incluían varias preguntas en el cuestionario de contexto destinado al alumnado sobre el uso de las tecnologías de la información y la comunicación. A partir de las respuestas de los alumnos, se ha estudiado la relación entre la frecuencia en el uso y la familiaridad del alumnado con las tecnologías de la información y la comunicación y los resultados en las cuatro competencias evaluadas.
De las respuestas de los alumnos se deduce que solo el 4% del alumnado dice utilizar el ordenador en el colegio todos los días; este alumnado tiene un promedio ISEC muy bajo (-0,34), una edad promedio mayor que la de la muestra, unas expectativas de estudio inferiores a la media y un comienzo más tardío en su primera escolarización.
Los resultados del resto de los alumnos no difieren significativamente, tanto si se trata de alumnos que usan con una frecuencia moderada las tecnologías de la información y la comunicación, como si se considera aquellos que hacen un uso más frecuente. Tampoco del análisis de los datos puede afirmarse nada concluyente sobre cómo influye en los resultados el uso más o menos frecuente de Internet. Por todo ello, convendría realizar un análisis posterior que permitiera valorar mejor el significado de los mismos. También es necesario precisar las preguntas que se formulan a los alumnos sobre este tema para obtener unos datos más consistentes que permiten un análisis más detallado de la relación entre los resultados y el uso y la familiarización con estas tecnologías.
Finalmente, debe tenerse en cuenta que los resultados de este primer ejercicio de la Evaluación general de diagnóstico 2009 no pueden recoger en ningún caso el impacto que tendrán los nuevos planes de reforzamiento del uso y familiaridad con el ordenador y con internet en el ámbito educativo como instrumentos de aprendizaje.
Por todo ello, será necesario llevar a cabo este análisis en posteriores aplicaciones de las evaluaciones generales de diagnóstico, una vez enriquecidos los instrumentos de recogida de la información. Además, deberán aplicarse técnicas de análisis que permitan obtener resultados más precisos y significativos.

Esto es lo que dice el informe sobre el tema, un informe que, a partir de ahora, denominaré "políticamente correcto". Como veremos, nunca mejor dicho. Pues el informe políticamente correcto viene a decir que aunque hay diferencias significativas entre los que usan el ordenador todos los días en el centro y los que no, son pocos (un 4% de la muestra son 1.150 alumnos aproximadamente, no son tan pocos, incluso si, como es probablemente el caso, se encuentran en 15 o 20 centros. Además, esos alumnos vienen de entornos más desfavorecidos, pues su Índice Socioeconómico y Cultural medio(ISEC) es bajo, -0,34 (pero no demasiado, pues es un tercio de desviación típica más bajo que la media nacional), hay más repetidores y sus expectativas de alcanzar altos niveles de estudio son bajas. Todo ello influye en los resultados, claro, pero sin saber la diferencia de la que habla es difícil saber si se justifica o no.

El problema es que el informe publicado es el B, pero existía uno A antes de ser revisado por las Comunidades Autónomas, y que hasta ahora no ha visto la luz. Hasta ahora. Es el Informe que denomino DCO (Demasiado para nuestros Castos Oídos), y que decidieron archivar no vayamos a poner en duda los ciudadanos las sabias decisiones de nuestros políticos. Esto es lo que dice el informe DCO en el mismo lugar que el políticamente correcto:

Resultados en función del uso del ordenador en el colegio y del uso de internet.
En este apartado, como en algunos de los que le siguen, se ha realizado un análisis factorial que ha permitido agrupar variables de los cuestionarios de alumnos y familias, relacionadas con el uso y la familiaridad de los alumnos con las tecnologías de la información y la comunicación. Las variables así construidas ofrecen una mayor capacidad explicativa de los resultados.
Los alumnos que dicen no usar nunca o casi nunca el ordenador (51%) en clase tienen una puntuación más elevada en las cuatro competencias que los que afirman usarlo todos o casi todos los días (5%). Lo utilizan una o dos veces a la semana el 44%. Las diferencias oscilan entre 84 puntos en competencia social y ciudadana y 62 puntos en competencia matemática, como muestra el gráfico 5.4. 

Gráfico 5.4. Los resultados según la frecuencia de uso del ordenador en la escuela

En el mismo sentido se relacionan el uso de internet por parte de los alumnos y sus resultados en la Evaluación general de diagnóstico 2009, aunque en este caso las diferencias son menores, como muestra el gráfico 5.5. Los alumnos que dicen no usar nunca o casi nunca internet (27%) tienen una puntuación más elevada en las cuatro competencias que los que afirman usar la red todos o casi todos los días (36%). Las diferencias oscilan entre 25 puntos en competencia social y ciudadana y 19 puntos en competencia matemática.
Estos resultados de uso del ordenador en clase e internet tanto en el colegio como en el ámbito privado son francamente destacables y convendría realizar un análisis posterior que permitiera valorar mejor el significado de los mismos. 

Gráfico 5.5. Diferencias en los resultados según la frecuencia de navegación en internet 

Hay que resaltar que cuando el uso de internet pretende facilitar al alumno la búsqueda de información para sus estudios los alumnos que hacen un uso moderado de internet (una o dos veces por semana) son los que tienen una puntuación mayor. Los alumnos que usan internet para comunicarse con otras personas (chatear) todos los días obtiene una puntuación inferior a la de aquellos que no lo usan nunca para este fin, en valores que oscilan entre 24 y 28 puntos en las cuatro competencias.

Lo que dice el informe DCO es que estos resultados son “francamente destacables”. Pues entre 84 y 62 puntos (la desviación típica media es de 100), se puede colegir con cierta seguridad que los resultados son tanto significativamente como sustantivamente destacables. No dice nada del ISEC medio de los alumnos, probablemente porque la diferencia neta (es decir, descontados los efectos del ISEC) sigue siendo sustantiva. Sobre este tema se puede decir más: según el informe políticamente correcto (tabla 4.1, pág. 128), la variación de rendimiento asociada a una unidad del ISEC oscila entre los 33 y los 37 puntos. Por tanto, es imposible que una variación del ISEC de 0,34 puntos explique diferencias mayores de 20 puntos, como es el caso.

¿Se puede afirmar entonces que el modelo pedagógico basado en un uso diario del ordenador en el centro está relacionado con un rendimiento mucho menor de los alumnos? ¿Se puede afirmar que la extensión del programa Escuela 2.0 va a traer consigo una disminución del ya de por sí bajo rendimiento de nuestros alumnos? Pues no, mire usted. Tanto el informe A como el B son técnicamente muy malos, y no se puede afirmar prácticamente nada basado en él. Otra cosa sería si se permitiese el acceso a los microdatos a la sociedad.

¿Por qué no podemos afirmarlo con seguridad? Porque no sabemos cómo son los centros ni su calidad: no sólo la debida a la composición de sus alumnos, sino a la calidad del centro y de la administración educativa de la que depende (estos dos aspectos son sistemáticamente ignorados en demasiados análisis y, según mi experiencia, tienen un efecto considerable). Tampoco sabemos el número de repetidores en esos centros, nada sobre su composición social, si son rurales o no, si se decidió poner ordenadores en esos centros precisamente porque eran especialmente conflictivos… Ahora, es bastante más probable que el modelo pedagógico de introducción de ordenadores en las aulas que empleamos en España, como ya apunta algún estudio basado en los resultados de PISA para nuestro país, tenga el efecto de disminuir el rendimiento de los alumnos.

Ahora, lo que sí se puede asegurar es que el programa Escuela 2.0 es extremadamente imprudente en su concepción y aplicación, y que debería estar avalado por algún estudio o algún experimento previo o, al menos, alguna prueba a pequeña escala antes de aplicarlo a todos los alumnos.

Y, por supuesto, que ha existido la voluntad de ocultar una información relevante a los ciudadanos sobre el funcionamiento del sistema educativo. Como otras tantas veces, el déspota ilustrado que vela por nosotros ha considerado paternalmente que no estábamos preparados para asumir este tipo de información. Como tantas otras veces, mentir sobre este tema saldrá gratis. Ya ha ocurrido antes. Y así nos va.