viernes, 11 de mayo de 2012

Esos análisis que carga el diablo

La ratio alumnos/profesor ha sido una de las batallas sindicales más importantes durante décadas, mantenida con el argumento de que tal medida era esencial para la calidad del sistema educativo. Lo cierto es que eso es verdad cuando los cambios son muy importantes o cuando las ratios son muy elevadas, pero es una medida que se va haciendo cada vez más cara y cuyos rendimientos son acusadamente decrecientes. Por ejemplo, para pasar de una ratio de 20 a una de 18 hay que aumentar los profesores un 11% (*), pero para pasarla de 12 a 10 es necesario un aumento del 20% (manteniendo constante el número de alumnos, naturalmente).
Una vez más, hay que tener cuidado con los automatismos: depende de cómo se emplee el profesorado, de su calidad, de la adecuación de sus especializaciones a las diversas necesidades del alumnado, de la capacidad del sistema para aprovechar los recursos... La evidencia internacional encuentra efectos cuando hay reducciones importantes, aunque hay quienes apuntan que concentrar los recursos en contratar mejores profesores en vez de contratar más tiene efectos más importantes. Lo mejor que he leído fue un trabajo de Meuret y Grisay (no tengo la referencia a mano, creo que era de 1997) que concluía que era más eficaz tener clases de 30 alumnos con profesores de apoyo que desdoblasen regularmente a los grupos en dos de 15 que reducir las clases a 25 alumnos, siendo la primera medida más barata que la segunda.
Argumentos del tipo “hay países con elevadas ratios y buenos resultados” no me parecen muy válidos, ya que el efecto sistema o cultura o cualquier otro factor pueden ser también influyentes. Incluso el que en PISA y en España los centros con mayor ratio –más alumnos por profesor– tienden a tener mejores resultados (un efecto leve, repetido en datos de otras evaluaciones controlando diversos factores ) no me parece definitivo, ya que en España los buenos centros suelen tener tanto mejores resultados como mayor demanda, y el número de profesores depende del número de grupos, no del número de alumnos.
Más indicativo me parece el dato de que en 2000 nuestra ratio estaba en 13,4 y en 2009 en 11,1, pero no se ha visto mejora relacionada por lado alguno. Por ejemplo, entre 2000 y 2006 la ratio bajó en 1,7 alumnos por profesor y el fracaso escolar subió cuatro puntos; pero entre 2006 y 2009 la ratio bajó siete décimas y el fracaso cayó cinco puntos. Esto, hablando de fracaso, porque en PISA no nos hemos movido en una década.
Todo esto viene porque un amigo me envió este enlace. Lo primero que me llamó la atención fue que una fundación del PSOE tuviera un blog en un diario (pensaba que era del PSOE, pero algunos me dicen que sólo está vinculada), pero desde que pasó de ser el diario independiente de la mañana a un periódico aerodinámico para una época aerodinámica(**) ya poco puede sorprenderme. Luego, la magra utilización de los gráficos de SPSS, ya que con nada te pone una línea de regresión y te indican la R2, por lo menos. Y, por último, la ausencia de números.
El autor de la anotación es José S. Martínez, un profesor de Sociología de La Laguna que conozco, entre otras cosas, por un trabajo (pp. 56-85) que ha circulado bastante, y que defendía que uno de los problemas de la educación española es que la ESO era demasiado difícil. A mí ese artículo me pareció algo flojo técnica y argumentativamente, pero otra gente a la que admiro le ha parecido bueno.
La anotación empieza con un gráfico sin más referencia. Al menos, una recta de regresión y algún coeficiente de correlación debería haber aparecido por algún sitio, ya que aunque la distribución de los puntos no parece demasiado lineal, los gráficos pueden engañarnos, y los números no, o no tanto. Como son datos fáciles de encontrar en las estadísticas del Ministerio de Educación, he replicado los cálculos, y la R2 obtenida es bastante birriosa para tan pocos puntos: 0,30 (0,26 la corregida) para 19 casos, 0,23 (0,18 corregida) si quitamos Ceuta y Melilla. Lo del segundo gráfico es de nota: manteniendo Ceuta y Melilla R2 está en 0,23 (0,18 corregida), pero quitando ambas ciudades (el 0,47% de los alumnos) pasa a 0,06 y no es significativo estadísticamente según los estándares habituales. Ya he hablado del problema de incluir a las ciudades autónomas en ciertas regresiones aquí.
El segundo gráfico, por tanto, ya lo podemos descartar, puesto que no podemos decir que la relación entre ambas variables no existe (es decir, que no podemos afirmar que la disminución de la ratio influya en el aumento de fracaso). Centrándonos en el primer gráfico, vemos que hay una clásica concentración de CCAA del tercio noroeste peninsular en un grupo. También he hablado de esto, y cuando ocurre es para sospechar que hay en juego más variables que influyen en las dos del modelo, y hay que investigar más.
Otra crítica al gráfico es que las ratios no influyen sólo en el curso en que el alumno acaba la enseñanza obligatoria (donde medimos el fracaso), sino a lo largo de su escolarización, por lo que quizás habría que utilizar una media de los últimos años como independiente, y no la del año en curso. Aunque se podría aceptar la variable del último año como representativa del esfuerzo de la Administración autonómica en este tema. El autor debería haber puesto al menos alguna línea explicando el modelo, pero no lo hace. Tampoco explica el autor por qué no destacamos por nuestra elevada ratio en Europa, pero sí por las consecuencias de nuestro enorme fracaso.
Una vez cargados los datos, me puse a mirar un poco más, y calculé cómo ha cambiado la relación entre ambas variables en los años disponibles. Si la correlación permanece estable la variable ratio podía ser un buen candidato explicativo, pero si varía en función del valor de la dependiente, quiere decir que no es buena predictora, y que habrá que buscar otra variable explicativa mejor. Pues bien, lejos de mantenerse constante, la correlación aumenta cuando lo hace el fracaso, pero disminuye cuando este cae. Descartando Ceuta y Melilla y utilizando los datos del mismo año, los valores para el año 2000 de R2 son de 0,39, 0,47 en 2001, 0,57 en 2002 y 2003, para, a partir de entonces ir cayendo hasta el 0,23 de 2009. No parece haber una asociación demasiado clara, pero explica por qué el segundo gráfico no lleva a ningún sitio.
Este sería el gráfico con su recta de regresión y su R2. La ecuación de la recta (y=a+bx) sería y=-20+4,3x. Por cierto, ninguno de los coeficientes es significativo (no podemos decir, con los datos disponibles y en el rango de confianza habitual, que sean distintos de cero).


Cuando uno dice que una variable influye en otra lo que habitualmente se está proponiendo es un modelo de regresión, cuyo coeficiente b tiene un significado concreto: cuánto cambio de una variable dependiente (fracaso) está asociado a un cambio de una unidad en la variable independiente (ratio). El caso es que el modelo planteado tiene una b de 4,3, es decir, que sería necesario bajar la ratio una unidad para bajar 4,3 puntos el fracaso escolar. El problema es que, si el modelo fuera cierto, la solución sería extremadamente cara: en los niveles actuales (ratio de 11,3 alumnos por profesor) bajar la ratio una unidad significaría aumentar los docentes en casi un 10%, para conseguir que el fracaso caiga cuatro puntos. Si el objetivo es dejar el fracaso en un 10% habría que bajarlo 16 puntos nada menos, lo que en nuestro modelo equivaldría a aumentar los docentes ¡más de un 50%! Unos 333.000 profesores más. Más nos valdría aceptar que entonces el sistema es un pozo sin fondo, y que por este camino no vamos a ninguna parte (entre 2000 y 2011 las plantillas docentes han crecido un 31%, y todavía estamos esperando resultados).(***)
Si vamos por el camino inverso, y si Wonka tiene razón al calcular un recorte del 7%, y aceptáramos que todo fuera a recortar profesores de no universitaria (que es mucho aceptar), la ratio no llegaría a crecer una unidad, y por tanto su incidencia en el fracaso estaría cercana a los cuatro puntos (por cierto, siendo ya una exageración, un recorte semejante se llevaría por delante a menos de 50.000 docentes, que siendo mucho, se aleja un pelín de los 100.000 –y la estimación era sólo para la pública– de los que hablaban algunos: por favor, comprueben lo que fuman).
El artículo comentado tiene muchas afirmaciones -en mi opinión erróneas- más que se apoyan en un marco general que dista mucho de haber demostrado su validez: “fracaso escolar administrativo”, “no es casual que la tasa de abandono educativa más baja de toda nuestra historia (26% en 2011), se haya alcanzado tras el pinchazo del ladrillo”, “España no es comparable a Japón, debido a que el nivel educativo y cultural de las familias españolas, resultado de la política educativa elitista de la Dictadura, es mucho más bajo”... Algún día me tendré que meter con eso.
Por cierto, más aquí.

Notas:
(*) El cálculo es sencillo, pero no evidente. Si x es el número de alumnos e y,z son el número de profesores antes y después de la variación de la ratio, me interesa en qué proporción debe crecer z con respecto a y para disminuir la ratio, por ejemplo, de 12 a 10 alumnos por aula. Entonces: x/y=12; x/z=10; z=1,2y, por lo que el aumento es del 20%.
(**) Un chiste para enterados, lo siento. Tiene relación con el magnífico comienzo de la grandiosa película Juan Nadie (Meet John Doe, Frank Capra, 1941). Pueden verlo, tras los créditos, aquí (1’15”).
(***) A partir de este párrafo la anotación ha sido modificada por un error de interpretación en un coeficiente. Estuvo unos minutos colgada y, viendo el error, decidí suspenderla, pues hasta ahora no he tenido tiempo de modificarla. Siento que estos dos días hayan venido al blog para nada.

2 comentarios:

  1. ¿Sirve un análisis de regresión simple para un fenómeno multicausal y donde la aproximación oportuna sería multinivel? Dudo, dudo...

    Y no lo digo por esta entrada, que como entrada de blog es limitada y no pretende 'sentar cátedra' ni hilar con total finura. Lo digo más bien por los análisis que presentan algunos sociólogos de la educación que intentan acercarse a un fenómeno bien complejo con técnicas de escopeta de feria cuando tendrían que ir con armamento estadístico pesado. Como, por ejemplo, Saturnino Martínez. El artículo que enlazas es, en términos estadísticos, digno de estudiante de segundo de Grado. Si queremos conocer el mundo tenemos que recurrir a los mejores métodos disponibles hoy por hoy para acercarnos a él. Y, en este campo, se llaman diseños multinevel, desde luego.

    Por otro lado, y ya puestos a hablar, no entiendo por qué el Instituto de Evaluación se deja una pasta en estudio transversales y no financia estudios dignos longitudinales. (Lo mismo valdría para la Encuesta Nacional de Salud). La correlación no implica causación. Para establecer causalidad hace falta separar temporalmente supuesta causa y efecto y controlar el resto de variables. Hacemos estudios que sirven para pasar el rato, pero inherentemente limitados.

    Desde España babeamos con Finlandia. La correlación no implica causación, y buscamos aspectos en los que Finlandia se diferencia con la idea de que, aplicados en España, nos llevarían a estar mejor. En Finlandia hay más alcohólicos. Lo mismo si hacemos que los padres de los alumnos beban más mejorarán los resultados. A nadie se le ocurre. Lo mismo que a nadie se le ocurre traducir los resultados de un análisis de regresión a un estudio de caso único. ¿Por qué centrarnos en Finlandia y no en Flandes?

    Dicho lo cual, me estoy yendo de tema y cierro. En cualquier caso, el texto de Saturnino Martínez es una vergüenza indigna de un académico.

    ResponderEliminar
  2. Bueno, ya sugiero por ahí arriba que ya existen análisis con microdatos que van en la dirección contraria a las conclusiones por CCAA. Aunque en mi opinión sigue habiendo, al menos en España, un problema con la calidad del centro y la capacidad de atracción de estudiantes (más y mejores) subsiguiente. Es una variable que me encuentro frecuentemente en mis análisis, y que aún no he conseguido medir y emplear satisfactoriamente.

    En mi opinión, para saber lo que ocurre en educación hay dos acercamientos posibles (no excluyentes): analizar bien las estadísticas generales para entender lo que está pasando (cosa que no hace casi nadie) o utilizar técnicas potentes utilizando los microdatos disponibles. A veces he visto utilizar estas supertécnicas para contestar preguntas que análisis simples de las estadísticas te permitían contestar (y, algunos, mal hechos, que contradecían esas estadísticas).Pero acceder a microdatos es complejo, como sabes.

    Hay algún estudio transversal muy bueno, pero guardado en el cajón del político de turno, y que conozco por referencias. Pero sí, el IE podría hacer más. Veremos en esta nueva etapa, pero dudo que innove mucho no teniendo un duro. Al menos, los análisis serán mejores.

    Lo de Finlandia es hasta divertido: cómo retuercen el lenguaje para que lo que hacen en Finlandia se parezca a lo que hacen o pretenden hacer aquí, basado no en estudios y análisis, sino en analogías de adjetivos.

    ResponderEliminar