Es bien sabido que la baja alfabetización tiene consecuencias perjudiciales tanto para los individuos como para la sociedad en general. Como esta columna señala, la alfabetización es algo más que habilidades de lectura: consiste en la capacidad para comprender lo que se lee y, con la ayuda de los conocimientos adquiridos, utilizar y evaluar críticamente. En términos más generales, la alfabetización funcional es la capacidad de hacer frente a las circunstancias de la vida, mientras que el analfabetismo funcional generalizado hace que toda una sociedad sea disfuncional. De ahí el valor de las evaluaciones internacionales a gran escala sobre los logros educativos para informar los esfuerzos nacionales para elevar la calidad de la educación, pero también el valor de la investigación para interpretar los resultados para una política y práctica efectivas.
Las evaluaciones internacionales a gran escala de los logros educativos miden la alfabetización funcional, y los resultados están destinados a informar los esfuerzos nacionales para mejorar la calidad de la educación. En las últimas dos oleadas de una de estas evaluaciones, PISA (Programa para la Evaluación Internacional de Estudiantes), los resultados de la competencia en lectura revelaron una proporción alarmantemente grande de estudiantes analfabetos funcionales en Bulgaria.
Sin embargo, la evaluación nacional externa (NEA, por sus siglas en inglés) en la misma etapa de escolarización – es decir, la que organiza la Secretaría de Educación del país – encontró resultados diferentes. No sólo dieron resultados diferentes las dos, sino que tampoco son comparables, así que no podemos decir qué reformas educativas se necesitan o la forma de ponerlas en práctica.
Lo que PISA evalúa en su componente de comprensión de lectura es un conjunto de competencias para demostrar lo que el alumno puede descifrar de un texto como parte de la información y lo que puede hacer con él. Esto hace que esté orientada hacia el futuro, midiendo la alfabetización funcional.
En la última prueba de PISA, implementada en el 2018 , el resultado promedio de los estudiantes búlgaros fue de 420 puntos. Este resultado no tiene un significado sustantivo sino relacional, en comparación con todos los participantes en la prueba. El puntaje promedio de un país se compara con el puntaje promedio de los países de la OCDE, que en 2018 fue de 487 puntos. Este resultado coloca a los estudiantes búlgaros en el último lugar entre los países europeos.
De hecho, desde la ola PISA de 2012, los resultados de Bulgaria se han deteriorado constantemente. El indicador más importante, sin embargo, es estudiantes cuyos resultados están por debajo del nivel crítico 2 – el umbral de alfabetización funcional – y en la última prueba, se aproximan al 50%. Al mismo tiempo, los estudiantes cuyos resultados están en los niveles más altos 5 y 6 están por debajo del 5%.
Este descubrimiento provocó un debate público generalizado, en el que se expresaron una variedad de opiniones explicativas. Algunos culpan al sistema educativo conceptualmente obsoleto (es decir, su contenido); otros a la preparación inadecuada de los docentes (es decir, el método); y aún otros, a los estudiantes y profesores no interesados (es decir, la motivación).
Analizando las pruebas nacionales, su propósito anunciado se va a utilizar para reformar los planes de estudios, los planes, y el contenido, y para readaptar los métodos de enseñanza para mejorar la calidad de la educación. Sin embargo, cuando nos acercamos a los resultados con fines analíticos, encontramos que representan datos de baja calidad que no son aptos para el procesamiento debido a numerosas omisiones e inconsistencias.
Por ejemplo, si tomamos los resultados para 2015, correspondientes a la ola PISA anterior, tenemos un promedio anunciado de 58.68 de 100, que es un puntaje de “bueno a muy bueno”. Pero cuando limpiamos y verificamos la consistencia de los datos, obtuvimos un puntaje promedio de 34.10 de 100, que es la parte más baja del rango de puntaje bueno.
Entonces, ¿qué sucede cuando ponemos los resultados de las dos evaluaciones una al lado de la otra? En primer lugar, vemos un resultado de NEA que en la interpretación de Bulgaria califica como bastante buena, y un resultado PISA que implica analfabetismo funcional de casi la mitad de la cohorte. En segundo lugar, vemos una diferencia insignificante entre las puntuaciones en las dos últimas olas de PISA y una diferencia sustancial entre las respectivas evaluaciones de NEA.
Un conjunto de datos más realmente indica una diferencia. Hace varios años, se introdujo en Bulgaria el concepto de una “escuela innovadora”, permitiendo a las escuelas individuales diseñar e implementar nuevos enfoques, métodos, actividades de enseñanza y aprendizaje, y certificándolas como innovadoras. La extracción de los resultados de las escuelas certificadas como innovadoras en la misma NEA durante cinco años posteriores revela que constantemente se desempeñan mejor.
¿Cuáles son las principales conclusiones que sacamos de esta investigación?
En primer lugar, los resultados de las pruebas internacionales y nacionales no son comparables debido a la gran discrepancia en los métodos de prueba y el contenido entre las dos. Esto invalida el propósito de usarlas para informar reformas para mejorar la calidad de la educación.
Segundo, el sistema nacional de clasificación de resultados no corresponde a los estándares internacionales y, por lo tanto, no puede proporcionar un nivel razonable de seguridad de que la medición sea adecuada.
En tercer lugar, aunque los datos generales como los resultados de PISA están creciendo a nivel mundial, darles sentido no es fácil. El conocimiento dirige la actividad civil y para determinar si nuestras ideas necesitan pruebas para ser consideradas como conocimiento, la investigación se convierte en una necesidad.
Hay tres razones por las cuales la investigación es significativa.
En primer lugar, es un medio para comprender diversas cuestiones, y para aumentar la conciencia pública de ellas. En el ejemplo de la educación, el problema es claramente sistémico y no puede ser fijado solo por iniciativas civiles. Si se dirigen correctamente, las iniciativas civiles pueden hacer una contribución, pero necesitan información y orientación. Esto lleva a la segunda razón.
La investigación es un medio para encontrar, medir, y aprovechar las oportunidades. Abordar el analfabetismo funcional es una tarea complicada que puede abordarse de varias maneras. Pero incluso antes de eso, hay muchas preguntas que necesitan ser respondidas: ¿Dónde están las deficiencias más graves – en el contenido, el método, o la motivación? ¿Están relacionadas las deficiencias numéricas y lingüísticas? ¿Y se relacionan a cómo se imparte el conocimiento en la escuela?
Las oportunidades están ocultas en las respuestas a estas preguntas y para descubrirlas necesitamos evidencia de apoyo. Dicha evidencia generalmente se puede encontrar en los datos, pero cuando recurrimos a lo que está disponible, nos damos cuenta de que primero tenemos que hacer que los datos sean utilizables. En nuestro caso, esto significa algún tipo de procesamiento que revele los factores relevantes, y que ilustre correlaciones y posibles dependencias. En el camino, esto también ilustra las brechas de datos.
La tercera razón por qué la investigación es importante es que es una manera de probar ideas falsas y verdades de apoyo. A veces, arroja luz sobre temas que no sabíamos que existían, y plantean preguntas que no sabíamos que debíamos preguntar.
El Centro de Inmigración e Integración es una organización civil que utiliza la investigación de esta manera en su trabajo con los jóvenes. Vigilamos de cerca todos los aspectos de nuestra sociedad, así como a nivel mundial, ya que es nuestra misión abordar los problemas relacionados con la juventud.
Sabemos por experiencia que descubrir las causas de un problema ampliamente definido requiere una investigación con una pregunta bien formulada. Para el CII, funcionar como una organización civil implica una actividad socialmente responsable. La responsabilidad social no es sólo una actitud, también exige conocimiento.
