PRESENTACIÓN DE EXAMENES

Acerca de las evaluaciones del ICFES

El ICFES es la entidad responsable de la evaluación de la educación colombiana. El Instituto realiza la evaluación de la calidad de la educación básica (pruebas SABER, aplicadas periódicamente a estudiantes de tercero, quinto y noveno grados). Asimismo, tiene a su cargo los exámenes de Estado de la educación media (SABER 11o.) y de la educación superior (SABER PRO). También ofrece la oportunidad para que personas mayores de 18 años validen su bachillerato, y para que estudiantes de secundaria y otras personas interesadas se familiaricen con el examen de Estado, a través de la prueba PRE SABER 11o. El ICFES también coordina la participación de Colombia en evaluaciones internacionales.

¿Cómo se elaboran las pruebas?

Las evaluaciones que se realizan a través de pruebas estandarizadas deben basarse en instrumentos válidos y confiables, para que sea posible hacer inferencias apropiadas sobre los conocimientos, habilidades y capacidades de las personas evaluadas.

Una prueba es válida cuando mide lo que se quiere medir. Esto significa que hay consistencia entre lo que se pregunta en la prueba y el referente que se definió para la evaluación. A su vez, una prueba es confiablecuando permite hacer mediciones precisas sobre lo que se está evaluando. La validez y la confiabilidad son elementos esenciales para producir resultados que describan, con un alto nivel de precisión, las competencias de las personas evaluadas.

Las pruebas diseñadas y aplicadas por el ICFES se estructuran bajo la metodología denominada diseño de especificaciones a partir del modelo basado en evidencias. Se trata de un conjunto de prácticas de desarrollo de instrumentos que busca definir lo que mide una prueba y apoyar las inferencias que se hacen con base en las evidencias derivadas de la misma. Se busca asegurar la validez mediante la alineación de los procesos y productos de las pruebas con sus objetivos.

Metodología de diseño de especificaciones de las pruebas a partir del modelo basado en evidencias

La metodología consiste en un conjunto de procesos -o pasos-, que parten de la identificación de los conocimientos, las habilidades o las competencias que serán evaluadas a través de las pruebas y llegan hasta la definición de las preguntas, de forma tal que se garantiza que la correcta respuesta a las preguntas del examen sea evidencia del desarrollo de lo que se ha propuesto evaluar (véase figura 1).

Figura 1. Proceso de elaboración de las pruebas a través de la metodología de diseño de especificaciones basado en el modelo de evidencias

El desarrollo de esta metodología se inicia con la identificación de lo que se va a evaluar (conocimientos, competencias o habilidades) a través de una prueba estandarizada. Esto puede estar definido en documentos oficiales como los estándares básicos de competencias del Ministerio de Educación Nacional (para educación básica y media) o pueden ser construidos para la evaluación y sustentados en marcos de referencia de las evaluaciones, como ocurre en SABER PRO, que evalúa estudiantes de educación superior. En esta fase participan docentes en ejercicio de los niveles y áreas evaluados, profesores universitarios y expertos en evaluación. En mesas de trabajo se define lo que debe ser evaluado en cada una de las áreas del conocimiento o programas de educación superior.

Una vez identificadas las competencias, habilidades o conocimientos que se van a evaluar, la metodología lleva a formular las afirmaciones. Estas son enunciados que se hacen acerca de los conocimientos, habilidades y capacidades que se pretende inferir a partir de las respuestas dadas por los estudiantes en las pruebas. En otras palabras, la afirmación “traduce” el estándar en desempeños y permite dar cuenta del significado y alcance de los puntajes obtenidos por los estudiantes.

A partir de cada afirmación se construyen las evidencias, esto es, las acciones o productos observables que hacen posible verificar los desempeños a los que se refieren las afirmaciones. Éstas deben responder a la siguiente pregunta: ¿qué deben hacer los estudiantes en las pruebas que permita inferir que tienen determinadas competencias, conocimientos o habilidades? Las evidencias son la base para la construcción de las preguntas de las pruebas.

El siguiente paso es la elaboración de tareas. Estas son enunciados que dan pautas para la construcción de las preguntas o ítems de una prueba. A través de las tareas es posible caracterizar la dificultad o complejidad de las preguntas.

Esta metodología de diseño de pruebas garantiza la elaboración de instrumentos de evaluación con igualdad de características durante un período largo de tiempo, debido a que provee los elementos necesarios para que grupos de personas encargadas de la construcción de preguntas puedan producir pruebas equivalentes. Con ello, se asegura la comparabilidad de lo que se evalúa y de los resultados obtenidos en cada una de las aplicaciones. Asimismo, permite dar información explícita sobre lo que los estudiantes pueden o no hacer.

Construcción de preguntas por personal externo

El proceso de construcción, revisión y validación de pruebas tiene como propósito tomar decisiones sobre aspectos teóricos, metodológicos y prácticos que están encaminadas a garantizar la calidad de las pruebas desde el punto de vista académico y técnico.

Si bien el ICFES coordina todo el proceso de construcción de pruebas, se cuenta con la participación de universidades, asociaciones de profesionales, asociaciones de facultades, docentes de educación básica y media, profesores universitarios, estudiantes de último año de pregrado y estudiantes de postgrado, entre otros, que apoyan la puesta en marcha de los diferentes proyectos en desarrollo.

Para llevar a cabo esta actividad los participantes deben dominar el marco de fundamentación conceptual, las intenciones evaluativas y las especificaciones del instrumento que se pretende desarrollar. Asimismo, es fundamental reconocer que el propósito es producir un instrumento de evaluación con una estructura definida y no un agregado de ítems. Esta es una condición indispensable porque asegura que quienes desarrollen los ítems se comprometen con un propósito común y adelantan un trabajo articulado y armónico que asegura que cada ítem sea un aporte verdadero a la intención evaluativa, previamente definida, que se tiene con la prueba. Una vez se asegura este compromiso, puede decirse que se cuenta con las condiciones propicias para proceder a la fase de construcción de ítems.

El proceso de construcción de ítems exige dinámicas de reflexión y discusión entre pares y el apoyo de expertos que garanticen la calidad y pertinencia de cada pregunta. Una vez elaborados los ítems, son sometidos a revisiones por parte de expertos en los aspectos conceptuales o disciplinares, en técnicas de construcción, de estilo, etc., que sirven al propósito doble de controlar la calidad evaluativa y verificar que se disponga de las adecuadas condiciones editoriales del instrumento (véase figura 2).

Una vez aprobadas las preguntas por parte de estas instancias de revisión, pasan a ser validadas por otros docentes o expertos que no han participado del proceso de construcción y revisión anteriormente desarrollado. Además de revisar su validez conceptual, ellos verifican la pertinencia para la población evaluada.

Para aplicaciones de pruebas definitivas, es decir que ya han tenido una aplicación experimental luego de la conformación de las pruebas, son sometidas a la revisión de un especialista en el objeto evaluado, que es denominado “ojo fresco”, quien se encarga de verificar la integralidad de la prueba, es decir, se cerciora de la pertinencia académica y evaluativa frente al objeto y a la población evaluada.

Es importante mencionar que el seguimiento y evaluación de cada una de las etapas del proceso permite una cualificación constante del mismo, mediante la incorporación de nuevos elementos y la identificación de aspectos en los que se requiere mejoramiento.

FIGURA2

¿Cómo se califican las pruebas?

Las pruebas aplicadas por el ICFES son calificadas de acuerdo con metodologías psicométricas que permiten estimar los logros de las personas evaluadas. En particular, se emplean modelos de Teoría de Respuesta al Ítem (TRI), los cuales modelan la relación entre rasgos no observables directamente, como una competencia o el dominio de ciertos conocimientos, y la probabilidad de responder correctamente un ítem. En este sentido, se fundamenta en el postulado de que la ejecución de una persona en una prueba puede predecirse y explicarse por un conjunto de factores personales llamados, en conjunto, “habilidad” y en el hecho de que la relación entre la ejecución de la persona evaluada y la habilidad que la soporta puede describirse por una función.

Tipos de resultados generados a partir de las evaluaciones

Los resultados de las evaluaciones externas a cargo del ICFES ofrecen información sobre los desempeños de los estudiantes de educación básica, media y superior en un conjunto de áreas. Estas áreas son consideradas esenciales para propiciar el desarrollo de competencias que todos los ciudadanos requieren para desempeñarse en entornos sociales y laborales que demandan capacidades crecientes de lectura, interpretación, análisis y manejo de información abundante y compleja, así como para solucionar problemas de distinta índole.

Como se puede observar en la tabla 1, las evaluaciones PRE SABER 11o., SABER 11o., Validación del Bachillerato y SABER PRO permiten la producción de reportes de resultados individuales. Las personas que las presentaron pueden obtener sus reportes mediante una clave de acceso. Además, a partir de los datos agregados de estas evaluaciones y de la información que se obtiene de las pruebas SABER que se aplican a estudiantes de tercero, quinto y noveno grados se elaboran informes de resultados en los cuales se analizan las diferencias en los desempeños alcanzados con respecto a variables tales como nivel socioeconómico, género, tipo de institución educativa (oficial o privada), zona de ubicación (urbana o rural), municipios, departamentos o regiones, entre otras. Estos análisis tienen como propósito dar elementos para la toma de decisiones en cuanto a políticas y programas de mejoramiento de la calidad de la educación. El ICFES pone a disposición de los investigadores las bases de datos con esta información, para que esta se utilice en el desarrollo de nuevos estudios.

 Tabla 1. Tipos de reportes e informes de resultados producidos a partir de las evaluaciones a cargo del ICFES.

Evaluación	Información sobre resultados	Acceso / Disponibilidad
Pruebas SABER (grados 3°, 5° y 9°)	- Reportes por establecimiento educativo y sus respectivas sedes y jornadas. - Reportes por municipio. - Reportes por departamento. - Reportes por ente territorial certificado (departamentos – excluyendo sus municipios certificados). - Informes nacionales de resultados.	Información disponible para el público interesado.
SABER 11o.	- Reportes individuales - Reportes por establecimiento educativo, con los resultados de cada estudiante. - Clasificación de planteles según categorías de rendimiento. - Reportes de resultados históricos por establecimiento educativo. - Reportes de resultados históricos por municipio. - Reportes de resultados históricos por departamento. - Informes nacionales de resultados.	Acceso mediante registro de usuario y contraseña. Información disponible para el público interesado.
PRE SABER 11o.	- Reportes individuales.	Acceso mediante registro de usuario y contraseña.
Validación del bachillerato	- Reportes individuales.	Acceso mediante registro de usuario y contraseña.
SABER PRO	- Reportes individuales. - Reportes por institución educativa, con los resultados de cada estudiante. - Reportes de resultados históricos en cada examen específico, por institución de educación superior (período 2004 – 2010). - Reportes de resultados históricos en cada examen específico, por municipio (período 2004 – 2010). - Reportes de resultados históricos en cada examen específico, por departamento (período 2004 – 2010). - Reportes de resultados históricos en cada examen específico, nacional (período 2004 – 2010). - Reportes de resultados en módulos de competencias genéricas y módulos específicos comunes, por programas, instituciones y grupos de referencia (a partir de 2011). - Informes nacionales y departamentales de resultados.	Acceso mediante registro de usuario y contraseña. Información disponible para el público interesado.