MODELO COMPUTARIZADO PARA LA PREPARACION DE EXAMENES* RICARDO ALVAREZ CASTRO Ingeniero electromecánico - Universidad del Valle. Magíster en Ingeniería Industrial yde Sistemas - Universidad del Valle. Profesor ICES!. CARLOS ROSSO ACUÑA Lic. en Filología e Idiomas - Universidad Pedagógica. Master ot Arts en Lenguas - Universidad de Harvard, Cambridge. Ph.D Literatura - Universidad de Wisconsin Madison. USA. Profesor ICES!. MARTHA HELENA HERNANDEZ B. Ingeniera de Sistemas y Computación - Universidad de los Andes. Diseño Internacional - Universidad Sturtgard, Ale mania. INTRODUCCION El presente proyecto surgió a raíz de la idea de optimizar el proceso de evaluación de los estudiantes. Para ello se tomó la larea de preparación de exámenes de todo tipo. Así pues, se planteó el desarrollo de un sistema computarizado para la producción de exámenes, que sirviera como una he rramienta flexible, para que el profesor conformara y produjera su cuestionario de evaluación. Dicha aplicación se desarrollaría en un principio a nivel de prototipo para probar y mejorar el modelo y luego se realizaría el sistema general. Algunas de las características de las preguntas y de los cuestionarios de los exámenes. que se han tenido en cuenta para el modelo son el tema. el tiempo que toma el estudiante para responder una pre gunta, el grado de dificultad de las preguntas, la cantidad de preguntas en un cuestionario, el tipo de las preguntas, el ? Presentado al VI Encuentro Nacional de Informat¡ea Universitaria. Universidad Javeriana. Cali 1989 .1~iH;~;' ]H\w,'_~~ 9 ICESI nivel de aprendizaje que se evalúa, el ba lance entre niveles de aprendizaje evalua dos, etc. Aunque lo anterior hace referencia a la aplicación de computador, se considera que los aportes más importantes del proyecto son el análisis que debe hacerse para la preparación de las preguntas o items antes de que éstos sean introducidos al sistema y el diseño de la evaluación que debe responder a unos objetivos clara mente establecidos por el profesor. Todo esto forma parte del proceso de diseño ins truccional, el cual se ha abordado bajo un enfoque de sistemas. En el proyecto han venido trabajando tres profesores universitarios de áreas bastante diferentes -Humanidades, Ma temáticas y Sistemas- y un experto en educación. Para efectos de este proyecto se utilizará el término general examen que puede hacer referencia tanto a un examen parcial o final como a una prueba corta o Quizá, un taller, tarea, etc. 1. DESCRIPCION DEL PROYECTO 1.1 Marco teórico Bajo el punto de vista de la educación, la evaluación se define como "el proceso de obtener información y utilizarla para dar jui cios que servirán como base para la toma de decisiones". La evaluación es un elemento esencial del proceso de enseñanza-aprendizaje. Esta constituye una labor muy importan te de las actividades del profesor ya que sin ningún tipo de evaluación, la enseñanza sería casi imposible. El buen profesor debe estar continua mente en la búsqueda de nuevo material y mejores formas de transmitir los conocimientos a sus alumnos, para lo cual requiere saber muchas cosas acerca de ellos como son, sus habilidades, destrezas, intereses, logros, esfuerzos y debilidades, y esto se logra mediante su evaluación. El proceso de evaluación es complejo y envuelve una serie de actividades. como se puede observar en el modelo propuesto por Ten Brick, 1974 (ver Figura 1). 10 ICESI La preparación de exámenes hace parle del paso No. 5; "Construir o seleccionar los instrumentos para recolectar la informa ción" de este proceso. Para realizar este paso, se tienen las si guientes técnicas: i) Investigación ii) Observación iii) Análisis iv) Exámenes. Según el análisis de Ten Brink (1974), de estas cuatro técnicas se puede afirmar que la de exámenes tiene una mayor relevan cia. El de exámenes es objetivo y confiable, y además es el que provee información más precisa pero también el más costoso. Con un sistema como el que se plantea en el proyecto, se lograrían reducir estos costos y hacer más eficiente dicha labor. EL PROCESO DE EYALUACION Figura 1 Antes de pensar en la medición, todo profesor debe haber seleccionado previa mente los contenidos que se van a presentar en cada unidad de un curso y tener especificados los objetivos de apren· dizaje, esto es, no sólo lo Que se espera que el estudiante aprenda sino también, los comportamientos que debe desarrollar respecto al contenido. Dichos comportamientos se refieren a las formas en que los estudiantes deberían ser capaces de pensar, actuar y aún más: sentir, acerca del material, de ellos mismos, los demás, etc. Una buena herra mienta para este trabajo es la Tabla de Es pecificaciones. Una tabla de especificaciones es un cuadro en dos dimensiones que consiste de una serie de columnas correspondien tes a los diferentes niveles de aprendizaje. Con la ayuda de ésta, se pueden prepa rar las evaluaciones, introduciendo en fila para cada nivel, los objetivos que van a ser evaluados en un nivel y las preguntas res pectivas. TABLA DE ESPECIFICACIONES CONOCIMIENTOS DE HABILIDAD PARA ANALlSIS T6nnl- Hechos Regl?? y Proceso. Tren".- Apllca- Y nos PrInclp. y Proc:ecI. clone. clone. SINTESIS NI. Conocimiento de reglas y princi pios: Se refiere a patrones específicos o esquemas que son utilizados para organizar las principales ideas de una ma teria. Generalmente, éstos reúnen un número de hechos o describen la interre lación entre aspectos especificos. Se es pera que los estudiantes conozcan una regla o principio, que recuerden una ilus tración de éste, utilizada durane la instruc ción y/o recuerden situaciones en las que fue aplicada. En la mayoría de los casos, Figura 2 A continuación se describen los niveles de personas, eventos, operaciones u otras mencionados: clases de información específica. Puede esperarse que los estudiantes recuerden hechos particulares y/ o recuerden el hecho correcto cuando se les pregunte acerca de él de manera relativamente di recta. Entre los ejemplos de hechos están: "Pascal diseñó una máquina para hacer sumas y restas mecánicamente", "Home ro es el autor de fa IIíada". l. Conocimiento de términos: Son las nuevas palabras o frases que se espera que los estudiantes aprendan. Puede es perarse que ellos definan estos términos, los reconozcan en ilustraciones, determi nen cuándo son utilizados correctamente y reconozcan sus sinónimos. El nivel de conocimiento aquí consiste en simple re conocimiento o recuerdo, y es general mente considerado el nivel más simple de aprendizaje. Algunos ejemplos de éste pueden ser "Media" en Estadística, "Tejido" en Biología. 11. Conocimiento de hechos: Los hechos son tipos específicos de infor mación que se espera que los estudiantes recuerden. En general los hechos son de talles particulares que son importantes por sí mismos o son esenciales para otras clases de aprendizaje. Incluyen nombres UUi;j¡ UijU~r,¡::~,. 11 ICESI las reglas y principios son más difíciles de aprender que los términos y hechos Sin embargo es importante tener en cuenta que esta categoria tiene relación única mente con el conocimiento de reglas y principios. no con su aplicación. Un ejem plo podría ser la propiedad conmutativa de los operadores lógicos o la fórmula para re solver una ecuación de segundo grado. Iv. Conocimiento de procesos y procedimientos. En muchas materias se espera que los estudiantes conozcan los pasos particulares de cierto proceso o pro cedimiento. Frecuentemente es importan te que estos pasos sean recordados en una secuencia determinada. Por ejemplo se puede esperar que los estudiantes sepan el orden apropiado de los pasos para resolver un problema de matemáticas o para resolver un caso de administración. Los procesos y procedimientos pueden in volucrar varios términos o hechos y son tí picamente difíciles de aprender por los es tudiantes. Es importante resaltar que éstos son los procesos y procedimientos que queremos que los estudiantes aprendan, no el proceso instruccional o los procedi mientos que planeamos utilizar en la uni dad de enseñanza. v. Habilidad para hacer translacio nes. Estas involucran la transformación de un término, hecho, regla o proceso de una forma a otra. Al hacer translaciones, los estudiantes expresan una idea en particu lar en una nueva forma o toman los eventos o fenómenos de una forma y los represen tan en forma equivalente. Se puede espe rar que los estudiantes reconozcan nue vas ilustraciones de un término, hecho, re gia u otro aspecto y/o determinen cuando una ilustración es apropiada. En general los estudiantes emplean translaciones cuando ponen una idea en sus propias pa labras o reconocen nuevos ejemplos de lo que han aprendido. Las translaciones en este sentido no deben confundirse con las traducciones a lenguas extranjeras. vi. Habilidad para haceraplicaciones: La aplicación es el uso de términos. he chos, principios o procedimientos para resolver problemas en situaciones nuevas o no familiares. Se espera que los estudian tes usen ideas o conceptos aprendidos en un contexto para resolver problemas pre- 12 ICESI sentados baJO un nuevo contexto. Sin em· bargo es importante recordar que si se trata de un problema que el estudiante ha resuelto previamente con otros datos, esto es una translación. Una aplicación para un profesor puede ser una translación para el otro, dependiendo de las diferencias en los ejemplos usados en las presentaciones de clase o prácticas. Para hacer una aplica ción. el estudiante debe primero reconocer lo esencial para el nuevo problema, deter minar los hechos, reglas, procedimientos y demás que son relevantes y luego utilizar los para resolver el problema. La habilidad para hacer aplicaciones es bastante com pleja. es el nivel más alto de aprendizaje utilizado por gran cantidad de profesores. vII. Destreza para hacer análisis yIIn tesis: Un comportamiento aún más avan zado es el de hacer~nálisisy sintesis. El análisis generalmeroi;} involucra la subdi visión de conceptos en sus partes cons tituyentes y la detección de la relación entre esas partes. La síntesis por otro lado, invblucra la integración de elementos o conceptos de tal forma que constituyan un patrón o estructura con sentido. La sintesis con frecuencia lleva a los es tudiantes a desarrollar soluciones creati vas dentro de los límiles de un problema particular o un marco metodológico. Debido a la complejidad de este nivel, el análisis y la síntesis se consideran típica mente sólo en cursos más avanzados. Sin embargo, algunos profesores sienten que estas destrezas son muy importantes ytra tan de incluir prácticas de estas activida des para los estudiantes en todos los niveles. Ejemplos de éste podrian ser: "Me diante un párrafo, describa la idea central del texto leído", "Resuelva el caso anterior utilizando sus propias palabras". 1.2 Justificación Debido a la falla de capacitación de al gunos profesores en el aspecto de evalua· ción, se encuentra una serie de deficien cias en la preparación de los exámenes como son: a) No se toman en cuenta los niveles de aprendizaje que se desea evaluar. (Ver 1.1 - Tabla de Especificaciones). b) En general, las preguntas utilizadas evalúan pocos niveles de aprendizaje. c) Se tiende a usar casi siempre el mismo tipo de preguntas, desaprovechan do los diferentes tipos existentes que per miten dar mayor flexibilidad y riqueza a la evaluación. d) No se calcula adecuadamente el tiempo que puede tomar el estudiante para responder las preguntas, lo cual lleva a prolongar los tiempos de exámenes y a suprimir algunas preguntas. e} Es bastante generalizado el uso de un cuestionario común a todo el grupo, lo cual facilita la copia entre los estudiantes. 1.3 Objetivo general El presente proyecto se propone mejorar la calidad del proceso de evaluación del estudiante. 1.4 ObJetivo. e.peclflco. Como objetivos específicos se tienen: a) Mayor efectividad en la preparación de exámenes. b) Mayor eficiencia en la preparación de exámenes. c) Aumento en el rendimiento de los es tudiantes. d) Desarrollo del profesor mediante su capacitación en el campo de sistemas. e) Mejora de la imagen del profesor. 1.5 Actlvldade. Para desarrollar este proyecto, se han planteado dos grandes etapas, dentro de las cuales se realizan una serie de activi dades como se puede anotar a continua ción: A- Desarrollo del prototipo Dentro de esta primera etapa han partici pado tres profesores de áreas diferentes, los cuales han trabajado en la definición del modelo. Este modelo se le ha entregado aun programador para que desarrolle los programas y la documentación utilizando la herramienta DBASE III+. Las actividades para esta etapa son: 1) Selección y compromiso de los profesores (que participarían en el proyec to). 2) Capacitación de profesores en ma nejo de un paquete de Base de Datos y Diseño 1nstruccional. 3) Definición del prototipo. 4) Revisión/ rediseño de programa de cursos escogidos. 5) Definición de indicadores. 6) Medición de indicadores. 7) Desarrollo de aplicación (programas, documentación). 8) Creación de las bases de datos (in troducir los datos) 9) Selección, revisión y diseño de las preguntas. 10) Pruebas. B- Extensión del modelo. Una vez terminado y probado el modelo inicial, se tomará un grupo mayor de pro fesores (aproximadamente 1O) Yse llevará a cabo un trabajo similar al realizado con los profesores de la primera etapa. Luego se asignará a un programador, el desarro llo de la nueva aplicación utilizando un manejador de Base de Datos más podero so como podría ser Oracle, Unify o Informix. Actividades de esta etapa 1) Selección y conformación de grupos de profesores. 2) Presentación del proyecto a profeso res. 3) Capacitación de los nuevos profeso res en el manejo de un paquete de Base de Datos. 4) Capacitación de profesores en Dise ño lnstruccional y Evaluación. 5) Conversión de la aplicación (repro gramarla en un paquete de Base de Datos más poderoso multiusuario, rápido, con lenguaje de 4a. generación, etc) 6) Revisión/rediseño de programa de los cursos asignados a los nuevos profe sores 7) Preparación de ítems (preguntas, problemas, etc.) para el Banco de Datos. 9) Creación de la Base de Datos. 13 ICESI 4- Difícil 5- Muy dificil 10) Capacitación a profesores en el manejo del nuevo sistema. 11) Medición e indicadores. 12) Evaluación del proyecto. 2. BREVE DESCRIPCION DEL PROTOTIPO 2.1 ArchIvos La aplicación maneja un gran archivo de preguntas y una serie de tablas adiciona les, los cuales se presentan a continua ción. Archivo de Preguntas Tiene como propósito guardar las pre guntas y sus atributos. Contiene los si guientes campos: 1} CódIgo: Secuencia de cinco dígitos que permite identificar de manera única a cada pregunta. Lo asigna directamente la aplicación en el momento de introducir la pregunta al sistema. 2} Materia: Es el código del curso tal como se ha dado originalmente por la ins titución. Consiste de una secuencia de seis dígitos. 3} Módulo: Cada materia está dividida en módulos o unidades que agrupan varios temas. Por cada módulo se tiene un código secuencial de dos dígitos dentro del curso. 4} Tema: Dado que cada módulo está dividido en temas, es preciso codificar dichos temas para identificarlos. El código del tema es de dos dígitos. 5} Pregunta: Este campo guarda el texto de la pregunta, siempre y cuando no se trate de un párrafo ni de un enunciado general. Si la pregunta se asocia a un pá rrafo o enunciado particular, éste se en cuentra aparte. 6) P6rrafo: Por medio de este campo se específica símplemente si la pregunta an terior es referente o no, a un párrafo o enunciado. 7} CódIgo del párrafo: En caso de que el campo anterior sea verdadero, este campo guardará el código del párrafo o enunciado respectivo. 8} TIpo de pregunta: Guarda el carác ter asociado dependiendo del tipo de pre gunta así: 14 Ices. A- Falso/verdadero B- Completar C· Apareamiento D- Escogencia múltiple E- Respuesta corta F- Ensayo respuesta restringida G· Ensayo con respuesta abierta 9} DIficultad: Este campo básicamen· te se utiliza para dar información al profe· sor. Dependiendo del nivel de dificultad de la pregunta puede contener los siguientes valores: 1- Muy fácil 2- Fácil 3- Normal 10) TIempo: En este campo se guarda el número promedio de minutos que toma el estudiante en contestar la pregunta. Estos minutos se pueden tener hasta con un dígito decimal. Ej: 8.5 mino (ocho minutos y medio) 11) NIvel de aprendIzaje que evalúa: Es un carácter que se refiere a los niveles de la tabla de específicaciones así: T- CONOCIMIENTO DE TERMINOS H- CONOCIMIENTO DE HECHOS R- CONOCIMIENTO DE REGLAS Y PRINCIPIOS P- CONOCIMIENTO DE PROCESOS Y PROCEDIMIENTOS L- HABILIDAD PARA HACER TRASLACIONES A- HABILIDAD PARA HACER APLICACIONES S- DESTREZA PARA REALIZAR ANALlSIS y SINTESIS Si una pregunta evalúa más de un nivel, se incluye el nivel superior. 12),13) Y 14) Número de objetivo que evalúa. Cada pregunta evalúa por lo menos uno de los objetivos propuestos dentro de un módulo. Estos tres campos contienen los códigos del primero. segun do y tercer objetivos, respectivamente, que evalúa la pregunta. Dichos objetivos están clasificados por orden de importancia. 15) Código Alterna: Es el código de la pregunta alterna. si existe. Dicha pregunta tiene las mismas características principa les de la original (curso, módulo, tema, dift cultad, nivel que evalúa, objetivo (s) que evalúa), pero es diferente. Su propósito es el de tener una fuente alterna para generar evaluaciones en otro grupo donde se dicte el mismo curso. 16) Código Melliza: Consiste en el có digo de una pregunta que va a ser casi igual a la original. La diferencia está en los datos o enunciado de la pregunta, pero debe conservar incluso el mismo tipo y lon gitud de la original. Se utiliza para producir temas múltiples dentro de un mismo curso y una misma evaluación. 17) Respuesta esperada: Para ciertos propósitos es conveniente almacenar una posible respuesta a la pregunta en cues tión. Esta puede ser usada por el profesor al imprimir la solución de un examen. 18) Longitud: Almacena el número de líneas que ocupa una pregunta. Este dato lo utiliza el programa para preparar el formato de examen. 19) Autor: Este es el código de la persona (generalmente el profesor) que introdujo la pregunta al sistema (aunque no sea su autor propiamente). Este dato sirve MENU PRINCIPAL en caso de que se tenga cualquier inquie tud acerca de la pregunta, para contactar a la persona responsable. A su vez, este campo sirve para evaluar otros aspectos del profesor y el curso. 20) Fecha de creación: Guarda la fecha en que se introdujo la pregunta. Sirve para ver la antigüedad de la pregunta en el sistema. 21) Fecha último uso: Es la fecha de la última vez en que se incluyó esta pregunta en un examen. Se usa para la preparación de nuevos exámenes. Adicionalmente se tienen los archivos de tablas como son: -Cursos -Objetivo -Niveles de aprendizaje :-Profesores. 2.2 Funciones A continuación se presentan los esque mas de los menúes de la aplicación me diante los cuales se pueden identificar sus principales funciones. i l Figura 3 15 ICESI MENU PARA TRABAJAR CON PREGUNTAS Figura 4 MENU PARA PRODUCCION DEEXAMENES ~---.., Figura 5 MENU PARA MANEJO DE LAS TABLAS _______________________Figura 6 _ 16 'CES';; 2.3 Informes de sallde Como salidas se espera que el sistema produzca diferentes tipos de informes. Estos informes se describen a continua ción. A) LISTADO DE PREGUNTAS POR MO DULO - TEMA Propósito: Se utiliza para preparar exá menes, quices, tareas o talleres. También sirve para corregir, agregar o eliminar pre guntas. Contenido: El encabezamiento contiene en cada página el nombre del curso, la fecha y la hora en que se imprime, el nom bre del profesor que lo solicitó y el nombre del Módulo y/o Tema. Por cada pregunta se imprimen los va lores de los siguientes campos: -CODIGO -PREGUNTA -TIEMPO -DIFICULTAD -CODIGO(S) DE PREGUNTA(S) MELlIZA(S) -CODIGO(S) DE PREGUNTA(S) GEMELA(S) Propósito: Esta lisIa se usa principalmente para preparar quices con un límite de tiempo dado. También se puede usar para com pletar las preguntas de un examen que está casi determinado. Contenido: -CODIGO -PREGUNTA -TIEMPO -CODIGO(S) DE PREGUNTA(S) MELLlZA(S) -CODIGO(S) DE PREGUNTA(S) AL TERNA(S) e) PRE-EXAMEN Propósito: Con base en una serie de criterios como son el módulo, tema(s), orden, tiempo lími te (sumatoria de los tiempos de cada pre gunta sea menor que un tiempo límite dado) objetivos, se desea una o más alter nativas de examen. Contenido: Este informe es un formato que consiste en un encabezado seguido de una lista de preguntas enumeradas y por último puede contener un comentario u observación. Criterios adicionales: Otros criterios que se sugiere incluir son los siguientes: -Pedir que el examen abarque más de un porcentaje de los objetivos para una unidad, y que las preguntas se repartan lo más uniformemente posible dentro de los objetivos. - Tipos de preguntas que se desean ej: escogencia múltiple, selección, falso/ver dadero, etc. -El tiempo estimado para responder cada pregunta se calcula tomando el dato del archivo y aplicándole una tolerancia del 10%. D) EXAMEN Dados los códigos de las preguntas que se desea incluir, asi como la fecha del exa men, el código del profesor, el número de copias y una observación o nota adicional opcional, el computador debe devolver el formato de examen listo para entregar a los estudiantes. Además de los datos anterio res, se incluye el nombre de la materia y el del profesor los cuales los toma de las ta blas existentes. E) EXAMEN MELLIZO Con relación al examen anterior se le puede pedir al sistema que produzca un cuestionario con las mismas característi cas pero cuyo contenido sea conformado por preguntas mellizas (si no es posible en su totalidad, al menos en un 80%). Este tipo de examen se produce con el objeto de reducir las posibilidades de copia entre los estudiantes, al tener temas dife rentes para un mismo grupo. F) EXAMEN ALTERNO Este examen será producido también con base en el original. La diferencia con el mellizo es que sus preguntas ya no serán las mellizas de éste, sino las alternas. Su propósito es el de evaluar los mismos objetivos en grupos diferentes. G) SOLUCION AL EXAMEN Este formato consiste en la solución de las preguntas colocadas en el examen. Algunos profesores prefieren entregar esta solución a los estudiantes, con el objeto de que ellos caigan en la cuenta de sus erro- 17 ICESI res, y de que comparen con las calificacio nes dadas por el profesor. Para obfener este formato, se le dará la identificación del examen producido 3. CONCLUSIONES Nota: Se incluyen las que se han obteni do hasta el momento. La conclusión más importante a la que se ha llegado es que el uso de un sistema de este tipo. sólo tiene sentido y llega a ser útil, en la medida en que sus usuarios sean conscientes del proceso instruccional orientado a la mejora de la enseñanza aprendizaje. A partir de dicho conocimien to, este sistema se convierte en una he rramienta que permite hacer más eficiente dicho proceso. -La aplicación cumplirá sus objetivos siempre y cuando se trabaje en la calidad de los datos que se introducen. Es decir. el hecho de contar con esta aplicación no va a garantizar la producción de buenos exá menes si no se han preparado y caracteri zado muy bien los ítems o preguntas que se van a incluir. -Para obtener éxito es necesario invo lucrar a los profesores en el proyecto. -Los profesores que trabajen en una actividad de ese tipo deben estar altamen te motivados y dispuestos a introducir cambios en su estilo tradicionaL -Se requiere capacitar al profesor en el campo de Sistemas para hacer más efi- 18 ICESI ciente su papel de "administrador de expe riencias instruccionales". -Un modelo de esta naturaleza debe ser trabajado por profesores de diferentes campos, para hacer que sea general y aceptado. -La motivación y participación de otros profesores en el proyecto se logra a través del efecto de demostración. - Un sistema de este tipo puede llegar a utilizarse para que los estudiantes practi quen y se auto-evalúen. -Existen algunas aplicaciones en esta línea pero se han concentrado en el mane jo del banco de preguntas como tal y han olvidado aspectos tan importantes como el propósito del examen, los objetivos que evalúa una pregunta, los niveles de apren dizaje que se quiere evaluar, los tipos de preguntas más apropiados, etc. 4. REFERENCIAS BIBLlOGRAFICAS -CHUBER/CRUZIZAPATA "Evaluación del Aprendizaje: Aspectos Instruccionales, Estadís ticos y Organizativos" Universidad del Valle, Cali. 1980 -DIAGONAL SANTILLANA Edil. "Diccionario de las Ciencias de la Educación", México, 1984 -GUSKEY, Thomas R. Implementing Mastery Learning, Belmont, CA; Wadsworth 1985. -"Medición Educativa", Revista Compilación de Nros. O al 9 Año 1972, Argentina. - TEN BRINK T. "Evaluation, a practical guide lor teachers", U.SA 1974