Revisión de software para evaluar formativamente a los alumnos a través de Internet[1]

Lara Ros, Sonia

Departamento de Educación. Universidad de Navarra

 

 

Resumen

La finalidad de este artículo es la revisión y descripción de las principales aplicacioenes informáticas que se están empezando a emplear para evaluar formativamente a los alumnos a través de la red: Internet o Intranet de forma automatizada. En total se revisan 18 herramientas –8 comerciales y 10 creadas por universidades–. Este trabajo forma parte de un trabajo más amplio en el que se describe con exhaustividad el software revisado (Lara, 2001).

Palabras clave: Evaluación formativa; Revisión de software; Internet; Intranet; Red; Evaluación asistida por ordenador; Computer-based assessment; Web-based assessment.

Introducción: selección de criterios

La intención de las próximas páginas es la de realizar una revisión de las herramientas disponibles actualmente en el mercado para llevar a cabo la evaluación de forma automatizada, y ofrecer algunas pautas que sirvan para la selección del software que se adapte más a las necesidades del profesor.

Algunos de los trabajos de la literatura revisada [cfr. Charman y Elmes (1998), Sherratt (1998) y Gibson y cols. (1999)], plantean criterios para comparar y valorar software para llevar a cabo procesos de evaluación automatizada a través de la red –Internet/Intranet–. Los criterios empleados en cada una de las revisiones son dispares, en una se divide la clasificación en función del objeto de la evaluación (bien sea formativa, bien sumativa), en otra se señala tan sólo aspectos instructivos, y en otra se tienen en cuenta aspectos más bien técnicos y de desarrollo. Los criterios que plantean estos trabajos consideran aspectos que evalúan aspectos de todo el proceso de la aplicación de la evaluación automatizada.

Considerando todo lo anterior se opta por centrar la atención únicamente en las características de la herramienta. La Tabla 1 muestra los criterios que se emplean para hacer la revisión de las herramientas encontradas.

 

 

Instructivos

Tipo de preguntas

Feedback

Ayudas para responder

Número de intentos por pregunta

 

 

Estadísticos

Análisis descriptivos y gráficos

Análisis de distractores

Calificación y comparación de calificaciones

Almacenamiento de datos (respuesta y análisis)

 

 

Uso (interface)

Profesor

Alumno

 

 

Desarrollo

Seguridad

Requisitos técnicos

Banco de ítems (importación-exportación)

Creación de exámenes

* Aleatorización de las preguntas

* Manipulación de los horarios de exámenes

Apertura:

* Conexión a otros programas

* Programa de gestión académica

 

 

Costes

Programa, licencias, mantenimiento

Tabla 1 Aspectos que hemos tenido en cuenta en la revisión del software (Lara, 2001)

 

Selección de software

La búsqueda de las herramientas se ha realizado por medio de la bibliografía revisada, a través de búsquedas en Internet y de listas de correo electrónico. La gran dificultad para hacer esta revisión ha sido la abundancia de investigaciones y desarrollos de herramientas para gestionar evaluación a través del web. Al mismo tiempo, el hecho de que estas herramientas estén en continuo desarrollo, ha provocado que en el periodo que se ha recogido toda esta información, las herramientas hayan sufrido sustanciales cambios, desde mejoras, cambios de nombre o incluso hayan desaparecido. Estos cambios han sido patentes en las herramientas comerciales más punteras, que lanzan nuevas versiones en lapsus de tiempo cada vez menores, no obstante la mayoría de ellas cuentan con listas de correo que informan a sus clientes de las novedades.

Para poder hacer el análisis se ha contado con la manipulación in situ de las herramientas, lo que ha permitido centrar la valoración y estudio de las mismas en los criterios que se han establecido para la revisión (Tabla 1). En el caso de las herramientas comerciales ha sido relativamente fácil acceder a versiones completas del software, con una licencia limitada de unos treinta días. Las diferentes compañías ofrecen como parte de su estrategia de ventas, versiones para que los clientes conozcan sus productos, a los que, en la mayoría de los casos, se puede acceder a través del web. En el caso de las herramientas que están produciendo y empleando las universidades, se ha podido acceder a las versiones de demostración que están disponibles también a través del web. En la mayoría de ellas se puede acceder como invitado y ver y manipular los módulos de profesor y alumno. No obstante, en algún caso como en la Universidad de Dakota del Norte, sólo podían acceder los profesores del campus dados de alta en el sistema, amablemente nos concedieron una cuenta para poder realizar la revisión de su herramienta: QuizWizard.

Un problema añadido para seleccionar qué herramientas se iban a revisar era delimitar el tipo de software. En una primera aproximación se pudo comprobar que las herramientas que se han elaborado para  evaluar el rendimiento de los alumnos a través de Internet se pueden clasificar en varias categorías.

Están los programas constructores de cursos para ser distribuidos a través del web, que ayudan al profesor a gestionar todo un módulo de enseñanza a través de redes. A esta modalidad de enseñanza se denomina en inglés web-based training (cfr. Barron, 1998; Driscoll, 1997, 1998, 1999; Hazari, 1998; McCormack y David, 1997). Dichas herramientas[2] incluyen todos los módulos necesarios para gestionar la enseñanza, presentación del programa, calendario del curso, contenidos, ejercicios, comunicación con el profesor y los compañeros de la ciberclase, y por supuesto, cuentan con un potente módulo de evaluación.

También existen otras herramientas que podrían incluirse, no dentro de las que sirven para automatizar la evaluación, sino como ayudas para gestionar y facilitar la evaluación de preguntas de ensayo. Una de estas herramientas es Mindtrail (www.mindtrail.com), que se incluiría como software denominado computer-managed assessment (Jones y Jamieson, 1997; Jones y McCormack, 1997), ayuda en la gestión y corrección de ensayos cuando se tienen bien establecidos unos criterios o pautas. Por otro lado, Markin (www.cict.co.uk/software/markin/) es una herramienta que podría incluirse como computer-assisted assessmet ya que es una ayuda para corregir preguntas de ensayo para ser enviadas al alumno a través del web, o en documento de texto.

Otras herramientas encontradas son las producidas por determinados grupos de investigación, que no llegan a ser tan fáciles de manejar como las herramientas de autor, pero distribuyen los exámenes y recogen los resultados a través de un servidor. Este tipo de herramientas responde a la necesidad concreta de un departamento o institución de evaluar un determinado tipo de conocimientos.

Otras herramientas útiles para crear exámenes son las herramientas de autor, que consisten en software pre-programado destinado a la creación de programas a modo de ejercicios y tareas. Este tipo de herramientas menos abiertas que los programas de autor –que tienen muchas más capacidades de edición– tienen la ventaja de que el profesor no necesita tener ningún conocimiento de programación. Las posibilidades de creación se le presentan a modo de botones u opciones. Estas herramientas permiten crear ejercicios de distintos tipos: preguntas de elección múltiple, formato de respuesta abierta, rellenar espacios de textos, generación automática de ejercicios dando unos valores en el enunciado y para la resolución (por ejemplo para generar preguntas de cálculo variando los valores numéricos), preguntas en formato de rompecabezas –bien con texto o imágenes–, asociaciones, sopas de letras, crucigramas, etc. Algunas de las herramientas de autor para crear exámenes son: la española Clic (http://www.xtec.es/recursos/clic/), el conjunto de herramientas que conforman Wida (http://www.wida.co.uk/) para la enseñanza de idiomas, Hot Potatoes creada por Half-Baked Software y el equipo de la University of Victoria CALL Laboratory Research and Development en Canadá (http://web.uvic.ca/hrd/halfbaked/), y el servicio gratuito de Quia![3] que a través de su web permite generar gran cantidad de materiales para la enseñanza, desde páginas webs, juegos y ejercicios, y poner online en este mismo servidor lo realizado.

Además de las herramientas de autor, que van encaminadas a crear ejercicios, están otro tipo de software más complejo que permiten poner en red a toda la institución, tanto para la creación y publicación de los exámenes, como para recoger los resultados de los alumnos. La diferencia entre este tipo de herramientas y las de autor es muy sutil, ya que por la facilidad de manejo y modo de funcionar se podrían incluir dentro del grupo de las herramientas de autor, pero son más complejas que éstas por incluirse en un sistema de evaluación más amplio que considera la gestión de un servidor.

El objetivo de esta revisión es mostrar algunas de las principales herramientas que puede emplear una institución educativa para aplicar evaluación formativa a través de la red de forma automatizada, por este motivo se ha limitado la revisión únicamente a las herramientas que permiten plantear una evaluación a través de la red, y que pueden implantarse a gran escala en un centro educativo. Se ha omitido revisar las herramientas constructores de cursos en el web (web-based training) porque tan sólo dedican un módulo de la misma a la evaluación, y además, es necesario emplear la herramienta en su conjunto para poder acceder al módulo que gestiona la evaluación. Se ha omitido también la revisión del software englobado como computer-managed assessment y web-based assessment por no permitir la automatización de la corrección. Por otro lado, las herramientas de autor encontradas, que pueden ser de gran utilidad para generar módulos de autoevaluación, adolecen de la capacidad de registrar los resultados y la facilidad para mandar los resultados a los profesores, están más bien planteadas como un software para generar ejercicios y prácticas de autoevaluación. Por tanto, tampoco se tendrán en cuenta. De igual modo no analizaremos los diferentes proyectos de universidades que no plantean herramientas en el sentido que estamos hablando.

Revisión

De la ingente cantidad de software encontrado, se ha seleccionado para hacer la revisión 18 herramientas que se ajustan a nuestro criterio de selección anteriormente descrito, 8 son comerciales, y 10 están creadas por universidades. En la Tabla 2 se muestra resumidamente las principales características de las herramientas seleccionadas atendiendo a los criterios señalados en la Tabla 1[4].

Se pueden destacar cuatro aspectos que marcan notables diferencias en estas herramientas: el modo en el que se crean y distribuyen los exámenes, la estructura técnica en la que se relacionan servidor-autor-alumno, el tipo de preguntas y, en el caso de las herramientas comerciales, el modo de contratar las licencias.

a) Modo en el que se crean y distribuyen los exámenes

Existen dos modos de crear los exámenes, así como para distribuirlos y ofrecerlos al alumnado. Como puede observarse en los datos de la Tabla 2, algunas de las herramientas permiten crear las preguntas y exámenes a través del web (w), y otras desde una aplicación (a) en el propio ordenador del profesor. Los programas que crean los exámenes desde el web, acceden desde cualquier navegador al ordenador que ejerce de servidor y en él introducen y crean las preguntas y los exámenes. En cambio, si  esta tarea se realiza desde el propio ordenador, a través de una aplicación o programa, el profesor trabaja desde su ordenador almacenando la base de datos de preguntas y exámenes en su máquina, que posteriormente tendrá que publicar en el ordenador que ejerza de servidor. La ventaja de introducir las preguntas directamente a través del web, es que el profesor puede realizar esta tarea desde cualquier ordenador del campus, pero tiene el inconveniente de que depende del estado de la red y del servidor, con los problemas asociados a la lentitud de las redes. Este inconveniente no lo tienen las herramientas que permiten al profesor crear los exámenes desde una aplicación en su propio ordenador. No obstante, tienen el inconveniente de necesitar la licencia –lo que supone más coste– e instalación del software para realizar esta tarea. La mayoría de las herramientas comerciales emplean la modalidad de utilizar una aplicación para generar los exámenes que más tarde se publican en la red. Para distribuir  los  exámenes  también se han encontrado herramientas que  distribuyen los exámenes a través del web, o a través de los ordenadores por medio de “ejecutores” o players.

b) Estructura técnica en la que se relaciona servidor-autor-alumnos

Respecto a la estructura técnica, la mayoría de las herramientas están pensadas teniendo en cuenta tres módulos: el del servidor, el del autor de los exámenes y el de los alumnos. Estas diferencias atienden fundamentalmente a las especificaciones informáticas y de software necesaria para acceder a estos módulos. Los requisitos técnicos para acceder a cada uno de los módulos dependen fundamentalmente del modo en el que se realizan y distribuyen los exámenes: en el caso de que el profesor realice los exámenes a través del web, requerirá probablemente las mismas especificaciones del alumno: un determinado navegador; o en el caso de alguna herramienta como Quiz Factory, donde las funciones de servidor y autor son las mismas, y se distribuyen los exámenes a través de una aplicación, las características del ordenador son las mismas tanto para profesores como para los alumnos. En la mayoría de los casos los ordenadores que van a funcionar como servidores trabajan con sistemas operativos Windows NT configurados para trabajar como web server.

c) Tipos de preguntas

De la revisión se puede concluir que existe una amplia tipología de preguntas, se ha podido diferenciar hasta doce preguntas distintas. Aunque como puede observarse en la tabla 2 los tipos de pregunas más empleados son las preguntas de elección múltiple (18 que suponen el 100%), y las de respuesta breve, múltiple y de verdadero-falso (11 que suponen el 61%). De todas las herramientas revisadas las comerciales Perception y QuizFactory son las que incluyen un mayor número diferente de preguntas.

En cuanto a las posibilidades de adaptación del feedback varían según las herramientas, pero actualmente se puede redactar un comentario personalizado para cada una de las opciones de una pregunta, con lo cual, se ofrece al alumno una explicación de porqué está bien o está mal la respuesta dada. Además se pueden incluir ayudas que ofrecen información para que el alumno responda a una pregunta –dichas ayudas pueden consistir en meras pistas, por ejemplo con qué letra comienza la respuesta, o explicaciones elaboradas–.

Algunas herramientas brindan la posibilidad de adaptar e individualizar el contenido del examen. Estos programas permiten, en función de la respuesta ofrecida por el alumno en la pregunta anterior, o por la puntuación obtenida en un conjunto de ítems, variar la secuencia del examen. Esta posibilidad crea exámenes que son verdaderas herramientas de aprendizaje, en las que el profesor determina el tipo y cantidad de preguntas que se le ofrecen al alumno en función de sus resultados, y por tanto se pueden construir exámenes adaptados a la ejecución del estudiante.

d) Modalidad de contratación de licencias

En cuanto al modo de obtener las licencias también hemos encontrado diferencias. Algunas herramientas ofrecen licencias por un año, y que por un bajo coste pueden renovarse anualmente, en estos casos no se ofrece ningún software sino el contrato del servidor de la compañía –de modo que el profesor y los alumnos acceden al servidor de la compañía para editar y hacer los exámenes–.

Pero en la mayoría de los casos se compra el software, que según los casos puede estar dividido en el módulo de edición de exámenes, en el servidor, y en su caso, en los players para poder ejecutar los exámenes. Como era de suponer las herramientas más completas, y con mayores capacidades educativas, son las más caras.

Bibliografía

Barron, A. (1998). Designing Web-based Training. British Journal of Educational Technology, 29(4), 355-370.

Charman, D. y Elmes, A. (1998). Computer Based Assessment (Volumen I): A Guide to Good Practice. Plymouth, UK: SEED Publications.

 Driscoll, M. (1997). Defining Internet-Based and Web-Based Training. Performance Improvement, 36(4), 5-9.

Driscoll, M. (1998). How to Pilot Web-based Training. Training & Development, 52(11), 44-49.

Driscoll, M. (1999). Myths and Realities of Using WBT to Deliverd Training WorlWide. Performance and Instructional Journal, March.

Gibson, E. J.; Brewer, P. W.; Dholakia, A.; Vouk, M. A. y Bitzer, D. L. (1999). A Comparative Analysis of Web-based Testing and Evaluation System, [versión electrónica]. Dept. of Computer Science, North Carolina State University. Disponible: http://renoir.csc.ncsu. edu/ MRA/Reports/ [1999, 11 mayo].

Hazari, S. (1998). Evaluation and Selection of Web Course Management Tools, [versión electrónica]. Smith School of Business, University of Maryland. Disponible: http://sunil.umd.edu/webct/default.htm [1999, 11 mayo].

Jones, D. y Jamieson, B. (1997, diciembre). Three Generations of Online Assignment Management. Comunicación presentada a The ASCILTE97, Australia.

Jones, D. y McCormack, C. (1997, octubre). Class Management: The Forgotten Task. Comunicación presentada a The North America Web Conference'97, Canada.

Lara, S. (2001). La evaluación formativa en la universidad a través de Internet: Aplicaciones informáticas y experiencias prácticas. Pamplona: Eunsa.

McCormack, C. y David, J. (1997). Building a Web-based Educational System. USA: Willey Computer Publishing.

Santiago, R. (2000). La creación de material propio: Las herramientas de autor. En C. Repáraz, A. Sobrino y J. I. Mir (Eds.), Integración curricular de las nuevas tecnologías (pp. 81-94). Barcelona: Ariel.

Sherratt, B. (1998, diciembre). Computer-Assisted Assessment on the Web, [versión electrónica]. Loughborough University. Disponible: http://www.lboro.ac.uk/service/fli/ flicaa/caapage6.html [1999, 4 mayo].

Squires, D. y McDougall, A. (1997). Cómo elegir y utilizar software educativo. Guía para el profesorado. Madrid: Ediciones Morata.

 

 

Direcciones web del software revisado

 

Nombre

Procedencia

Dirección

Perception

Comercial

www.qmark.com

Quiz Factory

Comercial

learningware.com/quizfactory

Quiz Please

Comercial

quizplease.com

Web@ssessor

Comercial

www.webassessor.com

WebMCQ

Comercial

www.webmcq.com.au

WebQuiz Write

Comercial

www.web-quiz.net

QuizCreate 98

Comercial

www.quizcreate98.com

Test Pilot

Comercial

www.clearLearning.com

CVU (Miranda)

U. Strathclyde UK

cvu.strath.ac.uk/ae

cvu.strath.ac.uk/assessment/index.html

CASTLE

U. Leicester UK

www.le.ac.uk/cc/ltg/castle/

GeoData

U. Southampton UK

www.geodata.soton.ac.uk/ElecPub/quiz.html

WebTest

U. Edimburgo UK

 flex-learn.ma.hw.ac.uk

WaMCQ

 U. Dundee UK

  www.dundee.ac.uk/meded/mcq/

NetQuest

U. Bristol UK

  www.ilrt.bris.ac.uk/netquest/about/general/

WebTest

U. Waterloo CA

  [5]  Fpg.waterloo.ca/WEBTEST/WEBTEST_intro.html

QuizWizard

U. Pennsylvania USA

    cac.psu.edu/ets/wizard/overview.html

Olite

U. Navarra ES

     www.unav.es/olite/menu_gestion.html

QuizMaker

U. North Dakota USA

[6]  www.ndsu.nodak.edu/instruct/

   wwwinstr/tools/quiz/qm.html

[7]  wow.cc.ndsu.nodak.edu/users/quiz/login.gry

 

 

 

 

 



[1] La redacción de este artículo esta basada en una publicación más amplia sobre el tema( cfr. Lara, 2001).

[2] El Dr. Bruce Landon, de la British Columbia (Canadá), ha creado un web en el que compara diferentes herramientas para construir cursos a través del web, centrándose en aspectos técnicos, instructivos, capacidades multimedia, potencial para establecer aprendizaje colaborativo y comunicaciones, facilidades de uso, e información de contacto (cfr. www.ctt.bc.ca/landoline/choices.html). En dicho web se puede ver toda la información relativa a una herramienta, o buscar qué herramientas tienen determinadas capacidades. El web resulta muy útil para hacer una primera aproximación de las capacidades de los actuales constructores de cursos. Dicho web recoge un total de 28 herramientas para construir cursos y distribuirlos a través de la red.

[3] http://www.quia.com/.

[4] Por razones de espacio no se expone una descripción de cada una de las herramientas revisadas y expuestas en la Tabla 2, para más información remitimos al lector a Lara (2001).

[5] Accedido 1–XII–99

[6] Accecido el 1–XII–99

[7]  Cambio del contenido a la Intranet de esta universidad.