Revista ELectrónica de Investigación
y EValuación Educativa // 1999 // Volumen 5 // Número 2_2
ISSN 1134-4032 // D.L. SE-1138-94
SISTEMAS DE EVALUACION DE CONTENIDOS EN
TELEFORMACION: EL PROYECTO CFV
Facultad de Filosofía y Ciencias de la Educación
Universidad de Valencia
Resumen
La evaluación del rendimiento de los alumnos en los sistemas basados en teleformación es uno de los temas claves como en cualquier programa de formación. Este proceso presenta las características básicas comunes con los restantes programas de formación y añade las propias de este acercamiento. Vamos a revisar algunas de las mismas, situándolas dentro de la experiencia y alternativas que actualmente están disponibles y, particularmente, desde la perspectiva que a este respecto se desarrolla en el proyecto CFV (Sáez et al., 1999).
Una de las preocupaciones esenciales, que raramente se atiende en los sistemas de teleformación, es asumir una perspectiva global de la evaluación del rendimiento de forma integrada con el conjunto del programa de formación. Así, en muchos casos no existe un planteamiento explícito de las dimensiones formativas y sumativas de la evaluación. Tampoco se suele aplicar sistemáticamente al desarrollo de los programas de forma que sea una de las diferentes dimensiones a conjugar en el diseño y desarrollo de los mismos. Finalmente, sin pretender ser exhaustivos, la concepción de evaluación debe ser algo más global de lo que se entiende en muchos programas de formación y, particularmente de teleformación. Así, quien diseñe el programa debe reflexionar sobre la dimensión evaluativa del mismo como un proceso de recabar información relevante -en este caso sobre el rendimiento alcanzado- para tomar decisiones con garantías sobre los objetivos que se fijen en el programa.
En primer lugar, la mayor parte de los esfuerzos sobre evaluación del rendimiento se centran en desarrollar herramientas informáticas, ya sean propias de un determinado sistema o centro de formación o de autoría – Jquiz, Test Creator, Web work-sheet, WebTest, etc.-. Evidentemente, salvo en algunos casos específicos generalmente vinculados a sistemas de autor, los planteamientos de evaluación que las sustentan están totalmente desligados del diseño general del programa de formación, ni siquiera presentan un acercamiento claro a las dimensiones formativa y sumativa del proceso de evaluación.
Por otro lado, no existen herramientas estándar que incorporen diferentes aspectos al proceso de evaluación desde una perspectiva más global, ni siquiera las propias derivadas del soporte tecnológico que utilizan –ver cuadro 1-. Esto conduce a una visión simplista de la evaluación, generalmente centrada en aspectos restrictivos del producto, que presenta una calidad muy limitada.
|
AGENTE EVALUADOR |
TIPO DE COMUNICACIÓN |
PROCEDIMIENTO |
|
Profesor |
Asíncrona |
Prueba (test) |
|
Profesor |
Síncrona |
Prueba (test) |
|
Alumno |
Asíncrona |
Revisión por colegas mediante diferentes procedimientos (p.e. grupo de discusión) |
|
Alumno |
Síncrona |
Revisión por colegas mediante diferentes procedimientos (p.e. videoconferencia) |
|
Alumno |
Asíncrona |
Autovaloración |
|
Profesor |
Asíncrona |
Tareas/Resolución de problemas mediante diferentes procedimientos (p.e. correo elec.) |
|
Profesor |
Síncrona |
Tareas/Resolución de problemas mediante diferentes procedimientos (p.e. cliente/servidor) |
|
Profesor/Sistema |
Asíncrona |
Indicadores de seguimiento del sistema, generalmente medidas “duras”; tales como frecuencias, fechas, tiempos, empleados en las diferentes partes del curso. |
|
Profesor |
Asíncrona |
Indicadores cualitativos de seguimiento, generalmente centrados en el análisis de las participaciones en los grupos de discusión, correos con el profesor/tutor, etc. |
A partir de las consideraciones que acabamos de reseñar brevemente, el proyecto CFV aborda el proceso de evaluación desde un sistema propio que trata de superar parte de los problemas señalados. Así, CFV plantea la evaluación como parte integral del diseño de cada curso, de forma que en la propia herramienta de desarrollo del curso se integran componentes específicos de evaluación –tanto formativa como sumativa- que el profesor encargado debe diseñar y planificar. Mediante este procedimiento se facilita –y, por otra parte, se orienta- que el profesor sea asuma la evaluación como parte integrada del curso desde su diseño. Además, la propia estructura induce a una diferenciación clara de las dimensiones sumativa y formativa inherentes a la evaluación.
En primer lugar, se ofrece un sistema de creación de pruebas que gestiona globalmente los datos de la evaluación. De hecho, integra las diferentes informaciones útiles para evaluar al estudiante, independientemente del momento, objetivo, soporte, empleados. Como núcleo del mismo, el sistema para la creación de pruebas de evaluación del CFV separa el proceso en dos módulos independientes: un módulo o herramienta para la creación de preguntas (items) de un curso de manera que puedan ser utilizados en cualquiera de los tests a desarrollar y una herramienta de creación de tests (ejercicios) que permite definir las características de un ejercicio y asignarle los items que lo van a componer.
De esta manera se ha desarrollado una herramienta que permite al profesor crear un banco de ítems para el curso del que esta encargado –ver imagen-. Así antes de declarar dentro del índice del curso la posición donde se sitúa una prueba o ejercicio para evaluar al alumno y la funcionalidad que tiene para la evaluación, el profesor debe haber creado los suficientes ítems dentro de la base o banco. A la hora de crear un ítem (ver ejemplo en la figura) el profesor debe atender a los siguientes componentes:
|
Título |
Titulo particular de la pregunta a efectos de gestión de la base de items. No aparece a la hora de ser presentado al alumno. |
|
Concepto |
Clave para la agrupación de los diferentes items en categorías a efectos de la gestión de la base. No aparece a la hora de ser presentado al alumno. |
|
Tipo |
Tipo de ítem que se crea. Se pueden elegir entre los siguientes: · Tarea · Pregunta Abierta · Pregunta con alternativas · Lista de palabras a ordenar Listas a relacionar. |
|
Texto de la Pregunta |
Contenido sobre el que se evalúa al alumno. |
|
Imagen (optativo) |
Imagen gráfica (en formato GIF o JPEG) que puede acompañar al texto de la pregunta. Su propósito puede ser meramente orientativo o como elemento fundamental si se pregunta sobre la misma. Este elemento es opcional y no es necesaria que una imagen acompañe a cada ítem. |
|
Texto de Alternativas o Listas |
Contenido de las diferentes alternativas o listas a definir dependiendo del tipo de ítem. |
|
Respuesta Correcta |
Respuesta de texto, alternativa correcta u orden correcto de las listas dependiendo del tipo de ítem. |
Para declarar una prueba el profesor dispone de una herramienta para la creación de ejercicios. Una vez elegida la posición en la que se desea presentar en el desarrollo del curso puede proceder a declarar los siguientes elementos del ejercicio:
|
Título |
Nombre del ejercicio con fines identificativos. Con este nombre el alumno y profesor identificaran el ejercicio dentro del índice del curso. |
|
Color o Imagen de Fondo (opcional) |
Color de fondo o imagen de fondo de todas las paginas en las que se van a mostrar los items del ejercicio. Puede ser utilizado con la finalidad de caracterizar a cada ejercicio con un tema diferente. Si no se declaran ni color ni imagen se selecciona un color de fondo por defecto. |
|
Instrucciones (opcional) |
Instrucciones que el profesor desea que el alumno tenga en cuenta a la hora de realizar el ejercicio. Si el profesor no desea indicar ninguna instrucción y lo deja en blanco no se presenta nada a los alumnos. |
|
Nº de items |
Número de preguntas que contiene el ejercicio. |
|
Nº de Intentos posibles |
Número de veces que se permite a un alumno realizar el ejercicio, en cada ocasión el alumno debe responder sin tener en cuenta sus anteriores contestaciones; en el centro quedan almacenadas las respuestas a las preguntas del último intento. |
|
Aleatorizar presentación |
Posibilidad de que los ítems del ejercicio se presenten en diferentes ordenes para cada alumno y para cada intento de acceso al ejercicio. |
|
Corrección por tutor |
Posibilidad de que la valoración del ejercicio la realice el tutor o se haga de forma automática. |
|
Requisitos para poder ser realizado |
Control de acceso a la realización del ejercicio. Requisitos que el alumno deberá haber superado para poder realizar el ejercicio. Están disponibles los siguientes tipos: · Haber leído una lección anterior del índice. · Haber realizado un ejercicio anterior. · El tutor es el que decide permitir el acceso. |
Una vez establecidos por parte del profesor todas las características del ejercicio se pasa a seleccionar los items que se van a incluir en el mismo, determinando el peso del ítem en la prueba y el tiempo máximo de respuesta.
Pantalla de Modificar un Item de un Curso
En el módulo de evaluación se integran todas las informaciones derivadas de las pruebas o ejercicios, así como las que se obtienen de otras fuentes de valoración. Estas fuentes son el profesor y el tutor, en función de las diferentes actividades canalizadas a partir del correo electrónico y los foros –grupos de discusión- previstos en el curso, así como los indicadores de seguimiento “duros” recogidos por el sistema sobre la ejecución del sujeto: tiempos empleados en las diferentes partes del curso, frecuencia de las interacciones con el tutor, frecuencia de las interacciones con los compañeros, etc.. Esta visión integrada y dinámica facilita al profesor/tutor un seguimiento evaluativo mucho más rico sobre la actuación de los alumnos.
Aunque, en un acercamiento a la evaluación del funcionamiento del centro, los alumnos han manifestado una serie de deficiencias respecto a los ejercicios que se les han presentado en los diferentes cursos realizados en el CFV. Una de ellas es que no reciben información de los fallos cometidos en los ejercicios. Asimismo cuando realizan un ejercicio deben acabarlo, ya que no tienen la posibilidad de reanudar un ejercicio donde lo dejaron, cosa que les molesta debido a que a veces no disponen del tiempo suficiente para conectarse al centro, eso empeora, si encima, tienen problemas técnicos a la hora de realizar los ejercicios. También les molesta la limitación de tiempo en las preguntas de los ejercicios. Otros se quejan sin embargo de no poder realizar el número de ejercicios que uno quiera de una sola vez. Como se puede observar son pequeñas cosas que debemos tener en cuenta para la mejora del CFV.
No obstante, existen diferentes opciones evaluativas que no se consideran actualmente en el centro y que forma parte del proyecto a desarrollar en el segundo período, principalmente las basadas en procedimientos de comunicación síncrona.
Bibliografía
Sáez, A.; Bo, R ; Suárez, J.M.; Jornet, J.M.; De Maya, J. y Manclús, J.V. (1999) “Proyecto CFV: Creación de un Centro de Formación Virtual”. Nuevas Realidades Educativas, Nuevas Necesidades Metodológicas. Málaga, pp. 455-459.
Suárez,J.M.; Sáez, A.; Jornet, J.M.; Bo, R. y Belloch, C. (1999) Informe Síntesis del proyecto CFV (Primer Período). Documento interno MIDE-UVEG/RENFE
CITECA. Suárez,J.M.;. Jornet, J.M. y Campos, F. (Coords.) (1998) La evaluación del rendimiento en la Teleformación. Documento interno MIDE-UVEG.