jueves, 10 de diciembre de 2009

Evaluación de la Calidad de los Objetos de Aprendizaje

0



"Existen tantas definiciones de Objetos de Aprendizajes, como los especialistas que las han elaborado. Y para determinar la calidad, debe contarse con instrumentos objetivos y adecuados a la naturaleza del objeto, para minimizar la influencia subjetiva tanto del usuario, como del evaluador."

En función de lo anterior, definir un Objeto de Aprendizaje (OA), y más complejo aún, determinar su calidad, son dos temas definitivamente polémicos. Más aún si añade otro elemento en la discusión: los Recursos Educativos Abiertos (REA), así como la tendencia en la Web 2.0 hacia una educación abierta.
Finalmente, estos estándares tienen poco o nada que ver con la calidad de los OA.

• Qué es un Objeto de Aprendizaje (OA)


La educación mediada por las Tecnologías de la Información y Comunicación (TIC) ha permitido el desarrollo de escenarios de aprendizaje flexibles, independientes del tiempo y del espacio y contextualizables. Un elemento clave para la generación de esos espacios de aprendizajes personalizados, o Ambientes Personales de Aprendizaje (APA o PLE por sus siglas en inglés) es la manera de organizar la información para que sea reutilizable, permanezca accesible a los usuarios, interoperable con o sin plataformas, accesibles sin restricciones que permitan un enfoque abierto, y compatibles con las tecnologías Web 2.0, de manera que sea posible desarrollar cursos en línea a distintos niveles de alcance y en las modalidades de educación formal. no formal e informal.

La respuesta a todo lo anterior son los Objetos de Aprendizaje (OA) que según Cano-Zárate (2007) pueden definirse como una estructura (distribución, organización) autónoma que contiene un objetivo general, objetivos específicos, una actividad de aprendizaje, un metadato (estructura de información externa) y por ende, mecanismos de evaluación y ponderación, el cual puede ser desarrollado con elementos multimedia con el fin de posibilitar su reutilización, interoperabilidad, accesibilidad y duración en el tiempo.
Destaca además dicho autor, que un puede ser montado (incorporado, subido, instalado, configurado) en una plataforma de Gestión de Aprendizaje o LMS (Learning Management System) y que es el producto de un diseño instruccional donde convergen procesos de educomunicación y los Objetivos Instruccionales.

Una definición que subraya una de sus características más importantes, la reusabilidad, sería "Fragmentos interactivos de e-learning, orientados a la Web y diseñados para explicar un objetivo de aprendizaje independiente"(CETL, 2006). De allí que, la metáfora de un OA equivalente a un bloque de contrucción de juguete como los populares Legos, representa muy bien este concepto:


Una gran ventaja de ese carácter modular es que se pueden integrar tantos OA como sean necesarios en los cursos, para de esta manera abarcar un tema, o toda una unidad, dependiendo del número de OA que definan el alcance deseado, como se muestra en la siguiente analogía gráfica:




Ahora bien, para poder reutilizar los OA en los Entornos Virtuales de Aprendizaje (EVA o LMS por sus siglas en inglés) libres o propietarios, en los PLE u otras herramientas Web 2.0, así como contextualizarlos según su entorno y alcance, es imprescindible el uso de estándares para su (i) documentación, (ii) almacenamiento en repositorios, (iii) organización y clasificación, (iv) búsqueda, (v) distribución, (vi) mezcla y (vii) redistribución.
Con relación al tamaño del OA y su efectividad de enseñanza, Wiley (2010) ha establecido que existe una paradoja:




Paradoja? Si, y consiste en que, a menor tamaño del OA, y esto es, menos alcance y complejidad en la temática objeto de estudio, mayor será su efectividad de enseñanza. Por lo tanto, los OA conscisos, de alcance limitado, permitirán su mezcla y reutilización con más facilidad, pero se requerirán mucho más de ellos para enseñar un tópico en particular. Y, en sentido contrario, un OA muy grande y complejo, podrá permitir la enseñanza de un capítulo completo, pero será mucho más difícil su reutilización.


• Estándares de Metadatos para OA

Los "metadatos" literalmente son "datos sobre datos", es decir, información adicional que describe los datos de interés primario del usuario.
Existen dos tendencias principales en la actualidad para la generación de los metadatos: (i) la técnica multimedia y (ii) la Web Semántica, que está en plena implementación.
Con relación a la primera, se han propuesto varios estándares como Dublín Core, EEE-LOM, RDF, OWL, entre otros. En ellos se especifican normas que posibilitan su "empaquetamiento" y gestión según lo ya indicado.
La estandarización ha permitido la creación de grandes repositorios o colecciones organizadas (bases de datos) institucionales como Ariadne, Globe, MIT DSpace, entre muchos otros que suman millones de OA accesibles por medios electrónicos, principalmente, navegadores o browsers. Pero también existen plugins para los EVA como Moodle, que facilitan la búsqueda directa en algunas de esas bases de datos, directamente desde un curso.
La estandarización de los OA es lo que permite su gestión de forma masiva, y de ello depende en buena medida su uso y reutilización. En tal sentido el MIT, por ejemplo, ha emprendido el proyecto CWSpace para archivar y gestionar sus contenidos educativos.
Es menester destacar que una Educación Abierta, sólo será posible con Recursos Educativos Abiertos en Repositorios de acceso libre o abiertos.

• Relación entre los Recursos Educativos Abiertos (REA) y los OA

Esta es una discusión recurrente que, a mi entender, Wiley (2010) le ha puesto fin al definir los REA partiendo de los OA y agregando características de la Web 2.0 y una licencia de código o fuente abierta. Así un REA = OA + Licencia Open Source.
De esta manera, si un OA puede ser (i) reusable, (ii) revisable, (iii) remezclable y (iv) redistribuíble, con acceso a su código fuente, entonces estamos en presencia de un REA según él mismo muestra en esta figura:


Fuente: Wiley (2010).


• Calidad de los OA

Al hablar de calidad en términos generales, tiene que ver con la relación entre lo que se espera de algo y lo que realmente se obtiene. Así, en el caso de un OA, su calidad será mayor en la medida que el mismo garantice el cumplimiento de los objetivos del aprendizaje. Por lo tanto para determinar la calidad de un OA debe valorarse, de forma objetiva, la pertinencia de los recursos y actividades que encierra y su efecto real, mensurable, sobre el aprendizaje.

Dado que la naturaleza de los OA es muy diversa, al punto de que ha sido necesario proponer taxonomías para su clasificación, no existe un instrumento único para todos ellos. Entonces, cómo puede evaluarse la calidad de un OA?


En principio puede hablarse de dos aproximaciones (i) basada en revisiones y opiniones de potenciales usuarios; (ii) desde una perspectiva científica.
Como caso de estudio se puede citar el repositorio MERLOT, que es “un recurso gratuito y abierto diseñado principalmente para la educación superior. Almacena enlaces a materiales educativos en línea, así como sus anotaciones, tales como revisiones entre pares”. MERLOT es por tanto un almacén de metadatos de recursos educativos con una filosofía peculiar respecto a la evaluación de los mismos. Esta filosofía tiene como más claro exponente las revisiones entre pares (peer reviews), lo que posibilita obtener una evaluación cuantitativa y cualitativa de aspectos como la estética, contenidos, usabilidad, etc.
Específicamente, los evaluadores de MERLOT consideran tres criterios que se ponderan sobre una escala de 5 valores:
- Calidad de Contenido
- Efectividad Potencial y
- Facilidad de uso.

En términos generales puede decirse que en todo OA deben evaluarse aspectos relacionados con: (i) contenido, (ii) diseño instruccional y (iii) metadatos

Con respecto a instrumentos específicos, uno especialmente diseñado para recursos e-Learning es el Learning Object Review Instrument (LORI). Es una herramienta que permite evaluar los objetos de aprendizaje en función de nueve variables, con una escala del 1 (mínimo) al 5 (máximo), a saber:
1. Calidad de los contenidos: veracidad, exactitud, presentación equilibrada de
ideas y nivel adecuado de detalle.
2. Adecuación de los objetivos de aprendizaje: coherencia entre los
objetivos, actividades, evaluaciones, y el perfil del alumnado.
3. Feedback (retroalimentación) y adaptabilidad: contenido adaptativo o
feedback dirigido en función de la respuesta de cada alumno/a y su estilo
de aprendizaje.
4. Motivación: capacidad de motivar y generar interés en un grupo concreto de
alumno/as.
5. Diseño y presentación: el diseño de la información audiovisual favorece el
adecuado procesamiento de la información.
6. Usabilidad: facilidad de navegación, interfaz predictiva para el usuario y
calidad de los recursos de ayuda de la interfaz.
7. Accesibilidad: el diseño de los controles y la presentación de la información está
adaptada para discapacitados y dispositivos móviles.
8. Reusabilidad: capacidad para usarse en distintos escenarios de aprendizaje y
con alumno/as de distintos bagajes.
9. Cumplimiento de estándares: Adecuación a los estándares y
especificaciones internacionales.
Los resultados se pueden publicar por variables separadas o su promedio general. Este instrumento puede ser aplicado por un evaluador o páneles de ellos, en cuyo caso se recomienda seguir el modelo convergente de participación para la evaluación colaborativa.

Otras aproximaciones como la de Reeves, propone un marco basado en 14 dimensiones: epistemológica, filosofía pedagógica, sustento psicológico, orientación a objetivos, validez experimental, rol del instructor, flexibilidad de programa, valor del error, motivación, adaptación a diferencia a individuales, control de aprendizaje, actividades de usuario, aprendizaje cooperativo y sensibilidad cultural.

• Conclusión

Se puede llegar a una evaluación integral aplicando uno o más instrumentos, de acuerdo con la naturaleza del OA, siempre que se incluyan los criterios psicopedagógicos, didáctico-curriculares, técnicos-estéticos y funcionales.

En la medida que los OA sean de código abierto, además de revisables, remezclables y redistribuibles, la brecha entre ellos y los REA dejará de existir.

La única vía hacia una educación abierta e inclusiva es mediante el empleo de REA en repositorios libres con estándares abiertos.


• Referencias

Cano-Zárate, J.C. 2007. Apuntes de Tecnología Educativa para las NT Cátedras de Comunicación Educativa. [en línea]. Universidad Marista. [Consultado: Octubre 24, 2011]. Disponible en: http://es.wikipedia.org/wiki/Objeto_de_aprendizaje.

CETL. 2006. Reusable Learning Objects. [en línea]. CETL. [Consultado: Octubre 23, 2011]. Disponible en: http://www.rlo-cetl.ac.uk/faqs.htm

Matta, A. y Donadi, L. 2008. Aplicaciones Del Análisis De Redes Sociales A La Gestión De Estrategias Inter-Organizacionales. [en línea]. 12º Reunión de la RedPyMEs, Argentina, 2007. [Consultado: Septiembre 30, 2011]. Disponible en: http://redpymes.org.ar/R12/12-008.pdf.

Wiley, D. 2010. Openness and Analytics: The Future of Learning Objects. [en línea]. LACLO 2010. Brigham Young University. [Consultado: Octubre 26, 2011]. Disponible en: http://www.slideshare.net/opencontent/laclo-2010-openness-and-analytics-the-future-of-learning-objects

• Créditos
Las caricaturas fueron dibujadas por Larry Lugo.